🤖 machine learning

RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings

تقدم الورقة البحثية RelFlexformer، وهي فئة من نماذج الـ 3D-Transformer الفعالة التي تستخدم تحويل فوريه غير المنتظم (NU-FFT) لدمج ترميزات المواضع النسبية القابلة للتكامل التعسفية بتعقيد قدره $O(L \log L)$ ، مما يتيح آليات انتباه فعالة لكل من الشبكات المهيكلة والبيانات ثلاثية الأبعاد غير المتجانسة غير المهيكلة مثل السحب النقطية.

المؤلفون الأصليون: Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تنظيم حفلة ضخمة وفوضوية حيث يقف الضيوف في غرفة ثلاثية الأبعاد. بعضهم قريب من بعض، وبعضهم بعيد، ولا يوجد ترتيب منتظم أو صفوف. هدفك هو معرفة من يجب أن يتحدث مع من بناءً على مدى قربهم من بعضهم البعض.

في عالم الرؤية الحاسوبية، هذه "الحفلة" هي سحابة نقاط ثلاثية الأبعاد (مجموعة من النقاط التي تمثل أشياء في الفضاء)، و"الضيوف" هم نقاط البيانات. يستخدم الكمبيوتر أداة تسمى المحول (Transformer) ليقرر من يتحدث مع من.

إليك المشكلة التي يحلها البحث، مشروحة ببساطة:

المشكلة: عنق الزجاجة "التربيعي" (Quadratic Bottleneck)

المحولات القياسية تشبه مضيف حفلة يصر على فحص المسافة بين كل ضيف وكل ضيف آخر قبل أن يتمكن أي شخص من التحدث.

إذا كان لديك 100 ضيف، سيقوم المضيف بـ 10,000 عملية فحص.
إذا كان لديك 1,000 ضيف، سيقوم بمليون عملية فحص.
إذا كان لديك 10,000 ضيف (وهو أمر شائع في المسحات ثلاثية الأبعاد)، سيصاب المضيف بالإرهاق، وينفد منه الذاكرة، وتتوقف الحفلة. هذه هي التكلفة التربيعية ( $O(L^2)$ ).

لحل هذه المشكلة، اخترع الباحثون "محولات فعالة" (مثل Performers). هؤلاء المضيفون يستخدمون طريقاً مختصراً: فهم يخمنون من يجب أن يتحدث مع من باستخدام خدعة رياضية ذكية، مما يجعل الحفلة تسير بسرعة ( $O(L)$ ).

العائق: هذه الطرق المختصرة رائعة من حيث السرعة، لكنها سيئة جداً في فهم الهندسة (Geometry). فهي تنسى أنه في غرفة ثلاثية الأبعاد، المسافة مهمة. إنها تعامل الضيف الواقف بجانبك بنفس الطريقة التي تعامل بها من يقف في الطرف الآخر من الغرفة، مما يفسد الدقة في المهام ثلاثية الأبعاد.

الحل: RelFlexformer

يقدم المؤلفون RelFlexformer، وهو نوع جديد من المضيفين الفعالين الذين يتميزون بالسرعة والوعي الهندسي في آن واحد.

فكر في الأمر كالتالي:

الطريق المختصر: بدلاً من فحص كل زوج، يستخدم "عدسة سحرية" (تسمى NU-FFT، أو تحويل فوريه السريع غير المنتظم) لحساب كيفية تأثير المسافة على المحادثة بشكل فوري.
التعديل المرن (Flexible Modulation): تخيل أن المضيف لديه "مقبض تحكم في الصوت" لكل زوج من الضيوف. إذا كان ضيفان قريبان، يكون مستوى الصوت مرتفعاً (يتحدثان كثيراً). وإذا كانا بعيدين، يكون مستوى الصوت منخفضاً.
- الطرق الفعالة القديمة لم تكن تستطيع تحريك هذا المقبض دون كسر طريقها المختصر للسرعة.
- RelFlexformer يمكنه تحريك هذا المقبض لأي شكل من أشكال الغرف (حتى المساحات ثلاثية الأبعاد غير المنتظمة والفوضوية) دون إبطاء السرعة. يفعل ذلك عن طريق ترجمة مشكلة المسافة إلى مشكلة تردد (مثل تحويل أغنية معقدة إلى لحن بسيط) وحلها بسرعة.

تشبيه "السحر": الأوركسترا

تخيل أن النقاط ثلاثية الأبعاد هي موسيقيون في أوركسترا منتشرون عشوائياً في قاعة.

المحولات القياسية تطلب من كل موسيقي الاستماع إلى كل الموسيقيين الآخرين لإيجاد التناغم. هذا يستغك وقتاً طويلاً جداً لأوركسترا كبيرة.
المحولات الفعالة القديمة تطلب من الموسيقيين مجرد تخمين التناغم بناءً على قاعدة بسيطة. هي سريعة، لكن الموسيقى تبدو باهتة لأنهم يتجاهلون من يجلس بجانب بعضهم البعض.
RelFlexformer يشبه قائد الأوركسترا الذي يستخدم مرآة صوتية خاصة. بدلاً من طلب الاستماع من الجميع للجميع، تقوم المرآة بعكس الموجات الصوتية فوراً بحيث يعرف الموسيقيون بالضبط مدى قوة عزفهم بناءً على مسافتهم المحددة من الآخرين. إنه يحافظ على "الشعور المكاني" للغرفة ولكنه يبقي وقت التدريب قصيراً.

ما يدعون تحقيقه

يدعي البحث أنه باستخدام هذه "المرآة الصوتية" (رياضيات NU-FFT):

السرعة: يظل سريعاً، حيث يتوسع بشكل خطي تقريباً ( $O(L \log L)$ ) حتى مع كميات هائلة من البيانات. لا يتعطل عندما تصبح "الحفلة" كبيرة جداً.
الدقة: يستعيد "حس المسافة" المفقود. في الاختبارات على التعرف على الأشياء ثلاثية الأبعاد (مثل تحديد كرسي من سحابة نقاط) والتقسيم ثلاثي الأبعاد (تسمية أجزاء الغرفة)، تفوق RelFlexformer على:
- الطرق القديمة "السريعة ولكن الغبية" (Performers).
- وغالباً ما تفوق على المحولات القياسية "البطيئة ولكن الذكية"، رغم أنه كان أسرع بكثير.
تعدد الاستخدامات: يعمل على البيانات الواقعية الفوضوية مثل سحب النقاط (من ماسحات LiDAR) وصور RGB-D (الكاميرات التي ترى العمق)، حيث لا تكون النقاط في شبكات مرتبة.

الملخص

RelFlexformer هو طريقة جديدة لتمكين الكمبيوتر من رؤية الأشكال ثلاثية الأبعاد. إنه يجمع بين سرعة الطريق المختصر ودقة فهم المسافة الفيزيائية. إنه يسمح للحواسيب بمعالجة المشاهد المعقدة ثلاثية الأبعاد (مثل روبوت يتنقل في غرفة) بسرعة دون فقدان القدرة على التمييز بين المسافات.

ملخص تقني: RelFlexformer

بيان المشكلة

أصبحت نماذج الـ Transformers القائمة على آلية الانتباه (Attention) هي البنى المهيمنة في التعلم ثلاثي الأبعاد، لا سيالما لبيانات السحب النقطية (Point Clouds). ومع ذلك، تواجه نماذج Transformer القياسية عائقين حرجين في هذا المجال:

عنق الزجاجة الحسابي: تعمل آلية الانتباه الذاتي القياسية بمقياس تربيعي ( $O(L^2)$ ) مع طول التسلسل $L$ . ويصبح هذا الأمر تعجيزياً بالنسبة لمجموعات النقاط الكبيرة والنماذج الهندسية الكثيفة.
عدم المحاذاة الهندسية: لا تتوافق آلية الانتباه القياسية بشكل طبيعي مع الطبيعة غير المرتبة وغير المنتظمة المسافات للسحب النقطية. وبينما توجد طرق لترميز الموضع النسبي (RPE) لضخ التحيز الهندسي، فإن دمجها في آليات انتباه فعالة ذات زمن خطي (مثل نماذج Performer) ليس بالأمر الهين. فأساليب RPE الفعالة الموجودة غالباً ما تعتمد على تخطيطات رمزية (Token layouts) مهيكلة (مثل الشبكات المنتظمة) أو تتطلب بناء مصفوفات $L \times L$ صريحة، مما يلغي الفوائد الحسابية لآليات الانتباه الخطي. وتحديداً، فإن إدخال قناع هندسي (Geometric mask) في آلية انتباه تعتمد على النواة (Kernelized attention) دون تجسيد مصفوفة الانتباه الكاملة يتطلب أن تسمح هذه الأقنعة بعمليات ضرب مصفوفات ومتجهات سريعة، وهو قيد لا تستطيع معظم الطرق الحالية تلبيته للمتوزيعات ثلاثية الأبعاد العشوائية.

المنهجية

يقترح المؤلفون RelFlexformer، وهو فئة من نماذج Transformer ثلاثية الأبعاد الفعالة التي تدمج عائلة واسعة من ترميزات الموضع النسبي (RPE) عبر دوال تعديل (Modulation functions) $f$ قابلة للتكامل بشكل عشوائي. الابتكار الجوهري يكمن في تطبيق نظرية تحويل فوريه السريع غير المنتظم (NU-FFT) لتمكين آلية الانتباه المقنعة ذات الزمن دون التربيعي.

المكونات التقنية الرئيسية:

التعديل عبر الالتفاف (Convolution): يتم صياغة آلية RPE كعملية التفاف مكاني. بالنظر إلى إحداثيات الرموز المدخلة $\{r_i\}$ ودالة التعديل $f$ ، يتم حساب قيمة الانتباه المقنعة $w$ للرمز كالتفاف للدالة $f$ مع إشارة $P$ (وهي مجموع دلتا ديراك الموزونة بخصائص المدخلات).
صياغة NU-FFT: وفقاً لنظرية الالتفاف، فإن الالتفاف في المجال المكاني يقابله ضرب في مجال فوريه. يقرب المؤلفون تكامل فوريه المستمر باستخدام قاعدة التربيع (Quadrature rule) مع $S$ $S$ من العينات.
- خطوة الأمام (Forward Step): حساب تحويل فوريه لإشارة السحابة النقطية عند الترددات المأخوذة $\xi_s$ باستخدام NU-FFT. وتستغرق هذه الخطوة وقتاً قدره $O(L \log L)$ .
- التعديل (Modulation): ضرب الإشارة المحولة في تحويل فوريه لدالة التعديل $Ff(\xi_s)$ .
- الخطوة العكسية (Inverse Step): حساب تحويل NU-FFT العكسي لتقييم القيم المعدلة عند إحداثيات الرموز الأصلية. وتستغرق هذه الخطوة أيضاً وقتاً قدره $O(L \log L)$ .
التكامل مع الانتباه الخطي: تستبدل خوارزمية "FastMultM" هذه عملية ضرب مصفوفة القناع $L \times L$ الصريحة في أطر عمل الانتباه الخطي (مثل Performer). وتصبح التعقيد الإجمالي $O(L \log L)$ ، مما يحافظ على كفاءة الانتباه الخطي مع دمج التحيزات الهندسية التعسفية.
التعميم: يعمم الإطار الطرق الموجودة؛ فعلى سبيل المثال، إذا تم تمثيل دالة التعديل كدوال توافقية منفصلة، فإن الطريقة تستعيد تحليلياً ترميز الموضع الدوار (RoPI). كما أنها تشمل ترميز $\otimes$ -STRING كحالة خاصة حيث يتم استقاء الترددات من كثافة طيفية محددة.

المساهمات الرئيسية

الصياغة العامة: يصيغ المؤلفون فئة عامة من آليات الانتباه الفعالة المعدلة بـ RPE ثلاثية الأبعاد بناءً على دوال قابلة للتكامل من النوع $L_1$ .
التنفيذ الفعال: يشتقون تنفيذاً بقدر تعقيد $O(L \log L)$ باستخدام NU-FFT، مما يسمح بانتباه مقنع سريع دون الحاجة لتجسيد مصفوفة الانتباه. وهذا يتيح دمج المعلومات الهندسية مباشرة في نماذج الانتباه من طراز Performer.
تعدد الاستخدامات والأداء: يثبت المؤلفون أن RelFlexformer يعد بديلاً جاهزاً للاستخدام عبر نماذج خلفية متنوعة (PCT, PTv3, DFormer). ويظهر أن RelFlexformer لا يسد الفجوة في الأداء بين الانتباه الخطي الفعال والانتباه التربيعي الكثف فحسب، بل يتفوق في عدة حالات على نماذج Transformer القياسية $O(L^2)$ .
التكامل (Complementarity): يوضح المؤلفون أن تعديل RPE القائم على المسافة في RelFlexformer هو أمر متعامد مع ترميزات مستوى الرمز مثل PointRoPE، ويمكن دمجه بفعالية لتحقيق مكاسب إضافية.

النتائج التجريبية

قيم المؤلفون RelFlexformer على مجموعة كبيرة من البيانات ثلاثية الأبعاد لمهام التصنيف والتقسيم:

تصنيف الأشياء (ModelNet40, ScanObjectNN):
- في ModelNet40، حقق RelFlexformer دقة بلغت 92.94%، مما قلل بشكل كبير الفجوة مع نموذج Transformer الكثف (93.2%) مقارنة بـ Performer التقليدي (92.34%).
- في ScanObjectNN، تفوق RelFlexformer (84.45%) على نموذج Transformer الكثف (84.0%).
التقسيم الدلالي (ScanNet, ScanNet200, ScanNet++, nuScenes, S3DIS):
- حسن RelFlexformer باستمرار من نتائج نماذج Performer الأساسية. على سبيل المثال، في ScanNet، تحسن mIoU من 74.8% (Performer) إلى 76.8% (RelFlexformer)، مقترباً من نموذج Transformer (77.6%).
- في nuScenes، حقق RelFlexformer نسبة mIoU بلغت 80.3%، متفوقاً على نموذج Transformer (الذي سجل 80.4%، لكن النص يشير إلى أن RelFlexformer + PointRoPE وصل إلى 81.2%، متجاوزاً الـ 80.4% الخاصة بالـ Transformer).
- في S3DIS (التحقق المتقاطع سداسي المرات)، قلص RelFlexformer الفجوة في mIoU من 73.18% (Performer) إلى 76.25%، مقترباً جداً من Transformer (77.70%).
تقسيم RGB-D (NYU Depth v2, SUN RGB-D):
- باستخدام هيكل DFormer، حقق RelFlexformer نسبة mIoU بلغت 55.32% في NYU Depth v2 و 51.04% في SUN RGB-D، متفوقاً على كل من Performer وطريقة STRING المقترحة حديثاً، مع تجنب العبء الإضافي للمعاملات (Parameters) الموجود في STRING.

الأهمية والادعاءات

يدعي البحث أن RelFlexformer يوفر مشغلاً هندسياً موحداً يستوعب الترميزات متعددة الأبعاد الحديثة (مثل STRING) كحالات خاصة، مع توسيع الكفاءة دون التربيعية لتشمل بيانات RGB-D الكثيفة عبر رفع الإحداثيات (Coordinate lifting).

تكمن الأهمية الأساسية في سد فجوة الدقة بين الانتباه الخطي الفعال والانتباه الكثف القياسي. يجادل المؤلفون بأنه من خلال صياغة التعديل الهندسي عبر NU-FFT، يمكن دمج عائلة واسعة من دوال RPE القابلة للتكامل دون التضحية بالمزايا الحسابية للانتباه القائم على النواة. وهذا يجعل من RelFlexformer بنية عالية القابلية للتوسع لمعالجة السحب النقطية الكبيرة وغير المنتظمة التي كانت تعاني سابقاً من التكلفة التربيعية لـ Transformer الكثف. وتشير النتائج إلى أن آليات الانتباه الفعالة يمكنها تحقيق، وأحياناً تجاوز، أداء نماذج Transformer الكثفة، مما يجعلها قابلة للتطبيق في مهام الإدراك ثلاثي الأبعاد في العالم الحقيقي حيث تعتبر قيود زمن الاستجابة والذاكرة أمراً حاسماً.