SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs

إليك ملخص تقني مفصل لورقة البحث بعنوان "SoPE: التضمين الموضعي القائم على الإحداثيات الكروية لتعزيز الإدراك المكاني لنماذج الرؤية واللغة ثلاثية الأبعاد الكبيرة (3D LVLMs)."

1. بيان المشكلة

تعتمد نماذج الرؤية واللغة ثلاثية الأبعاد الكبيرة (3D LVLMs) الحالية بشكل كبير على تضمين الموضع الدوار (RoPI)، وهي آلية صُممت في الأصل للتسلسلات النصية أحادية البعد. وعند تطبيقها على السحب النقطية ثلاثية الأبعاد، تظهر آلية RoPE القياسية قصورين حرجين يؤديان إلى تدهور الفهم المكاني:

1. فقدان البنية الهندسية ثلاثية الأبعاد: تقوم RoPE بتسطيح السحب النقطية ثلاثية الأبعاد إلى تسلسل أحادي البعد (عادةً بترتيب المسح/الراستر) وتخصص مؤشرات موضعية بناءً على ترتيب التسلسل فقط. هذا يكسر الاستمرارية المكانية المتأصلة في السحابة النقطية، حيث قد تحصل النقاط المتجاورة فيزيائياً على مؤشرات غير متجاورة.
2. النمذجة غير المدركة للاتجاه: حساب المسافة النسبية في RoPE القياسية ($\Delta t = t_1 - t_2$) يلتقط فقط المسافة الزمنية/التسلسلية. وهي تفشل في ترميز الاعتمادات الزاوية والتباينات الاتجاهية (مثل: التوجه، السمت، الارتفاع)، مما يؤدي إلى "تحيز في الإدراك المكاني".
   • النتيجة: ينهار الانتباه عبر الوسائط (Cross-modal attention) على عدد قليل من "البؤر الساخنة"، متجاهلاً السياق العالمي وفاشلاً في التمييز بين الرموز (tokens) ذات التوجهات ثلاثية الأبعاد المختلفة ولكن ذات مواقع التسلسل المتشابهة. يؤدي هذا إلى أداء ضعيف في المهام التي تتطلب تحديد الموقع بدقة والوعي بالتوجه.

2. المنهجية: SoPE

يقترح المؤلفون SoPE (التضمين الموضعي القائم على الإحداثيات الكروية)، وهو مخطط لتشفير الموضع على مستوى الموصل (connector-level) يعيد تمثيل الرموز ثلاثية الأبعاد للحفاظ على المعلومات الهندسية والاتجاهية.

أ. إسقاط الموضع بالإحداثيات الكروية

بدلاً من استخدام مؤشر مسح أحادي البعد، يقوم SoPE برسم خرائط لرموز السحابة النقطية إلى فضاء إحداثيات كروي رباعي الأبعاد $(t, r, \theta, \phi)$:

• المؤشر الزمني ($t$): يحافظ على ترتيب التسلسل الأصلي.
• المسافة الشعاعية ($r$): $r = \sqrt{x^2 + y^2 + z^2}$ (المسافة من الأصل).
• الزاوية القطبية ($\theta$): $\theta = \arccos(z/r)$ (الارتفاع).
• زاوية السمت ($\phi$): $\phi = \text{atan2}(y, x)$ (التوجه الأفقي).

يتم تفكيك فرق الموضع النسبي عبر جميع الأبعاد الأربعة: $\Delta t, \Delta r, \Delta \theta, \Delta \phi$. وهذا يسمح للنموذج بنمذجة الإزاحة المكانية والتغيرات الاتجاهية بشكل صريح.

ب. تخصيص التردد متعدد الأبعاد

يتم تقسيم بُعد التضمين إلى أربعة نطاقات فرعية تقابل المكونات الأربعة $(t, r, \theta, \phi)$. يقترح المؤلفون نسبة تخصيص محددة تبلغ 24:2:3:3:

• التردد العالي: يتم تخصيصه للمكونات الكروية ($r, \theta, \phi$) لالتقاط التباينات المكانية الدقيقة والإشارات الاتجاهية.
• التردد المنخفض: يتم تخصيصه للمكون الزمني ($t$) للحفاظ على استمرارية واستقرار التسلسل طويل المدى.
• المنطق: يمنع هذا التوازن النموذج من الإفراط في التكيف مع ترتيب التسلسل مع ضمان الحساسية العالية للهندسة ثلاثية الأبعاد.

ج. استراتيجية خلط التردد متعددة المقاييس

للتعامل مع التفاصيل دقيقة الحجم (الأجسام الصغيرة) والتخطيطات واسعة النطاق، يقدم SoPE استراتيجية خلط طور متعددة المقاييس. لكل مكون إحداثي، يتم حساب الطور كمجموع مرجح لثلاثة تحويلات:

1. المقياس الخطي ($g_{lin}$): يحافظ على دقة الموضع المطلقة.
2. المقياس المضغوط لوغاريتمياً ($g_{log}$): يؤكد على هياكل الجوار المحلي.
3. المقياس الدوري ($g_{per}$): يلتقط الأنماط العالمية والاعتمادات طويلة المدى.

الطور النهائي $\phi_k(u)$ هو متوسط ذو وزن ثابت لهذه المقاييس، مما يسمح للنموذج بترميز المواقع الدقيقة، والسياق المحلي، والهيكل العالمي في آن واحد دون معاملات إضافية قابلة للتعلم.

3. المساهمات الرئيسية

1. تشفير موضعي مبتكر: تقديم SoPE، وهو أول طريقة لربط رموز السحابة النقطية ثلاثية الأبعاد بالإحداثيات الكروية صراحةً ضمن إطار عمل RoPE، مما يعالج الطبيعة غير المدركة للاتجاه في RoPE القياسية.
2. بنية مدركة للهندسة: بديل جاهز للاستخدام (drop-in replacement) لـ RoPE التقليدي في نماذج 3D LVLMs (تحديداً في SpatialLM) يوحد نمذجة الموقع المكاني والزاوية الاتجاهية.
3. استراتيجية متعددة المقاييس: استراتيجية خلط تردد خفيفة الوزن وغير معتمدة على المعاملات، تعزز قدرة النموذج على الاستدلال حول الأجسام بمختلف مقاييسها ومسافاتها.
4. التحقق من الواقع العملي: النشر الناجح للنموذج على روبوت مادي ثنائي الأذرع، مما يثبت فائدته في مهام الذكاء الاصطناعي المتجسد (الملاحة، الإمساك، وتخطيط المهام).

4. النتائج التجريبية

تم تقييم الطريقة على عدة اختبارات مرجعية لـ تقدير المخطط ثلاثي الأبعاد (3D Layout Estimation) و كشف الأجسام ثلاثية الأبعاد (3D Object Detection).

• تقدير المخطط (Structured3D):
  • حقق SpatialSoMP قيمة IoU2D@0.25 بلغت 88.7 و IoU2D@0.5 بلغت 86.2، متفوقاً على النموذج المرجعي SpatialLM (بزيادة +2.2 و +1.6 على التوالي) وعلى الطرق الرائدة مثل RoomFormer و SceneScript.
• كشف الأجسام ثلاثية الأبعاد (ARKitScenes & SpatialLM Dataset):
  • في ARKitScenes، حسن SpatialSoPE درجات F1 إلى 66.1 (IoU@0.25) و 63.2 (IoU@0.50)، متفوقاً على SpatialLM ونماذج 3D LVLM الأخرى (مثل VoteNet و H3DNet).
  • كانت التحسينات متسقة عبر مختلف مجموعات البيانات وبروتوكولات التدريب (من الصفر مقابل الضبط الدقيق).
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة إعادة التمثيل الكروي أو تخصيص التردد المحدد (24:2:3:3) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة التصميم المقترح.
  • وفرت استراتيجية الخلط متعددة المقاييس مكاسب إضافية، خاصة في كشف الأجسام الصغيرة والحدود.
• التحليل النوعي:
  • أظهرت عمليات التصور أن SoPE ينتج أنماط انتباه عبر الوسائط أكثر توازناً، مما يقلل من تحيز "البؤر الساخنة" ويحسن اكتشاف الأجسام الصغيرة والمعقدة هندسياً.

5. الأهمية

• التقدم النظري: يسد SoPE الفجوة بين نمذجة التسلسل أحادي البعد (LLMs) والبيانات الهندسية ثلاثية الأبعاد، مما يثبت أن التشفيد الهندسي الصريح في تضمينات الموضع أمر بالغ الأهمية للفهم ثلاثي الأبعاد.
• الأثر العملي: يعزز الأسلوب بشكل كبير قدرات الاستدلال المكاني لنماذج LVLMs، مما يجعلها أكثر موثوقية للمهام اللاحقة مثل الملاحة الروبوتية أو التلاعب بالأشياء.
• الذكاء الاصطناعي المتجسد: يؤكد النشر الناجح في العالم الحقيقي على روبوت أن تحسين الإدراك المكاني في النموذج يترجم مباشرة إلى تفاعل فيزيائي أفضل وتنفيذ أفضل للمهام في البيئات الديناميكية.

في الختن، يقدم SoPE حلاً قوياً ومدركاً للهندسة لمشكلات الإدراك المكاني في نماذج 3D LVLMs الحالية، واضعاً معياراً جديداً لكيفية تشفير المعلومات الموضعية في الأنظمة متعددة الوسائط ثلاثية الأبعاد.