RI-Mamba: Rotation-Invariant Mamba for Robust Text-to-Shape Retrieval

إليك ملخص تقني مفصل لورقة البحث بعنوان "RI-Mamba: Mamba المتعامد مع الدوران لعمليات استرجاع الأشكال القائمة على النصوص بمتانة عالية".

1. بيان المشكلة

أدى التوسع السريع للأصول ثلاثية الأبعاد في الواقع الافتراضي، والألعاب، والتصميم الرقمي إلى خلق حاجة لعمليات استرجاع الأشكال القائمة على النصوص (Text-to-Shape retrieval) بكفاءة. ومع ذلك، تواجه الطرق الحالية عقبتين حرجتين تعيقان التطبيق في العالم الحقيقي:

1. الاعتماد على الوضعية الكلاسيكية (Canonical Pose Dependency): تفترض معظم النماذج الرائدة (SOTA) أن الأشياء في وضعية "كلاسيكية" محددة مسبقاً. وهي تفشل عندما تظهر الأشياء في دورات عشوائية (اتجاهات SO(3) تعسفية)، وهو أمر شائع في مجموعات البيانات الواقعية.
2. القابلية للتوسع والتعليق التوضيحي (Scalability and Annotation): تعتمد النهج الحالية بشكل كبير على تسميات تقسيم الأجزاء (part segmentation) التي يضعها البشر ومجموعات بيانات منسقة (مثل الكراسي والطاولات فقط). وهذا يحد من قدرتها على التوسع ليشمل فئات متنوعة من الأشياء (أكثر من 200 فئة) ويمنع التدريب على مستودعات ثلاثية الأبعاد ضخمة غير مصنفة.

غالباً ما تعاني نماذج التعامد مع الدوران (RI) الحالية من تكاليف حوسبة عالية (التعقيد التربيعي في المحولات/Transformers) أو قدرة تعبيرية محدودة بسبب فقدان معلومات الوضعية أثناء فرض التعامد.

2. المنهجية: RI-Mamba

يقترح المؤلفون RI-Mamba، وهو أول بنية متعامدة مع الدوران تعتمد على نماذج حالة الفضاء (SSMs)، وتحديداً بنية Mamba. تتكون العملية من أربع مراحل رئيسية:

أ. حساب الإطار المرجعي (RFC) والمحاذاة المحلية

لفصل الهندسة عن الوضعية، يعالج النموذج السحابة النقطية في رقع (patches) محلية:

• الإطار المرجعي المحلي (LRF): لكل رقعة من النقاط، يتم حساب إطار مرجعي محلي باستخدام تحليل المكونات الرئيسية (PCA).
• إزالة الغموض (Disambiguation): لضمان نتائج حتمية، يتم حل إشارة محاور PCA عن طريق إسقاط النقاط على المحاور واختيار الاتجاه الذي يحتوي على أغلبية النقاط.
• المحاذاة (Alignment): يتم إسقاط النقاط داخل الرقعة في إطارها المرجعي المحلي (LRF)، مما يخلق تمثيلاً هندسياً متعامداً مع الدوران ($\hat{p}_i$).

ب. التسلسل المتعامد مع الدوران (Rotation-Invariant Serialization)

يتطلب Mamba مدخلات تسلسلية أحادية البعد. وللحفاظ على التعامد مع الحفاظ على البنية المكانية:

• الإطار المرجعي العالمي (GRF): يتم حساب إطار عالمي لكامل الكائن.
• فرز هيلبرت (Hilbert Sorting): يتم إسقاط مراكز الرقع على الـ GRF وفرزها باستخدام منحنى هيلبرت لملء الفضاء. يقوم هذا برسم خريطة للقرب المكاني ثلاثي الأبعاد إلى ترتيب تسلسلي أحادي البعد، مما يضمن بقاء ترتيب الرموز (tokens) متسقاً بغض النظر عن دوران الكائن العالمي.

ج. استراتيجية التضمين (الابتكار الجوهري)

غالباً ما تتخلص طرق التعامد مع الدوران القياسية من معلومات التوجه، مما يقلل من القدرة التعبيرية للنموذج. يقدم RI-Mamba تضميناً توجيهياً لكل رقعة (Patchwise Orientational Embedding) مبتكر:

• التضمينات الهندسية والموضعية: تُستخرج من الإحداثيات المحلية المحاذية (LRF).
• التضمين التوجيهي: بدلاً من المقارنات الزوجية المكلفة (التعقيد التربيعي)، يحسب النموذج التوجه النسبي لكل رقعة بالنسبة للإطار المرجعي العالمي ($F_i^T F_g$). تتم معالجة ذلك عبر طبقة MLP.
• تعديل الميزات الخطي (FiLM): يتم إعادة دمج التضمين التوجيهي في الحالات المخفية باستخدام FiLM. يسمح هذا للنموذج بتغيير حجم وإزاحة الميزات ديناميكياً بناءً على السياق المكاني، مما يستعيد معلومات الوضعية المفقودة أثناء المحاذاة دون كسر التعامد مع الدوران.

د. المسح ثنائي الاتجاه والتعلم التبايني

• المسح ثنائي الاتجاه (Bidirectional Scanning): بما أن Mamba هو بطبيعته سببي (أحادي الاتجاه)، يستخدم المؤلفون عامل عكس (Reverse Operator) يبدل اتجاه المسح (من اليسار إلى اليمين، ثم من اليمين إلى اليسار) عبر الطبقات. هذا يلتقط التبعيات طويلة المدى من جميع الاتجاهات.
• استراتيجية التدريب: يتم تدريب النموذج باستخدام التعلم التبايني عبر الوسائط (Cross-Modal Contrastive Learning) (خسارة InfoNCE) المتوافقة مع تضمينات CLIP للصور والنصوص. والأهم من ذلك، أنهم يستخدمون توليد الثلاثيات الآلي (automated triplet generation) (عبر التصوير الوصفي وكتابة التعليقات) لإنشاء بيانات التدريب، مما يلغي الحاجة إلى التوصيفات اليدوية ويمكّن التدريب على مجموعات بيانات ضخمة (مثل OmniObject3D التي تضم أكثر من 200 فئة).

3. المساهمات الرئيسية

1. أول بنية RI-SSM: يقدم RI-Mamba، أول نموذج متعامد مع الدوران يعتمد على نماذج حالة الفضاء (SSMs)، محققاً تعقيداً زمنياً خطياً ($O(N)$) مقارنة بالتعقيد التربيعي ($O(N^2)$) لنماذج Transformer المتعامدة.
2. تضمين توجيهي مبتكر: يقترح استراتيجية تضمين توجيهي لكل رقعة تعمل في زمن خطي ومتوافقة مع SSMs. يستعيد النموذج معلومات الوضعية عبر FiLM، مما يوازن بين التعامد مع الدوران والقدرة التعبيرية العالية.
3. قابلية التوسع بدون توصيف يدوي: يثبت مسار عمل لعمليات استرجاع (نص-إلى-شكل) على أكثر من 200 فئة من الأشياء باستخدام توليد البيانات الآلي والتعلم التبايني، مما يزيل عقبة التوصيف اليدوي لأجزاء الأشياء.
4. معيار جديد (Benchmark): يضع أول معيار شامل لاسترجاع (نص-إلى-شكل) على أشياء متنوعة ذات اتجاهات تعسفية (OmniObject3D).

4. النتائج التجريبية

قيم المؤلفون RI-Mamba على معايير Text2Shape (خاضع للإشراف) و OmniObject3D (صفرية التدريب/Zero-shot).

• الاسترجاع الخاضع للإشراف (Text2Shape): حقق RI-Mamba أداءً رائداً (SOTA) (RR@1: 13.87) وتفوق بشكل كبير على جميع الطرق الأخرى تحت الدوران العشوائي (SO(3))، حيث انخفض أداء المنافسين إلى ما يقرب من الصفر.
• الاسترجاع صفري التدريب (OmniObject3D):
  • تحت الدوران العشوائي، حقق RI-Mamba نسبة 19.34% في RR@1، متفوقاً بشكل كبير على النماذج غير المتعامدة (مثل DuoMamba بنسبة 3.28%) والنماذج المتعامدة الأخرى (مثل RI-Transformer بنسبة 3.76%).
  • أظهر قدرة فائقة على التعميم عبر 214 فئة.
• الاسترجاع (3D-to-3D) والتصنيف: حافظ RI-Mamba على متوسط دقة عالية (mAP) ودقة تصنيف عبر جميع إعدادات الدوران (I/I, I/SO(3), SO(3)/I, SO(3)/SO(3))، مما يثبت متانته.
• الكفاءة:
  • الذاكرة: عند 2048 رمزاً (tokens)، يستخدم RI-Mamba حوالي 2 جيجابايت من ذاكرة GPU، بينما يتجاوز RI-Transformer حاجز الـ 20 جيجابايت.
  • السرعة: يتوسع RI-Mamba خطياً مع عدد الرموز، بينما يتوسع RI-Transformer تربيعياً.

5. الأهمية

يمثل RI-Mamba تحولاً جذرياً في الاسترجاع ثلاثي الأبعاد من خلال حل معضلة (التعامد مع الدوران مقابل القدرة التعبيرية مقابل الكفاءة).

• الواقعية: يتيح عمليات استرجاع قوية في السيناريوهات الواقعية حيث يكون توجه الكائن غير متوقع، وهي قدرة كانت تفتقر إليها النماذج القابلة للتوسع سابقاً.
• القابلية للتوسع: من خلال إزالة الاعتماد على التوصيفات اليدوية والاستفادة من نماذج SSM ذات الزمن الخطي، فإنه يفتح الباب للتدريب على مجموعات بيانات ثلاثية الأبعاد ضخمة ومتنوعة.
• البنية الهيكلية: نجح في تكييف بنية Mamba الفعالة مع الهندسة ثلاثية الأبعاد، مما يثبت أن نماذج SSM يمكنها التعامل مع العلاقات المكانية المعقدة بشكل أفضل من نماذج Transformer من حيث قابلية التوسع وكفاءة الذاكرة.

الكود متاح للعموم، ويعمل هذا العمل كمعيار جديد للفهم ثلاثي الأبعاد المتين والمتعامد مع الدوران.