ملخص تقني: التقطير العلائقي متعدد الرؤى للاستدلال المكاني مع نماذج الرؤية واللغة

1. بيان المشكلة

أظهرت نماذج الرؤية واللغة (VLMs) قدرات قوية في فهم الصور والفيديو، لكنها تعاني من تمثيلات بصرية مكانية هشة هندسياً. يؤدي هذا الهشاشة إلى الإخفاق في مهام الاستدلال المكاني الضرورية للذكاء الاصطناعي المتجسد (Embodied AI)، والروبوتات، والقيادة الذاتية، مثل استنتاج المسافات النسبية أو تحديد مواقع الأشياء.

تواجه الأساليب الحالية لربط نماذج الرؤية واللغة بالهندسة عائقين رئيسيين:

1. الضبط الدقيق الخاضع للإشراف (SFT): غالباً ما يؤدي التدريب على مجموعات بيانات الإجابة عن الأسئلة المكانية إلى تكريس "تمثيلات بصرية زائفة" دون تصحيح الفهم الهندسي الأساسي بشكل جوهري.
2. دمج الميزات (Feature Fusion): الأساليب التي تدمج الميزات من نماذج رؤية ضخمة قائمة على الهندسة (مثل VGGT وCUT3R) في نماذج الرؤية واللغة تحسن الاستدلال المكاني، ولكنها تزيد بشكل كبير من حجم النموذج وزمن الاستدلال (Inference Latency)، مما يفرض تحديات أمام التطبيقات التي تتطلب استجابة فورية.

يحاول نهج ثالث، وهو التقطير المعرفي (Knowledge Distillation)، نقل المعرفة الهندسية من نموذج معلم إلى نموذج طالب (VLM) دون زيادة تكلفة الاستد。 ومع ذلك، حدد المؤلفون نمط فشل حرج في تقطير الميزات القياسي: حيث يؤدي مطابقة ميزات الرؤية متعددة الرؤى للطالب مباشرة مع ميزات المعلم القائمة على الهندسة إلى تعطيل المحاذاة المسبقة بين التمثيلات البصرية والنصية. هذا المقايضة تضعف قدرة النموذج على أداء مهام الربط اللغوي، مثل تتبع ترتيب ظهور الأشياء أو تقدير حجم الشيء بناءً على الاستعلامات النصية.

2. المنهجية: التقطير العلائقي متعدد الرؤى (MVRD)

لمعالجة المقايضة بين الربط الهندسي والمحاذاة بين الرؤية واللغة، يقترح المؤلفون التقطير العلائقي متعدد الرؤى (MVRD).

المفهوم الجوهري

بدلاً من تقطير متجهات الميزات نفسها (الذي يجبر ميزات الطالب على التقارب نحو فضاء هندسي محدد)، يقوم MVRD بتقطير التشابهات الجيبية تماماً (Cosine Similarities) (العلاقات) بين الميزات عبر رؤى متعددة.

• الفرضية: العلاقات متعددة الرؤى تشفر ارتباطات هندسية كافية لتحسين الفهم المكاني. والأهم من ذلك، نظرًا لأن مطابقة التشابهات الثنائية لا تحدد بشكل فريد متجهات الميزات المطلقة، فإن نموذج الطالب يحتفظ بالحرية في اختيار التمثيلات الميزية التي تستوفي الهدف الهندسي مع البقاء قريبة من فضاء الرؤية واللغة المدرب مسبقاً.
• الصياغة الرياضية:
  • لتكن $v_{1:T}$ هي رموز الرؤية للطالب و $\bar{g}_{1:T}$ هي ميزات المعلم القائمة على الهندسة.
  • يتم بناء تمثيل علائقي $R$ باستخدام دالة تشابه $r$ (تحديداً تشابه جيب التمام): $R(h)[i, j] = r(h[i], h[j])$.
  • تقلل خسارة التقطير $L_{RD}$ الفرق بين المصفوفات العلائقية للطالب والمعلم:
    $$L_{RD} := \ell_{RD}(R(f(v_{1:T})), R(\text{sg}(\bar{g}_{1:T})))$$
  • هنا، $f$ هو إسقاط MLP لكل موضع، و $\text{sg}$ يشير إلى عامل إيقاف التدرج (stop-gradient). يجمع هدف التدريب الكلي بين خسارة SFT القياسية وخسارة التقطير العلائقي ($L_{SFT} + \gamma L_{RD}$).

التحسينات المعمارية

لتقليل الانحراف عن الفضاء المدرب مسبقاً إلى أقصى حد، يقدم المؤلفون بنية المسار المزدوج (Dual Pathway):

• المحول الهندسي (Geometric Adapter): وحدة تعديل منخفضة الرتبة (LoRA) تخضع لإشراف الخسارة المركبة ($L_{SFT} + \gamma L_{RD}$) لتعلم إشارات العلاقات متعددة الرؤى.
• المحول الدلالي (Semantic Adapter): وحدة LoRA موازية تخضع لإشراف $L_{SFT}$ فقط للحفاظ على السلوك المحاذي للغة.
• التكامل: يتم جمع مخرجات هذه المحولات بعد طبقة التقطير وتمريرها عبر بقية كتل VLM. يضمن هذا الفصل عدم اضطراب التعلم الهندسي للفضاء الفرعي ذي الصلة باللغة.

خيارات التصميم

• دالة التشابه: تم اختيار تشابه جيب التمام لكونه ثابتاً تجاه المقياس والاتجاه، مما يسمح للنموذج بمطابقة الزوايا النسبية دون إجبار أحجام الميزات على التوافق.
• دالة الخسارة: تم استخدام معامل ارتباط بيرسون السلبي لكل صف بدلاً من متوسط مربع الخطأ (MSE) لتحسين المتانة تجاه الاختلافات في مقاييس درجات التشابه.
• القناع السببي (Causal Masking): للالتزام بآليات الانتباه السببي في نماذج الرؤية واللغة، يتم تطبيق القناع السببي وتصفير القطر قبل حساب الخسارة.

3. المساهمات الرئيسية

1. تشخيص فشل تقطير الميزات: حددت الورقة وأثبتت أن تقطير الميزات القياسي يضعف المحاذاة بين الرؤية واللغة، مما يسبب انخفاضاً في الأداء في مهام الربط اللغوي (مثل عد الأشياء أو تقدير الحجم) رغم تحسن المهام الهندسية.
2. اقتراح MVRD: إطار عمل جديد للتقطير ينقل المعرفة الهندسية عبر التشابهات العلائقية متعددة الرؤى بدلاً من الميزات الخام، مما يحافظ على فضاء الرؤية واللغة المدرب مسبقاً.
3. بنية المسار المزدوج: آلية فصل بارامترات خفيفة الوزن تفصل بشكل أكبر بين التعلم الهندسي والمحاذاة الدلالية، مما يوازن الأداء عبر أنواع المهام.
4. الكفاءة: يحقق MVRD أداءً مقارباً لطرق دمج الميزات مع عدد أقل بكثير من المعلمات الإضافية (<25%) وزمن استدلال أقل (<16% مقارنة بالنماذج المرجعية لدمج الميزات).

4. النتائج التجريبية

تم تقييم الطريقة على VSI-Bench (معيار الذكاء البصري المكاني) ومجموعات بيانات مختلفة لفهم المشاهد ثلاثية الأبعاد.

• أداء VSI-Bench:
  • تفوق MVRD على الضبط الدقيق الخاضع للإشراف (SFT) وتقطير الميزات القياسي (3DRS) في 6 من أصل 8 مهام.
  • أظهر مكاسب ثابتة في مهام الربط اللغوي (مثل حجم الكائن، وترتيب الظهور)، حيث فشل تقطير الميزات سابقاً.
  • حقق متغير MVRD + Dual Pathway متوسط دقة قدره 60.4%، مما قلص الفجوة مع طريقة دمج الميزات الأحدث (VLM-3R) إلى 0.5 نقطة فقط، مع استخدام نفس العمود الفقري ومجموعة البيانات.
• تحليل التمثيل:
  • أكد التحليل النوعي والكمي أن MVRD يحافظ على محاذاة عالية بين النص والرؤية (مقاسة بدقة الكشف عن الأشياء القائم على النص) بينما ينمذج العلاقات الهندسية بفعالية.
  • تبين أن تقطير الميزات يسبب عدم محاذاة الرموز النصية مع الرقع البصرية المقابلة لها، بينما حافظ MVRD على هذا الارتباط.
• التعميم:
  • نجح MVRD في الانتقال إلى مهام فهم المشاهد ثلاثية الأبعاد (ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, SQA3D)، متفوقاً على النماذج العامة السابقة لفهم المشاهد ثلاثية الأبعاد وعلى نموذج التقطير المرجعي 3DRS.
  • أثبتت الطريقة متانتها عبر مختلف نماذج الرؤية واللغة (LLaVA-Video, InternVL3, Qwen2.5-VL).

5. الأهمية والادعاءات

تدعي الورقة أن MVRD يوفر بديلاً فعالاً حوسبياً لدمج الميزات لربط نماذج الرؤية واللغة بالهندسة ثلاثية الأبعاد. من خلال تحويل هدف التقطير من الميزات إلى العلاقات، يحل المنهج الصراع الذي لم يتم تشخيصه سابقاً بين الربط الهندسي والمحاذاة اللغوية.

يؤكد المؤلفون أن MVRD يسمح لنماذج الرؤية واللغة باكتساب الفهم الهندسي "دون التضحية بالمحاذاة بين الرؤية واللغة". كما يوضح متغير المسار المزدوج أن فصل الأهداف الهندسية والدلالية ينتج نموذجاً أكثر توازناً يقترب من أداء بنيات دمج الميزات الثقيلة بتكلفة استدلال أقل بكثير. ويشير العمل إلى أن التمثيلات العلائقية هي آلية أكثر ملاءمة وأقل تعقيداً لنقل المعرفة الهندسية إلى نماذج الرؤية واللغة المدربة مسبقاً.