ملخص تقني: كشف وتشكيل التمثيل الكامن لطبوغرافيا المشهد ثلاثي الأبعاد في نماذج الرؤية واللغة

1. بيان المشكلة

تشير عقود من العلوم المعرفية إلى أن البشر يتنقلون في البيئات ثلاثية الأبعاد عبر تكوين "خرائط معرفية" — وهي تمثيلات محفوظة الطبوغرافيا وتعتمد على المرجع الخارجي (allocentric)، وتكون متميزة عن المدخلات البصرية التي تعتمد على المرجع الذاتي (egocentric). وبينما تُظهر نماذج الرؤية واللغة (VLMs) الحديثة قدرات ناشئة في الاستدلال المكاني من مدخلات ثنائية الأبعاد، لا يزال من غير الواضح ما إذا كانت تبني تمثيلات داخلية مماثلة ثلاثية الأبعاد. تفشل أدوات التشخيص الحالية (مثل خرائط الانتباه، والدقة النهائية) في تحديد ما إذا كانت هذه النماذج تمتلك بنية مكانية كامنة ذات مرجع خارجي، أم أنها تعتمد على ارتباطات بصرية ثنائية الأبعاد واختصارات لغوية سطحية. علاوة على ذلك، فإن النهج الحالي لتحسين الاستدلال المكاني لنماذج الرؤية واللغة يعتمد غالباً على حقن وسائط ثلاثية الأبعاد صريحة (مثل خرائط العمق) أو توسيع البيانات بشكل هائل، بدلاً من تشكيل الهندسة الكامنة للنموذج.

تتمثل المشكلة الجوهرية التي يتم معالجتها في شقين:

1. الاكتشاف: هل تحتوي نماذج الرؤية واللغة الحالية بطبيعتها على خريطة طبوغرافية كامنة للمشاهد ثلاثية الأبعاد، وإذا كان الأمر كذلك، فهل هي قابلة للوصول؟
2. التشكيل: هل يمكن تحديد هذا التمثيل الكامن رياضياً وتنظيمه لتحسين الاستدلال المكاني دون تغييرات هيكلية أو بيانات ثلاثية الأبعاد خارجية؟

2. المنهجية

2.1 كشف الفضاء الجزئي المكاني الكامن

يقترح المؤلفون أنه بينما تقوم نماذج الرؤية واللغة بتشفير الطبوغرافيا ثلاثية الأبعاد، إلا أن هذه الإشارة تطغى عليها الدلالات البصرية غير الهندسية (مثل اللون والشكل). لعزل المكون المكاني، قدموا تقنية استخراج ميزات خطية تعتمد على المتوسط عبر المشاهد:

• البيانات: مجموعة بيانات اصطناعية (SynSpat3D) تحتوي على 1,000 مشهد تتضمن أشياءً ذات مواقع وألوان وأشكال عشوائية. يضمن ذلك أن هوية الكائن (اللون/الشكل) مستقلة إحصائياً عن الموقع المكاني.
• التجميع لكل كائن: يتم تجميع الرموز البصرية (visual tokens) المقابلة لكائن ما عبر الإطارات الزمنية والقطع المكانية لتكوين متجه تنشيط لكل كائن $h^{(s,o)}_\ell$ عند طبقة فك التشفير $\ell$.
• فك الارتباط عبر المتوسط: بافتراض أن التمثيل الكامن هو مجموع خطي لمكون مشروط بالهوية ($uid(o)$) ومكون مشروط بالموقع ($usp(x)$)، يقوم المؤلفون بحساب متوسط التنشيطات لنفس هوية الكائن عبر العديد من المشاهد العشوائية. وبما أن المواقع عشوائية، فإن المكون المكاني يتجه للمتوسط نحو الصفر، مما يترك تقديراً ثابتاً للنموذج الأصلي للهوية$\bar{h}(o)$.
• الإسقاط: يتم بناء أساس متعامد $W_\ell$ من هذه النماذج الأصلية للهوية. بعد ذلك، يتم استخراج الفضاء الجزئي المكاني عن طريق إسقاط التنشيطات الأصلية على المتمم المتعامد لهذا الأساس: $\tilde{h}^{(s,o)}_\ell = (I - W_\ell W_\ell^\top) h^{(s,o)}_\ell$.

2.2 التوصيف الرياضي

يثبت المؤلفون أن الفضاء الجزئي المستخرج يتوافق مع خرائط القيم الذاتية لـ لابلاس (Laplacian eigenmaps) للرسم البياني ثلاثي الأبعاد للمشهد:

• النظرية 1: إن تقليل طاقة ديريكليه (Dirichlet energy) للتمثيل مع فرض قيود على التباين يؤدي إلى تمثيل تتوافق مكوناته الرئيسية مع المتجهات الذاتية لـ "لابلاس" الرسم البياني للمشهد.
• النظرية 2: في الحد المستمر، تتقارب هذه المتجهات الذاتية مع الإحداثيات الفيزيائية ثلاثية الأبعاد (المحاور الكارتيزية) للمشهد.
• التحقق السببي: من خلال توجيه التنشيط (activation steering)، يوضح المؤلفون أن حقن متجهات على طول المحاور الرئيسية لهذا الفضاء الجزئي المستخرج يؤدي إلى إزاحة خطية في القراءة ثلاثية الأبعاد الداخلية للنموذج، مما يؤكد أن الفضاء الجزئي يُستخدم سببياً من قبل النموذج.

2.3 التنظيم الكامن عبر طاقة ديريكليه

مدفوعين بالتوصيف الهندسي، قدم المؤلفون منظم طاقة ديريكليه للضبط الدقيق:

• دالة الخسارة: يتم إضافة منظم أحادي الحد إلى خسارة نمذجة اللغة القياسية (cross-entropy) أثناء الضبط الدقيق تحت الإشراف (SFT):
  $$\mathcal{L}(\theta) = \mathcal{L}_{LM}(\theta) + \lambda_{dir} \cdot \mathcal{E}_X(P^\perp H_\ell(\theta))$$
  حيث $\mathcal{E}_X$ هي طاقة ديريكليه للتنشيطات المكانية المستخرجة $P^\perp H_\ell$ عبر رسم لابلاس البياني ذو نواة غاوس ثلاثية الأبعاد للمشهد.
• الضمانات النظرية:
  • النظرية 3 (القابلية للتحقيق): ضمان أن تشكيل الفضاء الكامن لتقليل طاقة ديريكليه يجعل الأسئلة المتعلقة بالعلاقات المكانية قابلة للفصل خطياً، مما يسمح لرأس اللغة الخطي بالإجابة عليها بشكل مثالي.
  • النظرية 4 (تعقيد العينات): يعمل المنظم على تقليص التباين غير المرتبط بالمهمة، مما يقلل من البعد الفعال لمشكلة التعلم من الفضاء عالي الأبعاد للتدفق المتبقي ($d \approx 4000$) إلى 3 أبعاد بالضبط (الأبعاد المكانية). وهذا يقلل نظرياً من تعقيد العينات بمعامل قدره $d/3$.
  • النظرية 5 (تفكيك المخاطر): يضمن وزن التنظيم المتوسط $\lambda$ التحسن في المهام المكانية، بينما قد يؤدي $\lambda$ المفرط إلى تشويه التدفق المتبقي والإضرار بالقدرات اللغوية.

3. النتائج الرئيسية

3.1 النتائج التشخيصية

• عدم التوازن التمثيلي: يكشف الفحص المباشر أن نماذج الرؤية واللغة (Qwen2.2.5-VL-7B, InternVL3-8B) تشفر لون وشكل الكائنات بدقة شبه كاملة، بينما يمكن استعادة الموقع ثلاثي الأبعاد جزئياً فقط.
• الهيمنة الدلالية: تُظهر التناقضات السلوكية أن تغيير ألوان الأشياء يؤدي إلى قلب التوقعات المكانية للنموذج في حوالي 41% من الحالات، وهو ما يقارب تقريباً حالات التغيير الفعلي للتخطيط ثلاثي الأبعاد (~48%). وهذا يؤكد اعتماد النموذج بشكل كبير على الإشارات الدلالية بدلاً من خريطة هندسية قوية.
• تخصص الطبقات: يكون الفضاء الجزئي المكاني المستخرج أكثر تميزاً في الطبقات "الوسطى" من فك التشفير (على سبيل المثال، الطبقات 13-21 في Qwen2.5-VL)، مما يشير إلى تقسيم وظيفي حيث تقوم الطبقات المبكرة بربط الميزات البصرية، والطبقات الوسطى ببناء الطبوغرافيا ثلاثية الأبعاد، والطبقات المتأخرة بالتعامل مع الاستدلال اللغوي.

3.2 أداء الضبط الدقيق

أدى تطبيق منظم طاقة ديريكليه على 500 خطوة من الضبط الدقيق باستخدام تقنية LoRA على بيانات اصطناعية بسيطة إلى تحسينات كبيرة في اختبارات القدرة على التعميم (zero-shot) في العالم الحقيقي:

• الاختبارات: VSI-Bench (الاستدلال ثلاثي الأبعاد دقيق التفاصيل) و MindCube (النمذجة الذهنية المكانية).
• مكاسب الأداء:
  • Qwen2.5-VL-7B: تحسنت الدقة الإجمالية من 29.3% (LoRA العادي) إلى 35.6%.
  • InternVL3-8B: تحسنت الدقة الإجمالية من 36.7% إلى 42.4%.
• تحسينات مهام محددة: أظهرت الطريقة أكبر المكاسب في المهام التي تتطلب فهم طبوغرافيا المشهد، مثل الاتجاه النسبي (تحسن يصل إلى +12.1%) وتقدير المسافة المطلقة.
• المقارنة مع المراجع: تفوقت الطريقة على LoRA العادي، والتنظيم المكاني ثنائي الأبعاد (الذي فشل في التقاط الهندسة ثلاثية الأبعاد الحقيقية)، وتنبؤ الخريطة المعرفية في المجال النصي (الذي أجبر النموذج على إخراج الإحداثيات كنص بدلاً من استيعانها داخلياً).

4. الأهمية والادعاءات

يدعي البحث تقديم منهجية مبدئية لتطوير نماذج رؤية ولغة تمتلك خرائط معرفية قوية وأصلية. وتكمن أهميته في:

1. إثبات الوجود الكامن: إثبات أن نماذج الرؤية واللغة القياسية تمتلك بالفعل تمثيلاً طبوغرافياً كامناً ثلاثي الأبعاد، لكنه محجوب بالدلالات البصرية المهيمنة.
2. التشكيل الرياضي: تقديم تنظيم قائم على أسس رياضية (طاقة ديريكليه) الذي يربط الهندسة الداخلية للنموذج بالفضاء الفيزيائي ثلاثي الأبعاد، والمستمد من نظرية الرسم البياني الطيفي.
3. كفاءة البيانات: إظهار إمكانية تحقيق كفاءة قصوى في البيانات من خلال تقليل البعد الفعال لمشكلة التعلم، مما يسمح بالتعميم على اختبارات العالم الحقيقي المعقدة من خلال عدد ضئيل من الخطوات (500 خطوة).
4. الاستقلالية: النهج مستقل عن الطرق الحالية التي تعتمد على وسائط ثلاثية الأبعاد خارجية أو توسيع البيانات بشكل هائل، مما يوفر وسيلة لتعزيز الاستدلال المكاني ضمن بنية نموذج الرؤية واللغة القياسية دون تعديلات هيكلية.

يخلص المؤلفون إلى أنه من خلال عزل وتشكيل هذا الفضاء الجزئي، يمكن تعزيز قدرات الاستدلال المكاني لنماذج الرؤية واللغة بشكل كبير، مما يجعلها أقرب إلى الخرط المعرفية الحافظة للطبوغرافيا كما لوحظ في الكائنات البيولوجية.