ملخص تقني: كيف وماذا نتخيل؟ التفكير البصري في النماذج متعددة الوسائط الموحدة للاستدلال المكاني عبر الرؤى المتعددة

بيان المشكلة

لا يزال الاستدلال المكاني عبر الرؤى المتعددة (cross-view spatial reasoning) — وهو القدرة على استنتاج تخطيط المشهد، ووضع الأشياء، والهندسة من صور مأخوذة من وجهات نظر مختلفة — يمثل نقطة ضعف كبيرة في نماذج الرؤية واللغة (VLMs). وبينما تتفوق هذه النماذج في المهام ذات الصورة الواحدة، إلا أنها تؤدي أداءً هامشياً فوق مستوى الصدفة في المهام التي تتطلب رؤى متعددة. ويرى المؤلفون أن هذا يعود إلى عدم تطابق في التمثيل: فالاستدلال عبر الرؤى المتعددة هو عملية بصرية بطبيعتها، ومع ذلك فإن نماذج الرؤية واللغة تعتمد عادةً على التفكير من خلال اللغة، حيث تحول الملاحظات إلى وسائط نصية تفتقر إلى التفاصيل الهندسية الدقيقة المطلوبة لهذه المهمة.

تحاول نهج "التفكير بالصورة" (think-with-image) الحديثة سد هذه الفجوة عبر توليد تمثيلات بصرية وسيطة (مثل إعادة البناء ثلاثي الأبعاد، أو خرائط العمق، أو مسارات الكاميرا المتوقعة). ومع ذلك، تشير الأعمال السابقة إلى أن الأدلة البصرية في هذه المسارات المولدة يتم تجاهلها إلى حد كبير من قبل مسار إجابة النموذج. ففي ظل الضبط الدقيق الخاضع للإشراف القياسي (SFT)، تولد النماذج صور تفكير تبدو منطقية، لكنها تعتمد على الرؤى الأصلية للمدخلات للإجابة، مما يجعل "التفكير البصري" مجرد نتاج ثانوي زخرفي بدلاً من كونه مكوناً وظيفياً في عملية الاستدلال.

المنهجية

1. النماذج متعددة الوسائط الموحدة (UMMs)

تستخدم الدراسة النماذج متعددة الوسائط الموحدة (تحديداً نموذج BAGEL)، والتي تدعم بشكل أصيل توليد النصوص والصور المتداخلة. تسمح هذه البنية للنموذج بتوليد تمثيل بصري وسيط (الـ "صورة التفكير") كجزء من سلسلة الاستدلال قبل إنتاج الإجابة النصية، مما يتيح التعلم من البداية إلى النهاية دون الحاجة لأدوات خارجية.

2. إسقاط الرؤية (View Dropout - VDrop)

لمعالجة عدم الاستخدام الأمثل للتفكير البصري، يقترح المؤلفون تدخل إسقاط الرؤية (VDrop)، وهو تدخل أثناء التدريب مصمم لإجبار النموذج على الاعتماد على "صورة التفكير" المولدة.

• الآلية: أثناء التدريب، يتم حجب منطقة متصلة من أحد الرؤى المدخلة ($V_1$ أو $V_2$) من نطاق انتباه رموز الإجابة (answer tokens). ومع ذلك، تحتفظ رموز "صورة التفكير" بالوصة الكاملة إلى الرؤى غير المحجوبة من المدخلات.
• الأثر: يخلق هذا نوعاً من "حظر المسار المختصر". بما أن رموز الإجابة لا يمكنها رؤية المنطقة المحجوبة من الرؤية المدخلة، يجب عليها توجيه استدلالها المكاني عبر "صورة التفكير" المولدة لاستعادة معلومات التخطيط المفقودة.
• المنهج التعليمي (Curriculum): تسمح مرحلة الإحماء (warmup) للنموذج بتعلم كيفية توليد واستخدام صورة التفكير مع إمكانية الوصول الكاملة للمدخلات. بعد ذلك، يتم تقليل احتمالية الحجب تدريجياً حتى تصل إلى 100%، مما يضمن تعلم النموذج الاعتماد على صورة التفكير قبل حجب الرؤى المدخلة بالكامل.

3. استراتيجيات التفكير البصري

تقارن الدراسة بين ثلاثة أنواع متميزة من "صور التفكير" لتحديد أي منها الأكثر فعالية، وتؤطر ذلك ضمن مقايضة القابلية للتعلم – الغنى المعلوماتي (L–I tradeoff):

• الرؤية البانورامية (Panoramic View): عرض بزاوية عريضة من وضعية المراقب، يدمج الرؤيتين في مجال بصري واحد.
• الرؤية من الأعلى (Top-Down View): عرض من زاوية عالية يكشف عن التخطيط العام وجوانب الأشياء.
• مطابقة النقاط (Point Matching): عرض الرؤيتين المدخلتين جنباً إلى جنب مع علامات ملونة تشير إلى الأشياء المتقابلة.

يشير الغنى المعلوماتي (Informativeness) إلى مقدار ما يكشفه النوع عن البنية المكانية. أما القابلية للتعلم (Learnability) فتشير إلى مدى موثوقية قدرة النموذج (UMM) على إنتاج نسخ وفية لتلك الأنواع من البيانات.

4. التدريب والتقييم

• البيانات: تم إجراء التدريب على 8,000 عينة اصطناعية من Infinigen Indoors، والتي تضم أربعة أنواع من الأسئلة عبر الرؤى المتعددة: المرتكز (Anchor)، العد (Counting)، المسافة النسبية (Relative Distance)، والاتجاه النسبي (Relative Direction).
• الاختبارات المرجعية: شمل التقييم اختباراً داخلي النطاق (ID) وهو (COSMIC)، وخمسة اختبارات واقعية خارج النطاق (OOD) وهي (MMSI-Bench, MindCube, OmniSpatial, STARE-Perspective, BLINK-MultiView).
• التحقق السببي: تم استخدام فحص "التوليد ثم التعمية" (generate-then-blind) عند الاستنتاج. يقوم النموذج بتوليد صورة التفكير، ولكن يتم حجب انتباه نطاق الإجابة عن صورة التفكير. أي انخفاض في الدقة يشير إلى أن صورة التفكير كانت مكوناً حاملاً للحمل (load-bearing) بشكل سببي.

النتائج الرئيسية

1. VDrop يجعل التفكير البصري سببياً

• حمل العبء (Load-Bearing): بدون VDrop، لا يؤثر حجب "صورة التفكير" المولدة عند الاستنتاج إلا بشكل طفيف على الدقة. أما مع VDrop، فإن تعمية صورة التفكير تؤدي إلى انخقات كبيرة في الدقة (على سبيل المثال، انخفاض بنسبة +12.8% في BLINK)، مما يؤكد أن النموذج يعتمد حقاً على الوسيط البصري.
• تحول الانتباه: يظهر تحليل الانتباه أن VDrop يزيد من حصة انتباه رموز الإجابة على صورة التفكير من ~55% (في الحالة العادية) إلى ~65%، خاصة في طبقات فك التشفير المبكرة والمتوسطة.

2. مقايضة القابلية للتعلم – الغنى المعلوماتي

• البانورامية: تحقق أفضل توازن. فهي غنية معلوماتياً للغاية (تكشف المشهد المشترك مباشرة) وقابلة للتعلم بدرجة عالية (يولد النموذج نسخاً وفية لها). وهي تحقق أعلى مستويات التعميم خارج النطاق (OOD).
• من الأعلى (Top-Down): غنية معلوماتياً ولكنها قابلة للتعلم جزئياً فقط. يواجه النموذج صعوبة في تركيب وجهة النظر غير المرئية بدقة هندسية تامة، مما يؤدي إلى نتائج مختلطة.
• مطابقة النقاط: محدودة بسبب انخفاض الغنى المعلوماتي (فهي لا تنشئ وجهة نظر جديدة) وقابلية تعلم متوسطة (وضع العلامات الدقيقة صعب). وهي تحقق أقل المكاسب.

3. مكاسب الأداء

• الكفاءة: التكوين الأفضل (البانورامي + VDrop) الذي تدرب على 8 آلاف عينة فقط، حقق متوسط دقة خارج النطاق (OOD) بنسبة 40.0%.
• المقارنة: يتفوق هذا الأداء على:
  • نموذج BAGEL الأصلي (33.3%).
  • النماذج القوية العامة مثل Qwen3-VL-8B (37.0%).
  • طرق التفكير البصري السابقة التي تدربت على بيانات أكثر بكثير: ThinkMorph (24 ألف عينة، 37.2%) و BAGEL-Zebra-CoT (182 ألف عينة، 26.8%).
• النماذج المرجعية غير البصرية: يتفوق التفكير البصري مع VDrop بشكل كبير على النماذج المرجعية غير البصرية (No-Think و Text Chain-of-Thought)، حيث كان أداء Text CoT في الواقع أسوأ من الإجابة المباشرة، غالباً بسبب عدم اتساق الإشراف النصي.

الأهمية والادعاءات

يزعم البحث أن العقبة الرئيسية أمام التفكير البصري في النماذج متعددة الوسائط الموحدة ليست حجم البيانات، بل هي إشارة التدريب.

• عدم الاستخدام هو نمط فشل: حدد المؤلفون أن الضبط الدقيق القياسي (SFT) يؤدي إلى تفكير بصري "زخرفي" حيث يتجاهل النموذج صوره المولدة.
• VDrop كحل: يعد VDrop تدخلاً بسيطاً ومستقلاً عن البنية، يجبر صورة التفكير على أن تصبح مكوناً حاملاً للحمل (causally load-bearing) في عملية الاستدلال.
• التمثيل مهم: بمجرد إجبار النموذج على الاستخدام، يصبح اختيار التمثيل أمراً حاسماً. توضح الدراسة أن التفكير البصري البانورامي هو الاستراتيجية المتفوقة لأنه غني معلوماتياً وقابل للتعلم في آن واحد، بينما تفشل الاستراتيجيات الأخرى في أحد هذين المحورين أو كليهما.
• كفاءة البيانات: تشير النتائج إلى أنه مع التدخل التدريبي الصحيح (VDrop) والتمثيل المناسب (البانورامي)، يمكن تحقيق استدلال مكاني عبر الرؤى المتعددة بجودة عالية باستخدام بيانات أقل بكثير (8 آلاف عينة) مما تطلبه الطرق السابقة.

المحددات

يشير المؤلفون إلى أن نتائجهم تم التحقق منها على بنية واحدة للنماذج متعددة الوسائط (BAGEL)، وقد لا تنتقل إلى بنيات أخرى دون مزيد من الدراسة. بالإضافة إلى ذلك، فإن VDrop يجبر النموذج على استخدام صورة التفكير ولكنه لا يحسن جوهرياً من جودة الصورة المولدة؛ فإذا كانت الصورة المولدة منخفضة الدقة، فإن إجبار النموذج على الاعتماد عليها سيؤدي إلى فوائد محدودة. يجب أن يجمع العمل المستقبلي بين VDrop وبين الإشراف الذي يحسن من دقة توليد صورة التفكير نفسها.