LRR-Bench: Left, Right or Rotate? Vision-Language models Still Struggle With Spatial Understanding Tasks

إليك ملخص تقني مفصل لورقة البحث: "LRR-Bench: هل هو يسار، أم يمين، أم دوران؟ نماذج الرؤية واللغة لا تزال تعاني في مهام الفهم المكاني."

1. بيان المشكلة

بينما حققت نماذج الرؤية واللغة (VLMs) تقدماً كبيراً في الفهم البصري العام، إلا أن قدرتها على إجراء إدراك مكاني دقيق لا تزال غير مستكشفة بشكل كافٍ وغير كافية للتطبيقات الحرجة من حيث السلامة مثل القيادة الذاتية والتحكم الروبوتي. تركز الاختبارات المرجعية الحالية بشكل أساسي على:

• العلاقات المكانية النسبية الأساسية (مثل: "هل الكائن أ يقع إلى يسار الكائن ب؟") في الصور الطبيعية.
• الاستدلال الموضعي الساكن.

وهي تفشل إلى حد كبير في معالجة القدرات المكانية المعقدة والواقعية مثل إدراك الحركة، والحركة النسبية، والحركة المتسلسلة، والتحولات المكانية ثلاثية الأبعاد (الدوران والترجمة) التي تشمل كل من الكاميرا والكائنات. غالباً ما تعتمد النماذج الحالية على تلوث البيانات أو تفتقر إلى الدقة للتمييز بين الموقع المطلق والتغيرات الديناميكية ثلاثية الأبعاد.

2. المنهجية: LRR-Bench

قدم المؤلفون LRR-Bench، وهو اختبار مرجعي اصطناعي بالكامل ومسار تقييم مصمم لاختبار نماذج الرؤية واللغة في الفهم المكاني دون تلوث البيانات.

أ. مسار توليد البيانات

لضمان التوليد منخفض التكلفة ومنع تسرب بيانات التدريب، فإن مجموعة البيانات اصطناعية بالكامل:

• المهام الساكنة (الموقع المطلق والعمق): تم توليدها باستخدام نماذج الانتشار (Diffusion Models) (Flux.1-S). تم تصفية الصور باستخدام GroundingDINO (للكشف عن الكائنات ودرجة الثقة) و SAM (نموذج تقسيم أي شيء) مدمجاً مع Depth-Anything-V2 لضمان دقة العمق ووجود الكائنات.
• المهام الديناميكية/ثلاثية الأبعاد (الحركة والدوران): تم توليدها باستخدام Minecraft. تسمح هذه البيئة بالتحكم الدقيق في حركية الكاميرا والكائنات (الترجمة والدوران) لإنشاء تسلسلات صورية.
• التصفية: تقوم خطوة المعالجة اللاحقة بإزالة العينات منخفضة الجودة أو الغامضة، مما يضمن أن الحقيقة الأرضية (ground truth) دقيقة رياضياً.

ب. تصنيف المهام

يصنف الاختبار المرجعي الفهم المكاني إلى مجالين رئيسيين، ينقسم بدورهما إلى 9 مهام محددة:

1. الفهم المكاني المطلق (2D):

   • الموقع (Pos.): اكتشاف ما إذا كان الكائن في موقع مطلق محدد (مثل: أسفل اليسار) داخل صورة واحدة.
   • تركيب الموقع (Pos. C.): تحديد مواقع الكائنات داخل صورة مركبة تحتوي على عدة صور فرعية.
   • تسلسل الموقع (Pos. S.): تحديد ما إذا كانت مواقع الكائنات في تسلسل من الصور غير المرتبطة تطابق معايير محددة (لاختبار عزل السياق).

2. الفهم المكاني ثلاثي الأبعاد (ديناميكي):

   • العمق (Dep.): تحديد أي من كائنين هو الأقرب (أمام/خلف).
   • دوران الكاميرا (Ca. R.): اكتشاف اتجاه دوران الكاميرا في تسلسل ما.
   • حركة الكاميرا (Ca. M.): اكتشاف اتجاه ترجمة الكاميرا (للأمام/للخلف/يسار/يمين).
   • اتجاه رأس الكائن (Obj. H. D.): تحديد اتجاه مواجهة الكائن المستهدف.
   • اتجاه حركة الكائن (Obj. M. D.): تحديد ما إذا كانت حركة الكائن تتماشى مع اتجاه رأسه.
   • حركة الكائن (Obj. M.): اكتشاف ما إذا كان الكائن قد تحرك بالنسبة للخلفية عندما تتحرك كل من الكاميرا والكائن.

ملاحظة: بالنسبة للمهام المتمحورة حول الكائن، يتم توفير نسخة "واضحة" (Clear) حيث تتم إزالة مشتتات الخلفية لعزل قدرة النموذج على تتبع الهدف.

ج. مقاييس التقييم

• التسجيل (Scoring): يتم تحويل الدقة إلى درجة $s_i = 2(p_i - 50)$ إذا كانت $p_i \ge 50$، وإلا فالنتيجة 0. هذا يعاقب التخمين العشوائي (دقة 50%) ويكافئ الأداء فوق مستوى الصدفة.
• استراتيجيات التلقين (Prompting): تم اختبار النماذج باستراتيجيتين:
  1. الإجابة المباشرة: استجابة "نعم/لا".
  2. الاستدلال (CoT): "فكر خطوة بخطوة" قبل الإجابة.
• الخط المرجعي البشري: تم اختبار 10 متطوعين بشريين لتحديد سقف الأداء.

3. المساهمات الرئيسية

1. مجموعة بيانات LRR-Bench: مجموعة بيانات اصطناعية بالكامل، خالية من التلوث، تغطي 9 مهام مكانية متميزة، تتراوح من التمركز المطلق ثنائي الأبعاد إلى الاستدلال الحركي ثلاثي الأبعاد المعقد.
2. تقييم شامل: تقييم أكثر من 20 نموذجاً من نماذج الرؤية واللغة الحديثة (بما في ذلك GPT-4o، Qwen-VL، InternVL، LLaVA، ونماذج ثلاثية الأبعاد متخصصة) بأحجام بارامترات تصل إلى 72 مليار.
3. رؤى نقدية: تتحدى الورقة الافتراض بأن النماذج الأكبر أو استدلال سلسلة الأفكار (CoT) يحسنان الفهم المكاني تلقائياً.

4. نتائج التجارب

تكشف النت نتائج عن فجوة كبيرة بين الأداء البشري ونماذج الرؤية واللغة الحالية:

• الأداء البشري مقابل أداء النماذج: حقق البشر درجات تقترب من الكمال (~90-100%) في جميع المهام. في المقابل، اقتربت أفضل نماذج الرؤية واللغة أداءً (مثل GPT-4o و Qwen2.5-72B) من المستويات البشرية في المهام الأبسط فقط (الموقع و العمق).
• الفشل المكاني ثلاثي الأبعاد: تحقق نماذج الرؤية واللغة نتائج تقترب من الصفر في معظم المهام ثلاثية الأبعاد (حركة الكاميرا، حركة الكائن، الدوران). على سبيل المثال، في مهمة حركة الكاميرا، سجلت معظم النماذج 0، حيث وصل GPT-4o إلى 16 فقط.
• مفارقة "الاستدلال":
  • بالنسبة للمهام البسيطة، لم يقدم استدلال CoT أي فائدة كبيرة.
  • بالنسبة للمهام المعقدة، غالباً ما أدى CoT إلى تدهور الأداء. على سبيل المثال، انخفض أداء InternVL2.5-72B من درجة 57 إلى 0 في مهمة دوران الكاميرا عند إجباره على الاستدلال أولاً، مما يشير إلى أن الاستدلال يسبب الهلوسة في السياقات المكانية.
• عدم فعالية التوسع والضبط الدقيق:
  • توسع البارامترات: لم يؤدِ زيادة حجم النموذج (مثل الانتقال من 7B إلى 72B) إلى تحسين الاستدلال المكاني ثلاثي الأبعاد بشكل ثابت.
  • التدريب المتخصص: النماذج التي تم ضبطها بدقة على مجموعات بيانات ثلاثية الأبعاد (مثل LLaV-3D، SpaceQwen) أو باستخدام تحسين التفضيل (MPO) غالباً ما كان أداؤها أسوأ من نظيراتها الأساسية، مما يشير إلى أن بيانات التدريب ثلاثية الأبعاد الحالية أو استراتيجيات RL لا تعمم جيداً على الاستدلال الحركي.
• لا يوجد فائز عالمي: لم يتفوق نموذج واحد في جميع المهام. فالنموذج الذي يتفوق في التمركز المطلق غالباً ما يفشل تماماً في اكتشاف الحركة.

5. الأهمية والخاتمة

• قصور نماذج الرؤية واللغة الحالية: تثبت الدراسة أنه رغم التوسع الهائل والتدريب المتقدم، تفتقر نماذج الرؤية واللغة إلى تمثيل جوهري وقوي للهندسة ثلاثية الأبعاد والحركية. إنها تكافح لدمج المعلومات متعددة المشاهد في نموذج مكاني متماسك.
• الهلوسة في الاستدلال: إن حقيقة أن استدلال CoT يمكن أن يضر بالمهام المكانية تشير إلى أن "استدلال" هذه النماذج هو غالباً تبرير لاحق (post-hoc rationalization) يؤدي إلى أخطاء في المنطق الهندسي.
• الاتجاهات المستقبلية: تسلط الورقة الضوء على أن تحسين الفهم المكاني يتطلب أكثر من مجرد التوسع أو RLHF القياسي. إنه يتطلب:
  • دمجاً أفضل للقوانين الفيزيائية والمبادئ الحركية.
  • نماذج تدريب جديدة تستهدف تحديداً التحولات ثلاثية الأبعاد.
  • الانتقال من تحليل الصور الساكنة إلى الاستدلال المكاني الديناميكي والمتسلسل.

الخلاصة: يعمل LRR-Bench كأداة تشخيصية حرجة، كاشفاً أن نماذج الرؤية واللغة الحالية ضعيفة جوهرياً في الفهم المكاني، وخاصة فيما يتعلق بالحركة والدوران ثلاثي الأبعاد، مما يشكل عائقاً كبيراً أمام نشرها في مجالات الروبوتات والأنظمة ذاتية القيادة.