Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs

ملخص تقني: تشخيص وتجاوز العمى الحركي الاتجاهي في نماذج الفيديو اللغوية الكبيرة (Video-LLMs)

المشكلة: العمى الحركي الاتجاهي
على الرغم من التقدم السريع في الفهم الزمني للفيديو، تُظهر نماذج الفيديو اللغوية الكبيرة (Video-LLMs) فشلاً جوهرياً في إدراك اتجاه الحركة الموقّع على مستوى مستوي الصورة. في الفيديوهات الاصطناعية البسيطة حيث يتحرك جسم واحد بدقة نحو اليسار أو اليمين أو الأعلى أو الأسفل، تؤدي معظم هذه النماذج أداءً يقترب من العشوائية (25%)، حتى عندما تتعرف بشكل صحيح على مظهر الجسم (مثل اللون). يطلق المؤلفون على هذه الظاهرة اسم العمى الحركي الاتجاهي.

من خلال التحليل الميكانيكي، يشخص المؤلفون السبب الجذري ليس في نقص الإدراك البصري، بل في فجوة ربط الاتجاه (direction binding gap). إنهم يثبتون أن معلومات اتجاه الحركة تظل متاحة خطياً طوال مسار نموذج Video-LLM — من مشفر الرؤية، مروراً بالمحول (projector)، وصولاً إلى الحالات الخفية للنموذج اللغوي الكبير (LLM). ومع ذلك، تفشل وحدة القراءة النهائية (readout token) في ربط هذه الإشارة الداخلية بشكل موثوق بالخيار اللفظي الصحيح (على سبيل المثال، ربط إشارة "التحرك لليسار" المدركة بخيار النص "يسار"). تستمر هذه الفجوة عبر بنيات ونطاقات متنوعة، مما يشير إلى وجود قيود هيكلية في كيفية تحويل هذه النماذج للإشارات الإدراكية إلى استجابات لغوية.

المنهجية
يقدم البحث إطاراً تشخيصياً محكماً وحلاً يعتمد على التدريب فقط لمعالجة هذه الفجوة.

1. عائلة مجموعة بيانات MODIRECT:
لعزل وتقييم فهم اتجاه الحركة، قدم المؤلفون عائلة مجموعة بيانات MODIRECT التي تضم ثلاثة أقسام:

• MODIRECT-INST: مجموعة بيانات لضبط التعليمات (instruction-tuning) مشتقة من أبسط مجال اصطناعي (Primitive-on-Syn)، تُستخدم لتدريب النماذج على الاستعلامات المتعلقة بالاتجاه.
• MODIRECT-SYNBENCH: معيار اصطناعي محكم بتصميم عاملي $2 \times 2$ (المقدمة: Primitive مقابل Cutout؛ الخلفية: Synthetic مقابل Real). يسمح هذا بالتقييم الصارم للأداء داخل النطاق (in-domain) والتعميم خارج النطاق (OOD).
• MODIRECT-REALBENCH: معيار عالمي حقيقي تم تجميعه من مجموعات بيانات موجودة (Something-Something-V2, KTH, TOMATO) لاختبار القدرة على الانتقال إلى الفيديوهات الطبيعية دون إشراف حركي في العالم الحقيقي أثناء التدريب.

2. التحليل التشخيصي:
استخدم المؤلفون الاختبار الخطي (linear probing) وتحليل ناقلات المفاهيم (difference-in-means) لتتبع إشارة اتجاه الحركة.

• النتائج: بينما ينجح ضبط التعليمات على النطاق المصدر (Primitive-on-Syn) في سد فجوة الربط لهذا النطاق المحدد، إلا أن الأداء يتدهور بشكل كبير في النطاقات المعقدة خارج النطاق (مثل Cutout-on-Real).
• السبب الجذري للفشل خارج النطاق (OOD): يكشف تحليل ناقلات مفاهيم اتجاه الحركة أنه بينما يتوافق التوجه (الاتجاه في فضاء التمثيل) عبر النطاقات بعد الضبط، فإن مقدار (magnitude) الإشارة ينخفض بحدة في البيئات البصرية المعقدة. يتعلم النموذج هيكل الاتجاه الصحيح، لكن الإشارة تصبح ضعيفة جداً بحيث لا يمكن قراءتها بشكل موثوق بواسطة الرأس اللغوي.

3. DeltaDirect:
لمعالجة نقص المقدار، اقترح المؤلفون هدفاً إضافياً (auxiliary objective) يعمل فقط أثناء التدريب ويُطبق على مستوى المحول (projector).

• الآلية: يتنبأ DeltaDirect بنواقل حركة ثنائية الأبعاد طبيعية (normalized 2-D motion vectors) من فروق الميزات بين الإطارات المتتالية ($\delta_t = F_{t+1} - F_t$) قبل دخول الميزات إلى النموذج اللغوي الكبير.
• الإشراف: يستخدم نواقل الحركة المتاحة تحليلياً من البيانات الاصطناعية كأهداف للإشراف. تشجع دالة الخسارة مخرجات المحول على حمل إشارة إزاحة موقّعة أقوى.
• الاستنتاج: يتم التخلص من الفرع الإضافي بعد التدريب، مما يترك بنية النموذج، وتنسيق المدخلات، وإجراءات فك التشفيد دون تغيير.

المساهمات الرئيسية

1. تحديد العمى الحركي الاتجاهي: يثبت البحث أن نماذج Video-LLMs تفشل في التمييز بين اتجاهات الحركة الموقّعة الأساسية رغم قوة التعرف على المظهر، ويشخص ذلك كفجوة في ربط الاتجاه وليس فشلاً في الإدراك.
2. تشخيص فشل التعميم: من خلال تحليل ناقلات المفاهيم، يوضح المؤلفون أن ضبط التعليمات يوفق توجهات الاتجاه عبر النطاقات ولكنه يفشل في الحفاظ على مقدار الإشارة في الظروف البصرية المعقدة، مما يؤدي إلى فجوات التعميم خارج النطاق (OOD).
3. MODIRECT و DeltaDirect: تقديم عائلة مجموعة بيانات محكومة لاتجاه الحركة، وهدف تشخيصي مدفوع بالنتائج يعمل على مستوى المحول (DeltaDirect) لتقوية إشارات الحركة دون تغيير عملية الاستنتاج.

النتائج

• الأداء الاصطناعي: في MODIRECT-SYNBENCH، يحسن ضبط التعليمات وحده الدقة من ~26% إلى ~79%. إضافة DeltaDirect ترفع المتوسط إلى 85.4%، مع زيادة كبيرة قدرها 11.2 نقطة في المجال الأصعب (Cutout-on-Real).
• الانتقال إلى العالم الحقيقي: دون رؤية فيديوهات حقيقية أثناء التدريب، يحسن DeltaDirect دقة اتجاه الحركة في العالم الحقيقي في MODIRECT-REALBENCH بمقدار 21.9 نقطة عن النموذج الأساسي (من 43.1% إلى 65.0%).
• فهم الفيديو العام: من المهم ملاحظة أن DeltaDirect يحافظ على الأداء أو يحسنه في معايير فهم الفيديو العامة (مثل MVBench و NExT-QA)، مما يثبت أن الإشراف الحركي لا يأتي على حساب القدرات الموسعة للفيديو.
• القابلية للتوسع: النهج فعال عبر مختلف النماذج الأساسية (LLaVA-Video, LLaVA-OneVision, Qwen3-VL) وأنظمة التدريب (LoRA و Full Fine-Tuning).

الأهمية والادعاءات
يزعم البحث أن فشل نماضج Video-LLMs في اتجاه الحركة لا يعود إلى نقص البيانات المرئية أو قدرة النموذج، بل هو فشل محدد في ربط الإشارات الإدراكية الداخلية بالمخرجات اللفظية. ومن خلال تحديد هذا الفشل في "نقص المقدار" في النطاقات المعقدة، يجادل المؤلفون بأن الإشراف المدفوع بالتشخيص هو مسار قابل للتطبيق لسد الفجوات بين الإدراك واللغة. يثبت DeltaDirect أن الإشراف صراحةً على نواقل الحركة عند الواجهة بين الرؤية واللغة يمكن أن يحسن فهم الحركة بشكل كبير مع الحفاظ على قدرات الفيديو العامة، مما يشير إلى أن نماذج Video-LLM المستقبلية قد تستفيد من تدخلات مستهدفة مماثلة تتجاوز مجرد زيادة حجم النماذج أو مجموعات البيانات. يسلط العمل الضوء على أهمية المعايير الاصطناعية المحكومة لتشخيص العناصر الإدراكية الأولية التي غالباً ما تكون متشابكة في التقييمات الواقعية.