MASS: Motion-Aware Spatial-Temporal Grounding for Physics Reasoning and Comprehension in Vision-Language Models

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحاً كبيراً في مهام الفيديو القياسية مثل الوصف (captioning) والتعرف على الأحداث. ومع ذلك، فإنها تعاني في الاستدلال الفيزيائي، لا سيما المهام التي تتطلب فهماً لـ:

• ديناميكيات الحركة: كيف تتحرك الأجسام، وتتفاعل، وتتغير حالتها بمرور الوقت.
• التفاعلات المكانية: التخطيطات المكانية ثلاثية الأبعاد والعلاقات الهندسية.
• المعقولية الفيزيائية: التمييز بين الفيزياء الواقعية والعيوب في المحتوى المولد بواسطة الذكاء الاصطناعي (AIGC).

غالباً ما تعتمد نماذج الرؤية واللغة الحالية على الارتباطات السطحية بين النصوص والأنماط البصرية بدلاً من استيعاب القوانين الفيزيائية داخلياً. وهي تفشل في التعميم عبر العمليات الفيزيائية المتنوعة، خاصة عند التعامل مع السيناريوهات الواقعية المضادة (على سبيل المثال، تفاحة تطفو للأعلى) أو فيديوهات الـ AIGC التي تحتوي على انتهاكات فيزيائية. كما تفتقر مجموعات البيانات الحالية إلى التوصيفات المكانية والزمانية الكثيفة على مستوى الكيان (entity-level) المطلوبة لتعليم النماذج هذه الديناميكيات الدقيقة.

2. المنهجية: إطار عمل MASS

يقترح المؤلفون MASS (الربط المكاني-الزماني المدرك للحركة)، وهو نهج مستقل عن النموذج مصمم لضخ إشارات فيزيائية مهيكلة في الفضاء اللغوي لنماذج الرؤية واللغة دون الحاجة لإعادة تدريب النموذج بالكامل من الصفر.

أ. التمثيل المكاني-الزماني المرتبط بالحركة

بدلاً من تغذية النماذج ببيكسلات الفيديو الخام وحدها، يقوم MASS باستخراج وإرسلة إشارات فيزيائية صريحة:

1. الربط البصري المرتكز على الكيان: يستخدم Grounding-DINO للكشف عن صناديق الإحاطة (bounding boxes) للكيانات المستعلم عنها، و SAM2 لتوليد أقنعة التجزئة (segmentation masks).
2. تتبع الحركة ثلاثي الأبعاد: يستخدم CoTracker3 لتتبع مسارات النقاط داخل المناطق المرتبطة، وحساب ناقلات الحركة (motion vectors) والإزاحات ثلاثية الأبعاد.
3. تقدير العمق: يستخدم Depth Anything V2 لتقدير العمق لكل إطار، مما يسمح بإسقاط الحركة ثنائية الأبعاد في فضاء ثلاثي الأبعاد.
4. التسلسل (Serialization): يتم تحويل هذه الإشارات (المواقع ثلاثية الأبعاد، ناقلات الحركة، صناديق الإحاطة، والمقاطع الزمنية) إلى قوالب لغوية طبيعية مهيكلة. وهذا يسمح لنموذج الرؤية واللغة "بقراءة" فيزياء المشهد (على سبيل المثال، "تحرك الكيان X من <x1,y1,z1> إلى <x2,y2,z2> مع ناقل <dx,dy,dz>") بدلاً من استنتاجها من الرموز البصرية المضغوطة.

ب. مسار التدريب

• استراتيجية ما بعد التدريب (Post-Training Strategy): يتم إبقاء المشفرات المكانية-الزمانية (التتبع، العمق) مجمدة. ويتم ضبط نموذج الرؤية واللغة الأساسي (backbone) لتفسير هذه الإشارات النصية الجديدة.
• الضبط الدقيق بالتعزيز (RFT): يستخدم المؤلفون تحسين السياسة النسبي للمجموعات (GRPO) مع دالة مكافأة مدركة زمنياً. وهذا يشجع النموذج على توليد سلسلة من الأفكوت (Chain-of-Thought) للاستدلال الذي يربط الأدلة البصرية بالقوانين الفيزيائية، بدلاً من الاعتماد على الأولويات اللغوية.
• الضبط الدقيق الخاضع للإشراف (SFT): يُستخدم كدراسة مقارنة أساسية، لكن النتائج تظهر أن RFT يتفوق في الاستدلال الفيزيائي المعقد.

3. المساهمات الرئيسية

أ. MASS-Bench (المعيار المرجعي)

معيار شامل يتكون من 4,350 فيديو (واقعي وAIGC) و 8,361 زوجاً من الأسئلة والأجوبة مفتوحة الشكل.

• مصادر البيانات: يجمع بين بيانات العالم الحقيقي (MotionSight, ActivityNet) وبيانات اصطناعية/AIGC (VideoPhy2, VideoHallu, Sora, Wan2.2, COSMOS).
• عمق التوصيف: على عكس المعايير السابقة، يتضمن MASS-Bench توصيفات كثيفة للربط الحركي:
  • التجزئة الزمنية.
  • الربط البصري على مستوى الكيان (صناديق الإحاطة).
  • الملفات التعريفية الزمنية للفيديو الكامل.
  • سمات الحركة ثلاثية الأبعاد (مواقع البداية/النهاية، ناقلات الإزاحة).
• الفئات: تُصنف الأسئلة إلى خمسة مستويات من الصعوبة: الفهم المكاني، الفهم الزماني، التعرف على الحركة والعمل، فهم الفيزياء، واكتشاف الشذوذ الفيزيائي.

ب. خوارزمية MASS

وحدة مبتكرة قابلة للتركيب والتشغيل (plug-and-play) تسد الفجوة بين ديناميكيات الفيديو الخام واستدلال نماذج الرؤية واللغة من خلال ترجمة الإشارات الفيزيائية للعالم إلى تمثيلات لغوية قابلة للتفسير.

ج. التحقق التجريبي

تجارب واسعة النطاق تثبت أن تعزيز النماذج الصغيرة باستخدام MASS يؤدي إلى أداء يضاهي أو يتجاوز النماذج الأكبر بكثير والمغلقة المصدر.

4. النتائج التجريبية

قام المؤلفون بتقييم 12 نموذجاً من نماذج الرؤية واللغة الحديثة (تتراوح من 7 مليار إلى 38 مليار معلمة، بما في ذلك GPT-4o و Gemini-2.5-Flash) على MASS-Bench.

• مكاسب الأداء:
  • حقق نموذج Qwen2.5-VL-7B + MASS دقة إجمالية بلغت 61.93%، متفوقاً على أفضل نموذج مفتوح المصدر السابق (Qwen3-VL-8B) بنسبة 8.7%، وتجاوز Gemini-2.5-Flash (63.18%) بفارق ضئيل (حوالي 1.2% فقط)، رغم أنه نموذج بـ 7 مليارات معلمة.
  • حقق نموذج LLaVA-OneVision-7B + MASS تحسناً بنسبة 13.5% عن نموذجه الأساسي.
• دراسات الاستئصال (Ablation Studies):
  • RFT مقابل SFT: تفوق الضبط الدقيق بالتعزيز (GRPO) بشكل كبير على الضبط الدقيق الخاضع للإشراف (SFT)، مما يثبت أن تعلم الاستدلال حول الفيزياء أكثر أهمية من مجرد حفظ الإجابات.
  • الوسائط (Modality): أدى الجمع بين الرموز البصرية ونص الملف التعريفي للحركة إلى أفضل النتائج؛ حيث كانت المدخلات النصية فقط أو البصرية فقط غير كافية.
  • 3D مقابل 2D: كان استخدام تمثيلات الحركة ثلاثية الأبعاد (مع العمق) أمراً حاسماً؛ حيث أدت الحركة ثنائية الأبعاد وحدها إلى دقة أقل.
• التعميم: أظهرت الطريقة متانة ضد الضوضاء في إشارات الحركة وحسنت الأداء في معايير العالم الحقيقي خارج نطاق التوزيع (MMVU, MVBench)، وإن كان الأداء يختلف باختلاف بنية النموذج.

5. الأهمية والأثر

• سد الفجوة: يوضح MASS أن الإشارات الفيزيائية الصريحة والمهيكلة يمكن أن تعوض نقص حدس "نموذج العالم" في نماذج الرؤية واللغة القياسية.
• الكفاءة: يوفر مساراً فعالاً من حيث البيانات للوصول إلى الاستدلال الفيزيائي دون التكلفة الباهظة للتدريب المسبق للنماذج الضخمة من الصفر.
• سلامة الـ AIGC: القدرة على اكتشاف الشذوذ الفيزيائي (مثل الفيديوهات في AIGC) أمر بالغ الأهمية للتحقق من الوسائط الاصطناعية وضمان السلامة في المحتوى المولد بالذكاء الاصطناعي.
• الاتجاه المستقبلي: يسلط العمل الضوء على أن "الاستدلال" (عبر CoT و RFT) هو الآلية الرئيسية لدمج الأدلة البصرية مع المنطق الفيزيائي، مما يقترح نموذجاً جديداً لتدريب الوكلاء متعددي الوسائط.

باختصار، يعيد MASS تعريف فهم الفيديو من خلال التعامل مع الفيزياء ليس كسمة ضمنية يجب تعلمها من البيكسلات، بل كإشارة صريحة ومهيكلة يمكن ضخها في عملية الاستدلال لنماذج الرؤية واللغة، محققاً نتائج رائدة في الفهم الفيزيائي واكتشاف الشذوذ.