ملخص تقني: عالم "ماذا لو": معيار سببي لنماذج العالم العامة في السيناريوهات المتجسدة

بيان المشكلة

تُقترح نماذج توليد الفيديو بشكل متزايد كأنظمة محاكاة عالمية للأغراض العامة في التطبيقات المتجسدة مثل القيادة الذاتية والتلاعب الروبوتي. ومع ذلك، تفشل نماذج التقييم الحالية في اختبار قدرة حاسمة مطلوبة في هذه الإعدادات: الحساسية السببية (Causal Sensitivity). تقيم المعايير الحالية (مثل VBench وEvalCrafter وVideoPhy) مقاطع الفيديو المولدة بمعزل عن غيرها، حيث تسجل مدى الواقعية البصرية أو المعقولية الفيزيائية بالنسبة لمطالبة (prompt) واحدة. هذا النهج لا يمكنه اكتشاف نمط فشل جوهري حيث ينتج النموذج مقطعي فيديو يبدوان واقعيين بصرياً ولكنهما متطابقان تقريباً رغم تلقيهما مطالبات تصف تدخلات فيزيائية مختلفة (على سبيل المثال، "فرمل بلطف" مقابل "فرمل بقوة").

بالنسبة للمحاكيات المشروطة بالأفعال والمخططات القائمة على النماذج، فإن النظام الذي يفشل في تتبع التغيرات في المدخلات المتحكم بها يكون غير قابل للاستخدام، لأن عمليات المحاكاة (rollouts) التي لا تتباعد وفقاً للتدخل لا يمكن استخدامها لمقارنة الأفعال البديلة. أما المعايير السببية الحالية (مثل CLEVRER وNExT-QA)، فهي تختبر قدرة النموذج على إدراك البنية السببية في فيديو موجود، وليس قدرته على توليد ديناميكيات سببية فيزيائية صحيحة من الصفر بناءً على تغيرات المدخلات.

المنهجية

1. معيار عالم "ماذا لو" (What-If World)

قدم المؤلفون What-If World، وهو أول معيار مصمم خصيصاً للتدخل التبايني (contrastive intervention) في نماذج العالم الفيديوية. تم بناء المعيار من خلال مسار يتكون من ثلاث مراحل:

• تعريف التصنيف (ماذا نختبر): قام خبيران في المجال (القيادة الذاتية والتلاعب الروبوتي) بتحليل 1000 فيديو من العالم الحقيقي من مجموعتي nuScenes وDROID. حددا المتغيرات الفيزيائية التي تحكم النتائج ودمجاها في تصنيف موحد مكون من ستة عناصر أولية يمتد عبر مجالين:

  • مجال البيئة ($D_{env}$): احتكاك السطح، المادة والوسط، تكوين العوائق.
  • مجال التفاعل ($D_{int}$): المحاذاة المكانية، القوة/الدرجة، التسلسل الزمني.
    تم اختيار هذه العناصر الأولية لكونها أساسية فيزيائياً، ومشتركة عبر مختلف الأجساد (embodiments)، وقابلة للعزل تشغيلياً.

• بناء مجموعة البيانات (كيف نختبر): تتكون مجموعة البيانات من 319 حالة اختبار مزدوجة. يتم بناء كل حالة من خلال:

  1. اختيار مقطع فيديو حقيقي واستخراج إطار $x_0$ عند نقطة التفرع السببي (اللحظة التي تسبق مباشرة بدء الفعل) لتثبيت الحالة الأولية.
  2. إنشاء زوج من المطالبات التباينية $(p^+, p^-)$ يتشاركان في منظور الكاميرا وحالة المشهد الأولية، ولكنهما يختلفان في متغير دلالي واحد فقط (التدخل).
  3. حجب النتيجة الفيزيائية من المطالبة لإجبار النموذج على محاكاة العاقبة بدلاً من استرجاعها من المعارف النصية المسبقة.
     تغطي مجموعة البيانات 18 فئة فرعية عبر مجالي القيادة الذاتية والتلاعب بالذراع الروبوتية.

• بروتوكول التقييم (كيف نقيم): اقترح المؤلفون إطار عمل APEO، الذي يقيم أزواج الفيديو بناءً على أربعة أبعاد:

  • الالتزام (Adherence - A): هل ينفذ الفيديو الفعل المطلوب؟
  • الفيزياء (Physics - P): هل تحترم الحركة القيود الفيزيائية؟
  • البيئة (Environment - E): هل الخلفية والمشهد غير المستهدف مستقران؟
  • النتيجة (Outcome - O): هل يتباعد الفيديوان في الاتجاه الذي تنبأ به التدخل؟

  من الضروري ملاحظة أن A وP وE يتم تسجيلهما في وضعي الفيديو المنفرد (المعقولية المستقلة) والمزدوج (الاتساق المقارن). أما النتيجة (O) فهي للمزدوج فقط. هذا التصميم يفصل بين المعقولية لكل فيديو على حدة وبين الصحة السببية. يقوم حكم يعتمد على نموذج لغوي رؤيوي (VLM) وهو (Gemini 3.1-Pro)، والذي تم التحقق من صحته مقابل التدوين البشรี (باتفاق بنسبة 82.3%)، بعملية التسجيل.

النتائج الرئيسية

طُبق المعيار على تسعة نماذج رائدة في توليد الفيديو (أربعة مفتوحة المصدر وخمسة مغلقة المصدر). وتكشف النتائج عن قيود كبيرة في نماذج العالم الحالية:

1. الحساسية السببية المنخفضة: لم يتجاوز أي نموذج نسبة 52% في المقياس المزدوج الأساسي (pAvg). حقق أفضل نموذج أداءً، وهو Grok Imagine، نسبة 51.7%، بينما تجمعت النماذج مفتوحة المصدر حول 28%.
2. عنق زجاجة التباين: توجد فجوة كبيرة بين درجات الفيديو المنفرد ودرجات الأزواج. على سبيل المثال، حقق HunyuanVideo-1.5 درجة فيزياء للفيديو المنفرد ($P_s$) بنسبة 64.4%، لكنها انخفضت إلى 12.2% في درجة الفيزياء المزدوجة ($P_p$). يشير هذا إلى أن النماذج يمكنها توليد فيديوهات مقنعة فردياً ولكنها تفشل في التمييز بناءً على تغير المدخلات.
3. البروز البصري مقابل القابلية للتتبع الفيزيائي: يرتبط الأداء بقوة أكبر بالبروز البصري لعواقب التدخل منه بالفيزياء الكامنة.
   • القوة/الدرجة (التي تنتج اختلافات حركة دراماتيكية) سجلت أعلى نسبة عند 40.4%.
   • احتكاك السطح (الذي ينتج اختلافات مسار طفيفة في المتغيرات الكامنة) سجلت أدنى نسبة عند 14.2%.
   • أظهر التسلسل الزمني نطاق أداء مضغوطاً عبر جميع النماذج، مما يشير إلى أنه تحدٍ جوهري لم يتم حله بعد بالتوسع (scaling).
4. أنماط الفشل الخفية: في 13.1% من الحالات التي اجتازت كل فحص للفيديو المنفرد، فشل فحص الفيزياء المزدوج. هذه "الإخفاقات الخفية" تشكل خطراً عالياً على التطبيقات اللاحقة مثل التخطيط المضاد للواقع (counterfactual planning)، حيث تبدو المحاكاة صالحة ولكنها لا تقدم أي تميز سببي.

الأهمية والادعاءات

يزعم البحث أن What-If World يوفر أول إطار عمل موحد وقابل للتكرار لتشخيص المواضع التي تعاني فيها أنظمة توليد الفيديو الحالية كأنظمة عالم. تكمن أهميته في:

• كشف نقطة عمياء: يوضح أن مقاييس تقييم الفيديو المنفرد الحالية غير كافية للتطبيقات المتجسدة لأنها لا تستطيع اكتشاف "عنق زجاجة التباين" — وهو الفشل في تتبع التغيرات في المدخلات المتحكم بها.
• تحديد معيار قياسي: يضع تصنيفاً من ستة عناصر يوحد متغيرات التدخل الفيزيائي عبر القيادة الذاتية والتلاعب الروبوتي، متجاوزاً حالات الاختبار العشوائية.
• تحديد الفجوة كمياً: يقدم أدلة كمية على أن النماذج الحالية، حتى الأكثر تقدماً منها والمغلقة المصدر، ليست موثوقة بعد للمحاكاة المشروطة بالأفعال أو التخطيط القائم على النماذج، حيث تفشل في نسبة كبيرة من التدخلات السببية.

يخلص المؤلفون إلى أنه بينما تُظهر النماذج بعض القدرة في السيناريوهات الواضحة بصرياً، إلا أنها تفتقر إلى الحساسية الفيزيائية القابلة للتعميم، لا سيما فيما يتعلق بالمتغيرات الكامنة (مثل الاحتكاك أو الكتلة) أو الاستدلال العلاقي (مثل التسلسل الزمني). يسلط هذا العمل الضوء على فجوة قدرة حرجة يجب معالجتها قبل نشر هذه النماذج بأمان في الأنظمة المتجسدة ذات الأهمية المتعلقة بالسلامة.