How Can Driving World Models Do Counterfactual Prediction?

ملخص تقني: التنبؤ بالواقع المضاد في نماذج عالم القيادة

تعريف المشكلة والفجوة السببية
يتناول البحث عدم التطابق الجوهري بين القدرة المنشودة لنماذج عالم القيادة (التنبؤ بالواقع المضاد - Counterfactual Prediction) وبين تنفيذها القياسي (التنبؤ المباشر المشروط بالفعل - Direct Action-Conditioned Prediction). في سياق القيادة الذاتية، يسأل التنبؤ بالواقع المضاد: "بالنظر إلى سجل قيادة واقعي حدث فيه حدث ما (مثل دخول سيارة أمام المركبة)، ماذا كان من المفترض أن تسجل الكاميرا إذا اتخذت المركبة ذاتية القيادة إجراءً مختلفاً (مثل الكبح بدلاً من التسارع)؟"

يحدد المؤلفون أن "التنبؤات المباشرة" الحالية تشترط فقط على التاريخ المشترك ($H$) والفعل البديل ($a'$). هذا النهج يفشل في دمج الاستمرارية الواقعية ($F^+$) — أي الأدلة المرصودة لما حدث بالفعل بعد التاريخ المشترك. وفقاً لـ "سلم السببية" لبيرل (Pearl's ladder of causation)، فإن الواقع المضاد الحقيقي (المستوى الثالث) يتطلب عملية الاستنباط (Abduction): استنتاج حالة العالم المحددة ($w$) التي أنتجت النتيجة الواقعية المرصودة، ثم التدخل باستخدام الفعل الجديد. إن التنبؤ المباشر، من خلال تجاهله لـ $F^+$، يعمل فعلياً على حساب متوسط جميع العوالم الممكنة المتسقة مع التاريخ ($p(w|H)$)، بدلاً من العالم المحدد الذي تحقق في الحلقة ($p(w|H, F^+)$). وبناءً على ذلك، غالباً ما تولد النماذج المباشرة فيديوهات سلسة تتوافق مع الفعل الجديد، لكنها تغفل أحداثاً محددة (مثل ظهور سيارة) كانت موجودة بالفعل في الحلقة.

المنهجية: خط معالجة خالٍ من إعادة التدريب
لسد هذه الفجوة دون إعادة تدريب النماذج الحالية، يقترح المؤلفون خط معالجة بسيطاً يعمل في مرحلة الاستدلال (Inference-time) ويقوم على الوصفة السببية المتمثلة في: الاستنباط، الفعل، والتنبؤ. يعمل هذا الأسلوب على نموذج عالم مجمد ويتكون من أربع مراحل:

1. الاستنباط (إعادة البناء): يقوم نموذج تقدير عمق مجمد بمعالجة الاستمرارية الواقعية ($F^+$) لتقدير العمق المتري. يقوم هذا برفع إطارات RGB ثنائية الأبعاد إلى سحابة نقاط ثلاثية الأبعاد، مما يعيد بناء الأسطح المرصودة للعالم الواقعي.
2. النقل (التدخل): يطبق النظام مسار المركبة البديل ($a'$) على وضعية الكاميرا مع الحفاظ على العالم ثلاثي الأبعاد المعاد بناؤه ثابتاً. باستخدام تقنية "الرشق الأمامي" (Forward Splatting) ومخزن العمق (Depth Buffer)، يتم إعادة إسقاط النقاط ثلاثية الأبعاد المرصودة في منظور الكاميرا المضاد للواقع. ينتج عن ذلك صورة أدلة منقولة ($E_t$) وقناع دعم ($M_t$) يوضح البكسلات التي تحددها الملاحظة الواقعية.
3. الإكمال (التنبؤ): يُكلف نموذج العالم المجمد بتوليد المناطق غير المدعومة فقط (المناطق غير المرئية في السجل الواقعي أو المحجوبة).
   • بالنسبة لـ نماذج الانتشار (Diffusion Models)، يكون المدخل عبداً مشوشاً للأدلة الواقعية المقنعة بواسطة $M_t$. خلال عملية إزالة الضجيج، يتم استعادة مناطق الأدلة في كل خطوة لتقييد عملية التوليد.
   • بالنسبة لـ النماذج ذات التتابع الذاتي (Autoregressive Models)، يتم تثبيت الرموز (Tokens) المقابلة لقناع الأدلة على القيم المدخلة، بينما يقوم النموذج بتوليد الرموز للمناطق المتبقية.
4. الدمج (التحسين): يتم دمج مخرجات نموذج العالم مع الأدلة المنقولة. تضمن دالة الوزن ($\alpha_t$) الحفاظ على البكسلات المنقولة الموثوقة كما هي، بينما يتم تنعيم الحدود لتوحيد الألوان وتقليل الفواصل.

الاختبار والتقييم
بما أن البيانات الواقعية لا يمكن أن توفر حقيقة أرضية للواقع المضاد (لا يمكن مراقبة مستقبليْن من ماضٍ واحد)، فقد أنشأ المؤلفون اختباراً معياريًا محكماً باستخدام محاكي CARLA.

• الإعداد: يقومون بمحاكاة عالم بحدث محدد مسبقاً (مثل خروج سيارة من شارع جانبي). ويقومون بتشغيل ثلاثة سيناريوهات: (1) التنفيذ الواقعي ($F, a_{obs}$)، (2) التنفيذ المضاد للواقع ($P, a'$)، و(3) التنفيذ الصفري حيث يتم حجب الحدث ($U, a'$).
• المقاييس:
  • **نسبة الاسترداد (Recovered Fraction - $Rec$):** تقيس مدى تشابه التنبؤ مع الحقيقة الأرضية المضادة للواقع ($P$) مقابل المرجع الصفري ($U$) باستخدام تشابه التضمين (DINOv2 و CLIP). تشير الدرجة 1 إلى الاسترداد المثالي للحدث، و0 إلى الإغفال التام.
  • الدقة الإدراكية (Perceptual Fidelity): تقيس مسافة LPIPS بين التنبؤ والحقيقة الأرضية المضادة للواقع لتقييم الجودة البصرية.

النتائج الرئيسية
أسفرت التجارب على نموذجين من نماذج العالم (نموذج قائم على الانتشار ونموذج ذاتي التتابع) عن النتائج التالية:

• فشل التنبؤ المباشر: فشلت التنبؤات المباشرة التقليدية المشروطة بالفعل باستمرار في الحفاظ على الأحداث المحددة الموجودة في الاستمرارية الواقعية. كانت درجات "نسبة الاسترداد" لديهم منخفضة، مما يشير إلى أنهم ولدوا مستقبلاً منطقياً ولكنه غير صحيح حيث لم يحدث الحدث (مثل ظهور السيارة).
• فعالية الطريقة: حسّن خط المعالجة المقترح (الخالي من التدريب) الأداء بشكل كبير. فقد رفع نسبة الاسترداد بشكل جوهري، ونجح في الاحتفاظ بإشارة الحدث التي فقدها التنبؤ المباشر.
• الجودة البصرية: قللت الطريقة من المسافة الإدراكية (LPIPS) إلى الحقيقة الأرضية المضادة للواقع، مما أنتج مخرجات كانت صحيحة دلالياً (تحتوي على الحدث) ومتماسكة بصرياً.

الأهمية والادعاءات
لا يدعي البحث أنه قد حل مشكلة التنبؤ بالواقع المضاد لجميع سيناريوهات القيادة أو أنه قدم بنية تعلم جديدة. بدلاً من ذلك، تكمن أهميته في:

1. التشخيص: تقديم تفسير سببي دقيق لسبب فشل نماذج العالم الحالية في مهام الواقع المضاد (إغفال الاستنباط/الأدلة من الاستمرارية الواقعية).
2. التقييم المعياري: إنشاء أول اختبار معياري محكم مع حقائق أرضية مضادة للواقع متطابقة لقياس نمط الفشل المحدد هذا كمياً.
3. خط أساس بناء: إثبات أن التدخل الهندسي البسيط الخالي من التدريب يمكنه استعادة "الأدلة المفقودة" وتحسين دقة الواقع المضاد بشكل كبير. وهذا يعمل كمرجع للطرق المستقبلية، مما يشير إلى أن التنبؤ الأفضل بالواقع المضاد قد يتطلب دمج الأدلة المرصودة صراحةً في عملية التوليد بدلاً من الاعتماد فقط على اشتراط الفعل.

يخلص المؤلفون إلى أن هذا العمل يهدف إلى لفت الانتباه إلى الفجوة بين التنبؤ المباشر والاستدلال الحقيقي للواقع المضاد، مما يحفز تطوير طرق تحترم البنية السببية لحلقات القيادة المحددة.