ملخص تقني: نماذج العالم ثنائية المسار (Dueling World Models)

بيان المشكلة

تعمل نماذج العالم الكامنة (Latent world models)، ولا سيما تلك التي تتبع بنية التضمين المشترك التنبؤي (JEPA)، على التخطيط من خلال التنبؤ بتمثيلات الحالة المستقبلية من الحالات والأفعال الحالية. ومع ذلك، عندما يحتوي المشهد على حركة لا يتحكم فيها الوكيل (المشتتات/Distractors)، تعاني هذه النماذج من نمط فشل "صامت": حيث تصبح التنبؤات للأفعال المختلفة غير متمايزة، حتى مع استمرار تحسن خسارة التدريب الإجمالية (خسارة إعادة البناء أو التنبؤ).

تحاول الحلول الحالية فصل الديناميكيات القابلة للتحكم عن المشتتات الخارجية عبر إضافة آليات خارجية، مثل خسائر إعادة البناء، أو مكافآت المهام، أو أهداف ديناميكيات عكسية مساعدة، أو فروع شبكة منفصلة. تتطلب هذه النهج غالبًا افتراضات محددة حول عملية المشتت أو إشرافًا إضافيًا. حدد المؤلفون أنه في المتنبئات الأحادية القياسية $P(z, a)$، يصبح مسار الفعل متشابكًا مع ديناميكيات المشتت ما لم يتم ربطه صراحةً بملصقات الأفعال الحقيقية أو تنقيته عبر أقنعة التجزئة. والأهم من ذلك، أن اختيار النموذج القياسي بناءً على خسارة التحقق (Validation loss) غالبًا ما يفشل في اكتشاف هذا "العمى عن الفعل" (Action-blindness)، بل يختار بنشكل نشط اللحظات التي انهار فيها إشارة الفعل.

المنهجية: AD-JEPA (بنية JEPA مفككة الفعل)

يقترح البحث AD-JEPA (بنية JEPA المفككة للفعل)، وهي إعادة هيكلة بسيطة للمتنبئات المشروطة بالفعل التي تعزل مسار الفعل دون الحاجة إلى مكافآت، أو إعادة بناء، أو خسائر مساعدة خاصة بالمشتتات.

الآلية الجوهرية: تمركز متوسط الفعل (Action-Mean Centering)

تقوم الطريقة بتفكيك المتنبئ إلى مسارين:

1. المسار السلبي ($B(z)$): يتنبأ بكيفية تطور المشهد مع استبعاد الفعل (Marginalized out).
2. مسار الفعل الممركز ($u(z, a)$): يمثل الإزاحة الخاصة بالفعل، ويتم حسابه عن طريق طرح متوسط التنبؤ عبر الأفعال من إزاحة الفعل الخام.

تُعرف قاعدة التحديث كالتالي:
$$\hat{z}_{t+1} = B(z_t) + \underbrace{[\Delta(z_t, a_t) - \bar{\Delta}(z_t)]}_{u(z_t, a_t)}$$
حيث أن $\bar{\Delta}(z) = \mathbb{E}_{a' \sim \nu}[\Delta(z, a')]$ هو متوسط الإزاحة عبر توزيع مقترح $\nu$ للأفعال.

الأساس النظري

تعدل هذه الطريقة تفكيك Dueling DQN ($Q = V + (A - \bar{A})$) من القيم القياسية إلى الديناميكيات الكامنة ذات القيم المتجهة. أثبت المؤلفون أن عملية الطرح هذه هي هوية جبرية وليست مجرد ميل متعلم:

• إلغاء النمط المشترك (Common-Mode Cancellation): أي تباين يدخل في إزاحات الأفعال بشكل متطابق عبر جميع الأفعال (تباين النمط المشترك)، بما في ذلك المشتتات المستقلة عن الفعل، يتم إلغاؤه بدقة.
• الدقة (Exactness): يظل الإلغاء صحيحًا لكل من مجموعات الأفعال المنفصلة (عبر التعداد الدقيق) والأفعال المستمرة (عبر أخذ عينات مونت كارلو)، بشرما يتم تقدير المتوسط عبر مجموعة محدودة من المرشحين.
• لا افتراض للخارجية (No Exogeneity Assumption): لا تتطلب الطة افتراضات متعلقة بخارجية العملية (أي أن المشتتات مستقلة عن سياسة الوكيل على مستوى العملية)؛ بل تتطلب فقط أن تكون مساهمة المشتت في الانتقال عبارة عن نمط مشترك عبر الأفعال.

هدف التدريب

يتم تدريب النموذج باستخدام خسارة تنبؤ JEPA قياسية مقابل هدف EMA (متوسط متحرك أسي) يتوقف عنده تدفق الاشتقاق (Stop-gradient)، معززة بـ:

• InfoNCE ($L_{act}$): تشجع تنبؤ الفعل المنفذ على أن يكون الأقرب إلى الهدف من بين الأفعال المضادة للواقع.
• عقوبة التراص (Compactness Penalty - $L_{off}$): تمنع مسار الفعل من امتصاص استمرارية الحالة.
• تنظيم VICReg: لمنع انهيار التمثيل.

ومن الجدير بالذكر أن المؤلفين أفادوا بأن إضافة آلية بوابة (Gating mechanism) متعلمة لاختيار الأبعاد كانت غير مؤثرة، حيث تدهورت إلى مجرد تقليص موحد، مما يؤكد أن التمركز وحده هو الآلية التشغيلية.

المساهمات الرئيسية

1. تمركز متوسط الفعل: إعادة هيكلة بسيطة للمتنبئات المشروطة بالفعل تجعل مسار الفعل محايدًا للنمط المشترك. قدم المؤلفون براهين (الفرضيتان 1 و2) تظهر الإلغاء الدقيق للمكونات ذات النمط المشترك لكل من مجموعات الأفعال المنفصلة والمستمرة.
2. التحقق التجريبي: تم التحقق من الطريقة عبر أربع بيئات مختلفة:
   • Gridworld (FourRooms): مع خلايا مشتتة ثنائية متحركة.
   • مولدات اصطناعية (Synthetic Generators): مع عوامل قابلة للتحكم وعوامل إزعاج معروفة.
   • التحكم المستمر (DMC): مع عوائق بصرية متحركة على مستوى البكسل.
   • Atari (Freeway): مع مشتتات حركة طبيعية.
     في جميع الحالات، حافظ المسار الممركز على تأثير الوكيل مع تقليل تسرب الإزعاج ليكون غير قابل للتمييز عن الصفر، بينما فشلت المتنبئات المتشابكة.
3. قابلية التطبيق اللاحق (Readout-Only): نظرًا لأن الآلية هي خاصية للقراءة (Readout) وليست للبنية، يمكن تطبيقها بعد التدريب (Post-hoc) على نماذج العالم المجمدة (تحديدًا RePo و TIA). أظهر المؤلفون أن طرح متوسط الفعل من مخرجات هذه النماذج المجمدة نجح في استعادة مسار فعل كان في الأصل كامنًا وغير موجه.
4. تحديد الحدود: حددت الورقة بوضوح القصور: تفشل الطريقة عندما تكون ديناميكيات المشتت مرتبطة بالفعل (مثل المشتتات المرتبطة بالتغذية الراجعة أو الوكلاء الذين يتفاعلون مع المستخدم). في هذه الحالات، لا يكون المشتت نمطًا مشتركًا وبالتالي لا يتم إلغاؤه.

النتائج

• الاستعادة مقابل الرفض: في الاختبارات الاصطناعية، حقق المسار الممركز استعادة عالية للعامل القابل للتحكم ($R^2 \approx 0.87\text{--}0.93$) بينما رفض عامل الإزعاج ($R^2 \approx -0.00$). النسخ غير الممركزة استعادت الإشارة ولكنها سربت عامل الإزعاج بشكل كبير.
• أداء التحكم: في بيئة Gridworld، حافظ متحكم يعتمد على التنبؤ بالنموذج (MPC) باستخدام المسار الممركز على نجاح عالٍ في الوصول للهدف ($\approx 0.92$) حتى مع وجود 30 خلية مشتتة، بينما انهار المتنبئ القياسي إلى $\approx 0.57$.
• نجاح التطبيق اللاحق: أدى تطبيق عملية الطرح على نماذج RePo و TIA المجمدة إلى استعادة مسارات فعل بقيم $R^2$ تتراوح بين 0.19 و 0.52، بينما كانت مخرات إزاحة الفعل الخام قريبة من الصفر.
• أنماط الفشل: فشلت الطريقة بشكل صحيح (بالانهيار إلى مستوى الصدفة) في اختبارات الضغط المرتبطة بالفعل، مما يتوافق مع الحدود النظرية.

الأهمية والادعاءات

تدعي الورقة أن التمركز هو إضافة عالمية (Universal plug-in) لنماذج العالم المشروطة بالفعل. وتكمن أهميتها في:

• البساطة: تحقق الطريقة رفض المشتتات دون تعقيد إعادة البناء، أو التفكيك القائم على المكافأة، أو خسائر الديناميكيات العكسية المساعدة.
• الضمان الهيكلي: الفصل هو خاصية جبرية للمعلمات، وليس مجرد ميل متعلم يعتمد على إشارات تدريب محددة.
• القدرة على التحديث (Retrofitting): تسمح "بتطهير" نماذج العالم الموجودة والمجمدة من المشتتات في وقت الاستدلال دون الحاجة لإعادة التدريب، مما يظهر مسارات الفعل التي كانت مخفية بسبب الديناميكيات المتشابكة.

كان المؤلفون متواضعين بشأن قابلية توسع التحكم: فبينما مكنت الآلية التحكم في بيئات Gridworld، فإن المحاولة المسجلة مسبقًا لتوسيع ذلك إلى مهام التحكم المستمر في DMC فشلت في التفوق على النماذج العشوائية (Baselines). وقد أرجعوا ذلك إلى اختناقات دقة النموذج في المخطط (Planner) بدلاً من وجود عيب في المسار نفسه. لذا، فإن المساهمة الأساسية هي على مستوى التمثيل: توفير مسار فعل نظيف، محايد للنمط المشترك، حيث تصبح المتنبئات المتشابكة "عمياء عن الفعل".