Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "التنبؤ بالديناميكيات الكامنة المنتظم هو خط أساس قوي لنماذج السلوك التأسيسية."

1. بيان المشكلة

تهدف نماذج السلوك التأسيسية (BFMs) إلى تدريب وكلاء قادرين على حل أي مهمة في بيئة ما (التعلم المعزز صفري الاستباق/zero-shot reinforcement learning) بعد مرحلة تدريب مسبق واحدة على بيانات خالية من المكافآت. وتتمثل الآلية الجوهرية في تعلم تمثيل للحالة $\phi(s)$ بحيث يمكن تقريب أي دالة مكافأة $r(s)$ كإسقاط خطي $r(s) \approx \phi(s)^\top z$، حيث $z$ هو تضمين المهمة.

التحدي:

• الاعتماد على التمثيل: يعتمد أداء نماذج BFM بشكل كبير على القدرة التعبيرية لتمثيل الحالة $\phi$. فإذا لم يكن $\phi$ قادراً على شمول فضاء دوال المكافأة ذات الصلة، فلن يتمكن الوكيل من تعلم سياسات مثلى للمهام غير المرئية.
• تعقيد الطرق الحالية: تتعلم الطرق المتطورة (مثل Forward-Backward، وPSM، وHILP) التمثيلات عن طريق التنبؤ بـ مقاييس التتابع (Successor Measures) (توزيع زيارة الحالة المخصوم تحت سياسة معينة). يتطلب هذا عمليات "backups" لـ Bellman، وهي عمليات عرضة لـ:
  • الانحياز وعدم الاستقرار: بسبب عملية الـ bootstrapping في التقريب الدالي.
    गत مشكلات خارج التوزيع (OOD): في مجموعات البيانات ذات التغطية المنخفضة، قد تختار السياسات أفعالاً غير موجودة في البيانات، مما يؤدي إلى تعميم خاطئ وتمثيلات متدهورة.
  • التعقيد: تتطلب هذه الطرق تعريف فئات محددة من السياسات أو المكافآت مسبقاً.
• الفجوة: من غير الواضح ما إذا كانت هذه الأهداف المعقدة ضرورية. هل يمكن لهدف أبسط، مثل التنبؤ بالديناميكيات الكامنة (التنبؤ بالحالة الكامنة التالية بناءً على الحالة الحالية والفعل)، أن يكون كافياً؟

ملاحظة رئيسية: وجد المؤلفون أنه بينما يكون التنبؤ بالديناميكيات الكامنة مستقلاً عن السياسة ويتجنب عمليات Bellman backups، فإن استخدامه بشكل ساذج يؤدي إلى "انهيار طفيف في الميزات" (mild feature collapse). فمع مرور الوقت أثناء التدريب، تصبح الحالات المختلفة متشابهة بشكل متزايد في الفضاء الكامن (تشابه جيب التمام عالي)، مما يقلل من مدى التمثيل ويضر بالأداء صفري الاستباق.

2. المنهجية: التنبؤ بالديناميكيات الكامتنة المنتظم (RLDP)

يقترح المؤلفون RLDP، وهو إطار عمل بسيط وفعال يجمع بين التنبؤ بالديناميكيات الكامنة وتنظيم الحفاظ على التنوع.

أ. الهدف الجوهري

تتعلم الطريقة مشفر حالة $\phi: S \to \mathbb{R}^d$ ونموذج ديناميكيات كامنة $g: \mathbb{R}^d \times A \to \mathbb{R}^d$ بأوزان $w$. الهدف هو التنبؤ بالحالة الكامنة التالية:
$$\phi(s') \approx g(\phi(s), a)^\top w$$

الخسارة الأساسية هي خسارة التنبؤ بالديناميكيات الكامنة ($L_d$):
$$L_d(\phi, g, w) = \mathbb{E}_{\tau} \left[ \sum_{t=1}^H \| h_t - \bar{\phi}(s_t) \|^2 \right]$$
حيث $h_t$ هي الحالة الكامنة التي تم فك مسارها (unrolled)، و$\bar{\phi}$ هو مشفر هدف يتحرك ببطء.

ب. الحد من انهيار الميزات

لمنع التمثيل من الانهيار (حيث تُسقط الحالات المتميزة إلى متجهات متشابهة)، قدم المؤلفون تنظيم التعامد (Orthogonality Regularization) ($L_r$).

1. الإسقاط الكروي: يتم إسقاط كل من الحالات المشفرة $\phi(s)$ والحالات التالية المتوقعة على كرة فائقة $S^{d-1}$ (منظمة لطول الوحدة).
2. خسارة التنظيم: تقلل الخسارة من تشابه جيب التمام (cosine similarity) بين أي تمثيلين مختلفين للحالة:
   $$L_r(\phi) = \mathbb{E}_{s, s' \sim \rho} [\phi(s)^\top \phi(s')]$$
   ملاحظة: بما أن المتجهات موحدة، فإن الضرب النقطي يساوي تشابه جيب التمام. تقليل هذه القيمة يشجع على التعامد/التنوع.

ج. الهدف النهائي

الهدف الإجمالي هو مجموع موزون:
$$L_{RLDP} = L_d + \lambda L_r$$
حيث $\lambda$ هو معامل تنظيم صغير (على سبيل المثال 0.01 أو 1.0).

د. مسار التعلم المعزز صفري الاستباق (Zero-Shot RL Pipeline)

1. التدريب المسبق: تدريب $\phi$ باستخدام $L_{RLDP}$ على بيانات خالية من المكافآت (offline reward-free data).
2. تقدير مقياس التتابع: تجميد $\phi$. تدريب نموذج ميزة التتابع $\psi$ والسياسة $\pi_z$ باستخدام أهداف BFM القياسية (بالتناوب بين تقدير مقاييس التتابع وتحسين السياسة).
3. الاستدلال: بالنسبة لمكافأة جديدة $r_{test}$، يتم حل $z$ عبر الانحدار الخطي ($r_{test} \approx \phi^\top z$) واستخراج السياسة المثلى $\pi_z$.

3. المساهمات الرئيسية

1. تحديد انهيار الميزات: تحدد الورقة أن التنبؤ الساذج بالديناميكيات الكامنة يؤدي إلى انخفاض في تنوع الميزات (زيادة تشابه جيب التمام)، مما يضعف مدى دوال المكافأة القابلة للتعلم.
2. خوارزمية RLDP: تقترح طريقة بسيطة وقابلة للتوسع تضيف تنظيم التعامد إلى التنبؤ بالديناميكيات الكامنة للحفاظ على تنوع الميزات.
3. التبرير النظري: تقدم ورقة بحثية "تمهيدية" (lemma) تظهر أن تقليل $L_{RLDP}$ يضع حداً علوياً لخطأ التنبؤ بمقاييس التتابع للسياسات من نوع Lipschitz، مما يربط نظرياً بين التنبؤ بالديناميكيات ومتطلبات BFM.
4. المتانة في التغطية المنخفضة: تثبت أن RLDP تتفوق على الطرق المعقدة القائمة على Bellman backups في مجموعات البيانات ذات التغطية المنخفضة حيث تسبب الأفعال خارج التوزيع (OOD) فشل الطرق الأخرى.

4. النتائج التجريبية

قيم المؤلفون RLDP عبر مجالات متعددة: DeepMind Control Suite (ExoRL)، وSMPL Humanoid، وD4RL (low-coverage).

• التعلم المعزز صفري الاستباق غير المتصل (DMC):
  • تضاهي RLDP أو تتفوق على الخطوط المرجعية المتطورة (FB, PSM, HILP) في مهام مثل Walker، وCheetah، وQuadruped، وPointmass.
  • تحقق أداءً مقارباً لـ PSM وFB ولكن بهدف تدريب أبسط بكثير (بدون Bellman backups).
• التعلم المعزز صفري الاستباق المتصل (SMPL Humanoid):
  • في بيئة SMPL Humanoid المعقدة (358 بُعداً للملاحظة، 69 بُعداً للفعل)، تمكنت تمثيلات RLDP من تحقيق تعلم متعدد المهام تنافسي.
  • تتفوق RLDP على الخطوط المرجعية في مهام محددة (مثل رفع الذراعين، الاستلقاء على الأرض) وتظل تنافسية بشكل عام، بل وتتفوق على أداء الـ Oracle في بعض المهام.
• سيناريوهات التغطية المنخفضة (D4RL):
  • نتيجة حاسمة: في مجموعات البيانات ذات التغطية المنخفضة (مثل halfcheetah-medium، hopper-medium)، تعاني الطرق التي تعتمد على Bellman backups (مثل FB، PSM) بسبب استعلامات الأفعال خارج التوزيع (OOD).
  • تتفوق RLDP بشكل كبير على هذه الخطوط المرجعية في 5 من أصل 6 مهام، مما يثبت متانتها عندما تكون تغطية البيانات شحيحة.
• دراسات الاستئصال (Ablation Studies):
  • التعامد: إزالة التنظيم ($\lambda=0$) يسبب انخفاضاً في الأداء وزيادة في تشابه الميزات.
  • التطبيع الكروي: كان إسقاط الحالات على كرة فائقة أمراً حاسماً للاستقرار والأداء.
  • مكونات الخسارة: الجمع بين خسارة التنبؤ والتعامد يعطي أفضل النتائج؛ كما أن إضافة Bellman backups إلى هذا المزيج غالباً ما يؤدي إلى تدهور الأداء في حالات التغطية المنخفضة.

5. الأهمية والخلاصة

• البساطة مقابل التعقيد: تتحدى الورقة ضرورة تقدير مقياس التتابع المعقد (الذي يتطلب Bellman backups وفئات سياسات) لتدريب نماذج BFM. إن التنبؤ البسيط بالديناميكيات المستقل عن السياسة مع تنظيم التنوع كافٍ.
• العملية: RL-DP أكثر قابلية للتحسين وتتعامل مع مساحات الملاحظات عالية الأبعاد بشكل أفضل من الطرق القائمة على إعادة البناء أو Bellman.
• المتانة: توفر حلاً موثوقاً لسيناريوهات الروبوتات والتحكم في العالم الحقيقي حيث تكون تغطية البيانات غالباً محدودة (التغطية المنخفضة)، وهو المجال الذي تفشل فيه طرق الـ SOTA الحالية.
• التأثير المستقبلي: من خلال تقديم خط أساس مستقر وبسيط، تمهد RLDP الطريق لنهج أكثر سهولة وفعالية للتعلم غير الخاضع للإشراف للوكلاء العامين.

باختتدام، تثبت RLDP أن الحفاظ على تنوع الميزات من خلال قيود التعامد البسيطة هو المفتاح لإطلاق إمكانات الديناميكيات الكامنة للتعلم المعزز صفري الاستباق، متفوقة بذلك على الخطوط المرجعية المعقدة المعتمدة على Bellman، خاصة في البيئات التي تعاني من نقص البيانات.