Performance Asymmetry in Model-Based Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان "عدم تماثل الأداء في التعلم المعزز القائم على النماذج" (Performance Asymmetry in Model-Based Reinforcement Learning).

1. بيان المشكلة: عدم تماثل الأداء

تحدد الورقة خللاً حرجاً في تقييم وكلاء التعلم المعزز القائم على النماذج (MBRL) على معيار Atari100k. فبينما تحقق وكلاء الحالة الراهنة (SOTA) الحديثة (مثل DIAMOND) متوسط درجة بشرية معيارية (HNS) أكبر من 1.0 (مما يشير إلى أداء يتفوق على البشر)، فإن هذا المقياس التجميعي يحجب عدم تماثل أداء شديداً.

• الظاهرة: يتفوق وكلاء MBRL بشكل كبير على البشر في مهام محددة (تسمى المهام المثالية للوكيل - Agent-Optimal)، لكنهم يخفقون بشدة أمام البشر في مهام أخرى (تسمى المهام المثالية للبشر - Human-Optimal).
• التفاوت: أظهر الوكيل القائم على البكسل (DIAMOND) فجوة أداء بلغت 21 ضعفاً بين هاتين المجموعتين الفرعيتين. وقد سجل أسوأ أداء بين جميع النماذج المرجعية في المهام المثالية للبشر، رغم امتلاكه أعلى متوسط HNS إجمالي.
• أسباب الحجب:
  1. المتوسط الحسابي: يستخدم التقييم القياسي المتوسط الحسابي، وهو غير حساس للقيم المتطرفة. يمكن للدرجات العالية في عدد قليل من المهام أن تعوض رياضياً عن الأداء القريب من الصفر في مهام أخرى كثيرة.
  2. نطاق HNS: يتميز مقياس HNS بنطاق قيم واسع (من القيم السالبة إلى أكثر من 8). لذا، فإن التحسينات الصغيرة في المهام ذات الدرجات العالية تهيمن على المجموع الكلي، مما يجعل التقدم الكبير (أو التراجع) في المهام ذات الدرجات المنخفضة غير مرئي.
• خصائص المهام: وجدت المؤلفة أن المهام المثالية للبشر تتميز عموماً بـ:
  • مساحات عمل (Action Spaces) أكبر (مما يزيد من مساحة البحث بشكل أسي).
  • انتشار أعلى لمهام "الرماية" (Shooter tasks) (الألعاب التي تتطلب أسلحة بعيدة المدى/أفعال إطلاق النار FIRE)، والتي تفرض تبايناً عالياً في النتائج واعتمادات زمنية معقدة.
• البكسل مقابل الكامن (Pixel vs. Latent): يظهر عدم التماثل بشكل أوضح في الوكلاء القائمين على البكسل. يعاني هؤلاء الوكلاء في المهام المثالية للبشر بسبب لعنة الأبعاد (معالجة صور خام بحجم $64\times64\times3$) وتعقيد مهام الرماية. وفي المقابل، يتفلون في المهام المثالية للوكيل (مثل Breakout) بفضل قدرات التوليد عالية الدقة لنماذج الانتشار (Diffusion Models) القائمة على البكسل.

2. المنهجية

أ. إطار التقييم الجديد

لكشف وقياس عدم التماثل هذا، تقترح المؤلفة:

1. تقسيم المهام: تقسيم مهام Atari100k الـ 26 إلى مجموعتين متوازنتين (13 مهمة لكل منهما) بناءً على متوسط أداء أربعة نماذج مرجعية موجودة:
   • المثالية للوكيل (AO): المهام التي يكون فيها متوسط HNS للوكيل أكبر من 75%.
   • المثالية للبشر (HO): المهام التي يكون فيها متوسط HNS للوكيل أقل من 75%.
2. مقياس Sym-HNS: تقدم المؤلفة مقياساً تجميعياً جديداً، Sym-HNS، ويُحسب كـ متوسط توافقي (Harmonic Mean) لمتوسط HNS في مجموعتي AO و HO:
   $$\text{Sym-HNS} = \frac{2 \cdot \mu_{\tau}(AO) \cdot \mu_{\tau}(HO)}{\mu_{\tau}(AO) + \mu_{\tau}(HO)}$$
   على عكس المتوسط الحسابي، يقوم المتوسط التوافقي بمعاقبة الاختلالات الشديدة، مما يضمن عدم تمكن الوكيل من تحقيق درجة عالية عبر إهمال أحد المجموعتين.

ب. الحل المقترح: JEDI (الانتشار في التضمين المشترك - Joint Embedding DIffusion)

لمعالجة عدم التماثل، تقترح المؤلفة JEDI، وهو نموذج عالمي (World Model) جديد يعتمد على الانتشار في التضمين المشترك (Joint Embedding Diffusion) من طرف إلى طرف (End-to-End).

• البنية:
  • المشفر (Encoder - $E_\phi$): يضغط الملاحظات عالية الأبعاد ($x_t$) إلى مساحة كامنة منخفضة الأبعاد ($z_t$).
  • نموذج ديناميكيات الانتشار الكامن (Latent Diffusion Dynamics Model - $D_\theta$): يتنبأ بالحالات الكامنة المستقبلية ($z_{t+1}$) مشروطة بالحالات والأفعال الحالية. يستخدم عامل إزالة ضجيج (Denoising Operator) مشروط بخطوة واحدة.
  • نموذج المكافأة/الإنهاء (Reward/Termination Model - $R_\psi$): يتنبأ بالمكافآت وإنهاء الحلقة من الحالات الكامنة.
• هدف التدريب (الابتكار الجوهري):
  • يتبنى JEDI إطار عمل بأسلوب بنية التنبؤ بالتضمين المشترك (JEPA)، ولكنه يدمجه مباشرة مع الانتشار (Diffusion).
  • دالة الخسارة: يتم تدريب المشفر من طرف إلى طرف باستخدام تدرجات من خسارة إزالة الضجيج في الانتشار (تحديداً خسارة EDM).
  • لا يوجد إعادة بناء (No Reconstruction): من المهم ملاحظة أن JEDI لا يستخدم وحدة فك ترميز (Decoder) لإعادة البناء، ولا يستخدم استخراج الحالة الخفية أو التقطير (Distillation). يتعلم المشفر التمثيلات فقط لتقليل خطأ تنبؤ الانتشار.
  • آليات الاستقرار:
    • Stop-Grad: يُطبق على الهدف الكامن لمنع انهيار التمثيل (Representation Collapse).
    • Tanh Clamp: تُطبق دالة تقييد قابلة للاشتقاق ($\tanh(z/s)$) على المخرجات الكامنة لاستقرار عملية الانتشار في المساحة الكامنة.
    • التبديل العشوائي (Random Switching): أثناء التدريب، ينتقل النموذج عشوائياً بين استخدام الحالة التالية المتنبأ بها أو الحالة الكامنة الحقيقية كمدخل لخطأ الخطوة الزمنية التالية لموازنة معلومات الأفق الزمني.
• تدريب السياسة (Policy Training): يتم تدريب السياسة عبر إطار عمل (Actor-Critic) باستخدام خوارزمية REINFORCE لتجنب الانتشار العكسي عبر عملية الانتشار متعددة الخطوات، مما يضمن الكفاءة الحسابية.

3. المساهمات الرئيسية

1. اكتشاف عدم تماثل الأداء: أول من حدد وكمّم الفجوة الهائلة بين المهام المثالية للوكيل والمثالية للبشر في MBRL، مما يسلط الضوء على مشكلة الإفراط في ملاءمة المهام (Task Overfitting).
2. مقياس Sym-HNS: اقترح مقياس تقييم متوازن باستخدام المتوسط التوافقي لمنع حجب الأداء الضعيف في مجموعات فرعية محددة من المهام.
   টি
3. نموذج العالم JEDI: قدم أول نموذج عالمي للانتشار الكامن من طرف إلى طرف يدرب المشفر مباشرة عبر تدرجات الانتشار ضمن إطار عمل بأسلوب JEPA.
4. عكس عدم التماثل: أثبت أن الانتقال من النماذج القائمة على البكسل إلى نماذج الانتشار القائمة على المساحات الكامنة، مع دمج تدريب بأسلوب JEPA، يمكن أن يحسن الأداء في المهام المعقدة المثالية للبشر وفي الوقت نفسه يحافظ على التنافسية في المهام المثالية للوكيل.

4. النتائج

• أداء Sym-HNS: يحقق JEDI أفضل أداء (SOTA) في Sym-HNS، مما يعكس اتجاه التدهور في عدم التماثل الذي شهدته الوكلاء السابقين (مثل DIAMOND).
• المهام المثالية للبشر: يتفوق JEDI بشكل كبير على جميع النماذج المرجعية في مهام HO، محققاً أداءً يتفوق على البشر في لعبة BankHeist (التي كانت نقطة فشل للوكلاء القائمين على البكسل) ويحسن الدرجات في مهام الرماية الأخرى.
• المهام المثالية للوكيل: يظل JEDI تنافسياً في مهام AO. والجدير بالذكر أنه يحقق أفضل أداء (SOTA) في لعبة Breakout (بدرجة HNS 5.35 مقابل 4.54 لـ DIAMOND)، مما يثبت أن الانتشار الكامن يمكنه التعامل مع المهام ذات التفاصيل البصرية العالية دون الحاجة لمدخلات بكسلية.
• الكفاءة:
  • الذاكرة: يستخدم ذاكرة GPU أقل بنسبة 43% من DIAMOND.
  • السرعة: يحقق سرعة أخذ عينات (Sampling) أسرع بـ 3 مرات وتدريباً أسرع بمرتين بسبب ضغط المساحة الكامنة (تقليل في أبعاد الحالة بمقدار 12 مرة).
• المتانة: يتفوق JEDI على الوكلاء غير القائمين على الانتشار في البيئات العشوائية (Random Frameskipping).
• دراسات الاستئصال (Ablation Studies): أكدت أن تدرجات الانتشار من طرف إلى طرف ضرورية لأداء مهام HO، وأن آليات التبديل العشوائي وتقييد الكامن (Latent Clamping) حاسمة للاستقرار.

5. الأهمية

تتحدى هذه الورقة بشكل جوهري النموذج الحالي لتقييم وهندسة معمارية MBRL:

• التحول في التقييم: تجادل الورقة بأن درجات "المتوسط فوق البشري" مضللة، وأنه يجب على المجتمع اعتماد مقاييس متوازنة (مثل Sym-HNS) لضمان قوة الوكلاء عبر مختلف تعقيدات المهام، وليس مجرد الإفراط في ملاءمة ميكانيكيات ألعاب معينة.
• الرؤية المعمارية: تثبت أن نماذج الانتشار الكامنة يمكنها التغلب على لعنة الأبعاد المتأصلة في RL القائم على البكسل، خاصة للمهام المعقدة ذات مساحات العمل العالية والديناميكيات العشوائية.
• تآزر JEPA + Diffusion: تثبت أن خسائر الانتشار الجاهزة متوافقة تماماً مع أطر عمل JEPA، مما يسمح بتعلم تمثيل فعال من طرف إلى طرف دون العبء الحسابي لوحدات فك الترميز الخاصة بإعادة البناء.
• التوجه المستقبلي: يفتح هذا العمل آفاقاً جديدة لفهم الاختلافات الجوهرية بين المهام التي يتفوق فيها البشر مقابل تلك التي يتفوق فيها الوكلاء، مما يشير إلى أن أبحاث RL المستقبلية يجب أن تعالج صراحةً تعقيد المهام وتباين مساحات العمل.