Simulus: Combining Improvements in Sample-Efficient World Model Agents

ملخص تقني: Simulus – الجمع بين التحسينات في وكلاء نماذج العالم عالي الكفاءة في استهلاك العينات

بيان المشكلة
تمثل نماذج العالم (WMs) جبهة جديدة في التعلم التعزيزي (RL) عالي الكفاءة في استهلاك العينات، ومع ذلك، غالبًا ما يظل إمكانها غير مستغل بسبب تعقيد دمج التحسينات الواعدة. وبينما توجد تطورات فردية، فإن الجمع بينها يتطلب خبرة هندسية وجهدًا كبيرين. علاوة على ذلك، فإن نماذج العالم القائمة على الرموز (Tokens) الحالية (TBWMs) تقتصر إلى حد كبير على الملاحظات الصورية والأفعال المنفصلة، مما يحد من قابليتها للتطبيق في التحكم المستمر والبيئات متعددة الوسائط. بالإضافة إلى ذلك، غالبًا ما يتم التغاضي عن مكونات مثل التحفيز الجوهري (لتقليل عدم اليقين المعرفي) وإعادة التشغيل ذات الأولوية في الوكلاء عالي الكفاءة، ويرجع ذلك جزئيًا إلى التكلفة العالية للدمج وخطر أن يؤدي الاستكشاف الجوهري إلى إهدار ميزانيات التفاعل الضئيلة في تجارب غير ذات صلة بالمهمة. يعكس هذا المشهد حقبة ما قبل "Rainbow" في التعلم العميق، حيث لم تكن التحسينات التي تم التحقق من صحتها فرديًا قد جُمعت بشكل منهجي بعد.

المنهجية
يقدم المؤلفون Simulus، وهو وكيل نموذج عالم معياري قائم على الرموز (Tokens) مصمم لدمج والتحقق من مجموعة من التحسينات المتكاملة. بُني الوكيل على بنية REM ويتكون من أربع وحدات متميزة: وحدة التمثيل ($V$)، ونموذج العالم ($M$)، والمتحكم ($C$)، وذاكرة إعادة التشغيل (Replay Buffer).

1. إطار عمل مرن للترميز ($V$): يستخدم Simulus نظام ترميز معياري يدعم تركيبات عشوائية من وسائط الملاحظة والفعل. فهو يتعامل أصليًا مع الصور، والمتجهات المستمرة، والمتغيرات الفئوية، و"الفئات ثنائية الأبعاد" (شبكات تشبه الصور من المتغيرات الفئوية). تنتج المشفرات تسلسلات رموز ثابتة الطول، والتي يتم دمجها في تمثيل موحد. وهذا يسمح للوكيل بالعمل في بيئات متنوعة، بما في ذلك التحكم المستمر والمهام متعددة الوسائط الرمزية.
2. نموذج العالم ($M$): يستخدم نموذج الديناميكيات شبكة استبقاء (RetNet) معززة بآلية التنبؤ بالملاحظة المتوازية (POP) لنمذجة ديناميكيات البيئة كنمذجة تسلسل عبر رموز منفصلة.
   • التحفيز الجوهري: لتقليل عدم اليقين المعرفي، يستخدم Simulus مجموعة من رؤوس التنبؤ بالملاحظة التالية. يتم قياس التباين بين هذه الرؤوس عبر تباعد جينسن-شانون (JSD)، مما يولد مكافآت جوهرية ($r_{int}$). يتم دمج هذه المكافآات مع المكافآت الخارجية لتوجيه المتحكم نحو المناطق ذات عدم اليقين العالي أثناء "الخيال" (التخطيط داخل النموذج).
   • إعادة التشغيل ذات الأولوية: تحتفظ ذاكرة إعادة التشغيل بقيم خسارة نموذج العالم للعينات المخزنة. يستخدم التدريب مزيجًا من أخذ العينات الموحد وذي الأولوية (يتم التحكم فيه بواسطة معلمة واحدة $\alpha$)، حيث يتم اختيار العينات بما يتناسب مع قيم الخسارة المحولة عبر دالة Softmax.
3. المتحكم ($C$): المتحكم هو بنية "ممثل-ناقد" (Actor-Critic) ممتدة تعمل بالكامل على الخبرة المحاكية الناتجة عن نموذج العالم.
   • التراجع كالتصنيف (RaC): للتعامل مع إشارات المكافأة والعائد غير المحدودة بمتانة، يتبنى Simulus شبكة تصنيف مع صناديق أسية للتنبؤ بالقيمة. ويستخدم طريقة فقدان HL-Gauss (القائمة على الإنتروبيا المتقاطعة) بدلاً من متوسط الخطأ التربيعي التقليدي، مما يحسن الاستقرار في تقدير القيمة.
4. دورة التدريب: يتبع الوكيل دورة من جمع البيانات، وتعلم التمثيل، وتعلم نموذج العالم، وتعلم التحكم في الخيال. يتم تدريب المتحكم باستخدام عوائد $\lambda$ وهدف REINFORCE مع خط أساس للقيمة (Value Baseline).

المساهمات الرئيسية

• دمج المكونات المغفلة: يحدد البحث ويدمج التحفيز الجوهري، وإعادة تشغيل نموذج العالم ذات الأولوية، ونهج RaC الهجين. ويثبت أن هذه المكونات ليست فعالة فرديًا فحسب، بل تحقق أيضًا مكاسب تآزرية عند دمجها.
• وكلاء متنوعون قائمون على الرموز: من خلال تكييف الترميز متعدد الوسائط مع نظام الكفاءة في استهلاك العينات، يثبت Simulus أن نماذج العالم القائمة على الرموز (TBWMs) هي وكلاء متعددون قادرون على التعامل مع المدخلات البصرية، والمستمرة، ومتعددة الوسائط، متجاوزين بذلك القيود المفروضة على نماذج الأفعال المنفصلة المعتمدة على الصور فقط.
• التحقق من الاستكشاف المستحث بالنموذج: يوضح العمل أن الاستكشاف المستحث بنموذج العالم يحسن الأداء بشكل كبير حتى في ظل ميزانيات تفاعل ضيقة، مما يتحدى الفكرة القائلة بأن التحفيز الجوهري مكلف للغاية بالنسبة لإعدادات الكفاءة في استهلاك العينات.
• أساس مفتوح المصدر: يوفر المؤلفون نقطة انطلاق قوية لأبحاث TBWM من خلال جعل الكود وأوزان النماذج مفتوحة المصدر، مما يخفض حاجز الدخول لتطوير وكلاء نماذج عالم تنافسية.

النتائج
تم تقييم Simulus عبر ثلاثة اختبارات معيارية متنوعة ذات ميزانيات تفاعل صارمة:

• Atari 100K البصري: حقق Simulus كفاءة في استهلاك العينات هي الأفضل (SOTA) بين الطرق التي لا تعتمد على التخطيط، متفوقًا على النماذج المرجعية مثل DreamerV3 وTWM وSTORM وDIAMOND. ومن الملاحظ أنه أول نموذج عالم خالٍ من التخطيط يصل إلى درجات المتوسط بين الربيعات (IQM) والوسيط بمستوى بشري، محققًا أداءً فائقًا للبشر في 13 من أصل 26 لعبة.
• التحكم المستمر (DMC Proprioception 500K): في مهام التحكم المستمر، طابق Simulo باستمرار أو تفوق قليلاً على DreamerV3، مما يثبت فعالية البنيات القائمة على الرموز في المجالات المستمرة باستخدام مفردات مدمجة.
• البيئة الرمزية متعددة الوسائط (Craftax-1M): في بيئة بقاء ثنائية الأبعاد جزئية الملاحظة تجمع بين الشبكات الرمزية والميزات المستمرة، تفوق Simulus على طرق نماذج العالم المتزامنة وجميع النماذج غير القائمة على النماذج (بما في ذلك RND وPPO-RNN وE3B)، مع التعامل بكفاءة مع تسلسلات الرموز الطويلة.

أكدت دراسات الاستئصال (Ablation studies) أن كل مكون يساهم بشكل فردي، حيث ثبت أن المكافآت الجوهرية حاسمة بشكل خاص. وقد أدى الجمع بين جميع المكونات إلى أقوى أداء، مما يشير إلى وجود تآزر كبير.

الأهمية
تجادل الورقة بأن الإمكانات غير المستغلة لوكلاء نماذج العالم تنبع من صعوبة دمج التحسينات المعيارية. ومن خلال استلهام إطار عمل "Rainbow" في DQN، يثبت Simulus أن الجمع المنهجي بين مرونة الترميز، والتحفيز الجوهري، وإعادة التشغيل ذات الأولوية لنموذج العالم، وتقنيات التنبؤ بالقيمة المتقدمة، يؤدي إلى كفاءة في استهلاك العينات هي الأفضل في فئتها. يرسخ هذا العمل نماذج العالم القائمة على الرموز كنهج متعدد الاستخدامات وقابل للتوسع لمجالات التعلم التعزيزي المتنوعة، بشرط دمج المكونات بعناية لتجنب التداخل الذي يظهر غالبًا في البنيات المتجانسة (Monolithic). ويؤكد المؤلفون أنه بينما تواجه الوكلاء القائمون على الرموز حاليًا قيودًا في سرعة التدريب مقارنة ببعض النماذج المرجعية، إلا أن تصميمهم المعياري يقدم مزايا واضحة لاستدلال السياسة وقابلية التوسع في الأبحاث المستقبلية.