ملخص تقني: الصعوبة المفاجئة للبحث في التعلم المعزز القائم على النموذج

بيان المشكلة

يُنظر إلى التعلم المعزز القائم على النموذج (MBRL) تقليديًا على أنه نموذج واعد لاتخاذ القرار بكفاءة في استخدام العينات، حيث يعتمد على نماذج ديناميكيات متعلمة لمحاكاة المسارات المستقبلية والتخطيط المسبق. والافتراض السائد في هذا المجال هو أن العقبات الرئيسية أمام أداء MBRL هي دقة النموذج والأخطاء التراكمية عبر الآفاق الزمنية الطويلة. وبناءً على ذلك، ركزت الكثير من الأبحاث على تحسين نماذج الديناميكيات وتقدير عدم اليقين.

ومع ذلك، تتحدى هذه الورقة البحثية الافتراض القائل بأن النماذج الأفضل تؤدي تلقائيًا إلى تخطيط أفضل. يستقصي المؤلفون مدى فعالية البحث (وتحديدًا التحكم التنبئي بالنموذج، أو MPC) كبديل جاهز للسياسات المتعلمة. وهم يفترضون أن صعوبة البحث في MBRL لا تعود فقط إلى عيوب النموذج، بل تنبع من مشكلات جوهرية في كيفية تفاعل البحث مع تعلم القيمة، وتحديدًا فيما يتعلق بـ انزياح التوزيع (distribution shift) وتحيز المبالغة في التقدير (overestimation bias).

المنهجية

الاستقصاء النظري والتجريبي

يؤصل المؤلفون أولاً لفكرة أن البحث يمكن أن يفشل حتى مع وجود نماذج مثالية. باستخدام نموذج "سلسلة N الماصة" (absorbing N-chain MDP)، يوضحون أنه في ظل البحث العشوائي الموحد، تتناقص احتمالية إيجاد مسار ذي قيمة عالية أسياً مع زيادة أفق التخطيط، مما يجعل البحث الشامل غير ممكن في فضاءات العمل الكبيرة.

ولعزل تأثيرات البحث عن جودة النموذج، يقارن المؤلفون بين خوارزميتين متشابهتين بنيويًا:

1. MR.Q: وهي طريقة متطورة تستخدم هدفًا قائمًا على النموذج لتعلم التمثيل فقط، دون استخدام البحث.
2. TD-MPC2: وهي طريقة رائدة في MBRL تعتمد على البحث وتستخدم نموذج عالم كامن لعملية MPC.

ويثبتون تجريبيًا أن إضافة MPC بشكل بدائي إلى MR.Q يؤدي إلى تدهور الأداء، على الرغم من أن MR.Q يتعلم نماذج ديناميكيات بدقة تضاهي (أو تتفوق على) TD-MPC2. وعلى العكس من ذلك، فإن إزالة MPC من TD-MPC2 تغير أيضًا ملف أدائها. ويؤكد هذا التباين أن دقة النموذج وحدها لا تحدد نجاح البحث.

تحليل السبب الجذري: تحيز المبالغة في التقدير

يحدد المؤلفون تحيز المبالغة في التقدير باعتباره العائق الأساسي. في الإعدادات القياسية لـ MBRL:

• يتم تدريب دالة القيمة باستخدام عمليات التدحرج (rollouts) من شبكة سياسة ($\pi$) متعلمة.
• أثناء التنفيذ، يختار البحث (MPC) الإجراءات بناءً على دالة القيمة ($\pi_{MPC}$).
• يؤدي هذا إلى خلق انزياح في التوزيع: حيث يتم استعلام دالة القيمة عن إجراءات ($\pi_{MPC}$) تختلف عن التوزيع الذي تدربت عليه ($\pi$).
• يؤدي هذا التباين إلى قيام دالة القيمة بالمبالغة في تقدير العوائد للإجراءات المختارة بواسطة البحث، خاصة بالنسبة للإجراءات الخارجة عن التوزيع (OOD)، مما يؤدي إلى تدهور الأداء العام.

الحل المقترح: MRS.Q

بناءً على هذه الرؤى، يقترح المؤلفون خوارزمية MRS.Q (التمثيلات القائمة على النموذج للبحث وتعلم Q). تقوم MRS.Q بتعديل MR.Q لتمكين البحث الفعال من خلال معالجة تحيز المبالغة في التقدير مباشرة بدلاً من مجرد تحسين دقة النموذج. وتشمل التعديلات الرئيسية ما يلي:

1. اختيار الإجراء القائم على البحث: تستخدم MRS.Q التحكم بمسار التكامل التنبئي للنموذج (MPPI) لاختيار الإجراءات مع أفق قصير (3 خطوات)، على غرار TD-MPC2.
2. التقليل العدواني عبر مجموعة (Ensemble): للتخفيف من تحيز المبالغة في التقدير، تستخدم MRS.Q مجموعة مكونة من 10 دوال قيمة. ومن الأهمية بمكان أنها تأخذ الحد الأدنى للقيمة عبر المجموعة بأكملها أثناء كل من:
   • حساب هدف القيمة (تحديثات Bellman).
   • تقييم المسار أثناء MPC (اختيار أفضل تسلسل للإجراءات).
     وهذا يتناقض مع TD-MPC2، التي تأخذ عينة عشوائية من زوج من دوال القيمة للتحديثات وتستخدم المتوسط لتقييم MPC.
3. تعديلات المعلمات الفائقة (Hyperparameters):
   • إزالة ضوضاء الاستكشاف: بما أن MPC يحفز بطبيعته التباين في الإجراءات، فقد تمت إزالة ضوضاء غاوس الإضافية.
   • التضمينات السيمبلية (Simplicial Embeddings - SEM): تُطبق على مشفر الحالة ومخرجات نموذج الديناميكيات لاستقرار عمليات التدحرج متعددة الخطوات.
   • زيادة وزن الخسارة النهائية: لتحسين دقة تنبؤات إنهاء الحلقة، وهو أمر بالغ الأهمية لتقدير القيمة.

المساهمات الرئيسية

1. تحدي عقيدة "النموذج الأفضل": توضح الورقة أن البحث يمكن أن يفشل حتى مع وجود نماذج ديناميكيات دقيقة للغاية أو مثالية. إن فعالية البحث تتحدد أكثر بالتفاعل بين البحث وتعلم القيمة من خلال دقة النموذج وحدها.
2. تحديد انزياح التوزيع كعنق زجاجة: يظهر المؤلفون أن الانزياح في التوزيع الناتج عن استخدام البيانات التي جمعها البحث لتدريب دالة قيمة تم تدريبها على بيانات غير بحثية يؤدي إلى تحيز شديد في المبالغة في التقدير.
3. خوارزمية MRS.Q: يقدمون MRS.Q، التي تدمج البحث في إطار تعلم التمثيل باستخدام مجموعة من دوال القيمة مع تقليل عدواني. تعالج هذه الطريقة بفعالية تحيز المبالغة في التقدير.
4. أداء يضاهي أحدث المعايير (SOTA): تحقق MRS.Q أداءً فائقًا عبر عدة مهام مقارنة بكل من النماذج المرجعية (baselines) الخالية من النموذج والقائمة على النموذج، بما في ذلك TD-MPC2 وامتداداتها الحديثة (TD-M(PC)2، BMPC، BOOM).

النتائج

قيم المؤلفون MRS.Q عبر أكثر من 50 مهمة في ثلاثة مجالات مرجعية: Gym، وDeepMind Control Suite (DMC)، وHumanoidBench.

• الأداء: تتفوق MRS.Q على جميع النماذج المرجعية في ثلاثة من أربعة أجزاء من الاختبارات المرجعية (Gym، HumanoidBench-No Hand، HumanoidBench-Hand) وتظل منافسة في DMC.
• المقارنة مع TD-MPC2: على الرغم من استخدام نفس إجراء البحث (MPPI)، إلا أن MRS.Q تتفوق بشكل كبير على TD-MPC2، لا سيما في المهام عالية الأبعاد (مثل HumanoidBench مع ميزات اليد) وبيئات Gym.
• دراسات الاستئصال (Ablation Studies):
  • حجم المجموعة (Ensemble Size): يتحسن الأداء مع زيادة حجم المجموعة إلى 10 دوال قيمة؛ حيث إن استخدام اثنتين فقط (كما في Double Q-learning القياسي) غير كافٍ للتخفيف من التحيز.
  • استراتيجية التقليل (Minimization Strategy): يعد أخذ الحد الأدنى عبر المجموعة الكاملة أثناء تقييم مسار MPC أمرًا حاسمًا. استخدام المتوسط (كما في TD-MPC2) يؤدي إلى أداء أقل.
  • ضوضاء الاستكشاف: يؤدي إزالة ضوضاء الاستكشاف الإضافية إلى تحسين الأداء، مما يؤكد أن MPC يوفر استكشافًا كافيًا.
• التكلفة الحسابية: تتحمل MRS.Q تكلفة حسابية أعلى من MR.Q (حوالي 53 ساعة مقابل 10 ساعات لـ 1 مليون خطوة في HalfCheetah)، ويرجع ذلك أساسًا إلى عملية بحث MPC وليس بسبب مجموعة دوال القيمة.

الأهمية والادعاءات

تدعي الورقة أن عنق الزجاجة في MBRL ليس فقط جودة نموذج الديناميكيات، بل كيفية استخدام النموذج. ويجادل المؤلفون بأن التقدم في MBRL يتطلب فهم وإدارة التوترات الجوهرية بين تعلم القيمة والبحث.

• تحول في النموذج الفكري: يشير العمل إلى أن مجرد بناء نماذج أفضل ليس كافيًا. بدلاً من ذلك، فإن معالجة تحيز المبالغة في التقدير الناتج عن الانزياح في التوزيع بين البحث والتدريب هو المفتاح لإطلاق فوائد البحث.
• القدرة على التعميم: ثبت أن تقنية استخدام الحد الأدنى للمجموعة للتخفيف من المبالغة في التقديد الناتجة عن البحث فعالة ليس فقط لـ MRS.Q، بل تحسن أيضًا من TD-MPC2 عند تطبيقها عليه.
• التأثير العملي: من خلال تمكين الاستخدام الأكثر فعالية للنماذج المتعلمة، تقدم MRS.Q مسارًا لتعلم معزز أكثر كفاءة في استخدام العينات، وهو أمر بالغ الأهمية للتطبيقات في الروبوتات والأنظمة ذاتية القيادة حيث يكون جمع البيانات مكلفًا أو حساسًا للسلامة.

يبقى المؤلفون متواضعين فيما يتعلق بالقيود، مشيرين إلى أن التكلفة الحسابية للحفاظ على 10 دوال قيمة وتشغيل MPC كبيرة، وأن استراتيجية التقليل العدواني تحقق مكاسب أصغر في المهام ذات المكافآت الكثيفة والتي لا يوجد فيها إنهاء مبكر (مثل DMC)، مما يشير إلى أن الطريقة مفيدة أكثر حيث تكون المبالغة في التقدير شديدة.