ملخص تقني: تمثيلات نموذجية غير منحازة للتحكم المستمر بكفاءة العينات

بيان المشكلة

غالبًا ما تعاني وكلاء التعلم المعزز (RL) من عدم كفاءة العينات، مما يتطلب تفاعلات عبر الإنترنت (online) مكثفة لتعلم سياسات فعالة. وبينما حسنت الأساليب الخالية من النموذج (model-free) الكفاءة من خلال تقنيات متنوعة، فإن النهج القائم على النموذج (model-based) توفر كفاءة أعلى في العينات عبر تعلم ديناميكيات البيئة، ولكنها تتكبد تكاليف تدريب عالية. تحاول النهج الهجينة الحديثة تعلم تمثيلات قائمة على النموذج (تضمين الديناميكيات الكامنة في تمثيلات الحالة-الفعل) لتغذية شبكات الممثل-الناقد (actor-critic) اللاحقة، مما يجمع بين مزايا كلا النماذج.

ومع ذلك، يحدد المؤلفون مصدرين حرجين للانحياز في طرق تمثيل النماذج الحالية يؤديان إلى أداء دون المستوى الأمثل:

1. انحياز التمثيل (Representation Bias): تعمل الطرق الحالية عادةً على تقليل الانحراف العددي (مثل متوسط مربع الخطأ MSE) بين تمثيل الحالة-الفعل الحالي ($z_{sa}$) وتمثيل الحالة التالية ($z_{s'}$). يجادل المؤلفون بأن تقليل المسافة الإقليدية لا يؤدي بالضرورة إلى تعظيم المعلومات المتبادلة (mutual information) بين هذه التمثيلات. ونتيجة لذلك، قد تفشل التمثيلات المتعلمة في التقاط معلومات كافية ذات صلة أو قد تفرط في ملاءمة العناصر الزائدة، لا سيما في الفضاءات عالية الأبعاد.
2. انحياز أخذ العينات (Sampling Bias): إن استراتيجيات إعادة تشغيل الخبرة القياسية، مثل أخذ العينات الموحد أو إعادة تشغيل الخبرة ذات الأولوية (PER)، عرضة لـ انحياز الأولوية (primacy bias). تفضل طريقة PER الانتقالات ذات أخطاء الفرق الزمني (TD errors) الكبيرة، والتي غالبًا ما تتوافق مع التجارب المبكرة، التي قد تكون دون المستوى الأمثل. يتسبب هذا في إفراط الوكيل في ملاءمة البيانات المبكرة التي قد تنحرف بشكل كبير عن توزيع السياسة الحالي، مما يؤدي إلى عدم استقرار التدريب وأداء أدنى.

المنهجية: خوارزمية DR.Q

لمعالجة هذه المشكلات، يقترح المؤلفون DR.Q (التمثيلات النموذجية غير المنحازة لتعلم Q)، وهي خوارزمية تعلم معزز خارج السياسة (off-policy) مصممة لتعلم تمثيلات نموذجية غنية بالمعلومات. يفصل الإطار عملية التعلم إلى مرحلتين: (i) تعلم تمثيلات الحالة والحالة-الفعل باستخدام أهداف قائمة على النموذج، و (ii) تحسين دوال القيمة والسياسات اللاحقة.

1. تعظيم المعلومات المتبادلة في تعلم التمثيل

تقوم DR.Q بتعديل هدف مشفر (encoder) التدريب لتعظيم المعلومات المتبادلة بين تمثيل الحالة-الفعل ($z_{sa}$) وتمثيل الحالة التالية ($z_{s'}$) صراحةً، بالإضافة إلى تقليل انحرافهما.

• فقدان الاتساق الكامن (Latent Consistency Loss): يقلل من MSE بين تمثيل الحالة التالية المتوقع وتمثيل الحالة التالية المستهدف.
• فقدان المعلومات المتبادلة (Mutual Information Loss): لتجنب عدم القدرة على حساب المعلومات المتبادلة مباشرة، تستخدم DR.Q فقدان InfoNCE (وهو حد أدنى للمعلومات المتبادلة). يشجع هذا الفقدان التمثيلات على ألا تكون قريبة عددياً فحسب، بل أن تشفر أيضاً معرفة مشتركة ومعلوماتية حول الديناميكيات الكامنة.
• التبرير النظري: يثبت المؤلفون (النظرية 4.1) أن تقليل MSE لا يضمن زيادة المعلومات المتبادلة. علاوة على ذلك، يوضحون (التمهيدية 4.2) أن تعظيم المعلومات المتبادلة يقلل بشكل صارم من الإنتروبيا الشرطية للحالة التالية بناءً على الحالة-الفعل الحالية، مما يؤدي إلى نموذج ديناميكيات كامنة أكثر حتمية وتمييزاً، مما يضيق الحد الأعلى لخطأ تقدير القيمة.

2. إعادة تشغيل الخبرة ذات الأولوية المتلاشية (Faded PER)

تقدم DR.Q استراتيجية أخذ عينات مبتكرة للتخفيف من انحياز الأولوية من خلال الجمع بين إعادة تشغيل الخبرة ذات الأولوية (PER) و آلية النسيان.

• الآلية: تتناسب احتمالية أخذ العينات $P(i)$ للانتقال $e_i$ مع حاصل ضرب مقدار خطأ TD وعامل اضمحلال يعتمد على عمرها في مخزن إعادة التشغيل:
  $$P(i) \propto |\delta(i)|^\alpha (1 - \epsilon)^i$$
  حيث $\delta(i)$ هو خطأ TD، و $\alpha$ هو معامل التنعيم، و $\epsilon$ هو معدل الاضمحلال.
• الأثر: تخصص هذه الاستراتيجية أولوية عالية للانتقالات التي تكون جديدة (أضيفت حديثاً) و معلوماتية (أخطاء TD كبيرة). وهذا يضمن أن التجارب القديمة، حتى لو كانت ذات أخطاء كبيرة في البداية، يتم خفض أولويتها تدريجياً مع تطور السياسة، مما يمنع الوكيل من الإفراط في ملاءمة البيانات القديمة.
• التحليل النظري: يقدم المؤلفون حدوداً نظرية (النظرية 4.3) تظهر أنه بموجب Faded PER، فإن احتمالية أخذ عينات التجارب الأقدم ذات أخطاء TD المتطابقة تكون أقل صراحةً من التجارب الأحدث، وأن أوقات أخذ العينات المتوقعة للتجارب القديمة محدودة.

المساهمات الرئيسية

1. خوارزمية DR.Q: خوارزمية تعلم معزز عامة خارج السياسة تتعلم تمثيلات قائمة على النموذج باستخدام مجموعة واحدة من المعلمات الفائقة عبر معايض التحكم المستمر المتنوعة.
2. تعلم التمثيل غير المنحاز: تقديم فقدان معلومات متبادلة قائم على InfoNCE لتكملة فقدان الاتساق الكامن القياسي، مما يضمن أن التمثيلات كافية المعلوماتية والتعبيرية.
3. إعادة تشغيل الخبرة ذات الأولوية المتلاشية (Faded PER): استراتيجية أخذ عينات توازن بفعالية بين فوائد إعطاء الأولوية للانتقالات ذات الخطأ العالي والحاجة إلى نسيان التجارب القديمة، مما يخفف من انحياز الأولوية.
4. تقييم شامل: تحقق من الصحة التجريبية الواسعة عبر 73 مهمة من ثلاثة معايض قياسية (MuJoCo, DMC Suite, HumanoidBench)، مما يثبت المتانة والقدرة على التعميم.

النتائج التجريبية

قيم المؤلفون DR.Q مقابل خطوط أساس قوية، بما في ذلك الأساليب الخالية من النموذج (مثل SimBaV2, FoG, TD7) والأساليب القائمة على النموذج (مثل MR.Q, TDMPC2, DreamerV3).

• الأداء: تحقق DR.Q باستمرار أداءً يضاهي أو يتفوق على خطوط الأساس القوية. تشمل التحسينات الملحوظة:
  • زيادة بنسبة 15.5% عن SimBaV2 في مهام DMC-Hard.
  • تحسن بنسبة 58.9% عن FoG في مهام HumanoidBench (مع الأيدي الماهرة).
  • تفوق بنسبة 26.8% على MR.Q في مهام DMC-Visual.
• كفاءة العينات: تحقق DR.Q كفاءة فائقة في العينات، وغالباً ما تتفوق على خطوط الأساس بفارق كبير. على سبيل المثال، هي أول طريقة تم الإبلاغ عنها بتحقيق متوسط عائد يتجاوز 700 في المهمة الصعبة dog-run ضمن مليون خطوة بيئة.
• دراسات الاستئصال (Ablation Studies): تؤكد التجارب أن إزالة فقدان InfoNCE أو آلية Faded PER يؤدي إلى تدهور كبير في الأداء، خاصة في المهام عالية الأبعاد ذات المعلومات الحالة الزائدة (مثل HumanoidBench مع الأيدي).
• جودة التمثيل: تشير تصورات t-SNE إلى أن DR.Q تتعلم مجموعات أكثر استمرارية وتركيزاً مقارنة بـ MR.Q، مما يشير إلى تعلم هيكلي أفضل للفضاء الكامن.

الأهمية والادعاءات

يزعم البحث أن DR.Q تمثل خطوة ملموسة نحو بناء خوارزميات تعلم معزز عالية الأداء وخالية من النموذج. من خلال معالجة انحيازات تعلم التمثيل صراحةً (عبر تعظيم المعلومات المتبادلة) وإعادة تشغيل الخبرة (عبر Faded PER)، تحقق DR.Q أداءً قوياً دون الحاجة إلى ضبط المعلمات الفائقة الخاصة بالمهمة أو تغييرات معمارية معقدة.

يشير المؤلفون إلى بعض القيود، مثل الأداء الأدنى في مهام محددة مثل Hopper-v4 (يُعزى إلى استخدام معلمات فائقة موحدة) والتحديات في المهام البصرية الصعبة للغاية مثل humanoid-run ضمن ميزانية التدريب المحدودة. كما يقرون بأن الخوارزمية ليست مصممة للاستكشاف الصعب أو المهام غير المار كوفية (non-Markovian). رغم هذه القيود، يثبت العمل أن إزالة الانحياز من التمثيلات القائمة على النموذج هي مسار قابل للتطبيق لتعزيز كفاءة العينات في التحكم المستمر.