Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning

ملخص تقني: الاستبدال القريب للأفعال لتعزيز ممثل "الممثل-الناقد" في استنساخ السلوك ضمن التعلم المعزز غير المتصل

1. بيان المشكلة

يهدف التعلم المعزز غير المتصل (Offline Reinforcement Learning) إلى تعلم سياسات مثالية من مجموعات بيانات ثابتة تم جمعها مسبقاً دون تفاعل إضافي مع البيئة. ويعد تنظيم استنساخ السلوك (Behavior Cloning - BC) نهجاً مهيمناً لضمان الاستقرار في التعلم المعزز غير المتصل، حيث يعمل على تقييد السياسة المتعلمة لتبقى قريبة من سياسة السلوك الموجودة في مجموعة البيانات. وهذا يقلل من مشكلة انزياح التوزيع ويمنع الوكيل من استغلال الأفعال خارج نطاق التوزيع (OOD).

ومع ذلك، يحدد المؤلفون قيداً جوهرياً: تنظيم استنساخ السلوك يفرض سقفاً للأداء. فعندما تحتوي مجموعة البيانات غير المتصلة على أفعال دون المستوى الأمثل، فإن التقليد غير المدروس يجبر "الممثل" (Actor) على التقارب نحو هذه المناطق دون المستوى، حتى عندما يحدد "الناقد" (Critic/دالة القيمة) أفعالاً أفضل. ويجادل المؤلفون بأن هذا يخلق مقايضة هيكلية حيث لا تستطيع السياسة استغلال اقتراحات دالة القيمة للتحسين بشكل كامل، لا سيما في مراحل التدريب اللاحقة عندما يتحول الاختناق الرئيسي من "الواقعية" إلى "المثالية".

2. المنهجية: الاستبدال القريب للأفعال (PAR)

لتحطيم سقف الأداء هذا مع الحفاظ على استقرار التدريب، يقترح المؤلفون الاستبدال القريب للأفعال (Proximal Action Replacement - PAR)، وهو وحدة استبدال عينات قابلة للتركيب والتشغيل (plug-and-play). يقوم PAR بتعديل أهداف الإشراف لـ "خسارة استنساخ السلوك" الخاصة بالممثل ديناميكياً. فبدلاً من تقليد الفعل المسجل في مجموعة البيانات بشكل أعمى، يقوم PAR باستبداله انتقائياً بفعل أفضل يتم توليده بواسطة سياسة هدف مستقرة، مع الخضوع لقيدين رئيسيين:

أ. استبدال الأفعال الواعي باتجاه التدرج (GDAAR)
يحدد هذا المكون متى يتم استبدال الفعل.

• الآلية: بالنسبة لحالة معينة $s$، تقارن الطريقة بين الفعل المسجل $a$ والفعل المرشح $\hat{a}$ (الذي تم توليده بواسطة ممثل هدف $\pi'$) مقابل اتجاه الصعود المحلي لدالة قيمة الفعل $Q(s, a)$ للناقد.
• المقياس: تحسب تشابه جيب التمام (cosine similarity) بين متجهات الإزاحة ($v = a - \pi_\theta(s)$ و $v' = \hat{a} - \pi_\theta(s)$) وتدرج الناقد $g = \nabla_a Q(s, a)|_{a=\pi_\theta(s)}$.
• قاعدة القرار: إذا كان الفعل المستهدف $\hat{a}$ أكثر توافقاً مع اتجاه الصعود المحلي للناقد من الفعل المسجل $a$ (أي أن $\cos(g, v') > \cos(g, v)$)، فسيتم استبدال هدف استنساخ السلوك بـ $\hat{a}$. وإلا، يتم الاحتفاظ بالفعل الأصلي $a$.
• الضمان النظري: يثبت المؤلفون أنه بموجب فرضيات النعومة، تضمن قاعدة الاختيار هذه أن تحسن القيمة في خطوة واحدة ليس أسوأ من استنساخ السلوك التقليدي (vanilla BC) وصولاً إلى الخطأ من الدرجة الثانية.

ب. ترجيح أفعال خارج النطاق ذات الشكل الغاوسي (GSOAW)
يحدد هذا المكون مقدار الثقة في الاستبدال، مما يضمن الاستقرار ضد انزياح التوزيع.

• الدوافع: يمكن أن يؤدي استبدال الأفعال إلى انحراف السياسة بشكل كبير عن سلوك المجموعة، مما يؤدي إلى انهيار الناقد (عدم الاستقرار) بسبب أخطاء الاستقراء.
• الآلية: يقدم PAR دالة قيمة حالة مساعدة $V(s)$ ويتعلم انحرافاً معيارياً $\sigma(s)$ لنمذجة عدم اليقين في $Q(s, a)$ فيما يتعلق بالأفعال.
• الترجيح: يتم تعيين وزن $w$ لفعل الاستبدال بناءً على انحراف قيمته $Q$ عن القيمة المتوقعة $V(s)$، مقسوماً على عدم اليقين $\sigma(s)$:
  $$w = \exp\left(-\frac{|Q(s, \hat{a}) - V(s)|}{\tau \sigma(s) + \epsilon}\right)$$
• الأثر: إذا كان الفعل المولد بعيداً عن توزيع القيم المشاهدة في مجموعة البيانات (عدم يقين عالٍ أو انحراف كبير)، فإن $w$ يقترب من 0، مما يؤدي فعلياً إلى كبح الاستبدال والعودة إلى مرساة السلوك المتحفظة. هذا يحد من تباعد السياسة بشكل تكيفي دون قيود صارمة.

3. المساهمات الرئيسية

1. التوصيف النظري لتدني المستوى: يثبت المؤلفون رسمياً (النظرية 3.1) أنه بالنسبة لأهداف استنساخ السلوك المقيدة (بما في ذلك أشكال MSE و KL و MLE)، إذا كانت مجموعة البيانات تحتوي على أفعال دون المستوى الأمثل، فإن النقطة الثابتة لعملية التحسين لا يمكن أن تتطابق مع السياسة المثالية الحقيقية. فالسياسة مجبرة هيكلياً على المساومة بين التقليد والمثالية.
2. الاستبدال القريب للأفعال (PAR): وحدة مبتكرة قابلة للتركيب والتشغيل تتكامل مع خوارزميات "الممثل-الناقد" الحالية التي تستخدم استنساخ السلوك. تجمع بين GDAAR لتوجيه تحسين السياسة نحو مناطق القيمة الأعلى، وGSOAW للحفاظ على الاستقرار عبر معاقبة الأفعال الخطرة خارج نطاق التوزيع.
3. التحقق التجريبي المكثف: تم اختبار الطريقة عبر منصات متنوعة للتعلم المعزز غير المتصل (MuJoCo، AntMaze، FrankaKitchen) ودمجها مع خوارزميات أساسية متعددة (BCQ، TD3+BC، IQL، EDP، SSAR).

4. النتائج التجريبية

• مكاسب الأداء: يحسن PAR الأداء باستمرار عبر جميع الخوارزميات والنطاقات المختبرة.
  • في مهام MuJoCo، أدى دمج PAR مع TD3+BC إلى زيادة متوسط الدرجة المعيارية من 75.3 إلى 87.7 (+12.4).
  • في AntMaze، مكّن PAR خوارزمية IQL من التحسن من 57.1 إلى 70.8 (+13.7) وأنقذ TD3+BC من الأداء القريب من الصفر (من 0.2 إلى 2.0).
  • في FrankaKitchen، حسن PAR أداء TD3+BC من 0.0 إلى 20.0 وIQL من 48.7 إلى 61.5.
• مقارنة مع أحدث التقنيات (SOTA): حقق الجمع بين SSAR + PAR أعلى متوسط درجة (90.9) في مهام MuJoCo، متفوقاً على الطرق المعقدة مثل QIPO (87.4) وغيرها من طرق تخطيط المسارات.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة استبدال الفعل (الترشيح فقط - Filtering only) إلى مكاسب أقل، مما يؤكد أن إدخال أفعال أفضل أمر بالغ الأهمية.
  • أدت إزالة GSOAW ("No GSOAW") إلى تدهور حاد في الأداء في مجموعات البيانات متوسطة الخبرة (medium-expert) بسبب عدم استقرار الأفعال خارج النطاق، مما يبرز ضرورة الترجيح الواعي بعدم اليقين.
• الكفاءة: لا يضيف PAR سوى عبء حسابي ضئيل (زيادة بنحو 3-8% في وقت التدريب) لأنه يعيد استخدام حسابات التدرج الموجودة ويضيف فقط عمليات متجهة خفيفة الوزن.

5. الأهمية والادعاءات

يزعم البحث أن PAR يقدم منظوراً جديداً متمحوراً حول البيانات للتغلب على القيود الهيكلية للتعلم المعزز غير المتصل. ومن خلال تحويل النموذج من التقليد الصرف إلى التحسين الموجه للسياسة، يسمح PAR للوكلاء بتجاوز سقف الأداء الذي يفرضه استنساخ السلوك القياسي.

يؤكد المؤلفون أن PAR متواضع في نطاقه:

• هو مصمم حالياً لـ فضاءات الأفعال المستمرة حيث يمكن حساب تدرجات الصعود المحلي.
• يعمل على مستوى انتقال الخطوة الواحدة ولا يلتقط بطبيعته التبعيات طويلة المدى (رغم الإشارة إلى ذلك كعمل مستقبلي).
• يُقدم كـ وحدة قابلة للتركيب والتشغيل تعزز الخوارهازميات الموجودة بدلاً من استبدال إطار العمل الكامل للتعلم المعزز غير المتصل.

في النهاية، يوضح العمل أنه من خلال تحسين إشارة الإشراف ديناميكياً — أي استبدال نقاط البيانات دون المستوى ببدائل أفضل ومقيدة بعدم اليقين — يمكن لخوارزميات التعلم المعزز غير المتصل تحقيق أداء أعلى بكثير دون التضحية بالاستقرار الذي يوفره استنساخ السلوك.