Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث "التدرج التكيفي لقيود السياسة في التعلم المعزز غير المتصل" (ASPC)، المنشورة كأوراق بحثية في مؤتمر ICLR 2026.

1. بيان المشكلة

يهدف التعلم المعزز غير المتصل (Offline Reinforcement Learning) إلى تعلم سياسات مثالية من مجموعات بيانات ثابتة ومجمعة مسبقاً دون أي تفاعل إضافي مع البيئة. ويتمثل التحدي الرئيسي في هذا السياق في انزياح التوزيع (distribution shift): حيث قد تزور السياسة المتعلمة أزواج (الحالة-العمل) غير الموجودة في مجموعة البيانات، مما يؤدي إلى المبالغة في تقدير قيم Q (Q-values) وانهيار السياسة.

للتخفيف من ذلك، تفرض الطرق الحالية قيود السياسة (مثل TD3+BC) لإبقاء السياسة المتعلمة قريبة من سياسة السلوك (تقليد السلوك - BC). ومع ذلك، تعتمد هذه الطرق على عامل قياس القيد (يُرمز له بـ $\alpha$) الذي يوازن بين هدف التعلم المعزز (RL) وهدف تقليد السلوك (BC).

• المشكلة الجوهرية: تختلف القيمة المثلى لـ $\alpha$ بشكل كبير عبر المهام المختلفة وجودة مجموعات البيانات (مثل البيانات العشوائية مقابل بيانات الخبراء).
• القيود الحالية:
  • الضبط الاستاتيكي: تتطلب الطرق المتطورة حالياً ضبطاً دقيقاً للمعلمات الفائقة (hyperparameters) لكل مجموعة بيانات على حدة، وهو أمر يستغرق وقتاً طويلاً وغير عملي للنشر في العالم الحقيقي.
  • الطرق التكيفية الثابتة: غالباً ما تعيد الطرق التكيفية الحالية وزن الأفعال محلياً فقط أو تستخدم تكوينات ثابتة تفشل في استيعاب المقايضة العالمية، مما يؤدي إلى أداء دون المستوى مقارنة بالنماذج المرجعية التي تم ضبطها بدقة.

تعالج الورقة الحاجة الملحة لطريقة تحقق أداءً قوياً ورائداً عبر مجموعات بيانات متنوعة باستخدام تكوين معلمة فائقة واحدة.

2. المنهجية: التدرج التكيفي لقيود السياسة (ASPC)

تعد ASPC إطار عمل قابل للتفاضل من الدرجة الثانية، حيث تعامل عامل قياس القيد $\alpha$ كمعلمة قابلة للتعلم، يتم تعديلها ديناميكياً أثناء التدريب عبر عملية تحسين ثنائية المستوى.

أ. الإطار الجوهري

تبني الطريقة على هدف TD3+BC، حيث يكون إجمالي الخسارة $L$ هو:
$$L = \alpha L_{RL} + L_{BC}$$
بدلاً من إبقاء $\alpha$ ثابتاً، تقوم ASPC بتحسينه باستخدام مبادئ التعلم التلوي (meta-learning):

1. التحديث الداخلي (تحسين السياسة):
   يتم تحديث معلمات السياسة $\theta$ عبر الانحدار الاشتقاقي لتقليل الهدف الداخلي $L_{inner}$ لقيمة $\alpha$ ثابتة.
   $$L_{inner}(\theta; \alpha) = \mathbb{E}[-\lambda(\alpha) Q(s, \pi_\theta(s)) + \|\pi_\theta(s) - a\|^2]$$
   هنا، يقوم $\lambda(\alpha)$ بتطبيع مصطلح RL بناءً على مقياس خسارة BC.

2. التحديث الخارجي (تحسين عامل القياس):
   يتم تحديث عامل القياس $\alpha$ لتقليل الخسارة الخارجية $L_{outer}$، مما يضمن استقرار التدريب وتحسين الأداء. تتكون الخسارة الخارجية من ثلاثة مكونات منسقة:

   • $L_1$ (مصطلح التوازن): يحاكي هدف TD3+BC القياسي، ويوجه $\alpha$ نحو التوازن بين تعظيم قيم Q وتقليل خسارة BC.
   • $L_2$ (استقرار قيمة Q): يعاقب الزيادات المفاجئة في قيمة Q المتوقعة ($\Delta Q^2$) لمنع التحديثات المتفائلة للغاية.
   • $L_3$ (قيد تباين BC): يقيد التباين في خسارة BC ($\Delta L_{BC}$). هذا المصطلح ضروري لمنع السياسة من الانحراف بعيداً عن سياسة السلوك عندما تكون تقلبات قيم Q عالية.

   يستخدم تحديث $\alpha$ المشتقات من الدرجة الثانية (تدرجات معلمات التحديث الداخلي بالنسبة لـ $\alpha$):
   $$\alpha \leftarrow \alpha - \eta_\alpha \frac{\partial L_{outer}(\tilde{\theta}(\alpha))}{\partial \tilde{\theta}} \frac{\partial \tilde{\theta}(\alpha)}{\partial \alpha}$$

ب. الضمانات النظرية

يقدم المؤلفون تحليلاً نظرياً يثبت أن:

• القيود المتبادلة: التغير في خسارة BC ($\Delta L_{BC}$) والتغير المربع في قيم Q ($(\Delta Q)^2$) يقيدان بعضهما البعض بشكل متبادل.
• الحد الأدنى للأداء: تحت افتراضات محددة (الاستمرارية لـ Lipschitz)، يضمن تحديث ASPC أداء سياسة غير متناقص ($J(\pi_{t+1}) \geq J(\pi_t)$) إذا كان مكسب قيمة Q يعوض عن تباين خسارة BC.
• التقارب: تقلل الطريقة تدريجياً من فجوة عدم المثالية، مع التحكم في الفجوة المتبقية من خلال عدم التطابق بين سياسة السلوك والسياسة المثلى.

ج. تفاصيل التنفيذ

• العمود الفقري: تم التنفيذ فوق TD3+BC.
• البنية: تستخدم "ناقد قوي" (Robust Critic) مع ثلاث طبقات مخفية وLayerNorm للتخفيف من المبالغة في تقدير قيمة Q.
• الكفاءة: على الرغم من أن التدرجات من الدرجة الثانية مكلفة حاسوبياً، إلا أن ASPC تقوم بتحديث $\alpha$ بتردد أقل بكثير ($k_\alpha$) من تحديثات الممثل/الفاعل ($k_\pi$)، مما يحافظ على الحد الأدنى من التكاليف التشغيلية.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم ASPC، وهي أول طريقة تعدل مقاييس قيود السياسة ديناميكياً باستخدام التحسين القابل للتفاضل من الدرجة الثانية، مما يلغي الحاجة إلى ضبط المعلمات الفائقة لكل مجموعة بيانات.
2. التحليل النظري: إثبات صارم لضمانات تحسين الأداء وعلاقة القيد المتبادل بين استقرار قيمة Q وانحراف السياسة.
3. العمومية: أظهرت الدراسة أن ASPC لا تقتصر على TD3+BC، بل يمكن دمجها في خوارزميات التعلم المعزز غير المتصل الأخرى (IQL, CQL, Diffusion-QL, FQL) لتحسين أدائها.
4. نتائج رائدة: حققت أداءً فائقاً عبر 39 مجموعة بيانات في أربعة مجالات من D4RL (MuJoCo, Maze2d, AntMaze, Adroit) ومعيار OGBench باستخدام إعداد معلمة فائقة واحد.

4. النتائج التجريبية

• أداء المعيار المرجعي: في معيار D4RL، حققت ASPC متوسط درجة معيرة قدرها 77.9، متفوقة على جميع النماذج المرجعية.
  • تفوقت على الطرق التي تتطلب ضبطاً لكل مجموعة بيانات (مثل IQL و ReBRAC) والطرق التكيفية الأخرى (wPC و A2PR).
  • أظهرت تحسناً متوسطاً بنسبة 35% عن النموذج المرجعي (TD3+BC مع $\alpha$ ثابت).
• القدرة على التكيف:
  • جودة مجموعة البيانات: تقوم ASPC تلقائياً بخفض $\alpha$ (تفضيل BC) لمجموعات بيانات الخبراء عالية الجودة، ورفع $\alpha$ (تفضيل استكشاف RL) لمجموعات البيانات العشوائية منخفضة الجودة.
  • ديناميكيات المهام: تتكيف $\alpha$ بناءً على خصائص المهمة (مثل المكافآت المتفرقة في AntMaze مقابل المكافآت الكثيفة في MuJoCo).
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة التعديل الدينماكي (تثبيت $\alpha$ عند القيمة النهائية المتقاربة) إلى انخفاض كبير في الأداء، مما يثبت أن التعديل الديناميكي ضروري وليس مجرد إيجاد قيمة ثابتة جيدة.
  • كانت جميع مكونات الخسارة الثلاثة ($L_1, L_2, L_3$) ضرورية للأداء الأمثل عبر المجالات المختلفة.
• الكفاءة: لم تسبب ASPC سوى عبء حاسوبي ضئيل مقارنة بـ TD3+BC القياسي، مع وقت تشغيل مماثل للنماذج المرجعية عند ضبط فاصل تحديث $\alpha$ عند 30 خطوة.

5. الأهمية

تقدم الورقة مساهمة كبيرة في مجال التعلم المعزز غير المتصل من خلال حل مشكلة حساسية المعلمات الفائقة.

• الواقعية: تزيل عائق الضبط المكثف للمعلمات الفائقة، مما يجعل التعلم المعزز غير المتصل أكثر قابلية للتطبيق في تطبيقات العالم الحقيقي (مثل الرعاية الصحية والروبوتات) حيث تختلف جودة البيانات وتكون موارد الضبط محدودة.
• القوة: من خلال الموازنة الديناميكية بين الاستكشاف (RL) والاستغلال (BC) بناءً على إشارات التدريب في الوقت الفعلي، توفر ASPC مسار تعلم أكثر استقراراً وموثوقية من الطرق الاستاتيكية.
• القدرة على التعميم: يشير قدرة الإطار على تعزيز خوارزميات متنوعة (من القائمة على القيمة إلى القائمة على الانتشار) إلى آلية عالمية لاستقرار قيود السياسة غير المتصلة.

في الختام، تمثل ASPC تحولاً من "ضبط القيود الاستاتيكي" إلى "تعلم القيود التكيفي"، مما يوفر حلاً قوياً وعالي الأداء للتعلم المعزز غير المتصل عبر بيئات متنوعة وتحديات مختلفة.