Safe-Support Q-Learning: Learning without Unsafe Exploration

إليك ملخص تقني مفصل لورقة البحث بعنوان "Safe-Support Q-Learning: التعلم بدون استكشاف غير آمن".

1. بيان المشكلة

عادةً ما تكتشف وكلاء التعلم المعزز (RL) السياسات المثلى من خلال الاستكشاف، وهو ما ينطوي بطبيعته على زيارة أزواج (حالة-فعل) قد تؤدي إلى نتائج غير آمنة أو كارثية. وبينما تحاول طرق "التعلم المعزز الآمن" الحالية التخفيف من المخاطر من خلال القيود، أو العقوبات، أو الأهداف الحساسة للمخاطر (مثل القيمة المشروطة عند المخاطرة - CVaR)، إلا أنها بشكل عام لا تقضي على زيارة الحالات غير الآمنة أثناء التدريب. فهي تعتمد غالباً على حدود احتمالية أو قيود قائمة على التوقعات، مما يعني أن انتهاكات السلامة لا تزال ممكنة الحدوث.

يعالج المؤلفون متطلباً أكثر صرامة للسلامة: يجب ألا تنتج عملية التعلم أبداً مسارات تزور حالات غير آمنة. التحدي الجوهري يكمن في كيفية تمكين الاستكشاف الكافي وتحسين السياسة ضمن "مجموعة آمنة" ($S_{safe}$) مقيدة دون الاعتماد على سلوك قريب من المثالية أو المخاطرة بانتقالات غير آمنة.

2. المنهجية: Safe-Support Q-Learning

الإطار المقترح هو نهج قائم على Q-learning يعمل على حصر جميع مكونات التعلم ضمن دعم (support) مجموعة آمنة. يعمل هذا الإطار تحت افتراض وجود سياسة سلوكية ($\pi_b$) مدعومة بالكامل في $S_{safe}$ (أي أنها لا تزور حالات غير آمنة أبداً). لا يشترط أن تكون هذه السياسة مثالية، ولكن يجب أن تكون عشوائية (stochastic) للسماح بالاستكشاف داخل المنطقة الآمنة.

يتكون الإطار من ثلاثة مكونات رئيسية:

أ. بناء السياسة السلوكية

تستخدم الطريقة سياسة سلوكية $\pi_b$ مدعومة في $S_{safe}$. تم اقتراح استراتيجيتين للتنفيذ:

1. HC Safe (المصنوعة يدوياً): تستخدم قواعد أو وحدات تحكم ذات أداء جيد (مثل PID أو MPC) يتم تحويلها إلى سياسات عشوائية. في الفضاءات المستمرة، يتم تنفيذ ذلك عبر Mean-Noise (سياسة حتمية + ضجيج غاوسي) أو Distributional (توزيع غاوسي يعتمد على الحالة).
2. DS Safe (المعتمدة على البيانات): تدريب سياسة عبر تقدير الاحتمال الأقصى (Maximum Likelihood Estimation) على مجموعة بيانات تحتوي فقط على انتقالات آمنة. يعمل هذا كإعداد تعلم معزز غير متصل (Offline RL) حيث تكون السياسة مقيدة بدعم مجموعة البيانات.

ب. هدف بلمان المنظم بتباعد KL (KL-Regularized Bellman Target)

لمنع دالة Q من تخصيص قيم عالية للأفعال الخارجة عن التوزيع (OOD) أو غير الآمنة، قام المؤلفون بتعديل هدف بلمان القياسي. فبدلاً من استخدام توزيع سابق موحد (كما في Soft Q-Learning) أو عامل الحد الأقصى (max operator)، أدخلوا حداً لـ تنظيم تباعد KL الذي يوائم دالة Q مع السياسة السلوكية $\pi_b$.

تُعرف قيمة الهدف الآمن $y_k^{safe}$ للأفعال المنفصلة كالتالي:
$$y_k^{safe} = r_{k+1} + \mathbb{1}(s_{k+1})\gamma \lambda \ln \left( \sum_{a \in A} \tilde{\pi}_b(a|s_{k+1}) \exp\left(\frac{Q(s_{k+1}, a)}{\lambda}\right) \right)$$
حيث أن:

• $\tilde{\pi}_b$ هي نسخة ممهدة (smoothed) من السياسة السلوكية لضمان احتمالات موجبة تماماً.
• $\lambda$ هو معامل درجة الحرارة (temperature parameter).
• هذه الصيغة تعاقب فعلياً الانحرافات عن توزيع السلوك الآمن، مما يضمن بقاء دالة Q ضمن دعم الأفعال الآمنة.

الضمان النظري: يثبت المؤلفون أن مؤثر بلمان الناتج هو تطبيق تقابلي (contraction mapping)، مما يضمن وجود نقطة ثابتة فريدة ($Q^*_\lambda$). والسياسة المثلى المستحثة من دالة Q هذه هي softmax منظمة بتباعد KL فوق السياسة السلوكية:
$$\pi^*_\lambda(a|s) = \frac{\tilde{\pi}_b(a|s) \exp(Q^*_\lambda(s, a)/\lambda)}{\sum_{a'} \tilde{\pi}_b(a'|s) \exp(Q^*_\lambda(s, a')/\lambda)}$$

ج. استخراج السياسة

• فضاءات الأفعال المنفصلة: يتم اشتقاق السياسة المثلى مباشرة باستخدام صيغة الـ softmax المغلقة المذكورة أعلاه.
• فضاءات الأفعال المستمرة: نظ since التكامل في المقام غير قابل للحل حسابياً، اقترح المؤلفون سياسة بديلة ($\pi_\phi$) مُعلمة كدالة غاوسية. يتم تدريب هذه السياسة البديلة عبر تقليل تباعد KL بينها وبين السياسة المثلى النظرية، باستخدام أخذ عينات مونت كارلو لتقريب التوقع.

الإطار موحد وقابل للتكيف مع كل من الإعدادات المتصلة وغير المتصلة (online/offline)، وكذلك فضاءات الأفعال المنفصلة والمستمرة.

3. المساهمات الرئيسية

1. ضمان سلامة صارم: على عكس طرق التعلم المعزز الآمن السابقة التي تحد من المخاطر، يفرض هذا النهج السلامة على مستوى دعم المسار (trajectory support)، مما يضمن عدم زيارة أي حالات غير آمنة أثناء التدريب.
2. Q-Learning المنظم بتباعد KL: تقديم هدف بلمان جديد يقيد دالة Q ضمن دعم سياسة سلوكية آمنة عبر تباعد KL، بدلاً من تنظيم الإنتروبيا القياسي.
3. إطار عمل ذو مرحلتين: فصل تدريب دالة Q عن استخراج السياسة، مما يسمح بتعلم مستقر حتى عندما تكون السياسة السلوكية غير مثالية ولكنها آمنة.
4. متغيرات موحدة: يوفر المنهج إطاراً واحداً قابلاً للتكيف مع سيناريوهات متنوعة (أفعال منفصلة/مستمرة، سياسات سلوكية مصنوعة يدوياً/معتمدة على البيانات).

4. النتائج التجريبية

قيم المؤلفون الطريقة في بيئات FrozenLake و CartPole، وقارنوها مع التعلم القياسي (Standard Q-learning) والأساليب المرجعية المتطورة (مثل CQL, BCQ, IQL, TD3+BC, BEAR).

• الاستقرار والتقارب: أظهرت الطريقة المقترحة تقارباً أسرع وتباينًا أقل مقارنة بالنماذج المرجعية، خاصة في الإعدادات المنفصلة حيث فشلت الطرق الأخرى غالباً في تعلم سياسات فعالة.
• معايرة القيمة (Value Calibration): كانت قيم Q التي تعلمتها الطة المقترحة معايرة جيداً، حيث طابقت العوائد المحققة عبر مونت كارلو بشكل وثيق. في المق مقابل ذلك، أظهرت النماذج المرجعية مشكلات مثل انهيار القيمة، أو المبالغة في التقدير (التباعد فوق القطر)، أو التحفظ المفرط.
• السلامة مقابل الأداء:
  • في بيئة CartPole، حققت الطريقة المقترحة سلوكاً أكثر أماناً (زوايا عمود أقل) عبر مستويات عوائد مماثلة مقارنة بالنماذج المرجعية.
  • بينما حققت بعض النماذج المرجعية عوائد عالية، إلا أنها فعلت ذلك غالباً مع تباين أعلى أو مسارات غير آمنة.
  • أظهرت الط طريقة مقايضة (trade-off): عندما كانت السياسة السلوكية غير مثالية (على سبيل المثال، في الإعدادات شديدة التقييد)، كان الأداء محدوداً، ولكن السلامة كانت محفوظة بصرامة.

5. الأهمية

يمثل هذا العمل تحولاً كبيراً في التعلم المعزز الآمن من تخفيف المخاطر (السماح ببعض الاستكشاف غير الآمن) إلى إزالة المخاطر (المنع الصارم للاستكشاف غير الآمن). من خلال الاستفادة من سياسة سلوكية مدعومة في مجموعة آمنة وتنظيم هدف Q-learning، يوفر هذا المنهج طريقة مبدئية لتعلم سياسات مثالية في البيئات عالية المخاطر (مثل الروبوتات، والقيادة الذاتية) حيث يكون حتى التفاعل غير الآمن الواحد غير مقبول. إن الضمان النظري لوجود نقطة ثابتة فريدة والنجاح العملي في الحفاظ على تقديرات قيم معايرة جيداً يجعل من هذا الإطار نموذجاً قوياً للتطبيقات الحرجة للسلامة.