ملخص تقني: الانتشار الموجه بـ "لاغرانج المعزز" (ALGD) للتعلم التعزيزي الآمن

1. بيان المشكلة

حقق التعلم التعزيزي (RL) نجاحًا كبيرًا، لكن نشر الوكلاء في سيناريوهات العالم الحقيقي يتطلب التزامًا صارمًا بقيود السلامة. تندرج طرق التعلم التعزيزي الآمن الموجودة عمومًا تحت فئتين، كلتاهما تواجه قيودًا عند التطبيق في الإعدادات عبر الإنترنت (online) وغير المتوافقة مع السياسة (off-policy) ذات السياسات التعبيرية:

• طرق الثنائي-الأولي (Primal-Dual Methods): تقوم هذه الطرق بفرض السلامة في التوقع باستخدام مضاعفات لاغرانج. ورغم أنها سليمة نظريًا، إلا أنها غالبًا ما تعاني من عدم استقرار شديد في التدريب في الممارسة العملية. ينشأ عدم الاستقرار هذا من الارتباط الوثيق بين تقدير التكلفة وتحسين السياسة، لا سيال في الإعدادات غير المتوافقة مع السياسة حيث تضخم التحولات التوزيعية الانحياز. تخلق دالة لاغرانج القياسية مشهد طاقة غير محدب للغاية، مما يؤدي إلى تذبذب المتغيرات الثنائية وتحديثات غير مستقرة للسياسة. علاوة على ذلك، تعتمد هذه الطرق عادةً على سياسات غاوسية أحادية المنوال، والتي تفتقر إلى القدرة التعبيرية لتمثيل توزيعات الأفعال متعددة الأنماط والمعقدة.
• الطرق ذات القيود الصارمة (Hard-Constrained Methods): تضمن هذه الطرق الالتزام بالقيود على مستوى الحالة (على سبيل المثال، عبر دوال حاجز التحكم أو الوصول هاملتون-جاكوبي). ومع ذلك، فإنها غالبًا ما تتطلب تقريبًا دقيقًا لأقصى مجموعة آمنة، وهو أمر يصعب تعلمه. ونتيجة لذلك، تميل هذه الطرق إلى أن تكون متحفظة بشكل مفرط، مما يحد من الاستكشاف ويقلل المكافآت القابلة للتحقيق.
• الانتشار القائم على النماذج (Diffusion-Based RL): توفر نماذج الانتشار بديلًا قويًا لتمثيل السياسة، وهي قادرة على نمذجة التوزيعات متعددة الأنماط بما يتجاوز افتراضات غاوس. ومع ذلك، فإن أساليب الانتشار الموجودة تقتصر إلى حد كبير على الإعدادات غير المتصلة (offline). وعند تكييفها مع الإعدادات عبر الإنترنت، فإن دمج قيود السلامة مباشرة عبر أهداف لاغرانج القياسية يفشل لأن مشهد الطاقة الناتج يكون غير منتظم وغير محدب، مما يؤدي إلى زعزعة ديناميكيات إزالة الضجيج المطلوبة لتوليد السياسة.

يكمن التحدي الجوهري الذي يعالجه هذا العمل في كيفية دمج قيود السلامة بسلاسة في تحسين سياسة الانتشار في بيئة تعلم تعزيزي عبر الإنترنت وغير متوافقة مع السياسة، دون المساس باستقرار التدريب أو الأمثلية.

2. المنهجية: الانتشار الموجه بـ "لاغرانج المعزز" (ALGD)

يقترح المؤلفون الانتشار الموجه بـ "لاغرانج المعزز" (ALGD)، وهو إطار عمل يعيد صياغة التعلم التعزيزي الآمن كعملية انتشار موجهة. تعتمد الطريقة على ثلاث ركائز نظرية وخوارزمية:

2.1. لاغرانج كدالة طاقة

يؤسس المؤلفون اتصالًا نظريًا بين عملية الانتشار العكسي للزمن وصياغة لاغرانج للتحسين المقيد. ويوضحون أن دالة الدرجة (score function) المثلى لعملية الانتشار تتوافق مع تدرج دالة طاقة لاغرانج $L(s, a, \lambda) = -Q^\pi(s, a) + \lambda(Q^\pi_c(s, a) - h)$.

• المشكلة: يؤدي استخدام دالة لاغرانج القياسية مباشرة كدالة طاقة إلى عدم الاستقرار. فالتدرج $\nabla_a L$ غالبًا ما يكون مشوشًا وغير منتظم بسبب مقدرات دالة Q غير المحدبة ومتغيرات لاغرانج المزدوجة ($\lambda$) المتذبذبة. ينتج عن ذلك مشهد طاقة غير محدب يتسبب في جعل عملية الانتشار تأخذ عينات من مناطق غير مستقرة أو عالية المخاطر.

2.2. مشهد طاقة محلي التحدب

لحل مشكلة عدم الاستقرار، يقدم ALGD لاغرانج المعزز ($L_A$) لتوجيه ديناميكيات الانتشار:
$$L_A(s, a, \lambda) := -Q^\pi(s, a) + \frac{[\lambda + \rho(Q^\pi_c(s, a) - h)]_+^2 - \lambda^2}{2\rho}$$
حيث يتحكم $\rho > 0$ في مقدار العقوبة التربيعية.

• التحدب المحلي: تضيف حد العقوبة التربيعية تصحيحًا لتقوس شبه محدد موجب (\rho \nabla_a Q^\pi_c \nabla_a Q^\pi_c^\top) إلى مشهد الطاقة بالقرب من حدود القيود. هذا يعمل على تنعيم سطح الطاقة وتنظيم حقل الدرجة (score field)، مما يؤدي إلى استقرار ديناميكيات إزالة الضجيج.
• ثبات السياسة المثلى: من المهم ملاحظة أن المؤلفين يثبتون أنه بينما يقوم $L_A$ بإعادة تشكيل مشهد الطاقة المحلي لتحسين التكييف، فإنه يحافظ على توزيع السياسة المثلى والقيمة المثلى للمسألة المقيدة الأصلية. عند المتغير المزدوج الأمثل $\lambda^*$، يتطابق لاغرانج المعزز مع لاغرانج القياسي للأفعال الممكنة.

2.3. الخوارزمية العملية

تعمل خوارزمية ALGD كما يلي:

1. توليد السياسة: يتم أخذ عينات من الأفعال عبر معادلة تفاضلية عشوائية (SDE) عكسية للزمن، حيث تتم إزالة الضجيج تدريجيًا من توزيع غاوسي سابق إلى توزيع السياسة المستهدف.
2. نقاد التكلفة الجماعي (Ensemble Cost Critics): لتحسين دقة تقدير قيمة التكلفة ($Q_c$)، يستخدم ALGD مجموعة من $M$ من النقاد. يقلل هذا من التباين في تقدير التكلفة، وهو أمر بالغ الأهمية لاستقرار تحديثات المتغير المزدوج.
3. تقدير الدرجة بطريقة مونت كارلو: نظرًا لأن دالة الدرجة الدقيقة المستمدة من لاغرانج المعزز غير قابلة للحساب، يستخدم ALGD مقدر مونت كارلو موزون. يقوم بجمع عينات من الأفعال المرشحة من توزيع اقتراح ويحسب متوسطًا موزونًا لتدرجات $L_A$، حيث يتم تحديد الأوزان بواسطة طاقة بولتزمان. يوفر هذا بديلًا قابلًا للاشتقاق لتدريب شبكة الدرجة.
4. تحديث المزدوج: يتم تحديث مضاعف لاغرانج $\lambda$ عبر صعود التدرج المسقط لفرض عتبة السلامة.

3. المساهمات الرئيسية

1. إعادة صياغة مبتكرة: تقدم الورقة إعادة صياغة مبدئية للتعلم التعزيزي الآمن في إطار الانتشار، حيث تفسر هدف لاغرانج كدالة طاقة تحكم عملية الانتشار العكسية. وتحدد أن التطبيق المباشر للاغرانج القياسي يؤدي إلى مشهد طاقة غير محدب للغاية، مما يسبب حقول درجة غير مستقرة.
2. الحل النظري: يثبت المؤلفون نظريًا أن صياغة لاغرانج المعزز تجعل مشهد الطاقة محلي التحدب دون تغيير توزيع السياسة المثلى. وهذا يحل مشكلة عدم الاستقرار المتأصلة في الطرق الثنائية-الأولية عند تطبيقها على نماذج الانتشار.
3. الخوارزمية والتحليل: تم تطوير خوارزمية عملية (ALGD)، مصحوبة بتحليل التفاوت الذي يحدد الفجوة بين سياسة الانتشر المتعلمة والحل المثالي المقيد. يحدد التحليل الخطأ الإحصائي الناتج عن تقدير مونت كارلو وتقريب لاغرانج المعزز.

4. النتائج التجريبية

قيم المؤلفون ALGD على معيار Safety-Gym ومعايير velocity-constrained MuJoCo، وقارنوه مع أفضل الطرق المرجعية بما في ذلك الطرق الثنائية-الأولية (SAC+Lag, PPO+Lag, CAL) والطرق ذات القيود الصارمة (HJ Reachability).

• استقرار التدريب: يظهر ALGD ديناميكيات تدريب أكثر استقرارًا بشكل ملحوظ مقارنة بالطرق القائمة على لاغرانج القياسية. وبينما تظهر الطرق المرجعية غالبًا تذبذبًا في المتغيرات المزدوجة وتقلبات في انتهاكات القيود، يتوافق ALGD بسلاسة مع متغيرات مزدوجة صفرية أو قريبة من الصفر عند التقارب.
• الأداء: يحقق ALGD مكافآت تنافسية أو متفوقة مقارنة بالطرق المرجعية مع الحفاظ باستمرار على انتهاكات أقل للقيود. إنه ينجح في التنقل بين المفاضلة بين الاستكشاف والسلامة، متجنبًا السلوك المتحفظ للغاية الذي تظهره الطرق ذات القيود الصارمة.
• كفاءة العينة: كطريقة غير متوافقة مع السياسة (off-policy)، يظهر ALGD كفاءة أعلى في العينات مقارنة بالطرق الثنائية-الأولية التي تعمل عبر الإنترنت (مثل PPO+Lag)، محققًا عوائد عالية مع تفاعلات أقل مع البيئة.
• دراسات الاستئصال (Ablation Studies): تؤكد التجارب أن زيادة عدد عينات مونت كارلو وحجم مجموعة النقاد يحسن الأداء والاستقرار. كما تبين أن قوة التحدب $\rho$ تعد أمرًا حاسمًا؛ حيث تحقق القيم المتوسطة أفضل توازن بين الاستقرار والاستكشاف.

5. الأهمية والادعاءات

تدعي الورقة أن ALGD يسد الفجوة بين السياسات التوليدية التعبيرية (نماذج الانتشار) والتحسين المقيد المستقر. ومن خلال ربط أخذ عينات سياسة الانتشار بنظرية لاغرانج المعزز، تمكن الطريقة من تعلم السياسة بشكل موثوق تحت قيود التكلفة في الإعدادات عبر الإنترنت وغير المتوافقة مع السياسة.

يضع المؤلفون هذا العمل كخطوة نحو نشر التعلم التعزيزي في التطبيقات الحرجة للسلامة (مثل الروبوتات والأنظمة ذاتية القيادة) حيث تكون توزيعات الأفعال متعددة الأنماط ضرورية، ولكن لا يمكن التفريط في السلامة. ويؤكدون أن نهجهم يحسن السلامة والاستقرار دون التضحية بالتعبيرية للسياسة أو أمثلية الحل. وتقر الورقة بالقيود، مشيرة إلى أن حدود تعقيد العينة الرسمية للديناميكيات المقترنة لم يتم تقديمها، وأن التقييمات الحالية تقتصر على البيئات المحاكية.