ملخص تقني: الاستفضاء من التدرجات التحليلية في التعلم المعزز الآمن القابل للإثبات

بيان المشكلة

يتطلب نشر الروبوتات ذاتية القيادة في التطبيقات الحرجة للسلامة ضمانات سلامة صارمة. وبينما يتفوق التعلم المعزز (RL) غالبًا على التحكم الكلاسيكي في البيئات عالية الأبعاد وغير المستقرة، فإنه يفتقر إلى ضمانات السلامة المتأصلة. ويبرز تحدٍ حاسم عندما يتم تدريب الوكلاء في المحاكاة من أجل النشر في العالم الحقيقي (فجوة "المحاكاة إلى الواقع" - sim-to-real). فإذا تم التدريب دون وجود ضمانات، فقد يتقارب الوكيل نحو سياسات تعتمد على حالات أو أفعال غير آمنة. وعند تطبيق ضمان سلامة لاحقًا أثناء النشر، فقد يؤدي ذلك إلى تقييد السياسة بمناطق دون المستوى الأمثل أو التسبب في الفشل في أطر الأهداف غير المحدبة لأن الوكيل لم يتعلم أبدًا حلولًا آمنة بديلة.

بينما توجد عدة مناهج للضمان (safeguarding) لأساليب التعلم المعزز القائمة على أخذ العينات (مثل PPO وSAC)، والتي تعتمد على نظريات تدرج السياسة، إلا أن هناك نقصًا في آليات الضمان لأساليب التعلم المعزز القائمة على التدرج التحليلي (analytic gradient-based RL). هذه الطرق التحليلية (مثل SHAC) تستخدم محاكيات قابلة للتفاضل لحساب التدرجات الدقيقة من الدرجة الأولى للمكافأة بالنسبة للأفعال عبر الانتشار العكسي (backpropagation). ولا يمكن تطبيق الضمانات الموجودة، والتي غالبًا ما تكون مصمما كخطوات معالجة لاحقة لأساليب أخذ العينات، بشكل بديهي على نماذج التدرج التحليلي لأنها قد تعطل الرسم البيفي الحسابي القابل للتفاضل المطلوب للانتشار العكسي أو تفشل في توفير إشارات التدرج اللازمة لتحسين السياسة.

المنهجية

يقترح المؤلفون إطار عمل لـ تحسين السياسة الآمنة القابلة للإثبات باستخدام التدرجات التحليلية. يدمج النهج الجوهري طبقة ضمان قابلة للتفاضل بين مخرجات السياسة وديناميكيات البيئة.

1. الإطار والقدرة على التفاضل

يعامل الإطار الضمان كخريطة قابلة للتفاضل $g: \mathcal{A} \to \mathcal{A}_s$، حيث $\mathcal{A}$ هي فضاء الأفعال الممكنة و $\mathcal{A}_s$ هي مجموعة الأفعال الآمنة. تُنتج السياسة $\pi$ فعلاً $a_i$، والذي يتم تحويله إلى فعل آمن $a_{s,i} = g(a_i)$. بعد ذلك تنتقل البيئة إلى $s_{i+1}$ وتنتج مكافأة $r_i$. لتدريب السياسة، يتم حساب تدرج المكافأة بالنسبة لمعلمات السياسة عبر الانتشار العكسي عبر السلسلة بأكملها، بما في ذلك الضمان:
$$\frac{\partial r_i}{\partial a_i} = \left( \frac{\partial r_i}{\partial a_{s,i}} + \frac{\partial r_i}{\partial s_{i+1}}\frac{\partial s_{i+1}}{\partial a_{s,i}} \right) \frac{\partial a_{s,i}}{\partial a_i}$$
يتطلب هذا أن يكون الضمان قابلًا للاشتقاق الجزئي (ويفضل أن يكون من الفئة $C^1$) وأن يوفر جاكوبيات كاملة الرتبة لتجنب إضعاف إشارة التعلم.

2. مجموعات الأفعال الآمنة والتمثيل

يستخدم المؤلفون الزونوتوبات (zonotopes) لتمثيل المجموعات الآمنة نظرًا لتماسكها وانغلاقها تحت الخرائط الخطية. وهم يميزون بين:

• مجموعات الأفعال الآمة المحددة: القيود المعرفة مباشرة.
• مجموعات الأفعال الآمنة المشتقة: المحسوبة عبر تحليل الوصول (على سبيل المثال، مجموعات التحكم القوية الثابتة) لضمان أن تنفيذ فعل ما يبقي النظام ضمن مجموعة حالة آمنة $S_s$.

3. آليات الضمان والتعديلات

يحلل البحث ويطوع طريقتين موجودتين للضمان القابل للتفاضل:

• إسقاط الحدود (Boundary Projection - BP): يقوم بخرائط الفعل غير الآمن إلى أقرب نقطة على حدود المجموعة الآمنة.

  • المشكلة: ليس من الفئة $C^1$ في كل مكان، ويمتلك جاكوبيات ناقصة الرتبة في اتجاه الإسقاط، مما يلغي فعليًا التدرجات للأفعال الموازية لاتجاه الإسقاط.
  • التعديل: يقدم المؤلفون حدًا تنظيميًا (regularization term) لدالة الخسارة ($l(a, s, a_s) = l_r(a_s, s) + c_d \|a_s - a\|_2^2$). هذا يعزز التدرج في اتجاه الخريطة، مما يعوض نقص الرتبة ويشجع السياسة على تفضيل الأفعال الآمنة.

• قناع الشعاع (Ray Mask - RM): يقوم بخرائط الأفعال شعاعيًا نحو "مركز آمن" $c_{As}$ داخل المجموعة الآمنة.

  • المشكلة: قناع الشعاع الخطي القياسي يغير الأفعال الآمنة بشكل كبير ويقلل من التدرجات في اتجاه الخريطة.
  • التعديلات:
    1. التنظيم: مشابه لـ BP، للاندفاع نحو السلامة.
    2. المرور (Passthrough): استبدال مصفوفة جاكوبي بمصفوفة الوحدة لتسريع الحساب وضمان انتشار التدرج دون عوائق (صالح فقط إذا كان الفعل الأمثل معروفًا بأنه آمن).
    3. قناع الشعاع الزائدي (Hyperbolic Ray Mask - HRM): دالة خريطة جديدة تستخدم الظل الزائدي ($\tanh$) لخرائط الأفعال غير الآمنة بالقرب من الحدود مع تقليل اضطراب الأفعال الآمنة. هذا يحافظ على جاكوبي كامل وخريطة سلسة.

4. تقريب المركز الآمن

بالنسبة لمجموعات الأفعال الآمنة المشتقة حيث لا يتم تعريف المركز صراحة، يقترح البحث طريقتين للتقريب:

• التقريب الزونوتوبي (Zonotopic Approximation): تعظيم حجم زونوتوب يحتوي المجموعة.
• التقريب المتعامد (Orthogonal Approximation): اختراق المجموعة الآمنة عموديًا للحدود وأخذ المنتصف.
  تشير التجارب إلى أن النهج الزونوتوبي يعطي نتائج أفضل في التقارب والسياسات النهائية بسبب خصائص الخريطة المستمرة لديه.

المساهمات الرئيسية

1. أول تعلم معزز ذو تدرج تحليلي آمن وقابل للإثبات: يقدم البحث أول نهج فعال للضمان مصمم خصيًا للتعلم المعزز القائم على التدرج التحليلي.
2. التحليل النظري: تحليل متعمق للضمانات القابلة للتفاضل، مع تحديد الخصائص المطلوبة (السلامة، القابلية للاشتقاق الجزئي، جاكوبيات كاملة الرتبة، الحد الأدنى من التدخل، السرعة) وإظهار كيف تفشل الطرق الموجودة في تلبية هذه المتطلبات دون تعديل.
3. التعديلات الخوارزمية: تطوير تعديلات مستهدفة، بما في ذلك دوال الخسارة المنظمة وقناع الشعاع الزائدي الجديد، لضمان انتشار التدرج الفعال.
4. التقييم التجريبي: تقييم شامل عبر ثلاث مهام تحكم (البندول، الكوادروتور، وإدارة الطاقة) لمقارنة أساليب التدرج التحليلي (SHAC) مع النماذج المرجعية القائمة على أخذ العينات (PPO وSAC) تحت ظروف التدريب غير الآمنة والمؤمنة.

النتائج

قيم المؤلفون نهجهم باستخدام خوارزمية SHAC مقابل نماذج PPO وSAC المرجعية عبر ثلاث بيئات:

• كفاءة العينات: في مهام التوازن (البندول، الكوادروتور)، حقق التعلم ذو التدرج التحليلي المضمون (SHAC) عوائد نهائية متفوقة أو قابلة للمقارنة مع عدد أقل من تفاعلات البيئة مقارنة بالأساليب القائمة على أخذ العينات.
• الحفاظ على الأداء: خلافًا للمخاوف من أن الضمانات تقلل الأداء، سمحت الضمانات المعدلة (خاصة BP المنظم وHRM) لـ SHAC بتحقيق عوائد تضاهي أو تتجاوز التدريب غير الآمن في مهام التوازن.
• مهمة نظام الطاقة: في مهمة إدارة الطاقة (المتميزة بالضجيج العالي)، تفوق SHAC في البداية على PPO في الإعدادات غير الآمنة. ومع ذلك، في التدريب المضمون، أظهر SHAC تحسنًا ملحوظًا، مما قلص الفجوة في الأداء مع PPO. ويعزو المؤلفون ذلك إلى التأثير المثبت للتدرجات المتناقصة في البيئات الصاخبة.
• التقارب: أدى إدخال التنظيم إلى تقليل عدد عمليات عدم التقارب بشكل كبير، خاصة بالنسبة لإسقاط الحدود في مهمة البندول أحادية البعد حيث كان فقدان التدرج قاتلًا سابقًا.
• العبء الحسابي: يفرض الضمان تكاليف حسابية. زاد إسقاط الحدود من وقت التدريب بنحو 5 أضعاف، وقناع الشعاع (Ray Mask) بنحو 10 أضعاف مقارنة بالتدريب غير الآمن، ويرجع ذلك أساسًا إلى الحلول التحسينية (CVXPY) المطلوبة لقيود المجموعة الآمنة.

الأهمية والادعاءات

يدعي البحث سد فجوة حرجة في التعلم المعزز الآمن من خلال تمكين التدريب الآمن القابل للإثبات لنموذج التدرج التحليلي عالي الأداء. ويؤكد المؤلفون أن:

• يمكن دمج الضمانات مباشرة في حلقة التدريب للتعلم المعزز القائم على التدرج التحليلي دون المساس بالأداء، بشرط أن تكون الضمانات قابلة للتفاضل وتحافظ على التدرجات.
• التعديلات المقترحة (التنظيم والخرائط الزائدية) ضرورية للتغلب على مشكلات نقص الرتبة وكبح التدرج المتأصلة في التطبيقات الساذجة للضمانات.
• يسهل هذا النهج عملية الانتقال من "المحاكاة إلى الواقع" من خلال ضمان تعلم الوكلاء سلوكيات آمنة أثناء المحاكاة، مما يقلل من خطر الفشل عند النشر في سيناريوهات الروبوتات الحرجة للسلامة في العالم الحقيقي.

يخلص العمل إلى أنه بينما يظل العبء الحسابي تحديًا، فإن المقايضة مبررة بالقدرة على تدريب وكلاء مع ضمانات سلامة رسمية، مما يفتح آفاقًا لاستخدام التدرج التحليلي في الروبوتات ذات الأهمية القصوى للسلامة.