ملخص تقني: درع حاجز Q الكامن للحماية في التعلم التعزيزي داخل السياق الآمن

بيان المشكلة

يهدف التعلم التعزيزي داخل السياق الآمن (ICRA) إلى تكييف الوكلاء مع مهام جديدة وقت الاختبار دون تحديث المعلمات، وذلك من خلال التكييف مع تاريخ تفاعل متوسع. وبينما تتبع الأساليب الحديثة مثل SCARED [40] نهج صياغة التعلم التعزيزي داخل السياق كمسألة مقيدة وتتعلم سياسات تحترم الميزانية عبر التدريب المسبق، إلا أنها تواجه قصوراً حرجاً أثناء النشر خارج التوزيع (OOD). إذ تقوم أساليب التعلم التعزيزي داخل السياق الآمن الحالية بترميز السلامة بشكل أساسي من خلال أهداف التدريب المسبق أو التكييف مع التكلفة بدلاً من عمليات التحقق الصريحة على مستوى الإجراء، ونتيجة لذلك، قد لا تزال السياسة المجمدة في التعلم التعزيزي داخل السياق تخصص احتمالية لإجراءات تتجاوز فيها التكلفة المستقبلية المتوقعة ميزانية السلامة المتبقية، لا سي عامل في إعدادات التعميم حيث يجب استنتاج هياكل المهام من السياق. يؤدي هذا إلى مقايضات غير مثالية بين المكافأة والسلامة عندما يواجه الوكيل تحولات في المهام أو قيود السلامة.

المنهجية

يقترح المؤلفون Q-Barrier، وهو آلية درع وقت النشر، تعمل على تعزيز سياسة تعلم تعزيزي داخل السياق آمنة ومجمدة من خلال طبقة اختيار إجراءات مدركة للميزانية. تعمل هذه الطريقة دون تحديثات للمعلمات في وقت الاختبار، معتمدة بدلاً من ذلك على وحدات تم تعلمها أثناء التدريب المسبق.

1. الفضاءات الكامنة والاسقاطية

يستخدم الدرع مشفراً مشتركاً $E_\phi$ لتعيين السياق $H$ والحالة الحالية $S$ إلى حالة كامنة مشتركة $Z$. وللفصل بين توليد السياسة وتقييم السلامة، يتم استخدام رأسي إسقاط:

• إسقاط السياسة ($Z_p$): يستخدمه السياسة الأساسية $\pi_\theta$ لاقتراح الإجراءات.
• إسقاط العالم ($Z_w$): يستخدم لنمذجة السلامة، بما في ذلك التنبؤ بالديناميكيات الكامنة وتقدير التكلفة.

على فضاء الإسقاط العالمي $Z_w$، يتعلم النظام:

• نموذج انتقال كامن احتمالي $p_z$.
• مجموعة من نقاد التكلفة $\{\hat{Q}_{C,i}\}_{i=1}^M$.
• تقدير متشائم مجمع للتكلفة المستقبلية $\hat{Q}^+_C(Z, A) = \max_i \hat{Q}_{C,i}(Z, A)$ لتقليل خطر التقليل من تقدير التكاليف المستقبلية.

2. حاجز دالة Q والسياسة الدرعية

الابتكار الجوهري هو إشارة الحاجز المتعلمة المستمدة من ناقد التكلفة والميزانية المتبقية $B_t$.

• حاجز الحالة: $b_{V,t}(Z_w, B_t) = B_t - \min_{A \in \mathcal{A}_{cand}} \hat{Q}^+_C(Z_w, A)$.
• حاجز الإجراء: $b_{Q,t}(Z_w, B_t, A) = B_t - \hat{Q}^+_C(Z_w, A)$.

يقوم الدرع بتقييم مجموعة محدودة من الإجراءات المرشحة $\mathcal{A}_{cand}$. يتم تثبيط الإجراءات ذات الحواجز السالبة (حيث تتجاوز التكلفة المستقبلية المتوقعة الميزانية المتبقية). يطبق المؤلفون درعاً ناعماً كخيار افتراضي، والذي يعيد وزن توزيع السياسة الأساسية على المرشحين:
$$w_t(A) = \rho_t(A) \exp\left(-[-b_{Q,t}(Z_w, B_t, A)]_+\right)$$
حيث $\rho_t(A)$ هو احتمال السياسة الأساسية (أو 1 للمرشحين المأخوذين بالعينة). يحافظ هذا على دعم السياسة مع معاقبة المرشحين المحفوفين بالمخاطر، متجنباً حساسية التصفية الصلبة.

3. التدريب وتوجيه التدرج غير المتماثل

يتم تدريب جميع الوحدات بشكل مشترك أثناء مرحلة التدريب المسبق وتظل مجمدة عند النشر. ولمنع التداخل بين تعلم السياسة ونمذجة العالم، يستخدم المؤلفون توجيه التدرج غير المتماثل:

• خسارة نموذج العالم: تقوم بتحديث المشفر المشترك والإسقاط العالمي لضمان قابلية التنبؤ بالديناميكيات الكامنة، والمكافآت، والتكاليف.
• خسائر المحاذاة الهيكلية: تستخدم تدرجات متوقفة (stop-gradients) لمحاذاة إسقاطات السياسة والعالم دون تحديث المشفر المشترك مباشرة، مما يضمن أن $Z_w$ يدعم تقدير السلامة بينما تحتفظ $Z_p$ بالسمات ذات الصلة بالسياسة.

التحليل النظري

تقدم الورقة نتيجة حاجز هامشي مفككة الخطأ مشروطة (النظرية 1). وتثبت أنه إذا كان الإجراء يستوفي شرط Q-Barrier (أي $b_{Q,t} \ge 0$)، فإن حالة الميزانية والكمون التالية تظل آمنة للميزحة تقريباً، وذلك ضمن حدين من الخطأ:

1. خطأ الحد العلوي لـ Bellman ($\Delta_{bell}$): الدرجة التي ينتهك بها الناقد المتعلم الحد العلوي لـ Bellman لخطوة واحدة.
2. خطأ التنبؤ بالكمون ($\epsilon_{pred}$): الخطأ في التنبؤ بالحالة الكامنة التالية.

تثبت النظرية أن الإجراء الذي يستوفي Q-Barrier يسمح باستمرارية آمنة للميزحة تقريباً تحت ظل الناقد المتعلم، بشرط أن تكون هذه الأخطاء محدودة. كما يقوم تحليل إضافي لميزحة مستوى الحلقة (الخاصية 1) بتفكيك انتهاكات الميزانية التراكمية إلى فجوات الاختيار، وبواقي Bellman، وأخطاء التنبؤ.

النتائج التجريبية

تم تقييم الطريقة على خمسة معايير للتعلم التعزيزي داخل السياق الآمن (SafeDarkRoom, SafeDarkMujoco-Point/Car, SafeVelocity-HalfCheetah/Ant) تغطي أطر التوزيع الخارجي الهيكلي (structural OOD) والتعميم غير المرئي للهوية (unseen ID).

• مقايضة المكافأة والسلامة: حقق Q-Barrier باستمرار مقايضة أفضل مقارنة بأساس SCARED. في أربعة من خمسة بيئات، حقق عوائد تراكمية أعلى مع مطابقة أو خفض متوسط تكاليف الحلقة.
  • SafeDarkRoom: عائد أعلى بنسبة 46%، وتكلفة أقل بنسبة 47.2%.
  • SafetyAnt: عائد أعلى بنسبة 30.9%، وتكلفة أقل بنسبة 74.3%.
• حساسية الميزانية: عبر مسحات الميزانية، حقق Q-Barrier أعلى عائد تراكمي في أربع من خمس بيئات مع الالتزام بقيود الميزانية في معظم الإعدادات. اقتصرت الانتهاكات بشكل أساسي على الميزانيات القريبة من الصفر حيث يمكن حتى لأخطاء النموذج الصغيرة أن تسبب تجاوزاً.
• الحالة المتحفظة: في SafetyHalfCheetah، اتخذ Q-Barrier موقفاً أكثر تحفظاً، مما قلل التكلفة بنسبة 81% ولكنه قلل أيضاً العائد بنسبة 39%. كشفت التشخيصات أن هذه البيئة كانت تمتلك أكبر خطأ تنبؤ كامن، مما جعل الحاجز المتعلم أكثر تحفظاً للحفاظ على السلامة.
• الدراسات الاستقصائية (Ablations): وُجد أن الدرع الناعم أكثر استقراراً من التقطيع الصلب، خاصة في البيئات ذات أخطاء التنبؤ العالية، لأنه يتجنب السلوكيات المتقطعة للعودة إلى الحالة الأصلية.

الأهمية والادعاءات

تدعي الورقة أن Q-Barrier يعالج فجوة محددة في التعلم التعزيزي داخل السياق الآمن: غياب عمليات التحقق الصريحة من مستوى الإجراء ضد الميزانيات المتبقية في السياسات المجمدة. ومن خلال تقديم درع Q-Barrier الكامن، يوضح المؤلفون أن:

1. الوعي الصريح بالميزانية: إن تحويل الميزانية المتبقية إلى قيد صريح لاختيار الإجراء يحسن بشكل كبير مقايضات المكافأة والسلامة أثناء التكيف خارج التوزيع (OOD).
2. التأسيس النظري: الطريقة مدعومة بتحليل انتشار الهامش الحاجزي، والذي يحدد ضمانات السلامة بدلالة أخطاء النموذج المتعلم (أخطاء Bellman والتنبؤ).
3. كفاءة النشر: لا تتطلب هذه الطريقة أي تحديثات للمعلمات في وقت الاختبار، مما يجعلها مناسبة للسيناريوهات التي يكون فيها التكيف عبر الإنترنت مقيداً أو مكلفاً حوسبياً.

يشير المؤلفون بتواضع إلى أن فعالية الطريقة تعتمد على دقة التنبؤات الكامنة ومعايرة الناقد. وقد حددوا اتجاهات العمل المستقبلي بما في ذلك تحسين معايرة عدم اليقين، وقوة الدرع التكيفية، والتوسع ليشمل قيوداً متعددة، مع الإقرار بأن التقديرات شديدة التشاؤم يمكن أن تقلل من قيمة الإجراءات ذات العائد المرتفع.