Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning" (المحاذاة الذاتية الموجهة بليابونوف: التكيف وقت الاختبار لتعلم التعزيز الآمن غير المتصل).

1. بيان المشكلة

غالبًا ما تفشل وكلاء التعلم التعزيزي غير المتصل (Offline RL)، التي يتم تدريبها على مجموعات بيانات ثابتة (مثل D4RL، DSRL)، عند نشرها في بيئات حقيقية بسبب انزياحات التوزيع (distribution shifts). حتى لو أدى الوكيل أداءً جيدًا في بيانات التدريب، فإن الاختلافات الطفيفة في الديناميكيات أو انتقالات الحالة يمكن أن تؤدي إلى سلوكيات غير آمنة (مثل الاصطدامات أو تجاوز عتبات التكلفة).

تواجه الحلول الحالية قيودًا كبيرة:

• التكيف القائم على الاعتقاد (Belief-based adaptation): يتطلب إعادة التدريب من الصفر لنمذجة عدم اليقين.
• التعلم التعزيزي المقيد/المحافظ (Constrained/Conservative RL): غالبًا ما يضحي بالأداء (العائد) أو يتطلب ضبطًا دقيقًا باستخدام إشارات تكلفة إضافية.
• التكيف وقت الاختبار (Test-time adaptation): معظم الطرق الحالية لا تستطيع تكييف وكيل "غير متصل" مدرب مسبقًا مع قيود السلامة عند النشر دون تحديث المعلمات (parameters) أو إشراف بشري.

السؤال الجوهري الذي تعالجه الورقة هو: هل يمكن لوكيل تعلم تعزيزي غير متصل أن يحقق محاذاة ذاتية للسلامة في وقت الاختبار باستخدام توزيعه المدرب مسبقًا فقط، دون إعادة تدريب؟

2. المنهجية: SAS (المحاذاة الذاتية للسلامة)

يقترح المؤلفون إطار عمل SAS، وهو إطار يعتمد على المحولات (Transformer)، يتيح التكيف وقت الاختبار من خلال المحاذاة الذاتية الموجهة بليابونوف (Lyapunov-guided self-alignment). تعمل هذه الطريقة دون تحديث معلمات النموذج، معتمدة بدلاً من ذلك على التعلم داخل السياق (in-context learning) والاستدلال البايزي (Bayesian inference).

المكونات الأساسية

1. نموذج كثافة ليابونوف (LDM) للتعلم التعزيزي غير المتصل:

   • أعاد المؤلفون صياغة استقرار ليابونوف باستخدام مقاييس الإشغال (occupancy measures) المستمدة من البيانات غير المتصلة.
   • عرّفوا دالة طاقة $E(s, a) = -\log \hat{\rho}_\pi(s, a)$، حيث $\hat{\rho}_\pi$ هو مقياس الإشغال القائم على النموذج والمُقدر من المسارات المتخيلة.
   • تم بناء بديل ليابونوف $G_{SAS}(s, a)$ لضمان بقاء الوكيل ضمن مجموعة التحكم الثابتة (control-invariant set) ($R_{SAS}^G$). تضمن هذه المجموعة عدم دخول المسارات إلى مناطق منخفضة الكثافة (غير آمنة/خارج التوزيع).
   • تم تعريف $G_{SAS}$ كأقل طاقة تمت مواجهتها على طول أي مسار، مما يضمن تجنب السياسة للانهيار في مناطق منخفضة الاحتمالية وغير آمنة.

2. منظور الاستدلال الاحتمالي:

   • تفسر الورقة وكيل التعلم التعزيزي القائم على المحولات كـ نظام تعلم تعزيزي هرمي (Hierarchical RL) حيث تختار السياسة عالية المستوى مهارات كامنة ($z_t$) وتنفذ السياسة منخفضة المستوى الأفعال.
   • يُصاغ التعلم داخل السياق كـ استدلال بايزي على هذه المهارات الكامنة. من خلال تقديم "مطالبة" (prompt) (سلسلة من أزواج الحالة-الفعل)، يستنتج النموذج أعلى سياسة محتملة تتوافق مع تلك المطالبة.
   • يتم ترميز شروط السلامة كمؤشرات قابلة للملاحظة ($U_t$ و $V_t$):
     • $U_t$: يشير إلى ما إذا كان زوج الحالة-الفعل الحالي يقع ضمن منطقة الكثافة الآمنة ($G_{SAS} > 0$).
     • $V_t$: يشير إلى ما إذا كانت دالة ليابونوف غير متزايدة ($G_{SAS}(s_t, a_t) \geq G_{SAS}(s_{t+1}, a_{t+1})$).

3. خوارزمية SAS (الخوارزمية 1):
   تتضمن العملية حلقتين من "التخيل" والاختيار:

   • الخطوة 1 (الشرط $U_t$): من حالة أولية ثابتة، يتخيل المحول $N$ من المسارات. يختار جزء المسار الذي يقلل من أقصى طاقة (أسوأ حالة خطر) لتشكيل مطالبة أولية.
   • الخطوة 2 (الشرط $V_t$): باستخدام المطالبة الأولية، يتخيل المحول $M$ من المسارات الجديدة. يختار المسار الذي يعظم تراكم هبوط ليابونوف (مجموع مؤشرات $V_t$).
   • الخطوة 3 (النشر): يُستخدم الجزء الآمن المختار كـ مطالبة داخل السياق ($p_{1:K}$) للمحول. بعد ذلك، يقوم الوكيل بتكييف أفعاله بناءً على هذه المطالبة والحالة الحالية، مما يؤدي فعليًا إلى "توجيه" السياسة المدربة مسبقًا نحو السلوك الآمن دون تحديثات تدرج (gradient updates).

3. المساهمات الرئيسية

1. صياغة جديدة: تعريف جديد لاستقرار ليابونوف للتعلم التعزيزي غير المتصل بناءً على مقاييس الإشغال، مما يسمح بفرض قيود السلامة عبر كثافة البيانات بدلاً من دوال التكلفة الصريحة.
2. إطار نظري: تفسير للتعلم التعزيزي الهرمي للتعلم التعزيزي القائم على المحولات عبر الاستدلال البايزي، حيث تقابل "المطالبة" (prompting) استنتاج المهارات الكامنة عالية المستوى. يوفر هذا أساسًا نظريًا لسبب نجاح التعلم داخل السياق في تحقيق السلامة.
3. طريقة التكيف وقت الاختبار (SAS): خوارزمية عملية تولد مطالبات موجهة بليابونوف لإعادة محاذاة سلوك الوكيل. تضمن السلامة من خلال تقييد الوكيل ضمن مجموعات تحكم ثابتة مشتقة من البيانات غير المتصلة.
4. ضمان سلامة احتمالي: يقدم المؤلفون حدًا رسميًا (النظرية 4) يوضح أن احتمال خروج الوكيل من المجموعة الآمنة يتناقص بشكل أسي مع عدد عمليات التخيل ($N$) ومحاولات إعادة التخيل ($M$).

4. النتائج التجريبية

تم تقييم الطريقة على معايير Safety Gymnasium، و MuJoCo، و Bullet-Safety-Gym.

• الأداء مقابل السلامة: قللت SAS باستمرار من التكلفة و معدلات الفشل (تحسن يصل إلى ضعفين) مع الحفاظ على العائد (المكافأة) أو تحسينه مقارنة بالنماذج المرجعية مثل Decision Transformer (DT)، و Constrained Decision Transformer (CDT)، ومختلف نماذج التعلم التعزيزي الآمن (BC-Safe، COptiDICE، إلًا).
• التعميم: حسنت SAS السلامة حتى بالنسبة للنماذج الأساسية (backbones) مثل (DT) التي لم تُدرب باستخدام إشارات تكلفة صريحة، مما يثبت أن توجيه كثافة ليابونوف يعمل كبديل ضمني للسلامة.
• دراسات الاستئصال (Ablation Studies):
  • هبوط ليابونوف ($V_t$): أدى إزالة شرط الهبوط إلى زيادة التكاليك بشكل كبير، مما يثبت ضرورته للاستقرار طويل الأمد.
  • اختيار المطالبة: أدت المطالبات العشوائية أو مطالبة أقصى طاقة إلى أداء أسوأ من المطالبة الموجهة بليابونوف، مما يؤكد فعالية معايير الاختيار المحددة.
  • متانة النموذج: أظهرت الطريقة متانة عبر أطوال المطالبات المختلفة، وعدد المسارات المتخيلة، وأحجام نماذج المحولات (من DT إلى GPT-2).

5. الأهمية والتأثير

• الربط بين النماذج اللغوية الكبيرة (LLM) والتعلم التعزيزي (RL): نجحت الورقة في تكييف مفهوم المحاذاة الذاتية (الشائع في النماذج اللغوية الكبيرة) في مجال التعلم التعزيزي الآمن، مما يمكن الوكلاء من "التفكير" في السلامة باستخدام نماذج العالم الداخلية الخاصة بهم.
• قابلية النشر: من خلال إلغاء الحاجة إلى إعادة التدريب أو الضبط الدقيق، تقدم SAS حلاً قابلاً للتوسع لنشر وكلاء التعلم التعزيزي غير المتصل في بيئات ديناميكية وغير مؤكدة حيث تكون السلامة أمرًا بالغ الأهمية.
• الدقة النظرية: تتجاوز الورقة مجرد الفحوصات التجريبية للسلامة من خلال تقديم ضمان احتمالي لبقاء الوكيل ضمن مجموعة تحكم ثابتة، مستندة إلى نظرية استقرار ليابونوف والاستدلال البايزي.
• الكفاءة: بينما تتطلب عملية التخيل (rollouts) حسابات وقت الاستدلال، إلا أنها تتجنب التكلفة الحسابية لإعادة التدريب الكامل، مما يجعلها مناسبة للسيناريوهات التي تكون فيها البيانات ثابتة ولكن البيئة ليست كذلك.

باختصار، تمثل SAS خطوة مهمة للأمام في جعل وكلاء التعلم التعزيزي غير المتصل أكثر قوة تجاه انزياحات التوزيع من خلال الاستفضاء بـ التخيل الموجه بليابونوف لتصحيح السلوك ذاتيًا في وقت الاختبار عبر التعلم داخل السياق.