Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning

ملخص تقني: مرشحات حاجز كوبمانمان القوية لتعلم التعزيز (Actor-Critic) الآمن

بيان المشكلة
يواجه التعلم التعزيزي (RL) الآمن للأنظمة الروبوتية توتراً جوهرياً: تحسين أداء المهمة مع الالتزام الصارم بقيود الحالة والمدخلات أثناء كل من التدريب والنشر. وبينما توفر دوال حاجز التحكم (CBFs) آلية مبدئية لفرض الثبات الأمامي عبر مرشحات سلامة طفيفة التدخل، فإن تطبيقها في التعلم التعزيزي الخالي من النموذج (model-free RL) يعوقه اشتراط دقة ديناميكيات النظام وتصميم شهادات حاجز يدوية. غالباً ما تقدم طرق التعلم التعزيزي المقيدة الحالية ضمانات للتكلفة التراكمية المتوقعة فقط بدلاً من السلامة عند كل خطوة زمنية، كما تفتقر عقوبات المكافأة إلى الضمانات لكل خطوة. يعالج المؤلفون تحدي الجمع بين كفاءة العينات التي يوفرها التعلم التعزيزي العميق خارج السياسة (off-policy deep RL) مع مرشح سلامة (CBF) قائم على البيانات يظل محدباً للأنظمة غير الخطية، مع مراعاة أخطاء التقريب المتأصلة في نماذج كوبمان (Koopman) ذات الأبعاد المحدودة.

المنهجية: Robust Koopman-CBF SAC
يقترح البحث إطار عمل Robust Koopman-CBF SAC، وهو إطار عمل "ممثل-ناقد" (actor-critic) آمن بمرشح، يدمج ثلاثة مكونات أساسية:

1. رفع كوبمان القائم على البيانات (Data-Driven Koopman Lifting): تتعلم الطريقة متنبئ كوبمان ذو أبعاد محدودة من بيانات التدفق (rollout) غير المتصلة (offline) باستخدام طريقة (EDMD). يتم رفع الديناميكيات غير الخطية إلى فضاء من الملاحظات $\psi(x)$ حيث يكون التطور تقريبياً خطياً: $z_{t+1} \approx Az_t + Bu_t$. تتضمن القاموس $\psi$ إحداثيات الحالة الأصلية ودوال الأساس الشعاعي (RBFs) لضمان إمكانية تمثيل القيود الفيزيائية كدوال تآلفية في الفضاء المرفوع.
2. قيود CBF المرفوعة القوية (Robust Lifted CBF Constraints): للتعامل مع خطأ التقريب في النموذج ذي الأبعاد المحدودة، قدم المؤلفون هامش متبقي مسقط ($\rho$). بدلاً من حصر كامل معيار المتبقي، يقومون بتقدير مكون خطأ التنبؤ الذي يؤثر مباشرة على متباينة الحاجز ($|c^\top r|$) باستخدام مجموعة معايرة محجوزة. يتم حساب هذا الهامش عبر الكميات التجريبية أو الكميات المرجعية (conformal quantiles). يتم تشديد شرط السلامة ليصبح:
   $$h_K(Az_t + Bu_t) \geq (1 - \eta)h_K(z_t) + \rho$$
   ينتج عن ذلك قيد تآلفي على مدخل التحكم، مما يسمح بتنفيذ مرشح السلامة كبرنامج تربيعي (QP) خفيف الوزن.
3. تكامل الممثل-الناقد (Actor-Critic Integration): يعدل الإطار خوارزمية (Soft Actor-Critic - SAC) القياسية لحل عدم التطابق بين الأفعال الاسمية والمنفذة:
   • تدريب الناقد (Critic Training): يتم تدريب الناقد على الفعل الآمن المنفذ ($u^{safe}_t$) الناتج عن مرشح الـ QP، مما يضمن أن تقديرات القيمة تعكس الديناميكيات الفعلية المغلقة الحلقة.
   • تنظيم الممثل (Actor Regularization): يتلقى الممثل عقوبة اقتراح CBF قابلة للاشتقاق ($\ell_{cbf}$) تشجع على اقتراح أفعال تقع بالفعل ضمن المجموعة الممكنة، مما يقلل الاعتماد على المرشح بمرور الوقت.
   • التعامل مع المتغيرات المساعدة (Slack Handling): يتضمن الـ QP متغيرات مساعدة للحفاظ على الجدوى العددية تحت حدود المشغل، رغم أن المؤلفين يشيرون إلى أن وجود مساعدة موجبة يضعف شهادات السلامة الرسمية.

المساهمات الرئيسية

1. صياغة المرشح القوي: تقديم مرشح سلامة (Robust Koopman-CBF) قوي للتعلم التعزيزي (actor-critic) الخالي من النموذج، يقوم برفع الديناميكيات غير الخطية إلى نظام خطي تقريباً ويفرض السلامة عبر قيد QP تآلفي.
2. الهامش المتبقي المسقط: طريقة مبتكرة لتقدير خطأ نموذج كوبمان ذي الأبعاد المحدودة باستخدام هامش متبقي مسقط مشتق من بيانات المعايرة، مما يوفر شرط (discrete-time CBF) قوي وقابل للتنفيذ المباشر.
3. تدريب متسق للممثل-الناقد: دمج المرشح مع خوارزمية SAC باستخدام تعلم الناقد للفعل المنفذ وعقوبة جدوى لجانب الممثل، مما يلغي عدم التطابق الشائع حيث تحسن السياسة الأفعال غير المفلترة بينما يتم توليد انتقالات البيئة بواسطة أفعال مفلترة.
4. التشخيص التجريبي: تقييم شامل يوضح أن الهامش المتبقي المسقط $\rho$ يعمل كأداة تشخيصية قابلة للحساب قبل التدريب لمدى فعالية المرشح.

النتائج التجريبية
تم تقييم الطريقة على Safe-Control-Gym (CartPole, Quadrotor 2D) و Safety Gymnasium (Walker, HalfCheetah).

• المهام منخفضة الأبعاد (CartPole & Quadrotor): في مهام تثبيت وتتبع CartPole، حقق Robust Koopman-CBF SAC صفر انتهاكات للقيود عبر جميع البذور (seeds) مع مطابقة أو تجاوز عوائد SAC غير المقيدة. وفي تتبع Quadrotor 2D، قلل الانتهاكات بنسبة 96.8% (من 12.5% إلى 0.4%). عُزي هذه النجاحات إلى صغر الهوامش المتبقية المسقطة ($\rho \approx 10^{-3}$) والتعامل الصحيح مع الدرجة النسبية (باستخدام حواجز مركبة لـ Quadrotor).
• الحركة عالية الأبعاد (Walker & HalfCheetah): كانت النتائج مختلطة، مما كشف عن قيود هيكلية. في حالة Walker، انخفضت الانتهاكات من 77.8% إلى 37.0%، لكن الطريقة تفوقت عليها خوارزمية SAC+Lagrangian (3.34% انتهاكات). وفي HalfCheetah، ظلت الانتهاكات مرتفعة (82.8%) مع عقوبة شديدة في الأداء (-70% في العائد).
• تحليل الفشل: في المهام عالية الأبعاد والغنية بالتلامس (contact-rich)، كان الهامش المتبقي المسقط $\rho$ كبيراً (0.698 لـ Walker، و1.782 لـ HalfCheetah). تسبب هذا الخطأ الكبير في جعل قيد الـ CBF القوي إما مستوفى بشكل تافه (عندما يكون الوكيل غير آمن بالفعل) أو غير ممكن (infeasible) تحت حدود المشغل، مما جعل المرشح غير فعال. حدد المؤلفون أن نماذج EDMD الخطية لا يمكنها التقاط الانتقالات غير السلسة للسرعة الناتجة عن التلامس مع الأرض.

الأهمية والادعاءات
يزعم البحث أن مرشحات Robust Koopman-CBF توفر جسراً واعداً بين التعلم التعزيزي الخالي من النموذج والسلامة القابلة للتحقق، خاصة للمهام التي يتوافق فيها النموذج المرفوع والحاجز جيداً مع بنية النظام. تكمن الأهمية الرئيسية في القدرة التشخيصية للهامش المتبقي المسقط $\rho$: وهو مقياس قبل التدريب يتنبأ بما إذا كان مرشح Koopman-CBF سيكون فعالاً أم لا.

المؤلفون متواضعون بشأن عالمية الطريقة، حيث يصرحون صراحةً بوجود قيود هيكلية في المهام الغنية بالتلامس وعالية الأبعاد حيث تفشل التقريبات الخطية من الدرجة الأولى. ويوضحون أنه بينما توفر الطريقة سلامة عند كل نقطة عندما يكون $\rho$ صغيراً ويكون الـ QP ممكناً، إلا أنها لا تضمن السلامة عندما يهيمن خطأ المتبقي على هامش الحاجز أو عندما يكون هناك عدم تطابق في الدرجة النسبية للحاجز. يسلط العمل الضوء على الحاجة إلى امتدادات كوبمان متعددة الخطوات أو عالية الرتبة لمعالية هذه القيود في مهام الحركة المعقدة.