ملخص تقني: من التعلم إلى السلامة: إطار عمل مباشر قائم على البيانات للتحكم المقيد

1. بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في ضمان السلامة (استيفاء القيود) في أنظمة التحكم القائمة على التعلم، لا سيما في البيئات الخالية من النموذج (model-free) حيث لا تتوفر ديناميكيات النظام الصريحة. وبينما تعمل مرشحات السلامة التقليدية (مثل دوال حاجز التحكم - CBFs) بفعالية على فرض السلامة في السياقات القائمة على النماذج من خلال تعديل مدخلات التحكم، إلا أنها تعتمد عادةً على نماذج تنبؤية مشتقة من الفيزياء أو البيانات. هذا الاعتماد يخلق فجوة: فمرشحات السلامة القائمة على البيانات الموجودة حالياً هي في الغالب "غير مباشرة"، حيث تتطلب تحديد هوية النظام أولاً، مما يؤدي إلى تراكم الأخطاء وتدهور أداء السلامة. علاوة على ذلك، فإن الطرق "المباشرة" القائمة على البيانات غالباً ما تكون محدودة بالقيود الخطية أو تفتقر إلى ضمانات سلامة رسمية.

المشكلة الجوهرية هي تصميم إطار عمل للتحكم يحقق ما يلي:

1. يعمل مباشرة من بيانات انتقال الحالة دون الحاجة لتحديد هوية النظام صراحةً.
2. يتكامل بسلاسة مع خوارزميات التعلم المختلفة (مثل التعلم التعزيزي، والتعلم الخاضع للإشراف) لتحسين الأداء.
3. يوفر ضمانات رسمية للسلامة والقدرة على التكرار (recursive feasibility)، حتى في ظل وجود عدم دقة في التعلم.

2. المنهجية

الحل المقترح هو إطار عمل للتحكم قائم على الأمثلة (optimization-based) يفصل بين تحسين الأداء وفرض السلامة. يعتمد إطار العمل على شهادة سلامة مبتكرة تسمى دالة حاجز التحكم للحالة والفعل (SACBF).

أ. المفهوم الجوهري: دالة حاجز التحكم للحالة والفعل (SACBF)

على عكس دوال CBF الكلاسيكية، التي تقيم السلامة بناءً على الحالة $x$ فقط، فإن الـ SACBF، ويرمز لها بـ $Q_B(x, u)$، هي دالة تعتمد على كل من الحالة ومدخل التحكم.

• التعريف: الدالة $Q_B$ هي SACBF إذا كان طقم المستويات الفرعية الصفرية الخاص بها يحدد مجموعة آمنة $S_Q$ بحيث لأي حالة في $S_Q$، يوجد مدخل يحقق $Q_B(x, u) \leq 0$ يحافظ على الحالة التالية داخل $S_Q$.
• الميزة: يسمح هذا الصياغة لمرشح السلامة بتقييم سلامة إجراء تحكم مرشح مباشرة عند زوج (الحالة-الفعل) الحالي دون الحاجة لنشر الديناميكيات للأمام أو طلب نموذج $f(x, u)$.

ب. إطار العمل للتحكم

يتم تعريف سياسة التحكم $\pi(x)$ كحل لمسألة أمثلة مقيدة:
$$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{بشرط} \quad Q_B(x, u) \leq 0$$
هنا، $Q(x, u)$ هي دالة هدف (يتم تعلمها عبر RL أو SL) تمثل أداء المهمة، و $Q_B(x, u)$ هي الـ SACBF المتعلمة التي تعمل كقيد للسلامة.

ج. تعلم دوال SACBFs

تقترح الورقة ثلاث طرق متميزة لتخليق (synthesis) الـ $Q_B$ من البيانات:

1. التعلم التعزيزي (RL): يعامل تخليق الـ SACBF كمسألة وصول (reachability). يقوم بتكييف طرق التعلم القائمة على القيمة (مثل تعلم الفرق الزمني - TD learning) لتقريب دالة القيمة المثلى لمسألة الوصول. ملاحظة: تفتقر هذه الطريقة إلى ضمانات تقارب رسمية لشهادة السلامة نفسها بسبب الطبيعة غير الانكماشية لمعادلة بلمان غير المخفضة في مسائل الوصول.
2. التعلم الموجه بالخبير: يفترض توفر متحكم آمن خبير (مثل حقول الجهد الاصطناعي - APF). يصيغ عملية التخليق كمسألة أمثلة قوية لإيجاد SACBF تتوافق مع مسارات الخبير الآمنة.
3. التعلم الخاضع للإشراف (SL): يفترض معرفة دالة CBF كلاسيكية صالحة $B(x)$. يستخدم الانحدار الخاضع للإشراف لتعلم الربط من أزواج (الحالة-الفعل) إلى قيمة الـ SACBF، المشتقة من الـ CBF المعروف.

د. تحليل المتانة: السلامة من الخطأ إلى الحالة (ESSf)

لمعالجة أخطاء التعلم (حيث تبتعد $Q_B^\omega$ المتعلمة عن $Q_B$ الحقيقية)، قدم المؤلفون إطار عمل السلامة من الخطأ إلى الحالة (ESSf).

• الآلية: بدلاً من الاعتماد على التنبؤ القائم على النموذج، يقوم إطار العمل بقياس تأثير أخطاء التعلم ($\epsilon$) مباشرة على قيود السلامة.
• الاستراتيجية: يستخدم نهج تشديد القيود وإرخائها:
  • تشديد قيود الحالة الأصلية ($h(x) \leq 0$) لتصبح $h(x) + \delta(\epsilon) \leq 0$.
  • إرخاء قيد الـ SACBF في المرشح ليصبح $Q_B^\omega(x, u) \leq \kappa(\epsilon)$.
• النتيجة: توفر النظريتان 1 و 2 علاقات ذات صيغة مغلقة توضح أنه إذا كان خطأ التعلم محدوداً، فإن النظام يظل قابلاً للتكرار وآمناً ضمن قيود الحالة المشددة.

هـ. تحسين السياسة

بمجرد تعلم SACBF صالحة، يمدد إطار العمل خوارزميات التعلم القائمة على القيمة غير المقيدة (مثل Fitted Q Iteration) إلى الإعداد المقيد. تقوم خوارزمية (Constrained FQI) بتحديث دالة الهدف $Q_\theta$ بشكل تكراري مع فرض قيد الـ SACBF المتعلم، مما يضمن أن السياسة الناتجة قريبة من المثالية للمهمة مع الالتزام بالسلامة.

3. المساهمات الرئيسية

1. إطار عمل مباشر للتحكم الآمن القائم على البيانات: تقترح الورقة إطار عمل يتعلم المتحكمات الآمنة مباشرة من البيانات دون تحديد هوية النظام، مما يسد الفجوة بين التعلم الخالي من النموذج والتحكم المقيد.
2. دوال حاجز التحكم للحالة والفعل (SACBFs): تقدم وتستخدم SACBFs، التي تقيم أزواج (الحالة-الفعل)، مما يتيح مرشحات سلامة لا تتطلب نماذج ديناميكية صريحة.
3. ثلاثة مخططات للتخليق: تعرض ثلاث طرق لتعلم SACBFs: عبر RL (عام ولكن أقل ضماناً)، وعبر تجارب الخبراء (قوي)، وعبر التعلم الخاضع للإشراف من دوال CBF المعروفة (كفء في استهلاك العينات).
4. تحليل السلامة من الخطأ إلى الحالة (ESSf): تقدم إطار عمل جديد لتحليل المتانة يقيس كيفية تأثير أخطاء التعلم على السلامة، ويقدم ضمانات رسمية من خلال تشديد قيود الحالة وإرخاء قيد الـ SACBF.
5. الأمثلة المفككة: يفصل إطار العمل بين تعلم الأداء (تحسين $Q$) وفرض السلامة (تحسين $Q_B$)، مما يسمح بدمج خوارزميات تعلم متنوعة مع الحفاظ على السلامة.

4. النتائج

تم التحقق من صحة إطار العمل من خلال عمليات محاكاة لمركبة ذاتية القيادة تتحرك في مساحة ثنائية الأبعاد مع وجود عوائق.

• إعداد دراسة الحالة: تم استخدام نموذج مركبة كينماتيكية مع قيود على الحالة والمدخلات. تم تعلم الـ SACBF باستخدام كل من نهج الخبير (باستخدام حقول الجهد الاصطناعي كخبير) ونهج RL.
• أداء السلامة:
  • حقق مرشح السلامة المقترح 3DSF (Direct Data-Driven Safety Filter) معدل سلامة بنسبة 100% عبر مختلف الظروف الأولية والسياسات المرجعية (سواء كانت APF غير آمنة أو DDPG غير آمنة).
  • في المقابل، حققت مرشحات السلامة غير المباشرة القائمة على البيانات (التي تعتمد على نموذج متعلم) معدلات سلامة أقل (حوالي 79% لـ APF غير آمن)، وهو ما يُعزى إلى تراكم أخطاء تحديد هوية النموذج وأخطاء تعلم الـ CBF.
  • حقق الـ MPC (التحكم التنبئي بالنماذج) سلامة بنسبة 100% ولكنه عانى من ضعف في أداء المهمة (حوالي 78% فقط من المسارات وصلت إلى الهدف) بسبب مشاكل الأمثلة غير المحدبة والتكلفة الحسابية العالية.
• أداء المهمة:
  • حققت خوارزمية Constrained FQI (تعلم $Q$ مع قيود SACBF) إجمالي تكلفة قدره 173.85، متفوقة على كل من سياسات DDPG الآمنة وغير الآمنة التي تمت تصفيتها بواسطة 3DSF. وهذا يثبت أن دمج قيود السلامة مباشرة في عملية تدريب RL يحسن أداء المهمة مقارنة بالتصفية اللاحقة أو تشكيل المكافأة (reward shaping).
• الكفاءة الحسابية: أظهر 3DSF أوقات CPU تشغيلية أقل بكثير (حوالي 2.2 مللي ثانية) مقارنة بـ MPC (حوالي 33 مللي ثانية)، مما يجعله مناسباً للتطبيقات في الوقت الفعلي.

5. الأهمية والادعاءات

تدعي الورقة تقديم تقدم متواضع ولكن دقيق في التحكم الآمن القائم على التعلم:

• سد الفجوة: نجحت في سد الفجوة بين التعلم الخالي من النموذج والتحكم المقيد من خلال إزالة الاعتماد على نماذج النظام الصريحة لفرض السلامة.
• ضمانات رسمية بدون نماذج: توفر ضمانات سلامة رسمية (القدرة على التكرار واستيفاء القيود) حتى عندما تكون ديناميكيات النظام غير معروفة، بشرط أن تكون أخطاء التعلم محدودة.
• التفوق على الطرق غير المباشرة: تشير النتائج إلى أن النهج المباشر القائم على البيانات يتجنب تراكم الأخطاء المتأصل في الطرق غير المباشرة (تحديد هوية النموذج + تعلم المتحكم)، مما يؤدي إلى معدلات سلامة أفضل.
• المرونة: إطار العمل متوافق مع مجموعة واسعة من خوارزميات التعلم الحالية (RL, SL) ويمكن تحديثه عبر الإنترنت (online).

القيود المعترف بها:

• تتطلب الطريقة أخذ عينات في مساحة (الحالة-الفعل)، مما يزيد من تعقيد العينات مقارنة بطرق الحالة فقط.
• قد يتم انتهاك قيود السلامة أثناء مرحلة جمع البيانات للتدريب، وهو أمر قد لا يكون مناسباً للأنظمة الواقعية حيث تكون السلامة هي الأولوية القصوى في جميع الأوقات (رغم أن المحاكيات يمكن أن تخفف من ذلك).
• يفتقر تخليق الـ SACBF القائم على RL إلى ضمانات تقارب رسمية لمسألة شهادة السلامة نفسها بسبب طبيعة مسألة الوصول.
• يركز العمل الحالي على الأنظمة ذات الزمن المنفصل؛ وتوسيع النطاق ليشمل الأنظمة ذات الزمن المستمر هو عمل مستقبلي.