Learning Safe-by-Design Neural Network Controllers

ملخص تقني: تعلم متحكمات الشبكات العصبية الآمنة بالتصميم

بيان المشكلة
تُستخدم الشبكات العصبية (NNs) بشكل متزايد كسياسات تحكم تغذية راجعة للتعامل مع الديناميكيات غير الخطية المعقدة وعالية الأبعاد. ومع ذلك، فإن المتحكمات التي يتم تعلمها بالكامل تفتقر غالبًا إلى ضمانات سلامة رسمية، مما قد يؤدي إلى توليد إجراءات تنتهك القيود الحرجة مثل تجنب الاصطدام أو حدود المشغلات الميكانيكية. وتتمثل إحدى استراتيجيات التخفيف الشائعة في إلحاق مرشح سلامة (Safety Filter)، يعتمد عادةً على دالات حاجز التحكم (Control Barrier Functions - CBFs)، بمتحكم تم تدريبه مسبقًا. في الأطر القياسية، يقوم هذا المرشح بحل مسألة برمجة تربيعية (QP) عبر الإنترنت لفرض قيود السلامة المحددة بواسطة مرشح حاجز التحكم $h(x)$ ودالة $\alpha(\cdot)$ من الفئة $\mathcal{K}$ الممتدة.

يقدم هذا التصميم المنفصل مشكلتين رئيسيتين:

1. التحفظ وعدم المثالية: غالبًا ما تكون الدالة $\alpha(\cdot)$ ثابتة (على سبيل المثال، $\alpha(h) = \omega h$) مع بارامترات يتم ضبطها يدويًا. يؤدي الضبط الضعيف إلى سلوك متحفظ للغاية، مما يقلل من أداء التحكم، بينما يؤدي الضبط الهجومي إلى مخاطر انتهاك السلامة.
2. الأعباء الحسابية: يؤدي حل مسألة البرمجة التربيعية (QP) أثناء التشغيل إلى حدوث زمن انتقال (latency) ومشاكل في الموثوقية، مما يعيق النشر في الوقت الفعلي، خاصة للأنظمة ذات مساحات الحالة عالية الأبعاد أو التي تحتوي على قيود عديدة.

تحاول الأعمال الحديثة مثل BarrierNet و CAffNet دمج السلامة في عملية التعلم، لكنها إما تحتفظ بطبقة QP المكلفة عبر الإنترنت أو تعاني من مشاكل في القابلية للتوسع بسبب التعقيد الأسي لإسقاط المخرجات على المجموعات الممكنة المحددة بقيود عديدة.

المنهجية
يقترح المؤلفون إطار عمل "آمن بالتصميم" (Safe-by-Design) يقوم بتعلم متحكم شبكة عصبية ومعاملات حاجز التحكم (CBF) ذات المعلمات العصبية بشكل مشترك، مما يدمج قيود السلامة مباشرة في بنية المتحكم لإلغاء الحاجة إلى حلول QP عبر الإنترنت.

1. بنية CAffNet-Lite:
   المساهمة الجوهرية هي CAffNet-Lite، وهو امتداد خفيف الوزن لبنية CAffNet الحالية. يدمج طبقة تقييد تابعة للقيود (constraint-affine layer) مع وحدة إسقاط قابلة للتدريب لتحقيق قيود تابعة للحالة $A(x)u \leq b(x)$ عن طريق البناء.

• تفكيك القيود الخفيف: على عكس CAffNet، الذي يحصي جميع التشكيلات الممكنة للقيود النشطة (مما يؤدي إلى تعقيد أسي $O(2^{n_c})$)، يستخدم CAffNet-Lite استراتيجية تفكيك مخفضة. فهو يأخذ في الاعتبار فقط القيود الفرعية بالرتبة الدنيا ($k=1$) أو الرتبة العليا ($k=\min(n_c, m)$). يقلل هذا من التعقيد في أسوأ الحالات إلى تعقيد متعدد الحدود $O(n_c^m)$، مما يحسن القابلية للتوسع بشكل كبير للأنظمة ذات القيود العديدة.
• آلية الإسقاط: تُخرج الشبكة إشارة تحكم غير مقيدة $f_\theta(x)$. إذا انتهكت هذه الإشارة القيود، تقوم طبقة الإسقاط بحساب مجموعة مرشحة ممكنة عن طريق الإسقاط على مستويات القيود الفرعية. المخرج النهائي هو الإشارة غير المقيدة (إذا كانت ممكنة) أو أقرب إسقاط ممكن، مما يضمن تحقيق القيود الصارمة دون الحاجة إلى قيود كاملة الرتبة أو مستقلة خطيًا.

2. التعلم المشترك لمعلمات CBF:
   بدلاً من تثبيت دالة الاضمحلال $\alpha(\cdot)$، يستبدلها الإطار بمعلمات عصبية $\alpha_\vartheta(x, h(x))$ قابلة للتدريب. يسمح هذا للنظام بتعلم خاصية "الاضمحلال الأمثل" التي تتكيف مع سلوك المتحكم وديناميكيات النظام. تُصاغ قيود السلامة كالتالي:
   $$A(x)u \leq b_\vartheta(x)$$
   حيث تتضمن $b_\vartheta(x)$ القيمة المتعلمة $\alpha_\vartheta$.

3. الضمانات النظرية:
   بما أن طبقة الإسقاط تتضمن عملية $\arg\min$ التي قد تؤدي إلى إشارات تحكم غير مستمرة، فقد أثبت المؤلفون السلامة وفقًا لـ معنى فيليبوف (Filippov sense). لقد أثبتوا أن قانون التحكم المستمر جزئيًا الناتج يضمن الثبات الأمامي القوي (strong forward invariance) للمجموعة الآمنة، مما يضمن أنه إذا بدأ النظام داخل المجموعة الآمنة، فسيظل فيها لجميع الأوقات المستقبلية.

المساهمات الرئيسية

1. CAffNet-Lite: تقديم بنية إسقاط خفيفة الوزن تقلل التعقيد الحسابي من الأسي إلى متعدد الحدود بالنسبة لعدد القيود مع الحفاظ على تحقيق القيود الأفينية الصارمة وخصائص التقريب الشامل.
2. التحسين المشترك: إطار عمل يدرب بشكل مشترك متحكم الشبكة العصبية ومعلمات CBF (تحديدًا دالة الاضمحلال)، مما يتيح تحقيق قيود السلامة عن طريق البناء دون حلول QP عبر الإنترنت.
3. الإثبات النظري: إثبات أن المتحكم المقترح يحقق الثبات الأمامي القوي للمجموعة الآمنة في معنى فيليبوف، مما يعالج عدم الاستمرارية الناتجة عن طبقة الإسقاط.

النتائج التجريبية
تم تقييم إطار العمل في سيناريوهين للمحاكاة:

1. المتكامل المنفرد مع تجنب الاصطدام:

   • الإعداد: نظام متكامل ثنائي الأبعاد يتجنب ثلاثة عوائق متعددة الأوجه المحدبة.
   • النتائج: حقق كل من CAffNet و CAffNet-Lite أدنى متوسط تكلفة (الأقرب للمتحكم الاسمي) مع الالتزام الصارم بجميع قيود السلامة (0% انتهاك). في المقال، أظهرت الشبكات العصبية القياسية و HardNet انتهاكات للقيود، بينما كانت طرق QP ذات المعلمات الثابتة إما متحفظة للغاية (فشلت في الوصول للهدف) أو تطلبت وقتًا حسابيًا أعلى.
   • الكفاءة: طابق CAffNet-Lite أداء CAffNet ولكن مع تقليل وقت الاختبار، مما يثبت كفاءة التفكيك الخفيف.

2. تحديد النطاق الجغرافي لطائرة ثابتة الجناح:

   • الإعداد: نموذج طائرة مكون من 7 حالات و3 مدخلات يفرض قيود النطاق الجغرافي.
   • النتائج: نجح كل من CAffNet و CAffNet-Lite في تعلم أوامر سرعة آمنة تجنبت النطاقات الجغرافية.
   • الكفاءة: أظهر CAffNet-Lite زمن تدريب واختبار أقل بكثير مقارنة بـ CAffNet الأصلي، مما يؤكد قابليته الفائقة للتوسع للأنظمة عالية الأبعاد. وبينما تقارب CAffNet بشكل أسرع قليلاً من حيث التكلفة بسبب كثرة مرشحات الإسقاط، إلا أن CAffNet-Lite قدم توازنًا أفضل للتطبيق في الوقت الفعلي.

الأهمية والادعاءات
يزعم البحث أنه من خلال دمج قيود السلامة الأفينية مباشرة في المتحكم العصبي وتعلم معلمات CBF بشكل مشترك، يتغلب الأسلوب المقترح على تحفظ المرشحات ذات المعلمات الثابتة والأعباء الحسابية لحلول QP عبر الإنترنت. ويؤكد المؤلفون أن CAffNet-Lite يوفر حلاً قابلاً للتوسع والانتشار في الوقت الفعلي يضمن قيود السلامة الصارمة عن طريق البناء. يضع هذا العمل البحث في اتجاه "الآمن بالتصميم"، حيث لا تكون السلامة مجرد فكرة لاحقة أو مرشحًا وقت التشغيل، بل خاصية جوهرية للسياسة المتعلمة. ويشير المؤلفون بتواضع إلى أن العمل المستقبلي سيستكشف توسيع إطار العمل ليشمل فئات أوسع من القيود وتقييم الأداء على أنظمة العالم الحقيقي.