Safety-Aware Performance Boosting for Constrained Nonlinear Systems

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعزيز الأداء الواعي بالسلامة للأنظمة غير الخطية المقيدة" (Safety-Aware Performance Boosting for Constrained Nonlinear Systems) من قبل Saccani وآخرون.

1. صياغة المشكلة

تتناول الورقة البحثية تحدي التحكم في الأنظمة غير الخطية والمقيدة حيث يكون الهدف هو تحسين الأداء (تنفيذ مهام معقدة) مع ضمان السلامة (قيود الحالة/المدخلات) والاستقرار (تقارب الحلقة المغلقة) بشكل صارم.

• الصراع: يضمن التحكم التنبئي بالنماذج (MPC) التقليدي السلامة عبر القيود الصارمة، ولكنه قد يكون متحفظاً للغاية عند تحسين الأداء. وعلى العكس من ذلك، توفر النهج القائمة على التعلم (مثل التعلم التعزيزي) أداءً عالياً ولكنها غالباً ما تفتقر إلى ضمانات السلامة والاستقرار الرسمية.
• قصور مرشحات السلامة الحالية: تُستخدم مرشحات السلامة التنبؤية (PSFs) لتعديل مدخلات التحكم غير الآمنة لاستيفاء القيود. ومع ذلك، فإن مرشحات (PSF) القياسية تفرض معدل تناقص لـدالة ليابونوف (Lyapunov) ثابتاً ورتيباً. وهذا يجبر النظام على البقاء ضمن مجموعات مستويات ليابونوف التي تتقلص، مما يمنع السلوكيات المعقدة مثل "الالتفافات الآمنة" حول العوائق التي قد تؤدي مؤقتاً إلى زيادة قيمة دالة ليابونوف.
• الهدف: تطوير بنية تحكم تفصل بين السلامة، الاستقرار، والأداء، مما يسمح للنظام بتخفيف قيود الاستقرار مؤقتاً لتحقيق أداء أفضل، مع ضمان عودة النظام رياضياً إلى حالة مستقرة في النهاية.

2. المنهجية

يقترح المؤلفون بنية تحكم (الشكل 1) تتكون من مكونين رئيسيين: متحكم تعزيز الأداء (PB) ومرشح سلامة تنبئي مجدول (Scheduled PSF).

أ. مرشح السلامة التنبئي المجدول (Scheduled PSF)

يعمل الـ PSF كمتحكم أساسي مسبق الاستقرار. وخلافاً لمرشحات (PSF) القياسية التي تفرض معدل تناقص ثابت لـدالة ليابونوف ($\rho$)، تقدم هذه الورقة آلية جدولة:

• معدل تناقص متغير: لم يعد معدل تناقص ليابونوف المطلوب، $\rho_t$، ثابتاً؛ بل يتم تعديله ديناميكياً بناءً على مقدار مدخل الأداء ($u_L$) المقترح من قبل متحكم تعزيز الأداء (PB).
• جدول التضييق ($\psi$): تقوم دالة $\psi$ بربط معيار (norm) مدخل الأداء ($\|u_{L,t}\|$) بمعامل الجدولة $\rho_t$.
  • المرحلة الانتقالية: عندما يكون مدخل الأداء كبيراً (مما يشير إلى مناورة معقدة أو التفاف)، يُسمح لـ $\rho_t$ بالزيادة (حتى $\rho_t > 1$)، مما يؤدي فعلياً إلى تخفيف قيد تناقص ليابونوف. هذا يسمح للنظام بالتحرك مؤقتاً "للأعلى" في مشهد ليابونوف للمناورة حول العوائق.
  • مرحلة الاستقرار: مع تناقص مدخل الأداء ($\|u_{L,t}\| \to 0$)، تضيق $\rho_t$ تلقائياً لتصبح قيمة ثابتة $\bar{\rho} < 1$، مما يضمن استقرار النظام في النهاية.
• التحسين: في كل خطوة، يحل الـ PSF مسألة تحسين مقيدة لإيجاد المدخل الآمن $u$ الأقرب إلى $u_L$ الذي يستوفي قيود الحالة/المدخلات وقيد تناقص ليابونوف المجدول.

ب. متحكم تعزيز الأداء (PB Controller)

• البارامترية: يتم تمثيل متحكم (PB) كـ مشغل سببي (causal operator) باستخدام سياسة المقدار والاتجاه (MAD).
• الاستقرار بالتصميم: تضمن البنية أن ينتمي المخرج $u_L$ إلى فضاء $\ell_2$ (طاقة محدودة) عن طريق التصميم. ويتحقق ذلك باستخدام وحدة تكرارية خطية (LRU) لمكون المقدار، مما يضمن استقرار $\ell_2$ لأي بارامترات.
• الدور: يقوم بتوليد مدخل التحكم "المرغوب" لتحسين الأداء، ويوفر الإشارة للمجدول لتعديل مدى صرامة الـ PSF.

ج. إجراء التدريب

• نهج الصندوق الأسود: إن الاشتقاق المباشر عبر مسألة التحسين في الـ PSF أمر صعب بسبب عدم النعومة (non-smoothness) عندما تصبح القيود نشطة.
• التعلم بالفاعل-الناقد (Actor-Critic RL): يستخدم المؤلفون طريقة "الفاعل-الناقد" خارج السياسة (مثل DDPG).
  • الفاعل (Actor): يتعلم السياسة $u_L = \mu_\theta(\zeta)$.
  • الناقد (Critic): يقدر قيمة $u_L$.
  • والأهم من ذلك، أن تحديث التدرج (gradient update) لا يتطلب الاشتقاق عبر حل الـ PSF. بدلاً من ذلك، يعتمد على تدرج دالة Q بالنسبة لـ $u_L$، مع معاملة الترابط بين الـ PSF والنبات (plant) كصندوق أسود حتمي.

3. المساهمات الرئيسية والنتائج النظرية

(i) الاستقرار بالتصميم

تثبت الورقة النظرية 1: إذا أنتج متحكم (PB) مدخلاً مستقراً من نوع $\ell_2$ ($u_L \in \ell_2$)، فإن النظام ذو الحلقة المغلقة يضمن أن يكون مستقراً من نوع $\ell_2$ ويستوفي جميع القيود.

• الآلية: على الرغم من إمكانية أن تكون $\rho_t \ge 1$ بشكل انتقالي، إلا أن حقيقة أن $u_L \to 0$ تضمن أن $\rho_t$ ستستقر في النهاية عند $\bar{\rho} < 1$، مما يضمن الاستقرار التقاربي.

(ii) توسيع مجموعة المسارات

تثبت الورقة النظرية 2: أن مجموعة المسارات الآمنة القابلة للتحقيق باستخدام الـ PSF المجدول تحتوي بشكل صارخ على مجموعة المسارات التي يمكن تحقيقها بواسطة الـ PSF ذو المعدل الثابت.

• الأهمية: يثبت هذا رياضياً أن البنية المقترحة يمكنها تنفيذ سلوكيات (مثل الالتفافات المؤقتة) مستحيلة تماماً بالنسبة لمرشحات (PSF) القياسية، والتي تظل محصورة داخل مجموعات مستويات ليابونوف المتناقصة.

(iii) التدريب الخالي من الاشتقاق

يتجاوز إجراء التدريب المقترح الحاجة إلى الاشتقاق عبر خريطة التحسين غير الناعمة للـ PSF، مما يجعل تعلم السياسات المعقدة ممكناً ومستقراً.

4. النتائج التجريبية

تم التحقق من صحة الطريقة في مهمة البندول المعكوس المقيد مع وجود عائق متحرك.

• المهمة: تثبيت البندول عند وضع التوازن الرأسي ($\theta=0$) مع تجنب عائق متحرك يسد المسار المباشر.
• المقارنة:
  • الأساس (Fixed-Rate PSF): فشل في المهمة. فقد أدى التناقص الرتيب لدالة ليابونوف إلى إجبار البندول على البقاء ضمن مستويات متقلصة، مما جعل من المستحيل الالتفاف حول العائق دون انتهاك قيد الاستقرار.
  • المقترح (Scheduled PSF): نجح في إتمام المهمة. سمح المجدول لشهادة ليابونوف ($J^*_t$) بالزيادة مؤقتاً (عن طريق ضبط $\rho_t > \bar{\rho}$)، مما مكن البندول من التأرجح بعيداً عن وضع التوازن لتجنب العائق. وبمجرد تجاوز العائق، انخفض مقدار المدخل، وضُيق $\rho_t$، واستقر النظام.
• التصور البصري: يظهر الشكل 3 شهادة ليابونوف للطريقة المقترحة وهي ترتفع مؤقتاً (الخط الأزرق) قبل أن تتقارب، بينما يُجبر الأساس (الخط البرتقالي) على التناقص بشكل رتيب، مما يؤدي إلى الفشل.

5. الأهمية

يجسر هذا العمل الفجوة بين ضمانات السلامة الرسمية والتحكم عالي الأداء في الأنظمة غير الخطية.

1. التغلب على التحفظ: يحل مشكلة القصور الجوهري في مرشحات السلامة ذات المعدل الثابت التي تمنع السلوكيات المعقدة وغير الرتيبة.
2. الصرامة النظرية: يوفر براهين رسمية على أن تخفيف قيود الاستقرار مؤقتاً لا يمس الاستقرار طويل الأمد، بشرما كان مدخل الأداء محدوداً من نوع $\ell_2$.
3. القابلية للتطبيق العملي: من خلال فصل مرشح السلامة عن عملية التعلم عبر نهج الصندوق الأسود، فإنه يتيح استخدام تقنيات التعلم التعزيزي (RL) القوية للأنظمة الحرجة للسلامة دون الحاجة إلى طبقات تحسين معقدة قابلة للاشتقاق.

باختصار، تقدم الورقة آلية "تعزيز واعية بالسلامة" تسمح للأنظمة المستقلة باتخاذ مخاطر محسوبة ومؤقتة (التفافات) لتحقيق أهداف معقدة، مع ضمان رياضي بأنها ستعود إلى حالة آمنة ومستقرة.