ملخص تقني: الاستكشاف الآمن للعمليات غير الخطية باستخدام تعلم العمليات الغاوسية عبر الإنترنت

بيان المشكلة

تتناول الورقة البحثية تحدي التحكم في الأنظمة غير الخطية ذات الديناميكيات المعروفة جزئياً في التطبيقات الحرجة للسلامة (مثل الروبوتات، الفضاء، والصناعات التحويلية). وبينما توفر الأساليب القائمة على البيانات مثل التعلم التعزيزي قدرة على التكيف، إلا أنها غالباً ما تفتقر إلى ضمانات صارمة بشأن الاستقرار والالتزام بالقيود خلال مرحلة الاستكشاف. تعتمد أساليب التعلم الآمن الموجودة بشكل متكرر على افتراضات مثالية، مثل المعرفة الكاملة بالديناميكيات غير الخطية أو التقديرات التقريبية المحافظة لثابت ليبشيتز (Lipschitz) لعدم اليقين، مما يحد من عمليتها.

المشكلة المحددة التي يتم معالجتها هي تصميم إطار عمل تحكم يضمن الاستكشاف الآمن للأنظمة غير الخطية حيث:

1. تُعرف فقط تقريب خطي مستقر للعملية.
2. يجب تعلم الديناميكيات غير الخطية غير النمذجة (المتبقيات) عبر الإنترنت.
3. يجب أن يستوفي النظام قيود الحالة والمدخلات باحتمالية عالية طوال عملية التعلم.

المنهجية

يدمج إطار العمل المقترح بين انحدار العمليات الغاوسية (Gaussian Process Regression)، ونظرية استقرار ليابنوف (Lyapunov stability theory)، والتحسين المحدب لتحقيق استكشاف آمن ومعلوماتي.

1. تفكيك النظام ونمذجة العمليات الغاوسية (GP)

يتم نمذجة ديناميكيات النظام كـ "نظام أفيني تحكمي" (control-affine nonlinear system):
$$\dot{x} = Ax + Bu + g(x)$$
حيث $(A, B)$ هو تقريب خطي مستقر معروف، و $g(x)$ هو متبقٍ (residual) سلس غير معروف. يتم نمذجة $g(x)$ عبر الإنترنت باستخدام عملية غاوسية. ومع جمع البيانات، توفر العملية الغاوسية متوسطاً لاحقاً $\mu_t(x)$ وانحرافاً معيارياً $\sigma_t(x)$. ويتم بناء غلاف ثقة عالي الاحتمالية بحيث أن:
$$\|g(x) - \mu_t(x)\|_2 \leq \beta_t \sigma_t(x)$$
بااحتمالية $1-\delta$، حيث $\beta_t$ هو معامل ثقة متغير زمنياً مشتق من جداول GP-UCB ذات العينات المحدودة.

2. المجموعات المحكومة احتمائياً بالتحكم (PCIS)

يتم فرض السلامة من خلال مجموعة محكومة بالتحكم احتمائياً (PCIS) مشتقة من دالة ليابنوف (CLF)، $V(x) = x^\top P x$. تُعرف الـ PCIS بأنها مجموعة الحالات التي يوجد فيها مدخل تحكم يضمن تناقص دالة ليابنوف، حتى في ظل أسوأ حالات عدم اليقين للعملية الغاوسية ضمن غلاف الثقة.
شرط المجموعة $S_t$ هو:
$$\nabla V \cdot (Ax + Bu + \mu_t(x)) + \beta_t \sigma_t(x) \|\nabla V\| + \lambda V(x) \leq 0$$
يضمن هذا البناء أنه إذا بدأ النظام داخل الـ PCIS، فإنه سيبقى فيها باحتمالية عالية ($1-\delta$)، مما يضمن الجدوى التكرارية للقيود.

3. المتحكم القائم على التحسين

في كل خطوة زمنية، يحل المتحكم برنامج تربيعي محدب (Convex QP) لتحديد مدخل التحكم $u$. الهدف هو تعظيم كسب المعلومات (من خلال تشجيع الإثارة في الاتجاهات ذات عدم اليقين العالي) مع الالتزام الصارم بقيود السلامة.
يقوم الـ QP بتقليل الانحراف عن متحكم الاستقرار الاسمي $u_{lin}$:
$$\min_{u, s \geq 0} \|u - u_{lin}\|_2^2 + \rho s$$
خاضعاً لشرط تناقص ليابنوف (الذي يتضمن حد عدم اليقين للعملية الغاوسية) وقيود المدخلات. يضمن متغير التراخي (slack variable) $s$ الجدوى، مع معاقبته بـ $\rho$ لإعطاء الأولوية للسلامة.

4. التوسع التكيفي

بينما تتعلم العملية الغاوسية الديناميكيات المتبقية، ينخفض عدم اليقين $\sigma_t(x)$. هذا الانخفاض يسمح للـ PCIS بالتوسع بشكل تكيفي، مما يفتح مناطق استكشاف أغنى تدريجياً دون انتهاك ضمانات السلامة.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

1. تفكيك النموذجي-المتبقي (Nominal-Residual Decomposition): إطار عمل يجمع بين نموذج خطي معروف ومتبقٍ لعملية غاوسية عبر الإنترنت، مما يتيح التعلم الآمن لعدم الخطية غير المعروفة دون الحاجة لمعرفة كاملة بالنموذج.
2. بناء PCIS القائم على ليابنوف: طريقة لبناء مجموعات ثابتة احتمالية تتضمن عدم يقين العملية الغاوسية، مما يوفر ضمانات سلامة واستقرار احتمالية ذات عينات محدودة.
3. المتحكم القائم على التحسين: متحكم يعمل في الوقت الفعلي يحل QP محدب في كل خطوة لموازنة كسب المعلومات (الاستكشاف) مع ضمانات السلامة الصارمة (تناقص CLF)، متجنباً تحفظ تعدد الخطوات لانتشار عدم اليقين الموجود في صياغات MPC الآمنة الأخرى.

النتائج التجريبية

تم التحقق من صحة إطار العمل باستخدام معيارين: نظام متعدد الحدود ثنائي الأبعاد، وعملية ثلاث خزانات مياه بنظام MIMO.

نظام متعدد الحدود ثنائي الأبعاد

• أداء التعلم: حقق نموذج العملية الغاوسية تحسينات كبيرة في الدقة (انخفاض RMSE من ~1.11 إلى ~0.03) عبر 12 تكراراً.
• معايرة عدم اليقين: تحسن التغطية التجريبية لفترات الثقة بنسبة 95% من 37% إلى 100% بعد المعايرة، مما ضمن موثوقية شهادات السلامة.
• السلامة: حافظ متحكم GP-PCIS المقترح على جميع المسارات داخل المجموعة الآمنة المعتمدة مع صفر انتهاكات للقيود. في المقابل، انتهك نموذج أساسي غير آمن (LQR بدون طبقات سلامة) قيود الحالة.
• توسع المجموعة: توسعت حجم المجموعة الآمنة المعتمدة بنسبة 27.7% تقريباً مع انخفاض عدم اليقين، مما يوضح الطبيعة التكيفية لإطار العمل.

عملية ثلاث خزانات مياه

• التعقيد: اختبر هذا النظام (MIMO) المتعدد المداخل والمخارج والارتباط مدى قابلية إطار العمل للتوسع والجدوى في الوقت الفعلي.
• العملية الغاوسية المتناثرة مقابل الدقيقة: أظهرت تقريبات العملية الغاوسية المتناثرة (باستخدام النقاط المحفزة) أنها قابلة للتطبيق، حيث قدمت سرعة استدلال أسرع بأكثر من 1000 مرة مقارنة بالعمليات الغاوسية الدقيقة مع الحفاظ على تغطية قريبة من النموذج الاسمي (~94.5%) وخطأ RMSE مقبول.
• السلامة: خلال أفق تحديد مدته 2000 ثانية، حقق إطار العمل صفراً من الانتهاكات لقيود مستوى الماء (45%–87%)، بينما انخفض نموذج أساسي غير آمن لفترة وجيزة تحت الحد الأدنى.
• الأداء في الوقت الفعلي: كانت أوقات حل QP الوسيطة لكل خطوة في نطاق الميلي ثانية، مما يؤكد الجدوى للتنفيذ في الوقت الفعلي.

الأهمية والادعاءات

تدعي الورقة تقديم إطار عمل موحد وقابل للتنفيذ للاستكشاف الآمن في الأنظمة غير الخطية ذات المعرفة الجزئية. وتكمن أهميتها في:

• الموازنة بين القدرة على الحساب والتحفظ: على عكس صياغات Safe MPC متعددة الخطوات التي قد تصبح مفرطة في التحفظ، يفرض هذا النهج تناقص ليابنوف لخطوة واحدة مع حدود ثقة العملية الغاوسية، مما ينتج عنه QP محدب دون تضخم عدم اليقين عبر خطوات متعددة.
• العملية: يتطلب فقط نموذجاً خطياً مستقراً (وهو أمر شائع في الواقع) بدلاً من الديناميكيات غير الخطية الدقيقة، مما يجعله قابلاً للتطبيق على الأنظمة الحقيقية حيث يجب تعلم التأثيرات غير المضمنة عبر الإنترنت.
• الضمانات النظرية: يوفر ضمانات سلامة احتمالية ذات عينات محدودة، مما يضمن بقاء النظام مستقراً وضمن القيود باحتمالية عالية، حتى أثناء مرحلة التعلم النشط.

يقر المؤلفون بالقيود، بما في ذلك تحفظ حدود الحالة الأسوأ لخطوة واحدة والتوسع التكعيبي لتدريب العملية الغاوسية الدقيقة، مما يشير إلى أعمال مستقبلية حول قيود الفرصة المتعددة الخطوات وتحديثات العملية الغاوسية المتناثرة للمهام ذات الأبعاد الأعلى. ومع ذلك، تظهر النتائج أن الطريقة المقترحة تمكن بفعالية الاستكشاف المعلوماتي مع الالتزام الصارم بقيود السلامة.