Learned Lyapunov Shielding for Adaptive Control

ملخص تقني: شهادات ليابونوف المتعلمة للتعلم التعزيزي المتبقي الآمن لأنظمة أويلر-لاغرانج

بيان المشكلة
تعتمد المتحكمات التكيفية لأنظمة أويلر-لاغرانج، مثل متحكم "سلوتين-لي" الكلاسيكي، على خاصية الخطية في المعلمات لـديناميكيات الأجسام الصلبة والمعرفة المسبقة للكتلة، وقوى كوريوليس، والجاذبية. ومع ذلك، فإن الأنظمة الروبوتية العملية غالبًا ما تظهر لاخطيات غير مبرمجة (مثل هستيريس الاحتكاك، مرونة المفاصل، وتأثيرات الأجسام اللينة) التي تستعصي على البرمجة البارامترية النظيفة. وبينما يوفر التعلم التعزيزي (RL) مسارًا لتعلم هذه المتبقيات، إلا أن التعلم التعزيزي القياسي يفتقر إلى ضمانات الاستقرار الرسمية وغالبًا ما يفشل في التقارب عند تطبيقه على مهام التحكم ذات الأهمية الحرجة للسلامة. تعتمد الأساليب الحالية لوظائف ليابونوف المتعلمة غالبًا على بنيات عصبية عامة (مثل الشبكات العصبية متعددة الطبقات MLP مع تنشيط tanh) التي تتطلب تحققًا لاحقًا أو تحسينًا معقدًا لضمان التحديد الموجب، مما يؤدي غالبًا إلى مرشحات سلامة غير قابلة للتنفيذ أثناء التشغيل.

المنهجية
يقترح المؤلفون إطار عمل يعزز متحكم "سلوتين-لي" التكيفي بثلاثة مكونات متعلمة، مدمجة في سياسة "الممثل الناقد الناعم" (SAC) المقيدة:

1. دالة ليابونوف ذات البنية التربيعية الهيكلية ($V_\psi$): بدلاً من الشبكة العصبية العامة، يتم تمثيل مرشح ليابونوف كـ $V_\psi(x) = x^\top P_\psi(x) x$، حيث $P_\psi(x) = L_\psi(x)L_\psi(x)^\top + \epsilon I$. هذا التمثيل ببارامترات "تشوليسكي" يضمن التحديد الموجب عن طريق التصميم.
2. سياسة SAC المتبقية: يتعلم وكيل (Soft Actor–Critic) عزم دوران متبقي محدود $\Delta \tau$ لتصحيح خط الأساس التحليلي لـ "سلوتين-لي". يتم تدريب السياسة لتعظيم المكافأة (أداء التتبع) مع الخضوع لقيد يتعلق بانتهاك تناقص دالة ليابونوف.
3. الشبكة العصبية المستندة إلى الفيزياء (PINN): تقوم شبكة $f_\theta$ بتقدير الديناميكيات غير المبرمجة (المتبقيات) ويتم تدريبها عبر فقدان فيزيائي يفرض بنية معادلة أويلر-لاغرانج. يُستخدم هذا النموذج لتقدير حقل الانجراف لمرشح السلامة.

مرشح السلامة وآلية الاستقرار
الابتكار الجوهري هو مرشح سلامة ذو صيغة مغلقة مشتق من القيد الأفيني الوحيد $\dot{V}_\psi + \alpha V_\psi \leq 0$. نظرًا لأن ديناميكيات النظام أفينية في التحكم ($\dot{x} = h(x) + g(x)\tau$) وأن $V_\psi$ تربيعية، يصبح القيد خطيًا في $\tau$ ($b(x)^\top \tau \leq c(x)$).

• الإسقاط ذو الصيغة المغلقة: يقوم المرشح بإسقاط أي مخرج سياسة خام $\tau_{raw}$ على نصف الفضاء الآمن عبر إسقاط إقليدي بسيط، مما يتجنب الحاجة إلى حلول البرمجة التربيعية (QP) عبر الإنترنت.
• شرط القابلية للتنفيذ: يثبت البحث أن هذا المرشح قابل للتنفيذ عالميًا إذا تحقق "شرط اضمحلال الانجراف" في المجموعة $Z$ حيث تتلاشى سلطة التحكم ($b(x)=0$). وتحديدًا، يجب أن تكون ديناميكيات الانجراف الطبيعية متناقصة وفقًا لليابونوف بالفعل في هذه المجموعة.
• المتانة: يتضمن النسخة المتينة من المرشح خطأ تقريب الـ PINN ($\delta$) وحد التدرج لـ $V_\psi$ ($L_V$) لضمان الاستقرار حتى عندما يكون نموذج الديناميكيات المتعلم غير مثالي.

المساهمات الرئيسية
يحدد البحث خمس مساهمات نظرية وتجريبية:

1. القابلية للتنفيذ بصيغة مغلقة: يوفر التمثيل التربيعي الهيكلي مسألة برمجة تربيعية ذات قيد واحد ذات حل صيغة مغلقة. يثبت المؤلفون القابلية للتنفيذ العالمية تحت شرط اضمحلال الانجراف القابل للتحقق (النظرية 4).
2. ضمانات الاستقرار: تم إثبات الاستقرار الأسي تحت الحماية الدقيقة. كما تم توفير امتداد متين حيث تعتمد هامش الاستقرار صراحة على خطأ تقريب الـ PINN (النظرية 13).
3. التقارب: أظهرت التحديثات المشتركة للسياسة، والشهادة، ومعامل لاغرانج أنها تتقارب بشكل شبه مؤكد إلى نقطة KKT باستخدام مخطط تقريب عشوائي ثلاثي المقاييس الزمنية (النظرية 10).
4. التعميم: تم اشتقاق حد تعميم PAC (الاحتمال التقريبي الصحيح)، مما يضمن دالة ليابونوف المتعلمة عبر مجموعات متراصة بناءً على عينات محدودة (الخاصية 14).
5. التحقق التجريبي: أظهرت تجارب مكثفة على ذراع روبوتية بـ 2-DOF وروبوت Franka Emika Panda بـ 7-DOF فعالية الإطار وقابليته للتوسع.

النتائج التجريبية

• ذراع روبوتية 2-DOF: في نظام ذي احتكاك غير خطي وحمل متغير، تم تحديد شهادة ليابونوف المتعلمة كمصدر رئيسي لتحسين الأداء. مقارنة بخط الأساس "سلوتين-لي" التحليلي، قللت الطريقة المقترحة خطأ التتبع بنسبة 41% في حالة الاحتكاك الاسمي و24% في حالة الاحتكاك الشديد عند مركز توزيع التدريب. وأكدت دراسات الاستئصال أن الشهادة المتعلمة ($V_\psi$) قدمت ربحًا أكبر بكثير من الـ PINN أو سياسة SAC وحدها.
• قابلية التوسع 7-DOF: أكدت دراسة على Franka Panda بـ 7-DOF (فضاء حالة مكون من 35 بُعدًا) أن خط الأنابيب الكامل (Transformer-based PINN، و$V_\psi$ الهيكلي، ودرع الصيغة المغلقة) يتقارب بوضوح في النطاق الصناعي. وعند مقارنتها بخط أساس "عزم الدوران المحسوب" الدقيق (الذي يمتلك وصولاً إلى الديناميكيات الحقيقية)، حقق الإطار تتبعًا ضمن 1.7% من خط الأساس، مما يؤكد أنه يعمل كمرشح سلامة معتمد وليس مجرد معزز للأداء عندما يكون خط الأساس مثاليًا بالفعل.
• أنماط الفشل: حددت الدراسة "باثولوجيا البداية الدافئة" حيث تصبح الشهادة المدربة تحت هيكل مكافأة معين معادية لأهداف مكافأة جديدة، مما يستلزم إعادة تهيئة جديدة. كما لاحظت عدم استقرار عددي بالقرب من الحالات حيث $\nabla V_\psi \approx 0$، مما يتطلب آلية بوابة لمنع تضخيم عزم الدوران.

الأهمية والادعاءات
يزعم البحث أن التمثيل التربيعي الهيكلي هو الخيار التصميمي المركزي الذي يتيح الإطار بأكمله. من خلال ضمان التحديد الموجب عن طريق التصميم، فإنه يسمح بمرشح سلامة ذو صيغة مغلقة وفعال حسابيًا يضمن القابلية للتنفيذ دون تحسين عبر الإنترنت. يوضح العمل كيف يمكن دمج المكونات المتعلمة في التحكم التكيفي الكلاسيكي للتعامل مع الديناميكيات غير المبرمجة مع الاحتفاظ بضمانات استقرار صارمة. يؤكد المؤلفون أن قيمة الإطار تكمن في التعلم المشترك للسياسة، والشهادة، ومتبقي الديناميكيات تحت قيود سلامة رسمية، وليس في أي مكون بمفرده. تشير النتائج إلى أن مثل هذه الأطر قابلة للاستخدام العملي عبر مقايقات مختلفة من الأذرع الروبوتية، بشرط ألا يكون خط الأساس التحليلي مثاليًا بالفعل وأن يغطي توزيع التدريب النطاق التشغيلي.