Stability-Certified On-Policy Data-Driven LQR via Recursive Learning and Policy Gradient

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التحكم في المنظم التربيعي الخطي (LQR) القائم على البيانات والسياسة المباشرة مع ضمان الاستقرار عبر التعلم التكراري وتدرج السياسة" من قبل Sforni وآخرون.

1. بيان المشكلة

تتناول الورقة مشكلة المنظم التربيعي الخطي (LQR) للأنظمة الخطية ذات الديناميكيات المجهولة ($A^\star, B^\star$). الهدف هو تصميم سياسة تحكم $u_t = K_t x_t$ لتقليل دالة التكلفة ذات الأفق اللانهائي:
$$J = \mathbb{E} \left[ \sum_{t=0}^{\infty} (x_t^\top Q x_t + u_t^\top R u_t) \right]$$
بشرط $x_{t+1} = A^\star x_t + B^\star u_t$.

التحديات الرئيسية:

• نظام مجهول: المصفوفات $A^\star$ و $B^\star$ غير معروفة مسبقاً.
• قيد السياسة المباشرة (On-Policy): يجب تطبيق مدخل التحكم على النظام الفيزيائي الفعلي أثناء تعلم وتحسين السياسة. وهذا يتناقض مع الطرق "خارج السياسة" (off-policy) حيث يتم جمع البيانات تحت سياسة واحدة واستخدامها لتحسين سياسة أخرى، مما يتطلب غالباً مراحل منفصلة لجمع البيانات والتحسين.
• ضمانات الاستقرار: تركز معظم الطرق الحالية المعتمدة على البيانات على التقارب أو حدود الندم (regret bounds)، لكنها تفتقر إلى شهادات استقرار صارمة للنظام المغلق بالكامل (الذي يجمع بين ديناميكيات التعلم، وديناميكيات التحسين، والنبات الفيزيائي/المحرك) خلال مرحلة التعلم العابرة.

2. المنهجية: Relearn LQR

يقترح المؤلفون Relearn LQR (التعلم التكراري لتدرج السياسة لـ LQR)، وهو إطار عمل للتعلم والتحسين المتزامن. تعمل الطريقة في حلقة واحدة حيث يحدث جمع البيانات، وتحديد هوية النظام، وتحديث السياسة بشكل متزامن.

المكونات الأساسية:

1. جمع البيانات المباشرة (On-Policy):

   • يتم تعريف مدخل التحكم كـ $u_t = K_t x_t + d_t$، حيث $K_t$ هو كسب التغذية الراجعة الحالي و $d_t$ هي إشارة تذبذب (dithering signal) خارجية.
   • يتم توليد إشارة التذبذب بواسطة مذذب مستقر ($w_{t+1} = F w_t, d_t = E w_t$) لضمان الاستمرارية في الإثارة (Persistency of Excitation - PE)، وهو أمر بالغ الأهمية لتقدير المعلمات بدقة.

2. المربعات الصغرى التكرارية (RLS) لتحديد الهوية:

   • يتم تقدير معلمات النظام $\theta^\star = [A^\star, B^\star]^\top$ عبر الإنترنت باستخدام نهج المربعات الصغرى التكرارية.
   • تحافظ الخوارزمية على تقديرات لمصفوفات النظام ($\theta_t$) والمصفوفات المساعدة ($H_t, S_t$) التي يتم تحديثها عند كل خطوة زمنية بناءً على أزواج الحالة-المدخل الملحوظة $(x_t, u_t)$.

3. البحث المباشر عن السياسة (تدرج الانحدار):

   • يتم تحديث كسب التحكم $K_t$ باستخدام طريقة تدرج الانحدار على دالة التكلفة $J(K, \theta)$.
   • بما أن $\theta^\star$ الحقيقية مجهولة، يتم حساب التدرج باستخدام التقدير الحالي $\theta_t$.
   • قاعدة التحديث هي: $K_{t+1} = K_t - \gamma G(K_t, \theta_t)$، حيث $G$ هو تدرج التكلفة بالنسبة لـ $K$.

بنية النظام:

يتم نمذجة النظام المغلق كـ نظام ديناميكي غير خطي ذو مقياسين زمنيين:

• النظام الفرعي السريع: ديناميكيات النبات الفيزيائي وديناميكيات خطأ تقدير RLS (المدفوعة بإشارة التذبذب).
• النظام الفرعي البطيء: تطور كسب السياسة $K_t$ وتقديرات المعلمات $\theta_t$ (المدفوعة بحجم الخطوة $\gamma$).

3. المساهمات الرئيسية

1. إطار عمل للسياسة المباشرة مع شهادة استقرار:
   على عكس العديد من طرق LQR المعتمدة على البيانات الموجودة والتي تكون "خارج السياسة" أو تفتقر إلى براهين الاستقرار في الحلقة المغلقة، يوفر Relearn LQR شهادة استقرار رسمية للنظام المتصل بالكامل (التعلم + التحكم + التحسين) الذي يعمل على النبات الحقيقي.

2. التحليل النظري عبر نظرية المتوسط (Averaging Theory):
   استخدم المؤلفون نظرية المتوسط و تحليل ليابونوف لنمذجة النظام كنظام غير خطي ذي مقياسين زمنيين، ولإثبات أن:

   • أصل ديناميكيات الخطأ هو مستقر أسياً.
   • التقديرات $\theta_t$ تتقارب إلى المعلمات الحقيقية $\theta^\star$.
   • الكسب $K_t$ يتقارب إلى الكسب الأمثل $K^\star$.
   • حالة النظام $x_t$ تظل محدودة وتتذبذب حول الأصل بسعة محددة بواسطة إشارة التذبذب.

3. التعلم والتحكم المتزامن:
   تلغي الطريقة الحاجة إلى مراحل متميزة لـ "جمع البيانات" و "تحسين السياسة". يتعلم النظام ويحسن في آن واحد، مما يسمح بالتكيف الديناميكي مع المعلمات المتغيرة بمرور الوقت دون الحاجة لإعادة تشغيل الخوارزمية.

4. التعامل مع الأنظمة متغيرة الزمن:
   يشير الإطار النظري إلى أن الطريقة يمكنها التكيف مع السيناريوهات التي تتغير فيها مصفوفات النظام (المعلمات المنزاحة)، حيث يستعيد النظام المغلق الأمثلية ديناميكياً دون الحاجة لإعادة البدء.

4. النتائج

النتائج النظرية:

• النظرية 3.3: تثبت أنه بموجب افتراضات محددة (القابلية للتحكم، الاستمرارية في الإثارة، وحجم خطوة $\gamma$ صغير بما يكفي)، فإن المجموعة التي تحتوي على الكسب الأمثل، والمعلمات الحقيقية، وموقع الاستقرار النهائي للديناميكيات السريعة هي مستقرة أسياً.
• التقارب: تضمن الخوارزمية التقارب الأسي لخطأ التكلفة وخطأ تقدير المعلمات إلى الصفر (أو إلى جوار قابل للضبط تحدده شدة التذبذب).

المحاكاة العددية:

اختبر المؤلفون Relearn LQR على نموذج طائرة عالية القدرة على المناورة (الديناميكيات الطولية).

• المعلمات الثابتة: نجحت الخوارزمية في التقارب إلى التكلفة المثلى $J^\star$ والمعلمات الحقيقية $\theta^\star$ من ظروف ابتدائية عشوائية. تذبذبت مسارات الحالة حول الأصل بسبب إشارة التذبذب ولكنها ظلت مستقرة.
• المعلمات المنزاحة: تعرض النظام لتغير سيجمويدي (sigmoidal) بطيء في مصفوفات النظام ($A^\star, B^\star$). أظهرت الخوارزمية قدرة تكيفية قوية، حيث تتبعت التكلفة المثالية والمتغيرات المتغيرة دون فقدان الاستقرار أو الحاجة لإعادة التهيئة.

5. الأهمية والأثر

• سد الفجوة: يعمل هذا العمل على سد الفجوة بين استقرار التحكم النظري والتعلم الحديث القائم على البيانات. فهو يتجاوز مجرد "حدود الندم" (الشائعة في أدبيات التعلم المعزز) ليوفر ضمانات استقرار قائمة على ليابونوف للنظام في الحلقة المغلقة.
• الأمان في التعلم: من خلال منح شهادة استقرار لعملية التعلم نفسها، تجعل هذه الطريقة التحكم القائم على البيانات أكثر أماناً للتطبيقات الواقعية (مثل الطيران) حيث يمكن أن يكون عدم الاستقرار أثناء مرحلة التعلم كارثياً.
• التكيف عبر الإنترنت: إن القدرة على التعامل مع الأنظمة متغيرة الزمن تجعل هذا النهج ذا صلة وثيقة بالسيناريوهات الواقعية التي لا تكون فيها ديناميكيات النظام ثابتة تماماً (مثل تقادم المكونات أو تغير الظروف البيئية).
• الدقة المنهجية: يوفر استخدام نظرية المتوسط لفصل ديناميكيات التقدير السريعة عن تحسين السياسة البطيء أداة رياضية صارمة لتحليل الأنظمة المعقدة والمتصلة من التعلم والتحكم.

باختصار، يقدم Relearn LQR حلاً قوياً ومبنياً على أسس نظرية للتحكم في الأنظمة الخطية المجهولة، مما يضمن أن عملية التعلم نفسها لا تؤدي إلى زعزعة استقرار النبات الفيزيائي، بينما تتقارب في الوقت نفسه نحو سياسة التحكم المثلى.