Data-Driven Covariance Steering with Output Feedback

إليك ملخص تقني مفصل للورقة البحثية بعنوان "توجيه التباين المعتمد على البيانات مع التغذية الراجعة للمخرجات" (Data-Driven Covariance Steering with Output Feedback) من تأليف ديميتريوس موستوروفيس وباناجوتيس تسيوترات.

1. بيان المشكلة

تتناول الورقة مشكلة توجيه التباين (Covariance Steering - CS) للأنظمة العشوائية ذات الزمن المنفصل، الخطية، وثابتة الخصائص (LTI)، حيث تكون مصفوفات النظام ($A, B, C$) غير معروفة.

• الهدف: توجيه توزيع مخرجات النظام من توزيع غاوسي أولي $\mathcal{N}(\mu_i^y, \Sigma_i^y)$ إلى توزيع نهائي $\mathcal{N}(\mu_f^y, \Sigma_f^y)$ عبر أفق زمني محدد $N$، مع تقليل دالة التكلفة التربيعية.
• القيود:
  • التغذية الراجعة للمخرجات (Output Feedback): لا يمتلك المتحكم سوى الوصول إلى المدخلات والمخرجات السابقة، وليس متجه الحالة الكامل.
  • عدم معرفة النموذج: مصفوفات النظام غير معروفة؛ ويجب اشتقاق التحكم حصرياً من مسار واحد من بيانات المدخلات والمخرجات ($D = \{u_k, y_k\}$).
  • الاضطرابات العشوائية: يخضع النظام لضوضاء عملية ($w_k$) وضوضاء قياس ($q_k$)، وكلاهما يتبع توزيع غاوسي مستقل ومتماثل التوزيع (i.i.d).
• التحدي الرئيسي: تفترض طرق توجيه التباين القائمة على البيانات الحالية توفر الحالة الكاملة أو قياسات خالية من الضوضاء. يعالج هذا العمل الحالة الأكثر صعوبة وهي الملاحظة الجزئية (تغذية المخرجات الراجعة) في ظل وجود ضوضاء، حيث تصبح الضوضاء المستحثة في فضاء الحالة المحول مرتبطة زمنياً.

2. المنهجية

يقوم الإطار المقترح بتحويل مشكلة التغذية الراجعة للمخرجات إلى مشكلة تغذية راجعة للحالة باستخدام تمثيل حالة غير أدنى (non-minimal state representation)، ثم حل مشكلات توجيه المتوسط والتباين باستخدام نهجين: نهج غير مباشر ونهج مباشر يعتمدان على البيانات.

أ. تمثيل الحالة غير الأدنى

للتعامل مع عدم توفر قياسات الحالة، يقوم المؤلفون ببناء متجه حالة $z_k$ يتكون من المدخلات والمخرجات السابقة:
$$z_k \triangleq \text{col}(u_{k-1}, \dots, u_{k-\ell}, y_{k-1}, \dots, y_{k-\ell})$$
حيث $\ell$ هو مؤشر الملاحظة (observability index).

• التحويل: يسمح هذا التمثيل بكتابة النظام في شكل فضاء الحالة. ومع ذلك، فإن ضوضاء "الحالة" الناتجة تكون مرتبطة زمنياً (ليست بيضاء).
• تقليل الأبعاد: نظراً لأن تمثيل الحالة غير الأدنى $z_k$ قد يحتوي على مكونات خطية مترابطة (مما ينتهك شروط القابلية للتحكم في التحكم القائم على البيانات)، يتم تطبيق مصفوفة تحويل $L$ لإنشاء حالة مختزلة $\chi_k = L z_k$. يضمن ذلك أن مصفوفة البيانات ذات رتبة صفية كاملة، مما يحقق لمية ويليمز الأساسية (Willems' Fundamental Lemma).

ب. التعامل مع الضوضاء المرتبطة زمنياً

تتمثل المساهمة الجوهرية في معالجة حقيقة أن الضوضاء المحولة $\zeta_k$ تكون مرتبطة عبر الزمن ($E[\zeta_k \zeta_m^T] \neq 0$ عندما $k \neq m$).

• يتم نمذجة الضوضاء كعملية ذاتية الانحدار (autoregressive process): $\zeta_{k+1} = \Psi \zeta_k + \eta_k$.
• يتم تعديل معادلات انتشار التباين لتتبع التباين المشترك (cross-covariance) بين الحالة $\chi_k$ والضوضاء $\zeta_k$ بشكل صريح ($\Sigma_{\chi\zeta}$)، والذي يكون غير صفري بسبب الارتباط.

ج. تحديد النظام المعتمد على البيانات

يتم استخدام نهجين متميزين لمتحكمي المتوسط والتباين:

1. النهج غير المباشر (توجيه المتوسط):

   • يقوم بتقدير مصفوفات النظام ($\hat{A}, \hat{B}, \hat{C}$) من البيانات.
   • يستخدم المتغيرات الآلية (Instrumental Variables - IV) أو طريقة المربعات الصغرى الكلية (Total Least Squares - TLS).
   • لماذا IV؟ لأن المفسرات (الحالات السابقة) مرتبطة بالضوضاء في صيغة التغذية الراجعة للمخرجات، مما يجعل طريقة المربعات الصغرى العادية (OLS) وحتى TLS غير متسقة. تستخدم طريقة IV المدخلات السابقة كأدوات (وهي مستقلة عن الضوضاء) لضمان التقدير المتسق لديناميكيات المتوسط.

2. النهج المباشر (توجيه التباين):

   • لا يقوم بتحديد $A$ و $B$ بشكل صريح. بدلاً من ذلك، يقوم بتمثيل قانون التحكم مباشرة باستخدام مصفوفة البيانات $P$ (المبنية من المدخلات والحالات المختزلة).
   • يستخدم الاسترخاء المحدب (convex relaxation) لتحويل مشكلة التحسين غير المحدبة إلى برنامج شبه محدد (SDP).
   • يتطلب تقدير تحقق الضوضاء وتباينها من بقايا (residuals) النموذج المقدر.

د. صياغة التحسين

تتم صياغة المشكلة كبرنامج SDP لتقليل التكلفة:
$$J = \sum_{k=0}^{N-1} \text{tr}(Q\Sigma_k) + \text{tr}(R(K_k \Sigma_k K_k^T + \Sigma_k^\nu))$$
بشرط:

• انتشار المتوسط والتباين (بما في ذلك حدود التباين المشترك).
• القيود النهائية على مخرجات المتوسط والتباين.
• يؤدي الاسترخاء إلى إدخال متغير متراخي (slack variable) $Y_k \succeq U_k \Sigma_k^{-1} U_k^T$ للتعامل مع عدم تحدب حدود كسب التغذية الراجعة.

3. المساهمات الرئيسية

1. توسيع نطاق التغذية الراجعة للمخرجات: توسيع نطاق توجيه التباين المعتمد على البيانات من التغذية الراجعة للحالة الكاملة إلى التغذية الراجعة للمخرجات، وهي خطوة هامة نحو التطبيق العملي حيث يكون قياس الحالة الكاملة مستحيلاً في كثير من الأحيان.
2. التعامل مع الضوضاء المرتبطة زمنياً: معالجة الفجوة النظرية في التعامل مع الضوضاء المرتبطة زمنياً الناتجة عن تمثيلات الحالة غير الأدنى. استنتجت الورقة معادلات انتشار محددة للتباين المشترك بين الحالة والضوضاء.
3. استراتيجية تقدير قوية: اقتراح استخدام المتغيرات الآلية (IV) لتحديد النموذج في وجود ضوضاء مرتبطة، مع إثبات أن IV يتفوق على TLS و OLS في حالات حجم العينة الصغير إلى المتوسط في هذا السياق المحدد.
4. توجيه التباين المباشر: صياغة مشكلة توجيه تباين مباشرة وخالية من النموذج تعتمد على مصفوفات البيانات بدلاً من معاملات النظام المحددة، والتي يتم حلها بكفاءة عبر SDP.

4. النتائج العددية

تحقق المؤلفون من صحة الإطار باستخدام عمليات محاكاة عددية لنظام متعدد المداخل والمخارج (MIMO) ($n=3, p=2$).

• تقدير النموذج:
  • تمت مقارنة طرق OLS و TLS و IV.
  • النتيجة: بالنسبة لأحجام العينات الصغيرة، أظهرت IV أداءً ضعيفاً بسبب التباين. ومع ذلك، مع زيادة حجم العينة، تفوقت IV بشكل كبير على TLS و OLS من حيث خطأ المتوسط وتباين الخطأ، مما يؤكد اتساقها في وجود الضوضاء المرتبطة.
• توجيه الكثافة:
  • محاكاة توجيه نظام من توزيع أولي إلى مسار ليساجو (Lissajous trajectory) مستهدف مع تباين نهائي محدد.
  • النتيجة: تحسن أداء كل من توجيه المتوسط والتباين مع زيادة أحجام مجموعات البيانات.
  • تقاربت قطع التباين النهائية (ellipses) بنجاح مع الشكل المستهدف، وتتبعت مسارات المتوسط المسار المرجعي بدقة.
  • نجح الإطار في التعامل مع الارتباط الزمني للضوضاء دون الحاجة إلى نموذج نظام معروف.

5. الأهمية والعمل المستقبلي

• الأهمية: يجسّر هذا العمل الفجوة بين التحكم النظري المعتمد على البيانات والقيود الهندسية العملية (الملاحظة الجزئية والبيانات المشوبة بالضوضاء). إنه يوفر إطاراً رياضياً صارماً لتوجيه التوزيعات الاحتمالية دون نموذج معروف، وهو أمر بالغ الأهمية للأنظمة المستقلة ذات الأهمية الحرجة التي تعمل في بيئات غير مؤكدة.
• القيود والعمل المستقبلي:
  • الاسترخاء المحدب المستخدم لـ SDP ليس "خالياً من الخسارة" (lossless) عند وجود أخطاء في التقدير؛ حيث لا يمكن ضمان تحقيق القيود النهائية بدقة إذا كانت تقديرات النموذج غير مثالية.
  • يجب أن يركز العمل المستقبلي على تطوير صياغات قوية تأخذ في الاعتبار صراحةً عدم اليقين في التقدير لضمان استيفاء القيود.

باختصار، تقدم هذه الورقة إطاراً جديداً لتوجيه التوزيعات الإحصائية للأنظمة العشوائية باستخدام بيانات المدخلات والمخرات فقط، حيث تتعامل بفعالية مع تعقيدات الملاحظة الجزئية والضوضاء المرتبطة زمنياً من خلال تقنيات التقدير المتقدمة والتحسين المحدب.