Linear Quadratic Control with Non-Markovian and Non-Semimartingale Noise Models

ملخص تقني: التحكم التربيعي الخطي مع نماذج ضوضاء غير ماركوفية وغير شبه ماريانتج (Non-Semimartingale)

1. بيان المشكلة

تتناول الورقة البحثية قصوراً جوهرياً في نظرية التحكم العشوائي الكلاسيكية: إطار التحكم التربيعي الخطي الغاوسي (LQG). يفترض نظام LQG القياسي أن ضوضاء النظام والقياس هي عمليات براونية (شبه ماريانتج)، مما يسمح باستخدام حساب إيتو (Itô calculus) واشتقاق مبدأ الفصل (مرشح كالمان + معادلة HJB).

ومع ذلك، فإن العديد من الظواواهر الواقعية (مثل الأسواق المالية، التدفقات المضطربة، والأنظمة البيولوجية) تظهر سلوكيات غير ماركوفية (تأثيرات الذاكرة) وخصائص غير شبه ماريانتج (انتظام هولدر منخفض). ومن الأمثلة البارزة على ذلك الحركة البراونية الكسرية (fBm) مع مؤشر هيرست $H < 0.5$. في مثل هذه الحالات، لا يمكن تفكيك الضوضاء إلى عملية مارتينج محلية وعملية ذات تغير محدود، مما يجعل حساب إيتو الكلاسيكي غير قابل للتطبيق. يعرّف المؤلفون هذه الحالة بأنها مشكلة التحكم التربيعي الخطي المعمم (gLQ).

2. المنهجية

للتغلب على الانهيار الرياضي لحساب إيتو، يستخدم المؤلفون نظرية المسارات الخشنة (Rough Path Theory). يعمل هذا الإطار على تعميم الحساب العشوائي من خلال النظر ليس فقط في مسار العملية، بل أيضاً في "رفعها" (Lift) — أي التكاملات المتكررة من الرتب العليا (مثل مساحات ليفي) التي تلتقط البنية الدقيقة للضوضاء.

المكونات المنهجية الرئيسية تشمل:

• المعادلات التفاضلية الخشنة (RDEs): يتم نمذجة ديناميكيات النظام باستخدام المعادلات التفاضلية الخشنة، والتي توفر طريقة سليمة رياضياً لتعريف الحلول للمحركات ذات انتظام هولدر المنخفض ($H \in (1/3, 1]$).
• المسارات الخشنة المتحكم بها (Controlled Rough Paths): يستخدم المؤلفون مفهوم المسارات المتحكم بها لتعريف التكاملات الخشنة عبر تمهيد (Sewing Lemma)، مما يضمن الدقة الرياضية لتطور الحالة.
• معادلة هاميلتون-جاكوبي-بلام (HJB) الخشنة: يوسع المؤلفون إطار HJB إلى السياق الخشن، مستفيدين من خصائص الاستمرارية لرفعات المسارات الخشنة لضمان أن دالة القيمة معرفة وقابلة للحل.
• تمثيلات التوقيع (Signature Representations): يستفيد الإطار من البنية الجبرية للتكاملات المتكررة للتعامل مع طبيعة الضوضاء غير شبه الماريانتج.

3. المساهمات الرئيسية

تقدم الورقة أساساً رياضياً رصيناً لمشكلة gLQ من خلال ثلاث نتائج نظرية رئيسية:

• المتحكم الأمثل مع الملاحظة الكاملة للحالة (النظرية 2): يشتق المؤلفون قانون تحكم أمثل $u^*(t) = -R^{-1}B^\top P(x(t) + V(t))$. وعلى عكس LQR الكلاسيكي، يتضمن هذا القانون حد تصحيح تنبؤي $V(t)$، والذي يستخدم رفع المسار الخشن لتقدالية وتعويض التأثير المتوقع لزيادات الضوضاء المستقبلية على مسار الحالة.
• المراقب الأمثل للضوضاء المترابطة (النظرية 4): يوسع المؤلفون مبدأ الفصل ليشمل سياق gLQ. حيث يشتقون كسب المراقب الأمثل $L$ الذي يأخذ في الاعتبار الارتباط المتبادل بين ضوضاء العملية وضوضاء القياس، حتى عندما يكون كلاهما غير شبه ماريانتج.
• الأمثلية المسارية والاستمرارية (النظرية 5): مساهمة نظرية هامة تتمثل في إثبات أنه بينما تكون خرائط حلول إيتو غير مستمرة عموماً، فإن خرائط حلول المسارات الخشنة مستمرة منتظمة محلياً. وهذا يضمن أن استراتيجية التحكم قوية تجاه الاضطرابات الصغيرة في مسارات الضوضاء المرصودة.

4. النتائج والتحقق العددي

يتحقق المؤلفون من نظريتهم باستخدام نموذج البندول المعكوس المعرض لنوعين من الضوضاء شديدة الاضطراب:

1. الحركة البراونية الكسرية (fBm) مع $H = 0.35$: يفشل متحكم LQ الكلاسيكي تماماً، مما يؤدي إلى تباعد أسي للحالة وبذل جهد تحكم مشبع. أما متحكم gLQ المقترح فينجح في تثبيت النظام، محافظاً على حالات محدودة وتحكم فعال.
2. عمليات قفز ليفي (توزيع مستقر مع $\alpha = 1.5$): تتسبب طبيعة الذيول الثقيلة للضوضاء في فشل المتحكم الكلاسيكي. ويظهر متحكم gLQ متانة عالية، حيث يدير القفزات بفعالية وينظم النظام نحو التوازن.

5. الأهمية

هذا العمل مهم لأنه يسد الفجوة بين التحليل العشوائي المتقدم وهندسة التحكم العملية. فمن خلال توفير طريقة رياضية رصينة للتعامل مع الضوضاء "الخشنة" و"ذات الذاكرة الكثيفة"، فإنه:

• يوسع نطاق التحكم التربيعي الخطي (LQ) ليشمل الظواهر الفيزيائية والمالية المعقدة التي كانت تُعتبر سابقاً "غير قابلة للنمذجة" بواسطة LQG القياسي.
• يوفر بديلاً قوياً للطرق الكلاسيكية في البيئات التي تؤدي فيها افتراضات براون إلى فشل النظام.
• يضع أساساً للأبحاث المستقبلية في دمج نظرية المسارات الخشنة مع التعلم التعزيزي (RL)، وتحديداً من خلال استخدام "توقيعات المسارات" (Path Signatures) لتمثيل التبعيات طويلة المدى في فضاءات الحالة.