On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "حول الأمثلية العالمية للسياسات الخطية للتحكم الخطي التربيعي ذي التوزيع المتين لسينكهورن" (On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control).

1. بيان المشكلة

تتناول الورقة البحثية أوجه القصور في منظم التحكم الخطي التربيعي الغاوسي (LQG) الكلاسيكي. وبينما يوفر نظام LQG حلاً مغلقاً أنيقاً للتحكم في الأنظمة الخطية مع الضجيج الغاوسي، إلا أنه يتسم بهشاشة شديدة عندما تختلف توزيعات الضجيج الحقيقية عن النموذج الغاوسي المفترض (خطأ في توصيف النموذج).

للتخفيف من حدة ذلك، يقترح المؤلفون صياغة متينة توزيعياً (DR) لمشكلة LQG ذات الأفق المحدود.

• ديناميكيات النظام: أنظمة خطية ذات زمن منفصل مع ضجيج عملية مضاف ($w_t$) وضجيج قياس ($v_t$).
• نموذج عدم اليقين: توزيعات الضجيج الحقيقية غير معروفة، ولكن يُفترض أنها تنتمي إلى مجموعة غموض $\mathcal{S}$.
• تعريف مجموعة الغموض: تُعرف المجموعة $\mathcal{S}$ باستخدام تباعد سينكهورن (مسافة وارس ${{رستين}}$ المنظمة بالإنتروبيا) المتمحورة حول توزيع غاوسي اسمي.
• الهدف: إيجاد سياسة تحكم $\pi$ تقلل التوقع التربيعي للتكلفة تحت أسوأ توزيع ضمن مجموعة الغموض:
  $$\inf_{\pi} \sup_{P \in \mathcal{S}} \mathbb{E}_P[J(\pi, \delta)]$$
• السؤال الجوهري: هل يظل الحل الأمثل لهذه المشكلة المتينة عبارة عن سياسة خطية (تحديداً متحكم تغذية راجعة خطي)، أم أن تعقيد عدم اليقين التوزيعي يستلزم استراتيجيات غير خطية؟

2. المنهجية

يستخدم المؤلفون حجة "الساندوتش" (Sandwich Argument) لإثبات أن السياسات الخطية هي الأمثل عالمياً. حيث يقومون ببناء حد أدنى وحد أعلى للقيمة المثلى لمشكلة الـ DR، ويظهرون أن هذين الحدين يتطابقان.

أ. إعادة بارامترية المخرجات المنقاة (Purified Output Re-parametrization)

لفصل مدخل التحكم عن الضجيج، يقدم المؤلفون المخرجات المنقاة ($\eta_t = y_t - \hat{y}_t$)، حيث $\hat{y}_t$ هو مخرج نسخة من النظام خالية من الضجيج.

• تسمح هذه التحويلات بإعادة صياغة مشكلة التحكم بدلالة $\eta$، والتي تكون مستقلة عن مدخل التحكم $u$.
• تُعاد كتابة المشكلة كعبة صفرية بين المتحكم (الذي يقلل التكلفة) والمنافس (الذي يختار أسوأ توزيع للضجيج).

ب. بناء الحد الأدنى (المشكلة المزدوجة)

يقيد المؤلفون اختيار المنافس ليقتصر على التوزيعات الغاوسية داخل مجموعة الغموض ($\mathcal{S}_N \subseteq \mathcal{S}$).

• رؤية جوهرية: بالنسبة للتوزيعات الغاوسية، يتطابق تباعد سينكهورن مع تباعد جيلبريكش المنظم بالإنتروبيا ($G_\epsilon$)، والذي يعتمد فقط على مصفوفات التغاير (Covariance matrices).
• يؤدي هذا إلى تقليص عملية التحسين اللانهائية عبر مقاييس الاحتمال إلى تحسين محدود الأبعاد عبر مصفوفات التغاير الخاضعة لقيود جيلبريكش.
• بما أن المشكلة الداخلية (بالنسبة لضجيج غاوسي ثابت) هي مشكلة LQG قياسية، فإن السياسة المثلى معروفة بأنها خطية.

ج. بناء الحد الأعلى (المشكلة الأصلية)

يقيد المؤلفون المتحكم ليكون مقتصرًا على السياسات الخطية، ويوسعون مجموعة الغموض لتشمل مجموعة جيلبريكش المنظمة بالإنتروبيا (التي تحتوي على جميع التوزيعات ذات مصفوفات التغاير التي تحقق قيد جيلبريكش).

• نظرية رئيسية (Proposition 3): يثبت المؤلفون وجود متباينة من نوع جيلبريكش لتباعد سينكهورن: $W_\epsilon(P, Q) \geq G_\epsilon(\Sigma_P, \Sigma_Q)$ عندما يكون $P$ غاوسياً.
• تعني هذه المتباينة أن مجموعة غموض سينكهورن الأصلية محتواة داخل مجموعة غموض جيلبريكش المحددة بالتغايرات.
• وبناءً على ذلك، فإن التكلفة المثلى لمشكلة السياسة الخطية المقيدة فوق مجموعة جيلبريكش الموسعة تعمل كحد أعلى صالح للمشكلة الأصلية.

د. وجود توازن ناش (Nash Equilibrium)

يثبت المؤلفون أن مشكلتي الحد الأدنى (المزدوجة) والحد الأعلى (الأصلية) متكافئتان:

1. التحدب والتماسك: يثبتون أن مجموعة مصفوفات التغاير التي تحقق قيد جيلبريكش هي مجموعة محدبة ومتماسكة (Lemma 1).
2. الازدواج القوي (Strong Duality): باستخدام مبرهنة سيون للمينماكس (Sion's Minimax Theorem)، يثبتون أنه يمكن تبديل ترتيب التحسين (التقليل عبر السياسات، والتعظيم عبر التوزيعات) دون وجود فجوة ازدواج.
3. النتيجة: القيمة المثلى للحد الأدنى تساوي القيمة المثلى للحد الأعلى، مما يعني وجود توازن ناش حيث تكون السياسة المثلى خطية والتوزيع الأسوأ هو توزيع غاوسي.

3. المساهمات الرئيسية

1. الأمثلية العالمية للسياسات الخطية: تثبت الورقة أن مشكلة Sinkhorn DR LQG تتميز بأن سياسات التغذية الراجعة الخطية هي الأمثل عالمياً. وهذه نتيجة نظرية هامة لأن مشكلات المتانة التوزيعية غالباً ما تتطلب سياسات معقدة وغير خطية.
2. الحدود والمتباينات المبتكرة:
   • اشتقاق حد أدنى لمشكلة Sinkhorn DR LQG باستخدام نتائج النقل الأمثل المنظم بالإنتروبيا.
   • إثبات متباينة من نوع جيلبريكش لتباعد سينكهورن، والتي تُظهر أنه مُحدّد من الأسفل بواسطة تباعد جيلبريكش المنظم بالإنتروبيا. هذه المتباينة غير متوفرة في الأدبيات الحالية وهي ضرورية للحد الأعلى.
3. الخصائص الهيكلية: إثبات أن مجموعة غموض جيلبريكش المنظمة بالإنتروبيا هي مجموعة محدبة ومتماسكة، مما يسمح بتطبيق مبرهنات المينماكس.
4. الرؤية الهندسية: يسلط العمل الضوء على كيفية تغيير حد تنظيم KL في تباعد سينكهورن لهندسة مجموعة الغموض مقارنة بـ Wasserstein DR القياسي (على سبيل المثال، ضمان بقاء التوزيع الأسوأ مستمراً/غاوسياً بدلاً من كونه ذا دعم محدود).

4. النتائج

• نظرياً: يثبت المؤلفون أن مشكلة Sinkhorn DR LQG تقبل توازن ناش $(u^*, P^*)$ حيث $u^*$ هي سياسة تآلفية (Affine policy) للملاحظات المنقاة، و $P^*$ هو توزيع غاوسي.
• التجارب العددية:
  • قارنت محاكاة لنظام غير مستقر في الحلقة المفتوحة ($T=25$) بين متحكم LQG الكلاسيكي وسياسة Sinkhorn DR LQG المقترحة.
  • الأداء الاسمي: تحت ضجيج غاوسي اسمي، تحملت سياسة DR تكلفة أعلى قليلاً (وهو ما يسمى "ثمن المتانة").
  • الأداء المتين: تحت توزيعات الضجيج العدائية (الأسوأ ضمن مجموعة الغموض)، تفوق متحكم Sinkhorn DR DR بشكل كبير على متحكم LQG الكلاسيكي، مما أظهر استقراراً فائقاً وتكلفة متوسطة أقل.

5. الأهمية

• الربط بين التحكم العشوائي والتحكم العدائي: نجح العمل في الجمع بين السهولة الحسابية لـ LQG العشوائي ومتانة التحكم العدائي. وقد أثبت أنه ليس من الضروري التضحية ببساطة المتحكمات الخطية لتحقيق المتانة التوزيعية.
• القابلية للتطبيق العملي: من خلال تقليص المشكلة إلى برنامج خطي محدب (تحديداً برنامج برمجة شبه محددة - SDP)، فإن الطريقة المقترحة قابلة للتنفيذ حسابياً.
• التقدم النظري: تحل الورقة مسألة مفتوحة تتعلق بأمثلية السياسات الخطية في سياقات التحكم المتين توزيعياً المرتبطة بالنقل الأمثل المنظم بالإنتروبيا، مما يوسع النتائج السابقة من مقاييس Wasserstein القياسية إلى إطار عمل سينكهورن.

باختصار، توفر هذه الورقة أساساً نظرياً رصيناً لاستخدام المتحكمات الخطية في البيئات غير اليقينية حيث تكون توزيعات الضجيج غير معروفة، ولكنها قريبة من نموذج غاوسي اسمي، ويُقاس ذلك عبر تباعد سينكهورن.