Optimal Modified Feedback Strategies in LQ Games under Control Imperfections

إليك ملخص تقني مفصل للورقة البحثية بعنوان "استراتيجيات التغذية الراجعة المعدلة المثلى في ألعاب LQ تحت عيوب التحكم" من تأليف رباني، مجاهد، ونظري.

1. صياغة المشكلة

تتناول الورقة فجوة حرجة في التحكم القائم على نظرية الألعاب: التباين بين استراتيجيات توازن ناش (Nash Equilibrium) النظرية وبين تنفيذها العملي في الأنظمة الهندسية.

• السياق: تركز الدراسة على لعبة خطية تربيعية (LQ) غير صفرية المجموع، ذات زمن محدد، وذات مرحلتين، في زمن منفصل.
• التحدي: في التطبيقات الواقعية (مثل الروبوتات، والمركبات ذاتية القيادة)، تخضع مدخلات التحكم لعيوب مثل تأخر المشغلات (actuator lags)، والتأخيرات، وأخطاء التتبع. وبناءً على ذلك، غالبًا ما يختلف المدخل المنفذ فعليًا ($u_{i,k}$) للاعب عن أمر ناش الاسمي ($u^*_{i,k}$).
• المشكلة المحددة: يبحث المؤلفون في كيفية تأثير الانحرافات الصغيرة والمقاسة من جانب اللاعب 2 على مسار الحالة، والأهم من ذلك، على دالة التكلفة الخاصة باللاعب 1. ويتساءلون: إذا لم يستطع اللاعب 2 تنفيذ استراتيجيته المثلى بدقة بسبب القيود المادية، فكيف ينبغي للاعب 1 تعديل استراتيجيته الخاصة للتخفيف من تدهور الأداء الناتج عن ذلك؟

2. المنهجية

يستخدم المؤلفون نهجًا منهجيًا ثلاثي الأبعاد: تحليل الحساسية، نمذجة النظام المعزز، وتصميم التحكم الأمثل.

أ. تحليل الحساسية من الدرجة الأولى

قام المؤلفون أولاً باشتقاق تعبيرات مغلقة الصيغة لتحديد كمية تأثير انحرافات اللاعب 2 ($\Delta u_2$) على تكلفة اللاعب 1 ($J_1$).

• قاموا بتعريف اضطراب الحالة $\Delta x_k$ الناتج عن $\Delta u_2$ باستخدام مصفوفة انتقال حالة الحلقة المغلقة $\Phi(k, j)$.
• اشتقوا توسع الدرجة الأولى لانحراف التكلفة $\Delta J_1$. ويكشف هذا أن تغير التكلفة يتناسب خطيًا مع تسلسل الانحراف، ويتم وزنه بواسطة مصفوفة حساسية $\Lambda_j$ تعتمد على حلول معادلة ريكاتي والتحركات المتغيرة مع الزمن.
• الرؤية الجوهرية: بدون التعويض، تصبح سياسة توازن التغذية الراجعة الناش (FNE) القياسية للاعب 1 دون المستوى الأمثل عندما يكون تنفيذ اللاعب 2 غير مثالي.

ب. نمذجة النظام المعزز

لتصميم المعوض، قام المؤلفون بنمذجة خطأ التنفيذ كاضطراب ديناميكي.

• نموذج الاضطراب: يفترض المؤلفون أن مشغل اللاعب 2 يتبع تأخرًا من الدرجة الأولى في الزمن المنفصل (ديناميكيات خطأ التتبع). يتم تعريف الاضطراب $w_k$ بأنه الفرق بين المدخلات المنفذة والاسمية، مكيّفًا بمصفوفة المدخلات.
• الحالة المعززة: قاموا ببناء متجه حالة معزز $z_k = [x_k^\top, w_k^\top]^\top$، يجمع بين حالة النظام والاضطراب القابل للقياس (أو التقدير).
• فئة السياسة: حصروا البحث عن سياسة جديدة في الفئة الأفينية السببية (causal affine class): $u_{1,k} = -K_k x_k - L_k w_k$. يسمح هذا الهيكل للاعب 1 باستخدام التغذية الراجعة للحالة ($K_k$) ومصطلح التغذية الأمامية ($L_k$) بناءً على الانحراف المرصود.

ج. تصميم التعويض الأمثل

المساهمة الجوهرية هي اشتقاق قانون التغذية الراجعة المعوضة المثلى (CF).

• من خلال معاملة النظام المعزز كمسألة تحكم LQ قياسية، طبقوا مبدأ بلمان للأمثلية (Bellman principle of optimality).
• اشتقوا تكرار ريكاتي متصل في الأفق المحدود لمصفوفات النظام المعزز ($\bar{A}_k, \bar{B}_k, \bar{Q}$).
• ينتج عن ذلك مكاسب $\{K_k, L_k\}$ فريدة تقلل من تكلفة اللاعب 1، بافتراض أن اللاعب 2 يظل ثابتًا عند استراتيجيته الاسمية (ولكن غير المنفذة بدقة).
• الضمان النظري: تثبت الورقة أن سياسة CF هذه هي مثلى بشكل فريد ضمن الفئة الأفينية، وتتفوق بشكل صارخ على التغذية الراجعة المرجعية (REF) غير المعوضة بالنسبة للانحرافات الصغيرة بما يكفي (تم إثبات ذلك عبر تحليل فجوة التكلفة من الدرجة الثانية).

3. المساهمات الرئيسية

1. تحليل الحساسية: اشتقاق تعبيرات صريحة ومغلقة الصيغة توضح كيفية انتقال انحرافات التحكم للاعب الآخر عبر ديناميكيات لعبة LQ في الزمن المنفصل لتؤثر على تكلفة الخصم.
2. قانون التعويض: تطوير سياسة تعويض مهيكلة تعزز ديناميكيات لعبة ناش مع ديناميكيات الانحراف القابلة للقياس. وقد ثبت أن هذه السياسة مثلى ضمن فئة أفينية سببية.
   la
3. تحسين الأداء المحلي: إثبات صارم يوضح أن التغذية الراجعة المعوضة المقترحة تقلل من تكلفة اللاعب المتأثر إلى الدرجة الثانية من مقدار الانحراف مقارنة بتغذية ناش الراجعة القياسية.
4. التمييز عن توازن ناش: يوضح المؤلفون أن السياسة المقترحة ليست توازن ناش جديدًا للعبة المعدلة (بما أن اللاعب 2 لا يتكيف). بدلاً من ذلك، هي استراتيجية تعويض كأفضل استجابة للاعب 1 ضد خصم ثابت وغير مثالي في التنفيذ.

4. النتائج (مثال عددي)

تحقق المؤلفون من نظريتهم باستخدام نظام عربتين مرتبطتين بزمبرك ومخمد (spring-damper).

• الإعداد: عربتان (اللاعب 1 واللاعب 2) يجب أن تنظما الحركة نحو الأصل. يخضع مشغل اللاعب 2 لتأخر من الدرجة الأولى ($\tau=0.8s$).
• السيناريوهات:
  • الحالة الأولى (FNE): تنفيذ مثالي (لا يوجد تأخير). الأداء المرجعي.
  • الحالة الثانية (REF): يوجد تأخير لدى اللاعب 2؛ يستخدم اللاعب 1 سياسة FNE القياسية (غير معوضة).
  • الحالة الثالثة (CF): يوجد تأخير لدى اللاعب 2؛ يستخدم اللاعب 1 التغذية الراجعة المعوضة (CF) المقترحة.
• النتائج:
  • الحالة الثانية مقابل الأولى: تسبب التأخير في زيادة تكلفة اللاعب 1 بنسبة 51.36%.
  • الحالة الثالثة مقابل الثانية: قللت سياسة CF المقترحة من تكلفة اللاعب 1 بنسبة 10.71% بالنسبة لحالة التأخير غير المعوضة.
  • الاسترداد: استردت استراتيجية CF حوالي 31.56% من خسارة الأداء الناتجة عن التأخير.
  • المقايضة: بينما تحسن أداء اللاعب 1 بشكل كبير، زادت تكلفة اللاعب 2 أكثر في الحالة الثالثة. وهذا يسلط الضوء على الطبيعة غير المتماثلة للمنفعة في لعبة عامة المجموع؛ فالتصميم خاص باللاعب وليس أمثل اجتماعيًا (Pareto optimal).

5. الأهمية والآثار المترتبة

• المتانة تجاه أخطاء التنفيذ: تتجاوز الورقة المفاهيم النظرية للتوازن لتتناول "فجوة الواقع" في الأنظمة الهندسية حيث تكون المشغلات غير مثالية.
• القابلية للتطبيق العملي: تعتمد الطريقة على الانحرافات القابلة للقياس أو التقدير. في العديد من الأنظمة الحديثة (مثل التحكم الشبكي، أو المركبات ذاتية القيادة)، يمكن لبيانات التتبع أو تقدير الحالة توفير البيانات اللازمة ($w_k$) لتنفيذ هذا التعويض دون الحاجة لتغيير اللاعب 2 لاستراتيجيته.
• التوسع النظري: توسع الورقة مبادئ استيعاب الاضطرابات الكلاسيكية والتحكم الاستباقي (preview control) لتشمل مجال نظرية الألعاب متعددة الوكلاء، موضحًا كيف يمكن لوكيل عقلاني أن يتكيف مع القيود المادية لخصمه.
• الاتجاهات المستقبلية: تشير الورقة إلى بحث مستقبلي في التقدير عبر الإنترنت لانحرافات الخصم والقوانين التكيفية التي يمكن أن تتعدل ديناميكيًا مع أنماط الخطأ المتغيرة مع الزمن أو المترابطة.

باخت ملخص، توفر هذه الورقة إطارًا رياضيًا صارمًا للاعب في سياق نظريات الألعاب لـ يتكيف أمثلًا مع أخطاء تنفيذ الخصم، مما يستعيد بشكل كبير خسائر الأداء التي قد تحدث إذا تم تطبيق استراتيجيات ناش القياسية بشكل أعمى.