Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions

ملخص تقني: توحيد تنظيم الإنتروبيا في التحكم الأمثل

بيان المشكلة
تتضمن مشكلات التحكم الأمثل، التي تتراوح من الروبوتات إلى التمويل، عادةً تقليل التكلفة عبر أفق زمني محدد باستخدام البرمجة الديناميكية. ومع ذلك، غالبًا ما تكون الحلول الدقيقة مستعصية بسبب عدم خطية مؤثرات بلمان (Bellman operators). وبينما قدمت النهج الاحتمالية مثل "التحكم كاستدلال" (Control as Inference - CaI) وتنظيم "كولباك-ليبلر" (KL regularization) بدائل سهلة الحل، إلا أنه كان يفتقر إلى إطار رياضي موحد يربط بين التحكم العشوائي الكلاسيكي (SOC)، والتحكم العشوائي الحساس للمخاطر (RSOC)، ونظائرهما من "السياسات الناعمة" (soft-policy) المنظمة بـ KL. علاوة على ذلك، ظلت العلاقة بين الأهداف البديلة التي تُحل في كل تكرار لهذه الخوارزميات والأهداف الكلاسيكية الأصلية غير واضحة جزئيًا، وكذلك العلاقة بين هذه الصيغ والتحكم المتين توزيعيًا (DRC).

المنهجية
يقترح المؤلفون مشكلة مركزية موحدة تسمى التحكم الأمثل المنظم بـ KL المركزي (C-KLR-OC). تعمل هذه الصيغة على تعميم النهج القائمة من خلال فصل عقوبات KL المطبقة على السياسة وعلى انتقالات النظام.

1. الصيغة الموحدة: تقوم المشكلة الجوهرية (المعادلة 7) بتحسين تسلسل السياسة $\pi$ وتسلسل نواة انتقال اصطناعي $\tau$ بشكل مشترك، مع معاقبة انحرافاتهما عن التوزيعات المرجعية ($\rho$ للسياسة، و $\iota$ للانتقالات) بأوزان مستقلة $\lambda_P$ و $\lambda_S$.

   • يتحكم $\lambda_P$ في انحراف السياسة عن السلوك المرجعي.
   • يتحكم $\lambda_S$ في انحراف الانتقالات عن ديناميكيات النظام الحقيقية، حيث يحدد إشارته الموقف تجاه المخاطر (إيجابي للسعي وراء المخاطر/التفاؤل، وسلبي لتجنب المخاطر/التشاؤم).

2. الأدوات النظرية:

   • مقاييس المخاطر: تستخدم الورقة التمثيل المزدوج لمقياس المخاطر الإنتروبي لربط الحساسية للمخاطر بتنظيم KL.
   • التعظيم-التقليل (Majorization-Minimization - MM): يستخدم المؤلفون إطار العمل MM لإثبات أن صيغ السياسة الناعمة تعمل كدوال بديلة سهلة الحل وتعمل كحد أعلى (majorize) للأهداف الكلاسيكية الأصلية.

3. اشتقاق الحالات الخاصة: من خلال التحكم في القيود على $\rho$ (سواء كانت تساوي السياسة المُحسنة $\pi$) و $\tau$ (سواء كانت ثابتة على الديناميكيات الحقيقية $\iota$ أو حرة)، توضح الورقة أن C-KLR-OC يستعيد:

   • SOC: $\rho = \pi$، $\tau = \iota$.
   • RSOC: $\rho = \pi$، $\tau$ حرة.
   • التحكم الأمثل العشوائي ذو السياسة الناعمة (SP-SOC): $\rho \neq \pi$، $\tau = \iota$ (يقابل I-projection).
   • التحكم الأمثل العشوائي الحساس للمخاطر ذو السياسة الناعمة (SP-RSOC): $\rho \neq \pi$، $\tau$ حرة (يقابل M-projection).

المساهمات والنتائج الرئيسية

• توحيد الأهداف: تثبت الورقة أن SOC و RSOC ومتغيراتهما من السياسات الناعمة ليست نماذج متميزة، بل هي حالات خاصة من بنية رياضية واحدة حيث يتم فصل تنظيم السيولة وتنظيم الانتقالات.
• الاستعادة التكرارية للأهداف الكلاسيكية: يثبت المؤلفون أن صيغ السياسة الناعمة (SP-SOC و SP-RSOC) تُعظم (majorize) نظراءها الكلاسيكيين (SOC و RSOC). وبناءً على ذلك، فإن تكرار حل مشكلات السياسة الناعمة (باستخدام السياسة الحالية كمرجع $\rho$ للخطوة التالية) يضمن الهبوط في الهدف الأصلي غير المنظم. وهذا يوفر أساسًا مبدئيًا للخوارزميات التكرارية التي تحل المشكلات الجزئية المنظمة بـ KL لتتقارب نحو الحلول الكلاسيكية.
• الحالة المتزامنة (S-SP-RSOC): أحد النتائج الحاسمة هو تحديد "الحالة المتزامنة" حيث يتطابق وزنا السياسة والانتقال ($\lambda_P = \lambda_S = \lambda > 0$). في هذا التكوين المحدد، تظهر المشكلة مجموعة من الخصائص المواتية التي لوحظت سابقًا في إعدادات معينة (مثل التحكم عبر تكامل المسار - Path Integral Control) ولكن تم إثبات امتدادها الآن إلى هذه الفئة الأوسع:
  1. مؤثر بلمان الخطي: يتحول تكرار بلمان غير الخطي إلى معادلة خطية عبر تغيير متغير أسي (الرغبة/desirability).
  2. حل تكامل المسار: يمكن حساب دالة القيمة كـ "تكامل مسار" (توقع فوق المسارات) لديناميكيات المرجع، مما يتجاوز البرمجة الديناميكية الخلفية ويسمح بالتقدير المتوازي لـ مونت كارلو (Monte-Carlo) المستقل عن النموذج.
  3. القابلية للتركيب (Compositionality): يمكن بناء الحلول للتكالكات النهائية المعقدة كخليط مرجح من حلول المشكلات الفرعية الأبسط.
• الارتباط بالاستدلال: تم إثبات أن الحالة المتزامنة تكافئ تقدير الاحتمال الأقصى (MLE) على نموذج رسومي احتمالي (PGM) الذي يتم اشتراط الأمثلية عليه. وتتوافق السياسة المثلى تمامًا مع التوزيع البعدي للأفعال المعطاة للأمثلية، والتي يمكن حسابها عبر التنعيم البايزي (Bayesian smoothing).

الأهمية والادعاءات
تدعي الورقة أنها تقدم "منظورًا موحدًا" يحل الأسئلة الجوهرية المتعلقة بقابلية تفسير الطرق القائمة على CaI. وبشكل محدد:

• توضح أن "السياسات الناعمة" التي تُحل في كل تكرار لخواروات مطابقة الكثافة ليست عشوائية؛ بل هي بدائل منظمة بـ KL تقرب بشكل منهجي أهداف SOC أو RSOC الكلاسيكية.
• تُظهر أن التناغم الهيكلي بين تنظيم السياسة وتنظيم الانتقال (أي ضبط $\lambda_P = \lambda_S$) ليس عرضيًا، بل هو ضروري رياضيًا لتحقيق مؤثر بلمان الخطي، وقابلية الحل عبر تكامل المسار، والقابلية للتركيب في آن واحد.
• تجسر الفجوة بين التحكم الحساس للمخاطر والتحكم المتين توزيعيًا، حيث يمكن تفسير الحساسية للمخاطر كمسألة DRC ناعمة مع معامل لاجرانج محدد مسبقًا.

يخلص المؤلفون إلى أنه بينما توفر الحالة المتزامنة خصائص حسابية قوية، فإن إطار العمل الموحد العام يسم يسمح بالضبط المستقل لتنظيم السياسة وتنظيم الانتقال، مما يوفر مساحة تصميم أوسع لمشكلات التحكم تتجاوز القيود المحددة المطلوبة للخطية.