Second-Order MPC-Based Distributed Q-Learning

ملخص تقني: التعلم بـ Q الموزع القائم على التحكم التنبئي بالنماذج (MPC) من الدرجة الثانية

إعداد المشكلة
يتناول هذا العمل تحدي تعلم سياسات التحكم المثلى للأنظمة متعددة الوكلاء واسعة النطاق، حيث يمتلك الوكلاء فقط معلومات محلية ويتواصلون حصرياً مع الجيران (من جار إلى جار، أو N2N). يتم نمذجة النظام كعملية ماركوف لاتخاذ القرار (MDP) تعاونية متعددة الوكلاء ذات ديناميكيات خطية، حيث تكون ديناميكيات الانتقال الحقيقية غير معروفة. الهدف هو تقليل دالة تكلفة إجمالية مخفضة، تُعرف بأنها متوسط التكاليف المحلية، مع احترام قيود الخصوصية التي تمنع مشاركة دالات التكلفة المحلية أو الديناميكيات بين الوكلاء.

بينما نجح التعلم المعزز (RL) القائم على التحكم التنبئي بالنماذج (MPC) في استخدام مخططات MPC كمقدرات دالة قابلة للتفسير لدالات القيمة والسياسات، فإن النهج الموزعة الحالية للأنظمة متعددة الوكلاء تقتصر على تحديثات الدرجة الأولى. غالباً ما تتطلب طرق الدرجة الأولى معدلات تعلم صغيرة لضمان الاستقرار، وقد تعاني من بطء التقارب أو صعوبة الهروب من نقاط السرج. تفترض الورقة أن دمج معلومات الدرجة الثانية يمكن أن يعزز سرعة التقارب بشكل كبير ويسمح بمعدلات تعلم أعلى دون زعزعة استقرار عملية التعلم، بشرط إمكانية تفكيك التحديثات إلى صيغة موزعة.

المنهجية
تقترح الورقة امتداداً من الدرجة الثانية لإطار عمل تعلم Q الموزع القائم على MPC الذي قدمه ماليك وآخرون (2024). تتضمن المنهجية الجوهرية استبدال نزول التدرج القياسي من الدرجة الأولى بقاعدة تحديث من الدرجة الثانية (تشبه خطوة نيوتن) يتم تفكيكها إلى تحديثات محلية تعتمد فقط على المعلومات المحلية والتواصل من جار إلى جار (N2N).

1. التحكم التنبئي بالنماذج (MPC) كمقدر دالة: يتم تقريب دالة Q باستخدام مخطط MPC موزع محدب مهيكل. يتم تعلم معاملات $\theta$ الخاصة بتكلفة MPC، والنموذج، والقيود لتقليل خطأ الفرق الزمني (TD error).
2. صياغة تحديث الدرجة الثانية: يتم تعريف تحديث عالمي من الدرجة الثانية كـ $\theta \leftarrow \theta - \alpha d$، حيث يحل $d$ النظام الخطي $(H + \Lambda)d = q$. هنا، تمثل $H$ مصفوفة هسيان (Hessian) التقريبية (المبنية من الضرب الخارجي للتدرجات والمشتقات الثانية لدالة Q)، وتمثل $q$ متجه التدرج، وتمثل $\Lambda$ حداً تنظيمياً.
3. التفكيك الموزع عبر التوافق (Consensus): التحدي التقني الرئيسي هو أن مصفوفة الهسيان $H$ تحتوي على حدود اقتران متقاطع تمنع الفصل البسيط عبر الوكلاء. يوضح المؤلفون أنه من خلال الاستفادة من خوارزمية "توافق المتوسط العالمي" (GAC)، يمكن فك الارتباط في التحديث العالمي:
   • الحالة التكرارية ($T=1$): باستخدام صيغة شيرمان-موريسون، يتم تفكيك التحديث إلى حدود محلية. يتم حساب المعيار القياسي لمتجه التدرج العالمي، المطلوب للتحديث المحلي، عبر التوافق.
   • حالة الدرجة الثانية الكاملة ($T>1$): بالنسبة لدفعة من $T$ من الانتقالات، يستخدم المؤلفون متطابقة وودبري (Woodbury matrix identity). يعرفون مصفوفة $C$ تحتوي على حدود من الشكل $g_{\tau}^\top \tilde{K} g_{\tau'}$، حيث $\tilde{K}$ هي مصفوفة قطرية كتلية مشتقة من معلومات الدرجة الثانية المحلية. وبما أن $C$ هي مجموع حدود يمكن حسابها محلياً، يمكن جعل مدخلاتها متاحة لجميع الوكلاء عبر خوارزمية GAC.
   • قاعدة التحديث المحلي: يتم إعطاء التحديث المحلي للوكيل $i$ بالصيغة $\theta_i \leftarrow \theta_i + \alpha \tilde{K}_i G_i (\delta - (I + C)^{-1}C\delta)$. وهذا يسمح لكل وكيل بحساب تحديثه باستخدام معلماته المحلية، ومشتقاته الثانية المحلية، وقيم التوافق للمصفوفة $C$ ومتجه خطأ TD.

المساهمات الرئيسية

• امتداد الدرجة الثانية: توسع الورقة تعلم Q الموزع القائم على MPC من تحديثات الدرجة الأولى إلى تحديثات الدرجة الثانية، مما يتيح نظرياً تسريع التقارب ومعدلات تعلم أعلى.
• التفكيك الموزع: تقدم الورقة اشتقاقاً دقيقاً يوضح كيفية تفكيك تحديثات الدرجة الثانية العالمية إلى تحديثات محلية باستخدام خوارزميات التوافق. هذا يتجنب الحاجة إلى وحدة مركزية لحساب معكوس مصفوفة الهسيان الكاملة.
  বল
• القابلية للتوسع: تعتمد العبء الحسابي لكل وكيل على قلب مصفوفات بحجم $n_{\theta_i} \times n_{\theta_i}$ و $T \times T$، وهو أمر مستقل عن العدد الإجمالي للوكلاء $M$. في المقابل، يتطلب النهج المركزي قلب مصفوفة بحجم $(\sum n_{\theta_i}) \times (\sum n_{\theta_i})$، وهو ما يتوسع بشكل سيئ مع حجم الشبكة.
• كفاءة الاتصال: بينما يتناسب حمل الاتصال مع $O(T^2)$ بسبب التوافق على المصفوفة $C$، إلا أنه يظل مستقلاً عن حجم الشبكة $M$.

النتائج
تم تقييم الطريقة المقترحة (D-SO) في محاكاة لنظام خطي مكون من ثلاثة وكلاء مع اقتران في الحالة وديناميكيات غير معروفة. يجب على الوكلاء تنظيم حالاتهم للوصا لـلأصل مع تجنب انتهاكات القيود.

• مقارنة الأداء: تمت مقارنة نهج D-SO مع طريقة الدرجة الأولى الموزعة (D-FO) والنهج المركزي من الدرجة الثانية (C-SO).
• التقارب: تظهر نتائج المحاكاة أن نهج D-SO يتفوق بشكل كبير على D-FO من حيث سرعة التعلم وتقارب خطأ TD الإجمالي وتكلفة المرحلة.
• التكافؤ: أظهر سلوك ونتائج تعلم D-SO أنها قابلة للمقارنة مع النهج المركزي C-SO، مما يؤكد أن تحديثات الدرجة الثانية الموزعة تعيد بناء التحديث العالمي بفعالية.
• الاستقرار: تستخدم طرق الدرجة الثانية معدل تعلم $\alpha = 10^{-4}$، بينما تتطلب طريقة الدرجة الأولى معدلاً أصغر بكثير $\alpha = 10^{-8}$ لتبقى مستقرة، مما يسلط الضوء على فوائد الاستقرار في نهج الدرجة الثانية.

الأهمية والادعاءات
تزعم الورقة أن هذا العمل ينجح في سد الفجوة بين الفوائد النظرية لتحسين الدرجة الثانية والقيود العملية للأنظمة متعددة الوكلاء الموزعة. ومن خلال إثبات إمكانية إعادة بناء تحديثات الدرجة الثانية العالمية من المعلومات المحلية واتصالات الجيران، يوفر المؤلفون مساراً لتعلم أسرع وأكثر استقراراً في التحكم الموزع. تؤكد الورقة أن المخطط المقترح يقدم بديلاً موزعاً بالكامل للتعلم من الدرجة الثانية المركزي، مع الحفاظ على تكافؤ الأداء واحترام قيود الخصوصية والاتصال. يشير المؤلفون إلى أن العمل المستقبلي سيستكشف توسيع هذه المنهجية إلى خوارزميات التعلم القائمة على السياسة، مثل تدرج السياسة.