ملخص تقني: تعلم تعزيزي متعدد الوكلاء مقيد وقابل للتوسع عبر تعزيز الحالة والتوافق

صياغة المشكلة

تتناول الورقة تحدي التعلم التعزيزي متعدد الوكلاء المقيد (CMARL) في الأنظمة الموزعة حيث يمتلك الوكلاء ديناميكيات قابلة للفصل ولكن يجب عليهم التنسيق لتلبية قيود الموارد العالمية. على وجه التحديد، ينظر المؤلفون في حالة يعمل فيها $N$ من الوكلاء في لعبة ماركوف (Markov Game) مع الافتراضات الهيكلية التالية:

1. سياسات مستقلة: يختار كل وكيل $i$ أفعاله بناءً على حالته المحلية $s_i$ فقط.
2. ديناميكيات قابلة للفصل: لا يؤثر فعل الوكيل على انتقالات الحالة للوكلاء الآخرين ($P(s_{t+1}|s_t, a_t) = \prod P^i(s^i_{t+1}|s^i_t, a^i_t)$).
3. مكافآت قابلة للجمع: المكافآت والقيود العالمية هي مجموع المكافآت المحلية الفردية.

الهدف هو تعظيم المتوسط طويل الأمد لمكافأة أساسية $r_0$ مع مراعاة قيد متوسط عالمي على مكافأة ثانوية $r_1$ (أي $\sum_i V^i_1(\pi_i) \leq c$). وبينما يوحي الهيكل القابل للفصل بإمكانية التدريب المستقل، إلا أن القيد العالمي يخلق تحديًا في التنسيق: فبدون تواصل، لا يمكن للوكلاء المستقلين تحديد المساهمات الفردية المناسبة لتلبية الحد الجماعي، مما يؤدي غالبًا إلى حلول متدهورة (على سبيل المثال، تأجيل الطلب إلى أجل غير مسمى لتلبية القيود بشكل تافه).

المنهجية

يجمع النهج المقترح بين تعلم السياسة المعززة بالحالة والتوافق الموزع عبر المتغيرات المزدوجة (مضاعفات لاجرانج).

1. التدريب المستقل غير المتصل (Offline) مع تعزيز الحالة

بدلاً من تدريب سياسات منفصلة لمستويات قيود ثابتة، يتعلم كل وكيل سياسة واحدة معززة بالحالة $\pi_i(s_i, \lambda_i)$، حيث يُعامل المتغير المزدوج المحلي $\lambda_i$ كجزء من مدخل الحالة.

• يتم تفكيك لاجرانج إلى مكونات وكلاء فردية: $\mathcal{L} = \sum_i [V^i_0(\pi_i) + \lambda_i (c/N - V^i_1(\pi_i))]$.
• يتدرب الوكلاء بشكل مستقل باستخدام خوارزميات RL قياسية (مثل PPO) لتعظيم هذه المكافأة الموزونة. يسمح تعزيز الحالة للسياسة بتكييف سلوكها ديناميكيًا بناءً على المستوى الحالي لضغط القيد ($\lambda$).

2. التوافق المزدوج المتصل (Online)

أثناء التنفيذ، يجب على الوكلاء التنسيق لضمان تلبية القيد العالمي. ويتم تحقيق ذلك من خلال تحديث موزع للمتغيرات المزدوجة:

• خطوة التدرج المحلي: يقوم كل وكيل بخطوة تدرج نزولي على لاجرانج المحلي الخاص به لتحديث مضاعفه $\lambda_i$ بناءً على انتهاك القيد المحلي.
• خطوة التوافق: يتبادل الوكلاء مضاعفاتهم المحلية مع جيرانهم المباشرين في رسم بياني للتواصل $G$ ويقومون بمتوسطها.
• قاعدة التحديث: يجمع التحديث بين التدرج النزلي المحلي ومصطلح التوافق:
  $$\lambda_i^{k+1} = \lambda_i^k - \alpha \nabla_{\lambda_i} \mathcal{L}_i - \epsilon (\lambda_i^k - \bar{\lambda}_i^k)$$
  حيث $\bar{\lambda}_i^k$ هو متوسط مضاعفات الجيران. وهذا يضمن تقارب جميع الوكلاء إلى متغير مزدوج مشترك دون تنسيق مركزي.

3. الضمانات النظرية

يثبت المؤلفون أنه تحت افتراضات اتصال طفيفة:

• خطأ توافق محدود: يكون الخلاف بين مضاعفات الوكلاء محدودًا ويتناقص مع اتصال الرسم البياني وعدد جولات التوافق.
• انتهاك قيد محدود: باستخدام حجة حساسية ليبشيتز (Lipschitz sensitivity)، يوضحون أن اختلاف المضاعفات المحدود يترجم إلى انتهاك قيد محدود. يتلاشى الانتهاك مع زيادة جولات التوافق، أو تناقص حجم الخطوات، أو تحسن اتصال الرسم البياني.

المساهمات الرئيسية

1. آلية التوافق الموزع لـ CMARL: تدمج الورقة التوافق الموزع عبر مضاعفات لاجرانج مع التعلم التعزيزي المقيد المعزز بالحالة. وتثبت أن التواصل الخفيف من جار إلى جار يكفي لفرض القيود المنسقة عالميًا دون الحاجة إلى نقاد مركزيين أو ملاحظات حالة مشتركة.
2. القابلية للتوسع الخطي: من خلال استغلال قابلية انفصال المشكلة لتعلم السياسة واستخدام التوافق الخفيف للتنسيق، تتقيد الطريقة بالتوسع خطيًا في كل من التدريب والتنفيذ. لقد نجحت في التعامل مع ما يصل إلى 1,000 وكيل، بينما تقتصر نماذج التدريب المركزي مع التنفيذ اللامركزي (CTDE) على عشرات الوكلاء بسبب النمو التربيعي لتعقيد الناقد المركزي.
3. الضرورة التجريبية للتوافق: أظهرت التجارب على استجابة الطلب في الشبكة الذكية أن التوافق ليس مجرد أمر مفيد بل هو ضروري للجدوى. بدون التوافق، يحقق الوكلاء المستقلون القيود فقط من خلال وسائل متدهورة (تأجيل الطلب إلى أجل غير مسمى)، مما يؤدي إلى طلب غير مستوفى غير محدود. مع التوافق، يتقارب الوكلاء نحو متغير مزدوج مشترك، مما يحقق تلبية قيود الشبكة والطلب معًا.

النتائج التجريبية

تم التحقق من صحة الطريقة في مهمة استجابة الطلب للشبكة الذكية تتضمن مبانٍ تحتوي على طاقة شمسية وتخزين بطاريات.

• الجدوى مقابل التدهور: في دراسات الاستبعاد (ablation studies)، حقق الوكلاء بدون توافق قيود سعة الشبكة فقط عن طريق تأجيل الطلب إلى أجل غير مسمى، مما أدى إلى طلب غير مستوفى غير محدود. مع التوافق، حقق الوكلاء حلولاً مستقرة وممكنة.
• ضرورة تعزيز الحالة: ثبت أن السياسات المدربة بمضاعفات لاجرانج ثابتة (بدون تعزيز الحالة) هشة؛ فمن بين 414 تكوينًا للمضاعفات الثابتة التي تم اختبارها، أنتجت 7 منها فقط سلوكًا ممكنًا. أما النهج المعزز بالحالة فقد عمم عبر جميع مستويات القيود.
• المقارنة مع النماذج المرجعية: بالمقارنة مع نماذج MARL الحديثة (MAPPO, MADDPG, MASAC, ISAC) التي تعتمد على نقاد مركزيين، حققت الطريقة المقترحة تلبية للقيود مساوية أو أفضل مع تكلفة حسابية أقل بكثير.
• المقارنة مع الأوراكل المركزي (Centralized Oracle): تمت مقارنة الطريقة الموزعة بـ "أوراكل مركزي" (معلومات عالمية مثالية). حققت الطريقة الموزعة فجوة تكلفة قدرها أقل من 0.2% (تحديدًا +0.086%) بالنسبة للأوراكل، مما يثبت أن اللامركزية لا تسبب خسارة ضئيلة في الأداء.
• القابلية للتوسع: توسعت المنظومة خطيًا لتصل إلى 1,000 وكيل. كانت تكلفة التدريب $O(1)$ بالنسبة لعدد الوكلاء (تدريب سياسات اثنتين فقط لنوعين من الوكلاء)، بينما توسع وقت التنفيذ خطيًا.

الأهمية والادعاءات

تدعي الورقة توفير إطار عمل عملي لإدارة البنية التحتية واسعة النطاق (مثل الشبكات الذكية، شحن المركبات الكهربائية، إدارة الأساطيل) حيث يمتلك الوكلاء ديناميكيات منفصلة ولكنهم يتشاركون في ميزانيات الموارد.

• القابلية للتوسع: تكمن الأهمية الأساسية في القدرة على تنسيق آلاف الوكلاء مع ضمانات انتهاك قيود محدودة، وهو مقياس لا تستطيع طرق CTDE الحالية الوصول إليه.
• الجدوى: يرسخ العمل حقيقة أن تنسيق التوافق ضروري لتحويل السياسات المدربة بشكل مستقل إلى حل ممكن جماعيًا، مما يمنع الوكلاء من إيجاد حلول تافهة ومتدهورة لتلبية القيود.
• ادعاءات الأمثلية المتواضعة: يصرح المؤلفون صراحةً بأن التقارب الوثيق مع الأوراكل المركزي هو ملاحظة تجريبية خاصة ببيئة اختبار الشبكة الذكية، وليس ضمانًا عامًا للأمثلية. التحليل النظري يضع حدودًا لخطأ التوافق وهامش الجدوى ولكنه لا يقدم ضمانًا كاملاً للأمثلية الأولية للحالة العامة.
• القيود: يقتصر النهج على المشكلات ذات الديناميكيات القابلة للفصل والمكافآت القابلة للجمع. وهو غير قابل للتطبيق في الإعدادات ذات الديناميكيات المقترنة (مثل التلاعب متعدد الروبوتات أو ازدحام المرور) حيث تؤثر انتقالات الوكلاء مباشرة على بعضها البعض.