When to Communicate: Belief Distributions and KL Divergence for Principled Gating in Multi-Agent RL

ملخص تقني: البوابات المبدئية في التعلم المعزز متعدد الوكلاء عبر توزيعات الاعتقاد وتباعد KL

بيان المشكلة
يتطلب التواصل الفعال في التعلم المعزز متعدد الوكلاء (MARL) من الوكلاء تحديد ليس فقط ماذا يتواصلون، بل متى يتواصلون أيضًا. تعاني النهج الحالية من قيود كبيرة:

1. التواصل المستمر: تقوم نماذج مثل CommNet [1] ببث الحالات الخفية عند كل خطوة زمنية. وبينما يعد هذا فعالًا في البيئات التعاونية الكاملة، إلا أنه مكلف حاسوبيًا وضار في البيئات التنافسية أو المختلطة حيث يمكن أن يؤدي مشاركة المعلومات إلى الإضرار بالأداء.
2. البوابات غير المستقرة: قدمت IC3Net [2] بوابة ثنائية متعلمة يتم تدريبها عبر تدرجات سياسة REINFORCE لمعالجة مسألة الـ "متى". ومع ذلك، يعتمد هذا النهج على إشارة مكافأة ذات تباين عالٍ، مما يؤدي إلى آلية بوابة "صندوق أسود". تتذبذب وتيرة التواصل بشكل جامح أثناء التدريب، مما يجعل السلوك غير مستقر، وغير قابل للتفسير، ويصعب الوثوق به.

تتمثل المشكلة الجوهرية في غياب محفز مبدئي وقابل للتفسير للتواصل، يكون مرتكزًا على الضرورة النظرية لحل عدم اليقين، بدلاً من الاعتماد فقط على تعظيم المكافأة الغامض.

المنهجية
يقترح البحث تعديلًا على بنية IC3Net يستبدل شبكة البوابة المدربة بواسطة REINFORCE بمحفز حتمي ومبدئي يعتمد على تباعد كولباك - ليبلر (KL divergence) بين توزيعات الاعتقاد المتعلمة للوكلاء.

1. رأس الاعتقاد (Belief Head): يحافظ كل وكيل $i$ على حالة خفية لشبكة LSTM يرمز لها بـ $h^i_t$. يقوم طبقة خطية صغيرة متبوعة بـ Softmax بإسقاط هذه الحالة إلى توزيع اعتقاد ذي $K$ من الأبعاد فوق حالات العالم الكامنة:
   $$b^i_t = \text{Softmax}(f_\phi(h^i_t)) \in \mathbb{R}^K$$
   يتم تدريب رأس الاعتقاد هذا بشكل متكامل (end-to-end) مع السياسة الرئيسية باستخدام تدرج السياسة القياسي؛ ولا يتلقى أي إشارة خسارة منفصلة.

2. بوابة تباعد KL: بدلاً من تعلم بوابة، يتم حساب قرار التواصل مباشرة. يتواصل الوكيل $i$ مع الوكيل $j$ في الخطوة الزمنية $t$ إذا وفقط إذا تجاوز تباعد KL بين اعتقاداتهما في الخطوة الزمنية السابقة عتبة ثابتة $\epsilon$:
   $$g^i_j = \mathbb{I}\left[ D_{KL}(b^i_{t-1} \parallel b^j_{t-1}) > \epsilon \right]$$
   استخدام اعتقادات $t-1$ يتجنب التبعيات الدائرية، حيث إن الاعتقاد الحالي للوكيل $j$ لا يكون متاحًا بعد عند اتخاذ قرار التواصل.

3. ديناميكيات التدريب: لا يتم تدريب بوابة التواصل عبر التدرجات؛ فهي دالة حتمية للاعتقادات والمعلم الفائق $\epsilon$. يتم تحديث بارامترات السياسة فقط عبر REINFORCE. يهدف هذا الفصل إلى استقرار التدريب وتوفير القابلية للتفسير.

المساهمات الرئيسية

• محفز مبدئي: يقدم البحث آلية تواصل مرتكزة على نظرية POMDP، حيث يمثل حالة الاعتقاد الإحصاء الكافي لاتخاذ القرار. يتم تحفيز التواصل تحديدًا عندما يختلف الوكلاء بشكل كبير حول حالة العالم، بدلاً من الاعتماد على إشارة مكافأة غامضة.
• القابلية للتفسير والاستقرار: من خلال استبدال بوابة REINFORCE العشوائية بعتبة حتمية، تلغي الطريقة أنماط التواصل المتقلبة التي لوحظت في IC3Net، مما يوفر مبررًا واضحًا لتبادل المعلومات.
• مساهمة مزدوجة: تُظهر البنية فوائد متميزة: (1) البوابات المبدئية، التي تحسن التنسيق عندما يمكن للاعتقادات أن تتقارب (على سبيل المثال، في البيئات المعقدة ذات الملاحظة الجزئية العالية)، و (2) التمثيلات الكامنة المحسنة، حيث يعزز رأس الاعتقاد نفسه أداء السياسة حتى عندما لا تعمل البوابة بشكل انتقائي.

النتائج التجريبية
تم تقييم الطريقة على اختبار Predator-Prey (PP) (شبكات 10×10 و 20×20) ومهمة MPE Simple Spread، مقارنة بـ IC3Net و CommNet و Independent Controller.

• Predator-Prey 10×10: تفوقت IC3Net على طريقة KL-belief عند جميع العتبات المختبرة. ويعزو المؤلف ذلك إلى درجة الملاحظة الجزئية المنخفضة في الشبكة الأصغر، حيث لم تتباعد توزيعات الاعتقاد بما يكفي لتوفيد إشارة موثوقة لبوابة KL.
• Predator-Prey 20×20: كشفت دراسة استئصال العتبة ($\epsilon \in \{0.1, 0.3, 0.5, 1.0\}$) عن منحنى أداء على شكل حرف U مقلوب. عند $\epsilon = 0.5$، حققت طريقة KL-belief متوسط 73.84 خطوة و معدل نجاح 42%، متفوقة على IC3Net (75.31 خطوة، 31%) بمقدار 1.47 خطوة و 11 نقطة مئوية. والأهم من ذلك، أظهرت طريقة KL تباينًا أقل عبر البذور ($\pm 1.20$ مقابل $\pm 1.82$ للخطوات)، مما يشير إلى تنسيق أكثر اتساقًا.
• MPE Simple-Spread: في هذه البيئة المستمرة، ندرت البوابة من قمع التواصل (المعدل $\approx 1.0$) لأن الاعتقادات ظلت متباعدة للغاية. ومع ذلك، لا تزال طريقة KL-belief تتفوق على IC3Net بنحو 12 نقطة مكافأة مع تباين أقل بكثير (أقل بـ 26 مرة). يشير هذا إلى أن رأس الاعتقاد يحسن تمثيل الحالة الكامنة بغض النظر عن نشاط البوابة.
• دراسات الاستئصال: أكدت دراسة استئصال حجم الاعتقاد ($K$) أن $K=8$ يوفر أفضل توازن بين القدرة التعبيرية والقدرة على التعلم.

الأهمية والادعاءات
يزعم البحث أن ترسيخ التواصل في اختلاف الاعتقاد يوفر بديلًا أكثر استقرارًا وقابلية للتفسير للبوابات القائمة على المكافأة. تكمن الأهمية الأساسية في إثبات أن:

1. التعقيد أمر جوهري: تتوسع ميزة محفز KL المبدئي مع تعقيد البيئة ودرجة الملاحظة الجزئية. وهي أكثر فعالية في البيئات الأكبر والأكثر تعقيدًا (20×20 PP) حيث يكون تباعد الاعتقاد جوهريًا.
2. قيمة التمثيل: حتى عندما تكون آلية البوابة غير نشطة (كما في MPE)، فإن المهمة المساعدة لتعلم توزيعات الاعتقاد تحسن جودة تمثيل الحالة الداخلية للوكيل، مما يؤدي إلى أداء واستقرار أفضل للسياسة.
3. حساسية المعايرة: تتطلب الطة معايرة دقيقة للعتبة $\epsilon$. العتبة المنخفضة جدًا تحاكي التواصل المستمر، بينما العتبة العالية جدًا تمنع التنسيق الضروري. العتبة المثلى تعتمد على البيئة.

يخلص المؤلف إلى أنه على الرغم من أن الطريقة لا تتفوق عالميًا على IC3Net في جميع الإعدادات، إلا أنها توفر آلية قوية ومبدئية للتواصل الانتقائي تقلل من عدم استقرار التدريب وتحسن الأداء في السيناريوهات عالية التعقيد. ويُقترح في العمل المستقبلي استكشاف العتبات التكيفية والتقييم على معايير أكبر مثل SMAC.