ملخص تقني: الاحتفاظ بالأفعال دون المثالية لاتباع القيم المثلى المتغيرة في التعلم المعزز متعدد الوكلاء

بيان المشكلة

في التعلم المعزز متعدد الوكلاء (MARL) التعاوني، حققت طرق تفكيك القيمة تحت نموذج التدريب المركزي مع التنفيذ اللامركزي (CTDT)، مثل QMIX، نجاحاً كبيراً. ومع ذلك، تعتمد هذه الطرق على شرط "الحد الأقصى الفردي العالمي" (IGM)، المفروض عبر قيد الرتابة (monotonicity constraint)، مما يحد من القدرة التعبيرية لدالة قيمة الفعل المشترك. وقد حدد هذا العمل عجزًا حرجًا في قدرة الطرق الحالية على التكيف عندما تتغير دالة القيمة الأساسية ديناميكيًا أثناء التدريب.

تركز النهج التقليدية عادةً على تعلم فعل مشترك مثالي واحد. وعندما تتغير البيئة أو هيكل المكافأة، مما يتسبب في تحول الفعل المثالي (على سبيل المثال، من الفعل $A$ إلى الفعل $C$)، فإن الطرق التي تعتمد على مسار مثالي واحد غالبًا ما تفشل في استعادة المثلى الجديدة. ويتفاقم هذا الأمر بسبب الاعتماد الشديد على سياسات $\epsilon$-greedy في فضاءات الأفعال المشتركة الكبيرة، حيث تنخفض احتمالية استكشاف الأفعال البديلة عالية القيمة بشكل أسي مع زيادة عدد الوكلاء. وبناءً على ذلك، غالبًا ما تتقارب الوكلاء قبل الأوان نحو سياسات دون مثالية وتكافح لتتبع القيم المثلى المتحركة.

المنهجية: تعلم القيمة الفرعية المتتالي (S2Q)

لمعالجة هذه القيود، يقترح المؤلفون تعلم القيمة الفرعية المتتالي (S2Q)، وهو إطار عمل مصمم للاحتفاظ بالأفعال البديلة عالية القيمة وتمكين التكيف السريع مع القيم المثلى المتغيرة.

الآلية الجوهرية

يختلف S2Q عن نهج القيمة الواحدة من خلال تعلم سلسلة من $K+1$ من دالات القيمة الفرعية، يُرمز لها بـ $Q^{sub}_k$ حيث $k = 0, \dots, K$.

• $Q^{sub}_0$: تُعرف بأنها دالة القيمة المشتركة العالمية $Q_{tot}$، والتي يتم تدريبها لتحديد الفعل المثالي الحقيقي بموجب شرط IGM.
• $Q^{sub}_k$ ($k > 0$): مصممة لالتقاط الفعل المشترك رقم $k$ الذي يقل عن المستوى الأمثل.

تستخدم عملية التعلم استراتيجية كبت متتالية. بينما تتعلم $Q^{sub}_0$ القيمة المثلى العالمية، يتم تدريب دالات القيمة الفرعية اللاحقة لتعظيم القيمة المشتركة للأفعال باستثناء تلك التي تم تحديدها بواسطة دالات القيمة الفرعية السابقة $Q^{sub}_0, \dots, Q^{sub}_{k-1}$. ويتم تحقيق ذلك من خلال تعديل هدف تعلم الفرق الزمني (TD) باستخدام حد الكبح. بالنسبة لدالة قيمة فرعية معينة $Q^{sub}_k$، يتم تعديل القيمة المستهدفة لكبح الأفعال التي تم تحديدها بالفعل كمثالية أو دون مثالية بواسطة $Q^{sub}_0, \dots, Q^{sub}_{k-1}$.

تُعرف دالة الهدف لـ $Q^{sub}_k$ كالتالي:
$$\mathbb{E} \left[ w_k(s_t, a_t) \left( Q^{sub}_k(s_t, \tau_t, a_t) - \left( y_t - \alpha \mathbb{I}(a_t \in A_{k-1,t}) \cdot \max(Q^*_{targ}(s_t, \tau_t, a_t), C) \right) \right)^2 \right]$$
حيث $A_{k-1,t}$ هي مجموعة الأفعال التي حددتها الشبكات الفرعية السابقة، و $\alpha$ هو عامل الكبح، و $y_t$ هو الهدف المستمد من دالة قيمة غير مقيدة $Q^*$. ويضمن التحليل النظري (النظرية 4.1) أنه مع وجود $\alpha$ كافٍ، ستنجح كل $Q^{sub}_k$ في تحديد الفعل رقم $k$ الذي يقل عن المستوى الأمثل.

التنفيذ المنسق عبر الاتصال

لاستخدام هذه الدالات الفرعية للقيمة بفعالية، يستبدل S2Q سياسة $\epsilon$-greedy بـ سياسة سلوكية قائمة على Softmax.

1. أخذ العينات (Sampling): أثناء التدريب، يقوم الوكلاء بأخذ عينة لمؤشر $k$ من توزيع Softmax $P_t$ بناءً على قيم الأفعال البديلة المتتبعة ($Q^*(a^*_{0,t}), \dots, Q^*(a^*_{K,t})$).
2. التنفيذ: بمجرد اختيار $k$، ينفذ الوكلاء الأفعال وفقًا لسياسة $\epsilon$-greedy الخاصة بدالة القيمة الفرعية المقابلة $Q^{sub}_k$.
3. التنسيق: نظرًا لأن الوكلاء اللامركزيين لا يمكنهم ملاحظة التوزيع العالمي $P_t$ مباشرة، يستخدم S2Q بنية مشفر-فك تشفير (Encoder-Decoder) أثناء التدريب. يقوم المشفر برسم خريطة للتاريخ المحلي إلى تمثيل كامن $z_t$، ويقوم فك التشفير بإعادة بناء الحالة العالمية والتوزيع التقريبي $\hat{P}_t$. وينسق الوكلاء اختيارهم لـ $k$ بناءً على $\hat{P}_t$.
4. التنفيذ اللامركزي: من الناحية الجوهرية، لا يتطلب الأمر اتصالاً في وقت الاختبار. بما أن $Q^{sub}_0$ (المكافئة لـ $Q_{tot}$) تكفي لإنتاج الفعل الأمثل الجشع، فإن التقييم يظل لامركزيًا بالكامل وخاليًا من الاتصال. كما تم اقتراح نسخة، S2Q-Comm، للبيئات التي يكون فيها الاتصال ضروريًا للغاية، حيث توفر $z_t$ الكامن أثناء التنفيذ.

المساهمات الرئيسية

1. تحديد تحولات الأمثلية الديناميكية: يسلط البحث الضوء على أن طرق تفكيك القيمة الحالية تفشل في تتبع القيم المثلى المتحركة لأنها تتخلص من المعلومات المتعلقة بالأفعال دون المثالية بمجرد العثور على مثلى واحدة.
2. تعلم القيمة الفرعية المتتالي: تقديم إطار عمل يتعلم صراحةً ويحتفظ بعدة أفعال دون مثالية، مما يسمح للنظام بالتحول بسرعة عندما يتغير الفعل الأمثل.
3. الاستكشاف القائم على Softmax: استراتيجية استكشاف مبتكرة تعطي الأولوية لزيارة الأفعال البدالية الواعدة بناءً على قيمها المقدرة، مما يتغلب على التناقص الأسي لاحتمالية الاستكشاف المشترك في سياسات $\epsilon$-greedy.
4. تصميم فعال في استهلاك الاتصال: آلية تستخدم الاتصال فقط أثناء التدريب لمزامنة اختيار القيمة الفرعية، مما يحافظ على اللامركزية الكاملة أثناء التنفيذ.

النتائج التجريبية

قيم المؤلفون S2Q على اثنين من المعايض الرئيسية: تحدي ستاركرافت متعدد الوكلاء (SMAC) و كرة قدم جوجل للأبحار (GRF).

• SMAC-Hard+ و GRF: تفوق S2Q باستمرار على خطوط الأساس المتطورة (بما في ذلك QMIX, WQMIX, DOP, FOP, PAC, RiskQ, and MARL) عبر خرائط مختلفة (مثل 6h مقابل 8z, MMM2, Corridor). كانت فجوة الأداء أكثر أهمية في السيناريوهات التي تتطلب استكشافًا مكثفًا حيث تتغير الاستراتيجية المثلى أثناء التدريب. أظهر S2Q سرعة أكبر في التقارب ومعدلات فوز نهائية أعلى.
• SMAC-Comm: في المهام التي تتطلب اتصالًا صريحًا (مثل 5z مقابل 1ul, bane مقابل hM)، أظهر متغير S2Q-Comm مكاسب كبيرة مقارنة بالنماذج التي تركز على الاتصال مثل MASIA و NDQ و CAMA، خاصة في مهام التنسيق المعقدة.
• البيئات العشوائية: حافظ S2Q على أداء متفوق في SMACv2 (تكوينات الفريق العشوائية) و SMAC-Hard (الخصم المختلط)، مما أظهر قوة في مواجهة الديناميكيات العشوائية.
• العمومية: تم تطبيق الطريقة بنجاح على نماذج CTDE أخرى مثل VDN و QPLEX، مما أدى إلى تحسينات متسقة في الأداء.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن تعلم القيمة الفرعية المتتالي والتنفيذ الموجه بـ Softmax هما مكونان حاسمان. وأدى إزالة آلية الكبح أو سياسة Softmax إلى تدهور الأداء بشكل كبير. ووجد أن العدد الأمثل للشبكات الفرعية ($K$) هو 2، مما يوازن بين التنوع والاستقرار.

الأهمية والادعاءات

يزعم البحث أن S2Q يعالج قصورًا جوهريًا في التعلم المعزز متعدد الوكلاء التعاوني: وهي صلابة الطرق التي تتقارب نحو سياسة مثالية واحدة. من خلال الاحتفاظ بالأفعال دون المثالية، يمكّن S2Q الوكلاء من التكيف بسرعة مع مشهد القيم المتغير دون تقارب مبكر.

يضع المؤلفون S2S كإطار عمل عملي وعام يحسن القدرة على التكيف والأداء العام في بيئات MARL الصعبة. ويؤكدون أن الطريقة تحقق هذه المكاسب دون الحاجة إلى اتصال أثناء التنفيذ، مما يجعلها مناسبة للنشر في العالم الحقيقي حيث قد تكون عرض النطاق الترددي للاتصال محدودًا. يشير العمل إلى أن تتبع البدائل دون المثالية صراحةً هو استراتيجية قابلة للتطبيق وفعالة لتعزيز الاستكشاف والمتانة في الأنظمة متعددة الوكلاء.