ملخص تقني: أخذ العينات التكيفي المركزي للتدريب المشترك الموثوق لسياسات متعددة الوكلاء المستقلة

بيان المشكلة

تُعد خوارزميات تدرج السياسة المستقلة ذات السياسة في نفس الحالة (on-policy) نهجًا قياسيًا في التعلم المعزز متعدد الوكلاء (MARL) في الألعاب التعاونية وغير المتصارعة. ومع ذلك، تُعرف هذه الطرق بمعاناتها من التقارب دون الأمثل. وبينما تعزو الأدبيات السابقة هذا الفشل بشكل أساسي إلى الحالات التي تشير فيها تدرجات السياسة الفردية بعيدًا عن التوازن المشترك الأمثل (مشكلات اختيار التوازن)، يحدد هذا البحث نمط فشل جديدًا: خطأ أخذ العينات المشترك (joint sampling error).

لاحظ المؤلفون أنه حتى عندما تشير تدرجات السياسة الفردية المتوقعة لجميع الوكلاء بشكل صحيح نحو الحل المشترك الأمثل، يمكن أن يحدث تقارب دون المستوى الأمثل. ينشأ هذا بسبب كون عملية جمع البيانات في ظل عينة محدودة، تؤدي العشوائية في أخذ عينات الأفعال المستقلة إلى انحراف توزيع بيانات البيانات التجريبي عن توزيع السياسة المشتركة المتوقعة. يؤدي هذا الانحراف إلى تقديرات غير دقيقة للتدرج. والأهم من ذلك، قد يكون لدى الوكلاء خطأ أخذ عينات صفري فيما يتعلق بتوزيعات أفعالهم الهامشية، ومع ذلك يعانون من خطأ كبير في أخذ العينات المشترك، مما يتسبب في تعزيزهم لأفعال مشتركة دون المستوى الأمثل.

المنهجية

لمعالجة هذا الأمر، يقترح البحث تقليل خطأ أخذ العينات التعاوني (CoSER)، وهو خوارزمية لأخذ عينات الأفعال التكيفية تعمل ضمن إطار التدريب المركزي مع التنفيذ اللامركزي (CTDE).

الآلية الجوهرية

على عكس أخذ العينات المستقل القياسي أو الامتدادات اللامركزية لطرق أخذ العينات التكيفية أحادية الوكيل، يستخدم CoSER سياسة سلوك مركزية ($\pi_\phi$) لجمع البيانات. يتم تكييف سياسة السلوك هذه باستمرار لزيادة احتمالية الأفعال المشتركة التي تم أخذ عينات منها بشكل ناقص مقارنة بالسياسة المستهدفة المشتركة الحالية ($\pi_\theta$).

التفاصيل الخوارزمية

1. البنية: يعرّف CoSER سياسة سلوك مركزية $\pi_\phi(a|s)$ تعتمد على الحالة المشتركة الكاملة $s$. ولضمان إمكانية تهيئة $\pi_\phi$ لتتطابق مع السياسة اللامركزية المستهدفة $\pi_\theta$، قدم المؤلفون بنية متخصصة:
   $$\pi_\phi(\cdot|s) = \sigma(\log \pi_\theta(\cdot|s) + \Delta_\phi(s))$$
   هنا، $\Delta_\phi(s)$ هي شبكة عصبية تخرج تعديلات اللوغاريتم (logit adjustments). يتم تهيئتها لتكون صفرية، مما يضمن أن $\pi_\phi \equiv \pi_\theta$ عند بدء التحديثات.
2. قاعدة التحديث: يتم تحديث سياسة السلوك عبر صعود التدرج على هدف بديل مقصوص (مستوحى من PPO و PROPS) لتقليل التباعد بين توزيع البيانات التجريبي وتوزيع السياسة المستهدفة. يعمل الهدف على زيادة احتمالية الأفعال المشتركة التي تم أخذ عينات منها بشكل ناقص وتقليل تلك التي تم أخذ عينات منها بشكل مفرط.
3. المقارنة مع MA-PROPS: يقارن البحث بين CoSER و MA-PROPS، وهو امتداد متعدد الوكلاء لخوارزمية PROPS أحادية الوكيل. تستخدم MA-PROPS سياسات سلوك مستقلة لكل وكيل. وقد أثبت المؤلفون نظريًا وتجريبيًا أنه بينما تقلل MA-PROPS من خطأ أخذ العينات للوكلاء الأفراد، فإنها تفشل في تقليل خطأ أخذ العينات المشترك لأنها لا تنسق اختيار الأفعال عبر الوكلاء.

المساهمات الرئيسية

1. تحديد نمط فشل جديد: كان المؤلفون أول من أظهر أن خطأ أخذ العينات المشترك يمكن أن يسبب تقاربًا دون المستوى الأمثل في خوارزميات تدرج السياسة المستقلة ذات السياسة في نفس الحالة، حتى عندما تتوافق التدرجات المتوقعة مع السلوك الأمثل.
2. الرؤية النظرية: أثبتوا أن تقليل خطأ أخذ العينات للوكلاء الأفراد بشكل مستقل (كما تفعل MA-PROPS) لا يضمن تقليل خطأ أخذ العينات المشترك. إن تنسيق اختيار الأفعال مطلوب لتصحيح التوزيع المشترك.
3. تطوير الخوارزمية (CoSER): قدموا CoSER، وهي طريقة أخذ عينات تكيفية مركزية تقلل بكفاءة من خطأ أخذ العينات المشترك من خلال وضع احتمالية أعلى على الأفعال المشتركة التي تم أخذ عينات منها بشكل ناقص.
4. تحليل التقارب: وسع البحث تحليل التقارب من الإعدادات أحادية الوكيل إلى MARL، موضحًا أنه تحت ظل CoSER، يتقارب توزيع زيارة الحالة المشتركة التجريبي إلى التوزيع الحقيقي باحتمالية 1، وأن معدل التقارب لخطأ أخذ العينات المشترك هو $O_p(1/m^2)$، مقارنة بـ $O_p(1/m)$ لأخذ العينات القياسي في نفس الحالة.

النتائج التجريبية

قيم المؤلفون CoSER عبر مجموعة متنوعة من الألعاب متعددة الوكلاء غير المتصارعة، بما في ذلك Level-Based Foraging (LBF)، وBoulderPush، وGridWorld، ومختلف ألعاب المصفوفات (2x2 و 3x3).

• كفاءة أخذ العينات: في المهام ذات السياسات المستهدفة الثابتة، يقلل CoSER من خطأ أخذ العينات المشترك بشكل أسرع بكثير من كل من أخذ العينات القياسي في نفس الحالة و MA-PROPS. في بعض الحالات، يحقق CoSER نفس تقليل الخطأ باستخدام عدد أقل من العينات بنسبة 30%–50%. ومن الجدير بالذكر أن MA-PROPS غالبًا ما تفشل في تقليل خطأ أخذ العينات المشترك على الإطلاق.
• موثوقية التقارب: خلال تدريب RL الكامل (باستخدام MAPPO كخوارزمية أساسية)، يزيد CoSER من احتمالية تقارب الوكلاء إلى سياسة مشتركة مثلى بنسبة 10%–20% مقارنة بالنماذج المرجعية.
  • في ألعاب المصفوفات الصعبة (حيث تفشل الطرق القياسية غالبًا)، يعد CoSER الخوارزمية الوحيدة التي تتقارب باستمرار نحو السياسة المثلى.
  • في البيئات المعقدة مثل GridWorld و BoulderPush، يحسن CoSER معدلات النجاح بمقدار 15–19 نقطة مئوية عن أخذ العينات في نفس الحالة.
• المقارنة مع MA-PROPS: توفر MA-PROPS عمومًا أي تحسن عن أخذ العينات القياسي في نفس الحالة من حيث الموثوقية أو تقليل خطأ أخذ العينات المشترك، مما يؤكد أن أخذ العينات التكيفي المستقل غير كافٍ في بيئة متعددة الوكلاء.

الأهمية والادعاءات

يزعم البحث أن المساهمة الرئيسية هي التحول في فهم أسباب التقارب دون المستوى الأمثل في MARL. فبدلاً من رؤية حالات فشل التقارب حصريًا كنتيجة للأهداف المتضاربة أو سوء اختيار التوازن (حيث تشير التدرجات في الاتجاه الخاطئ)، يجادل المؤلفون بأن عدم كفاءة جمع البيانات (خطأ أخذ العينات المشترك) هو عامل حاسم تم التغاضي عنه سابقًا.

تكمت أهمية CoSER في قدرته على تحسين موثوقية خوارزميات تدرج السياسة المستقلة دون تغيير هدف التعلم أو قواعد تحديث التدرج. فمن خلال مجرد تنسيق كيفية جمع البيانات عبر سياسة سلوك مركزية، تضمن الطريقة أن البيانات التجريبية تقرب بشكل أفضل التوزيع المشترك المتوقع، مما يؤدي إلى تقديرات أكثر دقة للتدرج واحتمالية أعلى لإيجاد سياسات مشتركة مثلى. يضع المؤلفون CoSER كخطوة أولى نحو التخفيف من خطأ أخذ العينات المشترك، مع الإقرار بالقيود المتعلقة بالتوسع إلى عدد كبير جدًا من الوكلاء بسبب النمو الأسي لمساحة الأفعال المشتركة.