💻 computer science

Learning Large-Scale Competitive Team Behaviors with Mean-Field Interactions and Online Opponent Modeling

تقدم هذه الورقة MF-MAPPO، وهو امتداد حقل متوسط (mean-field) قابل للتوسع لخوارزمية PPO مصمم لألعاب الفرق ذات المجموع الصفري واسعة النطاق، يجمع بفعالية بين التعاون داخل الفريق والمنافسة بين الفرق، متفوقاً على الأساليب الحالية في البيئات المعقدة ذات الإدراك الجزئي من خلال نمذجة الخصم عبر الإنترنت والتدريب المنظم بالتدرج.

المؤلفون الأصليون: Bhavini Jeloka, Yue Guan, Panagiotis Tsiotras

نُشر 2026-02-16

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Bhavini Jeloka, Yue Guan, Panagiotis Tsiotras

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدرب لفريقين رياضيين ضخمين، يضم كل منهما آلاف اللاعبين، يلعبان مباراة عالية المخاطر في لعبة "الاستحواذ على العلم" على شبكة عملاقة. الفريق الأول (الأزرق) يريد الوصول إلى هدف معين، بينما يحاول الفريق الثاني (الأحمر) منعه.

المشكلة؟ لا يمكنك مراقبة كل لاعب بمفرده، أو تذكر أسمائهم، أو إعطاء تعليمات فردية لـ 1,000 شخص في وقت واحد. هذا يتجاوز قدرة الاستيعاب. إذا حاولت استخدام طرق تدريب الذكاء الاصطناعي التقليدية، فستصاب الحواسب بالارتباك والانهيار (وهي مشكلة تُعرف بـ "لعنة الأبعاد").

تقدم هذه الورقة البحثية مدرب ذكاء اصطناعي جديد يُسمى MF-MAPPO، والذي يحل هذه المشكلة عبر تغيير طريقة رؤيته للعبة. فبدلاً من النظر إلى اللاعبين كأفراد، ينظر إليها كـ حشود.

إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

1. "رؤية الحشد" (نظرية المجال المتوسط - Mean-Field Theory)

تخيل أنك تقف على تلة تراقب موكباً ضخماً. لست بحاجة لمعرفة اسم كل شخص في الموكب لتفهم ما يحدث؛ بل تحتاج فقط لمعرفة: "هل الناس يتجمعون في الجانب الأيسر؟ هل يتحركون بسرعة؟ هل يزداد كثافة الحشد في المنتصف؟"

الذكاء الاصطناعي القديم: يحاول تتبع كل شخص على حدة، مما يجعله مشتتاً وبطيئاً.
MF-MAPPO: ينظر إلى "كثافة" الحشد. فهو يعامل الفريق ليس كـ 1,000 فرد، بل كسائل متدفق أو نظام جوي. إذا كان "السائل الأزرق" كثيفاً في منطقة ما، فإن الذكاء الاصطناعي يدرك أن الفريق الأزرق قوي هناك. هذا يجعل العمليات الحسابية بسيطة وسريعة، حتى مع وجود آلاف الوكلاء.

2. "كتيب الخطط المشترك" (الممثل المشترك - Shared Actor)

في الرياضات الجماعية التقليدية، قد يكون لكل لاعب دور مختلف قليلاً. لكن في نظام الذكاء الاصطناعي هذا، يمتلك كل من الفريق الأزرق والفريق الأحمر كتيب خطط واحداً يتبعه كل لاعب.

التشبيه: تخيل سرباً من الأسماك. لا يوجد قائد يصرخ بالأوامر لكل سمكة، بل إنها جميعاً تتبع قاعدة بسيطة واحدة: "إذا كان الماء مزدحماً جهة اليسار، اسبح جهة اليمين".
لماذا ينجح هذا: لأن جميع لاعبي الفريق الأزرق متطابقون، يحتاج الذكاء الاصطناعي لتعلم استراتيجية واحدة فقط للفريق بأكمله، مما يوفر كميات هائلة من القدرة الحوسبية.

3. "المدرب ذو المعلومات الدنيا" (الناقد ذو المعلومات الدنيا - Minimly Informed Critic)

عادةً، يحتاج مدرب الذكاء الاصطناعي لمعرفة كل شيء: "اللاعب رقم 42 متعب، اللاعب رقم 99 مصاب، والرياح تهب بقوة". لكن هذه الورقة تجادل بأن المدرب لا يحتاج لكل هذا التفصيل.

التشبيه: فكر في جنرال يقف على تلة ينظر إلى خريطة ساحة المعركة. الجنرال لا يحتاج لمعرفة ما إذا كان الجندي "سميث" جائعاً، بل يحتاج فقط لمعرفة: "أين تتركز قوات العدو؟"
الابتكار: "الناقد" في الذكاء الاصطناعي (الجزء الذي يقيم مدى جودة أداء الفريق) ينظر فقط إلى كثافة الحشد (المجال المتوسط)، وليس إلى الإحصائيات الفردية. هذا يبقي النظام خفيفاً وسريعاً.

4. "شبكة الهمس" (نمذجة الخصم و D-PC)

هنا يكمن الجزء الصعب: في لعبة حقيقية، لا يمكنك رؤية التشكيل الدقيق للفريق الخصم، أنت فقط ترى اللاعبين الذين تستطيع رؤيتهم فعلياً. فكيف تخمن أين يوجد بقية الخصم؟

ابتكر المؤلفون نظاماً يسمى D-PC (الإجماع الديناميكي المسقط - Dynamic-Projected Consensus).

التشبيه: تخيل مجموعة من الجواسيس المنتشرين في مدينة ما. لا يمكنهم التحدث إلى الجميع في وقت واحد، بل يمكنهم فقط الهمس لجيرانهم المباشرين.
- الجاسوس (أ) يرى سيارة. الجاسوس (ب) يرى دراجة. (ب) يهمس لـ (ج). (ج) يهمس لـ (د).
- من خلال سلسلة الهمسات هذه، يتفقون جميعاً في النهاية على صورة كاملة للمدينة، رغم أن أي جاسوس بمفرده لم يرَ المدينة بأكملها.
السحر: تثبت الورقة أنه حتى مع التواصل المحدود (الهمس لعدد قليل من المرات)، يمكن للجواسيس بناء صورة دقيقة جداً للخصم. وهذا يسمح للذكاء الاصطناعي بالتفاعل مع تحركات الخصم حتى عندما لا يستطيع رؤية كل شيء.

5. "خدعة السلاسة" (تنظيم التدرج - Gradient Regularization)

أضاف المؤلفون قاعدة خاصة لجعل سلوك الذكاء الاصطناعي "سلسًا".

التشبيه: تخيل قيادة سيارة. إذا أدرت عجلة القيادة درجة واحدة، ستنعطف السيارة قليلاً. وإذا أدرتها 10 درجات، ستنعطف كثيراً. لكن إذا كانت السيارة "مهتزة"، فإن تدوير العجلة درجة واحدة قد يجعل السيارة تنحرف عن السيطرة.
الحل: يتم تدريب الذكاء الاصطناعي ليكون "سلسًا". إذا تحرك العدو قليلاً، يتغير رد فعل الذكاء الاصطنا_ي بشكل طفيف. إنه لا يبالغ في رد الفعل تجاه الأخطاء الصغيرة في تخميناته، مما يجعل النظام قوياً وموثوقاً حتى عندما لا تكون "شبكة الهمس" مثالية.

النتائج: من الفائز؟

اختبر الباحثون هذا النظام في ثلاثة سيناريوهات:

حجر-ورقة-مقص: لعبة ضخمة تضم آلاف اللاعبين. تعلم الذكاء الاصطنا_ي التوازن الرياضي المثالي فوراً، بينما فشلت الطرق الأخرى.
ساحة المعركة: شبكة حيث تهاجم الفرق وتدافع. تعلم الذكاء الاصطناعي كيفية تشكيل "تحالفات" (مجموعات من الوكلاء) للتغلب على العدو، تماماً مثل جيش حقيقي، دون أن يُطلب منه ذلك.
علم الأوبئة: محاكاة حيث يمثل أحد الفريقين فيروساً والآخر سكاناً أصحاء. تعلم الذكاء الاصطناي "الانتشار" لتجنب العدوى، محاكياً السلوك البشري الحقيقي أثناء الجوائح.

الخلاصة

تتعلق هذه الورقة بتعليم الذكاء الاصطناي كيفية إدارة الحشود الضخمة دون أن يصاب بصداع. من خلال النظر إلى "الصورة الكبيرة" (الحشد) بدلاً من "الصورة الصغيرة" (الأفراد)، ومن خلال استخدام "شبكة همس" ذكية لتخمين ما يفعله الخصم، يمكن للذكاء الاصطناي تنسيق آلاف الوكلاء للفوز في ألعاب تنافسية معقدة.

إنه الفرق بين محاولة قيادة أوركسترا عبر الصراخ في وجه كل عازف على حدة، وبين قيادتها عبر التلويح بعصا المايسترو التي توجه القسم بأكمله في آن واحد.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم سلوكيات الفرق التنافسية واسعة النطاق باستخدام تفاعلات المجال المتوسط ونمذجة الخصم عبر الإنترنت."

1. بيان المشكلة

تعالج الورقة تحديات القابلية للتوسع في التعلم التعزيزي متعدد الوكلاء (MARL) عند تطبيقه على مجموعات كبيرة من الوكلاء المشاركين في سيناريوهات مختلطة من التعاون والتنافس (تحديداً ألعاب الفرق ذات المجموع الصفري).

عنق الزجاجة: تعاني خوارزميات MARL التقليدية (مثل MADDPG وMAPPO) من "لعنة الأبعاد" مع زيادة عدد الوكلاء ( $N$ )، ويرجع ذلك أساساً إلى اعتمادها على فضاءات العمل المشتركة أو ملاحظات الحالة الكاملة التي تتزايد أسياً.
الفجوة: بينما توفر نظرية المجال المتوسط (Mean-Field - MF) حلاً من خلال تقريب تفاعلات الوكلاء عبر توزيعات السكان (الحدود المستمرة)، فإن أطر المجال المتوسط الحالية تقتصر إلى حد كبير على الإعدادات إما التعاونية بالكامل (التحكم في المجال المتوسط) أو التنافسية البحتة (ألعاب المجال المتوسط). وهي تواجه صعوبة في التعامل مع ألعاب فرق المجال المتوسط ذات المجموع الصفري (ZS-MFTGs)، حيث يجب على الوكلاء التعاون داخلياً ضمن فريق واحد بينما يتنافسون ضد فريق مقابل.
القيود العملية: يتطلب النشر في العالم الحقيقي:
1. التدريب على محاكيات ذات تعداد سكاني محدود (لا تعتمد على أوراكل التعداد اللانهائي).
2. التعامل مع الملاحظة الجزئية، حيث لا تستطيع الفرق الوصول مباشرة إلى التوزيع السكاني الدقيق للخصم ويجب عليها تقديره.

2. المنهجية: MF-MAPPO

يقترح المؤلفون MF-MAPPO (تحسين السياسة القريبة لمتعدد الوكلاء بالمجال المتوسط)، وهي خوارزمية مبتكرة مصمم لتوسيع النطاق ليشمل آلاف الوكلاء مع الحفاظ على ضمانات التقارب.

البنية الأساسية

الممثل والناقد المشترك لكل فريق: بدلاً من الشبكات الفردية لكل وكيل، يستخدم MF-MAPPO ممثلاً مشتركاً واحداً وناقداً مشتركاً واحداً لكل فريق.
- الممثل المشترك (Shared Actor): يتعلم سياسة متطابقة $\phi$ لجميع الوكلاء داخل الفريق. تتضمن المدخلات الحالة المحلية للوكيل وتوزيعات المجال المتوسط (MF) المرصودة/المقدرة لكلا الفريقين.
- الناقد ذو المعلومات الدنيا (Minimally-Informed Critic): ابتكار رئيسي. يقيم الناقد دالة القيمة $V(\mu, \nu)$ $V (μ, ν)$ بناءً فقط على المعلومات المشتركة (توزيعات المجال المتوسط $\mu$ $μ$ و $\nu$ $ν$ )، متجاهلاً حالات الوكلاء الفردية.
  - التبرير النظري: بموجب افتراض السياسات المتطابقة للفريق والديناميكيات ضعيفة الاقتران، تعتمد مكافأة الفريق فقط على التوزيعات السكانية. وهذا يسمح للناقد بتجاهل بيانات الوكيل الخاصة، مما يقلل الأبعاد بشكل كبير ويحافظ على الخصوصية.
نموذج التدريب: يتم تدريب الخوارزمية مباشرة على محاكيات ذات تعداد سكاني محدود. وهي تستفيد من النتيجة النظرية التي تنص على أن السياسات المتطابقة المثلى في التعدادات السكانية المحدودة تتقارب مع السياسات المثلى للحد اللانهائي للسكان عندما $N \to \infty$ (مع حد خطأ قدره $O(1/\sqrt{N})$ ).

التعامل مع الملاحظة الجزئية: D-PC والتنظيم المتدرج

في السيناريوهات التي يكون فيها توزيع المجال المتوسط للخصم غير معروف، تقدم الورقة آليتين:

التدريب المنظم بالتدرج (Gradient-Regularized Training): لضمان المتانة ضد أخطاء التقدير، يتم تدريب السياسة باستخدام عقوبة التدرج (تنظيم ليبشيتز). يضمن ذلك أن الأخطاء الصغيرة في توزيع المجال المتوسط المقدر تؤدي فقط إلى تغييرات طفلو في توزيع إجراءات الوكيل، مما يمنع الفشل الكارثي.
الإجماع المسقط الديناميكي (D-PC): خوارزمية تقدير لامركزية للوكلاء لتقدير توزيع المجال المتوسط للخصم بشكل تعاوني.
- يشارك الوكلاء التقديرات مع جيرانهم عبر رسم بياني للاتصال.
- خطوة الإسقاط (Projection Step): بعد حساب المتوسط، يتم إسقاط التقديرات على مجموعة قيود محدبة تحافظ على المعلومات "المعروفة" (الحالات المرئية للوكيل) بينما تقدر الحالات "غير المعروفة".
- يضمن ذلك بقاء التوزيع المقدر صالحاً (مجموعه يساوي 1، وغير سالب) ويتقارب أسياً نحو التوزيع الحقيقي مع زيادة جولات الاتصال.

3. المساهمات الرئيسية

خوارزمية MF-MAPPO: أول خوارزمية قائمة على PPO مصممة خصيصاً لإعدادات المجال المتوسط المختلطة (تعاونية-تنافسية). وهي تتوسع بكفاءة لتشمل آلاف الوكلاء باستخدام ممثل مشترك وناقد ذي معلومات دنيا.
الضمانات النظرية:
- تثبت أن السياسات المتعلمة في التعدادات السكانية المحدودة هي مثالية بنسبة $\epsilon$ للعبة الأصلية، حيث $\epsilon = O(1/\sqrt{N})$ .
- توضح أن تدرجات السياسة في التعدادات السكانية المحدودة تتقارب مع حد التعداد اللانهائي.
- تثبت أن السياسات المدربة على تعدادات سكانية أصغر تعمم على تعدادات سكانية أكبر (النظرية 3).
إطار التقدير اللامركزي (D-PC): خوارزمية إجماع مبتكرة لنمذجة الخصم في بيئات الملاحظة الجزئية تضمن الصلاحية والتقارب الأسي، وتتفوق على المقدرات الحالية تحت اتصالات محدودة.
معيار MFEnv: إنشاء منصة محاكاة ومجموعة معايير (حجر-ورقة-مقص المقيد، ساحة المعركة، والوبائيات) مصممة خصيصاً لتقييم ألعاب فرق المجال المتوسط واسعة النطاق.

4. النتائج التجريبية

قيم المؤلفون MF-MAPPO مقابل خطوط الأساس بما في ذلك DDPG-MFTG و MF-IPPO و MAPPO-PS و MAPPO-CC عبر ثلاث بيئات:

حجر-ورقة-مقص المقيد (cRPS):
- النتيجة: تقارب MF-MAPPO نحو توازن ناش التحليلي ( $-1/3$ ) بشكل أسرع وأكثر استقراراً من DDPG-MFTG الذي تباعد.
- الكفاءة: حقق MF-MAPPO كفاءة عينة وسرعة تدريب فائقتين بسبب تقليل أبعاد الناقد.
لعبة ساحة المعركة (عالم الشبكة - Grid World):
- السيناريو: وكلاء اللون الأزرق يهاجمون هدفاً؛ وكلاء اللون الأحمر يدافعون. يمكن تعطيل الوكلاء إذا تم حصارهم في خلية واحدة.
- النتيجة: أظهرت فرق MF-MAPPO سلوكيات معقدة وغير متجانسة (مثل تشكيل تحالفات، وتقسيم القوات) رغم استخدام سياسات متطابقة. وقد تفوقوا على جميع الخطوط المرجعية في المواجهات المباشرة.
- القابلية للتوسع: نجحت السياسات المدربة على $N=100$ وكيل في الانتقال إلى $N=1500$ دون إعادة تدريب، مما يؤكد صحة النظرية 3.
علم الأوبئة (نموذج SIS):
- السيناريو: الوكلاء باللون الأحمر (الفيروس) يصيبون الوكلاء باللون الأزرق؛ الوكلاء باللون الأزرق يبحثون عن المستشفيات.
- النتيجة: تعلمت الخوارزمية استراتيجيات بديهية: انتشر الوكلاء الزرقاء لتجنب العدوى (تخفيف الازدحام)، بينما تتبع وكلاء اللون الأحمر المستشفيات وأحاطوا بها.
الملاحظة الجزئية (D-PC):
- تحت جولات اتصال محدودة ( $R_{com}$ )، تفوق D-PC بشكل كبير على المقدر المرجعي (الذي يفترض تقديرات موحدة للحالات غير المرصودة).
- حتى مع وجود اتصالات مشوشة، حافظت السياسات المنظمة بالتدرج على الأداء ضمن نطاق سماحية 5%، مما أظهر متانة عالية.

5. الأهمية والأثر

الربط بين النظرية والتطبيق: نجح هذا العمل في سد الفجوة بين ألعاب المجال المتوسط النظرية (التي تتطلب غالباً "أوراكل" لانهائي) والنشر العملي في الأنظمة المحدودة واسعة النطاق.
القابلية للتوسع: من خلال فصل الناقد عن حالات الوكلاء الفردية، تتغلب الطريقة على حاجز الأبعاد، مما يتيح تطبيقات MARL في مجالات تضم آلاف الوكلاء (مثل الروبوتات السربية، محاكاة الدفاع واسعة النطاق، والتحكم في حركة المرور).
المتانة في البيئات العدائية: يوفر الجمع بين تنظيم التدرج و D-PC إطاراً متيناً للفرق التنافسية التي تعمل بمعلومات ناقصة، وهو مطلب حيوي للذكاء الاصطنا_العدائي في العالم الحقيقي.
التباين الناشئ: توضح الورقة أن السياسات "المتطابقة" (نفس الأوزان لجميع الوكلاء) يمكن أن تولد سلوكيات فريق غنية وغير متجانسة عندما تكون مشروطة بتوزيعات السكان، مما يتحدى الفكرة القائلة بأن السياسات المتطابقة تؤدي إلى نتائج متجانسة وغير مثالية.

باختصار، تقدم هذه الورقة إطاراً قابلاً للتوسع، ذا أساس نظري، ومتيناً عملياً لتدريب الفرق التنافسية واسعة النطاق، مما يحل العوائق الرئيسية المتعلقة بالقابلية للتوسع، والملاحظة الجزئية، ونمذجة الخصم.