Altruism and Fair Objective in Mixed-Motive Markov games

ملخص تقني: الإيثار والهدف العادل في ألعاب ماركوف ذات الدوافع المختلطة

1. بيان المشكلة

في الأنظمة متعددة الوكلاء (MAS)، يعد التعاون أمراً ضرورياً للرفاهية الجماعية. ومع ذلك، غالباً ما يواجه الوكلاء معضلات اجتماعية (مثل معضلة السجين، ومأساة المشاع)، حيث تؤدي العقلانية الفردية (الخيانة من أجل الربح الشخصي) إلى فشل جماعي ونتائج غير عادلة.

تعتمد توجهات تعلم الآلة متعدد الوكلاء (MARL) الحالية عادةً على هدف الرفاهية النفعية (تعظيم مجموع مكافآت جميع الوكلاء). ورغم كفاءة هذا النهج نظرياً، إلا أنه غالباً ما يؤدي إلى عدم مساواة شديدة، حيث يجني عدد قليل من الوكلاء جميع الفوائد بينما يتحمل الآخرون التكاليف. حدد المؤلفون فجوة حرجة: فالطرق الحالية لتعزيز العدالة غالباً ما تعتمد على البيئة، وتكافئ السلوك اللحظي بدلاً من المسارات طويلة الأمد، وتفتقر إلى أساس تحليلي عميق في تدرجات السياسة (policy gradients).

2. المنهجية

يقترح البحث إطار عمل جديد يستبدل الهدف النفعي بـ العدالة النسبية (PF)، وهو مفهوم من تخصيص الموارد يوازن بين الكفاءة والإنصاف من خلال تعظيم مجموع لوغاريتمات المنفعة.

تشمل الخطوات المنهجية الرئيسية ما يلي:

• إعادة تعريف الألعاب الإيثارية: وسع المؤلفون مفهوم الإيثار من نوع $\alpha$-altruism لاستيعاب الطبيعة اللوغاريتمية للعدالة النسبية. وقد عرفوا "منفعة إيثارية عادلة" لكل وكيل $i$ كالتالي:
  $$u_i(s) = (1 - \alpha) \log(p_i(s) - m_p) + \alpha SW(s)$$
  حيث $m_p$ هو عائد أساسي لضمان الإيجابية، و$SW(s)$ هو الرفاه الاجتماعي.
• لعبة ماركوف الإيثارية العادلة: تم توسيع إطار العمل ليشمل اتخاذ القرار المتسلسل. عرف المؤلفون دالة هدف جديدة $J_i(\boldsymbol{\theta})$ لكل وكيل، وهي عبارة عن مجموع مرجح لدالة القيمة اللوغاريتمية الخاصة به ودوال القيم اللوغاريتمية لجميع الوكلاء الآخرين، والموزونة بمعامل الإيثار $\alpha$.
• اشتقاق تدرج السياسة: اشتق المؤلفون نظرية تدرج السياسة العادلة. وقد أثبتوا أن تدرج هذا الهدف الجديد يمكن حسابه باستخدام دالة ميزة إيثارية عادلة (Fair Altruistic Advantage function)، مما يسمح بتطوير خوارزميات Actor-Critic (وهي Fair MAA2C و Fair MAPPO).

3. المساهمات الرئيسية

1. الإطار النظري: جسر رياضي بين العدالة النسبية والإيثار ضمن صياغة لعبة ماركوف.
2. الشروط التحليلية: اشتقاق العتبة الدقيقة لـ $\alpha$ المطلوبة لجعل التعاون المتبادل توازناً لـ "ناش" (Nash Equilibrium) في المعضلات الاجتماعية الكلاسيكية (معضلة السجين، وصيد الوعل، ومعضلة الدجاج).
3. خوارزميات جديدة: اشتقاق نظريات تدرج سياسة جديدة وتنفيذ خوارزميات Actor-Critic العادلة.
4. التحقق التجريبي: دراسة مقارنة تظهر أن أهداف العدالة النسبية يمكن أن تتفوق على الأهداف النفعية من حيث الكفاءة والإنصاف معاً.

4. النتائج

قيم المؤلفون منهجهم في بيئة 'CleanUp' (من Melting Pot 2.0)، وهي معضلة اجتماعية لإدارة الموارد حيث يجب على الوكلاء الموازنة بين حصاد التفاح (سلوك أناني) وتنظيف النهر (سلوك تعاوني).

• الكفاءة مقابل الإنصاف: في الإعداد التعاوني الكامل ($\alpha=1$)، تفوقت دالة العدالة النسبية (PF) بشكل كبير على دالة الرفاهية النفعية (UW). أدى نهج الرفاهية النفعية إلى فخ "التخصص" حيث قام عدد قليل فقط من الوكلاء بالحصاد بينما لم يفعل الآخرون شيئاً، مما أدى إلى مكافآت إجمالية منخفضة وعدم مساواة مرتفع (معامل جيني $\approx 0.8$). في المقابل، حققت العدالة النسبية مكافآت إجمالية أعلى وعدم مساواة أقل بكثير.
• الإيثار الأمثل: باستخدام Fair-MAPPO، وجد المؤلفون أن مستوى متوسط من الإيثار ($\alpha = 0.7$) حقق أفضل النتائج.
  • إذا كان $\alpha$ مرتفعاً جداً (1.0)، فقد يقع الوكلاء في فخاخ تعاونية دون المستوى الأمثل.
  • إذا كان $\alpha$ منخفضاً جداً (0.2)، يصبح الوكلاء أنانيين للغاية بحيث لا يمكنهم الحفاظ على البيئة (النهر)، مما يؤدي إلى انهيار الموارد.
• الاستقرار: بينما أظهر Fair-MAA2C تبايناً عالياً/عدم استقرار (وهو أمر شائع في A2C)، أظهر Fair-MAPPO منحنيات تعلم مستقرة مع معاملات جيني منخفضة (0.05 إلى 0.2)، مما يشير إلى توزيعات عادلة للغاية.

5. الأهمية

ينقل هذا البحث نموذج التعاون متعدد الوكلاء من "تعظيم حجم الفطيرة الإجمالي" إلى "تعظيم التوزيع العادل للفطيرة". ومن خلال إثبات أن العدالة النسبية يمكن أن تزيد بالفعل من الكفاءة الإجمالية في المجموعات غير المتجانسة، يقدم المؤلفون أساساً رياضياً لتصميم أنظمة ذكاء اصطنا-عي أكثر استقراراً واستدامة وقبولاً اجتماعياً. وهذا له آثار عميقة على التطبيقات الواقعية مثل إدارة المرور الذكية، والشبكات الذكية، والروبوتات التعاونية، حيث يكون الإنصاف بنفس أهمية الأداء.