Decoding fairness: a reinforcement learning perspective

ملخص تقني: فك رموز العدالة: منظور التعلم التعزيزي

بيان المشكلة
تُعد "لعبة الألتيماتوم" (Ultimatum Game - UG) نموذجاً أساسياً لفهم ظهور العدالة. وبينما تتوقع الاقتصاديات الكلاسيكية، التي تعتمد على فرضية "الإنسان الاقتصادي" (Homo economicus)، أن الوكلاء العقلانيين والمصلحيين سيقترحون الحد الأدنى من العرض الممكن وسيقبلون أي عرض غير صفري (مما يؤدي إلى عدم مساواة شديدة)، تُظهر التجارب السلوكية باستمرار أن البشر يفضلون التقسيمات العادلة (عادةً 40-50%) ويرفضون العروض المنخفضة. وتعتمد التفسيرات النظرية القائمة لهذا التباين بشكل كبير على إطار تعلم التقليد، الذي يعزو العدالة إلى عوامل خارجية مثل هيكل السكان، أو السمعة، أو الحقد، أو التعاطف. تبحث هذه الورقة فيما إذا كان من الممكن لظهور العدالة أن ينبع حصرياً من عوامل داخلية ضمن نموذج التعلم التعزيزي (RL)، حيث يقوم الوكلاء بتحسين استراتيجياتهم من خلال التأمل الذاتي والتفاعل مع بيئتهم بدلاً من تقليد أقرانهم الناجحين.

المنهجية
يعمد المؤلفون إلى نمذجة سيناريو لعبة الألتيماتوم بين لاعبين باستخدام التعلم بالـ Q (Q-learning)، وهو خوارزمية تعلم تعزيزي قياسية.

• بنية الوكيل: يتم تخصيص جدولين متميزين من نوع Q لكل لاعب: أحدهما لدور المقترح (Proposer) والآخر لدور المستجيب (Responder).
• فضاء الحالة والعمل:
  • الأفعال: يختار المقترحون من بين ثلاثة عروض ($p_l < 0.5$، $p_m = 0.5$، $p_h > 0.5$)؛ ويختار المستجيبون من بين ثلاثة عتبات قبول ($q_l, q_m, q_h$).
  • الحالات: يتكون فضاء الحالات من تسع تركيبات ($S = \{s_1, ..., s_9\}$) تمثل أزواج الأفعال في الجولة السابقة.
• ديناميكيات التعلم:
  • يقوم الوكلاء بتحديث قيم Q باستخدام معادلة بيلما (Bellman equation): $Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$.
  • $\alpha$ (معدل التعلم): يتحكم في وزن الخبرة الحالية؛ حيث يعني $\alpha$ المرتفع "النسيان"، بينما يعني $\alpha$ المنخفض "الاحتفاظ بالخبرة التاريخية".
  • $\gamma$ (عامل الخصم): يتحكم في وزن المكافآت المستقبلية؛ حيث يعني $\gamma$ المرتفع "الرؤية طويلة المدى"، بينما يعني $\gamma$ المنخفض "قصر النظر".
  • الاستكشاف: يستكشف الوكلاء أفعالاً عشوائية باحتمالية $\epsilon$ ويستغلون أعلى قيمة Q في الحالات الأخرى.
• المقاييس: تتبع الدراسة الكسور المستقرة للعروض وعتبات القبول، وتراقب تحديداً انتشار الخيار العادل ($p_m, q_m$) مقابل الخيار العقلاني ($p_l, q_l$).

النتائج الرئيسية

1. ظهور العدالة عبر العوامل الداخلية: تظهر العدالة بشكل بارز عندما يمتلك الوكلاء كلاً من معدلات تعلم منخفضة ($\alpha$، التي تثمن الخبرة التاريخية) وعوامل خصم عالية ($\gamma$، التي تثمن المكافآت المستقبلية). في هذا النطاق من المعلمات، يستقر النظام مع احتمالية عالية للعروض العادلة ($p_m$) وعتبات القبول العادلة ($q_m$).
2. آلية تطورية ثنائية المراحل:
   • المرحلة الأولى (التوصل إلى صفقات): بدءاً من التكوينات العشوائية، يتم استبعاد الاستراتيجيات التي تؤدي إلى فشل الصفقات (مثل العروض المرتفعة $p_h$ أو العتبات المرتفعة $q_h$) بسبب انخفاض العوائد. يستقر النظام على ثلاث استراتيجيات ناجة: $(p_m, q_m)$، و$(p_l, q_l)$، و$(p_m, q_l)$.
   • المرحلة الثانية (عملية التفرع): تحدث ديناميكية انتقال حيث تكون الاستراتيجية المختلطة $(p_m, q_l)$ غير مستقرة. يتفرع النظام إلى حالتين مستقرتين: الاستراتيجية العادلة $(p_m, q_m)$ أو الاستراتيجية العقلانية $(p_l, q_l)$. وقد تم تحديد مسار الانتقال كالتالي: $(p_m, q_l) \to (p_l, q_l) \to (p_m, q_m)$.
3. التوافق مع التجارب السلوكية: يعيد النموذج إنتاج الملاحظات التجريبية الرئيسية:
   • تزداد احتمالية نجاح الصفقات مع زيادة العروض.
   • تُرفض العروض التي تقل عن 20% بشكل متكرر (احتمالية رفض تبلغ حوالي 80% في النموذج)، بينما تُقبل العروض بين 45-50% بدرجة عالية.
4. حساسية المعلمات:
   • $\alpha$ و $\gamma$: الوكلاء ذوو $\alpha$ المرتفع (الناسيون) أو $\gamma$ المنخفض (قصيرو النظر) يعودون افتراضياً إلى الاستراتيجية العقلانية غير العادلة.
   • معلمات اللعبة ($l, h$): يؤثر الحد الأدنى للعروض ($l$) بشكل كبير على التوازن؛ فكلما زاد $l$، ارتفت نسبة الاستراتيجيات العقلانية. أما الحد الأعلى ($h$) فله تأثير هامشي.
5. المتانة: يظل ظهور العدالة قائماً عند تغيير تخصيص الأدوار من التدوير إلى العشوائي أو الثابت، وعند تمديد السيناريو إلى مجتمع شبكي (latticed population).

الأهمية والادعاءات
تدعي الورقة أن الدافع الداخلي ضمن نموذج التعلم التعزيزي كافٍ لتفسير ظهور العدالة، مما يجعل العوامل الخارجية (مثل السمعة أو الأعراف الاجتماعية) غير ضرورية لهذا الناتج المحدد. ومن خلال إثبات أن الوكلاء الذين "يقدرون التجارب الماضية" و"يخططون للمكافآت المستقبلية" يتطورون طبيعياً نحو الاستراتيجيات العادلة، تقدم الدراسة منظوراً جديداً يختلف عن إطار تعلم التقليد. وتشير النتائج إلى أن عدالة البشر قد تكون نتيجة لعمليات تعلم تكيفية تهدف إلى تعظيم المكافآت المتراكمة بمرور الوقت، بدلاً من كونها مجرد بناء اجتماعي أو ثقافي. وتخلص الورقة إلى أن الطبيعة التأملية للتعلم التعزيزي توفر تفسيراً جوهرياً لسبب انحراف البشر عن تنبؤات "الإنسان الاقتصادي" في لعبة الألتيماتوم.