Calibrating Artificial Guilt: Neurally Grounded Reward Shaping for Prosocial Multi-Agent Reinforcement Learning

تخيل عالماً لا تكتفي فيه الحواسيب بلعب الألعاب فحسب، بل تتعلم كيف تكون شريكاً جيداً في الفريق. هذا هو مجال التعلم التعزيزي متعدد الوكلاء (Multi-Agent Reinforcement Learning)، وهو فرع من فروع الذكاء الاصطناعي حيث تكتشف البرامج الحاسوبية (الوكلاء) كيفية التعاون من خلال تجربة الأشياء والحصول على نقاط مقابل التحركات الجيدة. عادةً ما يكون هؤلاء الوكلاء أنانيين؛ فهم يهتمون فقط بنقاطهم الخاصة، وإذا استطاعوا خداع شريك للحصول على مكافأة أكبر، فغالباً ما سيفعلون ذلك. ولمنع حد هذا، يحاول العلماء تعليمهم الاهتمام بالآخرين عبر إضافة "مكافأة اجتماعية" إلى رصيدهم. لكن الجزء الصعب يكمن هنا: ما مدى قيمة هذه المكافأة؟ هل يجب أن تكون همساً خافتاً أم صرخة مدوية؟ حتى الآن، كان العلماء يعتمدون في الغالب على التخمين أو تعديل هذه الأرقام يدوياً، آملين أن يعثروا بالصدفة على الرقم الصحيح.

السؤال الكبير الذي يتناوله هذا البحث هو: هل يمكننا التوقف عن التخمين وقياس مقدار شعور البشر بالضبط عندما يخذلون صديقاً؟ لقد نظر المؤلفون في شعور يُسمى الذنب — ذلك الشعور الثقيل في معدتك عندما يؤدي خيارك إلى إيذاء شخص آخر. وتساءلوا عما إذا كان بإمكانهم أخذ "وزن" الذنب البشري، وقياسه في المختبر، ثم منح ذلك الرقم الدقيق للحاسوب ليتعلم الاهتمام بشريكه تماماً كما يفعل الإنسان. إذا نجحوا في ذلك، فقد نتمكن من بناء ذكاء اصطناعي لا يتبع قواعد صارمة فحسب، بل يفهم حقاً التكلفة العاطفية لأفعاله.

---

التجربة: تعليم الروبوتات الشعور بالذنب

في هذه الدراسة، قرر الباحثان، آديتيا ميهتا وآريا شاه، التوقف عن التخمين والبدء في القياس. أرادا معرفة ما إذا كان بإمكانهما "معايرة" الذنب الاصطناعي باستخدام بيانات بشرية حقيقية. فكر في الأمر كضبط جهاز الراديو: بدلاً من تدوير القرص حتى يبدو الصوت مقبولاً، وجدا التردد الدقيق الذي يغني فيه الدماغ البشري أغنية الذنب، ثم ضبطا الروبوت على نفس تلك المحطة.

من أين حصلا على البيانات؟
استخدما مجموعة بيانات عامة تسمى SoDec، والتي تحتوي على صور مسح دماغي وسجلات سلوكية لـ 40 شخصاً حقيقياً. في التجربة الأصلية، لعب هؤلاء الأشخاص لعبة كان عليهم فيها الاختيار بين خيار آمن (مكافأة صغيرة مضمونة) وخيار مخاطر (رمية عملة قد تعطي مكافأة كبيرة أو لا شيء). في بعض الأحيان لعبوا لأنفسهم، وفي أحيان أخرى لعبوا لأنفسهم ولشريك.

نظر الباحثان في لحظة محددة: عندما يختار الشخص الخيار "المخاطر"، وينتهي الأمر بالشريك بنتيجة سيئة. سأل الباحثون: بكم تنخفض سعادة الشخص لأنه يشعر بالمسؤولية عن سوء حظ شريكه؟ ومن خلال تحليل البيانات، حسبوا رقماً محدداً يمثل "وزن الذنب" هذا. ووجدا أنه مقابل كل وحدة من سوء الحظ التي يعاني منها الشريك، تنخفض سعادة الشخص بمعامل قدره 1.118.

لعبة الروبوت
بعد ذلك، بنيا بيئة رقمية تسمى اليانصيب الاجتماعي (Social Lottery). وضعا وكيلين من الذكاء الاصطناعي (باستخدام طريقة تعلم ذكية تسمى PPO) في هذه اللعبة. كان على الوكلاء اتخاذ نفس الخيارات (آمن مقابل مخاطر). واختبر الباحثون أربع طرق مختلفة لتعليم الوكلاء:

1. الروبوت الأناني: لا يوجد ذنب على الإطلاق. يهتم فقط بنقاطه الخاصة.
2. روبوت التخمين: لديه عقوبة ذنب، لكن الرقم كان مجرد تخمين عشوائي (0.5).
3. الروبوت "المثالي": لديه عقوبة ذنب قدرها 1.0 تماماً، وهو رقم مرتب ومعياري يستخدمه العلماء غالباً.
4. الروبوت المقاس بشرياً (NeuroGuilt): استخدم هذا الروبوت الرقم الدقيق المستمد من بيانات الدماغ البشري: 1.118.

ماذا حدث؟
بعد ترك الروبوتات تلعب 20,000 جولة من اللعبة، كانت النتائج مذهلة.

• الروبوت الأناني كان كارثة للعمل الجماعي. فقد اختار الخيار "المخاطر" في معظم الأوقات (10% فقط من الخيارات كانت آمنة)، متجاهلاً سلامة شريكه تماماً.
• روبوت التخمين كان أفضل قليلاً ولكنه لم يكن مهتماً جداً.
• الروبوت "المثالي" (بالرقم المرتب 1.0) كان جيداً، لكنه لم يطابق سلوك البشر تماماً.
• الروبوت المقاس بشرياً (NeuroGuilt) كان نجم العرض. فقد اختار الخيار الآمن بنسبة 45.9% من المرات.

لماذا يعد هذا أمراً هاماً؟
قارن الباحثون خيارات الروبوتات بالخيارات الفعلية التي اتخذها الـ 40 شخصاً في الدراسة الأصلية. اختار البشر الخيار الآمن بنسبة 48.4% من المرات.

كان الروبوت المقاس بشرياً قريباً بشكل لا يصدق من السلوك البشري. وكان الفرق بين خيارات الروبوت وخيارات البشر ضئيلاً للغاية (مسافة رياضية تسمى تباعد KL قدرها 0.0012). بالمقارنة، كانت الروبوتات الأخرى بعيدة جداً، بفروق أكبر بمئات المرات.

والأكثر إثارة للاهتمام، أن "الروبوت المثالي" استخدم رقم ذنب قدره 1.0، بينما استخدم "الروبوت المقاس بشرياً" الرقم 1.118. قد تعتقد أن الرقم الأكبر يعني عقوبة أقوى وسلوكاً أفضل، لكن هذا لم يكن هو الحال هنا. فالروبوت ذو الرقم الأكبر قليلاً (1.118) ارتكب أخطاء أقل وشعر بـ "كتلة عقوبة ذنب" أقل إجمالاً لأنه اختار المسار الآمن بشكل أكثر تكراراً. وهذا يثبت أن الأمر لا يتعلق بمجرد وجود عقوبة، بل بامتلاك القدر الصحيح من العقوبة، المعاير بدقة وفقاً لما يشعر به البشر فعلياً.

الخلاصة

يشير هذا البحث إلى أننا لسنا بحاجة لابتكار قواعد جديدة للذكاء الاصطناعي ليكون أخلاقياً. بدلاً من ذلك، يمكننا النظر في كيفية شعور البشر فعلياً عندما يخذلون شخصاً ما، وقياس ذلك الشعور، ونسخه مباشرة في الآلة. من خلال استخدام رقم مشتق من الأدمغة البشرية الحقيقية (1.118)، تعلم الذكاء الاصطناعي الاهتمام بشريكه تماماً كما يفعل البشر.

يؤكد الباحثون بحذر أن هذه مجرد محاكاة، وأن البيانات البشرية أظهرت تأثيراً "صغيراً إلى متوسط" لم يكن مثالياً إحصائياً بمفرده. ومع ذلك، فإن النتيجة هي إشارة قوية: إذا أردنا للذكاء الاصطناعي أن يتوافق مع القيم البشرية، فعلينا التوقف عن تخمين الأرقام والبدء في قياس التجربة البشرية الكامنة وراءها. إنها خطوة نحو بناء ذكاء اصطناعي لا يحسب أفضل حركة فحسب، بل يفهم ثقل خياراته.