Learning to Negotiate: Multi-Agent Deliberation for Collective Value Alignment in LLMs
تقدم هذه الورقة إطار عمل للتفاوض متعدد الوكلاء يدرب النماذج اللغوية الكبيرة على التوافق مع الوكالة الجماعية وحل صراعات القيم من خلال المداولة عبر اللعب الذاتي المُحسّنة بواسطة التعلم المعزز من التغذية الراجعة للنماذج اللغوية الكبيرة (RLAIF) باستخدام خوارزمية (GRPO)، مما يظهر قدرات محسنة في حل الصراعات دون المساس بالأداء اللغوي العام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً ومهذباً للغاية. في الوقت الحالي، قمنا بتعليم هذا الروبوت كيف يكون "جيداً" عبر إظهار أمثلة على السلوك المساعد، والصادق، وغير الضار. الأمر يشبه تعليم طفل قول "من فضلك" و"شكراً لك". هذا يعمل بشكل رائع عندما يجيب الروبوت على أسئلة شخص واحد فقط.
ولكن ماذا يحدث عندما يتعين على الروبوت مساعدة مجموعة كاملة من الأشخاص الذين يختلفون مع بعضهم البعض؟
تخيل عشاءً عائلياً حيث:
- الأب يريد توفير المال وتناول بيتزا رخيصة.
- الأم تريد مأدبة صحية وعضوية.
- الجدة تريد طهي وصفتها التقليدية، حتى لو استغرق الأمر يوماً كاملاً.
- المراهق يريد فقط طلب السوشي.
إذا سألت روبوتاً عادياً، فقد يختار فكرة شخص واحد فقط (عادةً أول شخص سمعه) أو يعطي إجابة غامضة مثل: "لنكن جميعاً سعداء". هو لا يعرف كيف يتفاوض فعلياً للوصول إلى حل يشعر فيه الجميع بأنهم مسموعون ويحصلون على شيء ما.
تقدم هذه الورقة البحثية طريقة جديدة لتدريب الروبوتات على التعامل مع هذه المواقف الفوضوية والمتضاربة. ويسمونها "تعلم التفاوض" (Learning to Negotiate).
الفكرة الكبرى: نادي المناظرة للروبوت
بدلاً من تعليم الروبوت مجرد إعطاء إجابة واحدة "صحيحة"، علمه الباحثون كيف يدير محادثة مع نفسه لإيجاد حل وسط.
إليك كيف فعلوا ذلك، باستخدام تشبيه بسيط:
1. لعبة "اللعب الذاتي" (المواجهة مع المرآة)
تخيل الروبوت كلاعب شطرنج. عادةً، يلعب ضد إنسان. لكن هنا، جعل الباحثون الروبوت يلعب ضد نسخة مجمدة من نفسه.
- الروبوت (أ) تم تعيين شخصية له: "مدير الميزانية الصارم".
- الروبوت (ب) تم تعيين شخصية له: "محب للرفاهية".
يُجبران على الجلوس إلى طاولة والتحدث. عليهما الدفاع عن وجهات نظرهما، والاستماع لبعضهما البعض، ومحاولة إيجاد خطة ترضي كلاً من الميزانية والرغبة في الرفاهية. إنهما لا يصرخان فحسب؛ بل يحاولان التوصل إلى اتفاق.
2. "بطاقة التقييم" (القاضي)
بعد حديثهما، ينظر "قاضٍ" (ذكاء اصطناعي آخر) إلى خطتهما النهائية.
- هل اتفقا؟ إذا استمرا في الجدال فقط ولم يحلا المشكلة، يحصلان على صفر.
- هل وجدا حلاً يعزز "الوكالة الجماعية" (Collective Agency)؟ هذا مصطلح تقني يستخدمه المؤلفون. فكر فيه كـ "درجة الربح للجميع".
- الحل السيئ هو: "نأكل بيتزا رخيصة، والأم حزينة". (شخص واحد يفوز، والآخر يخسر).
- الحل الجيد لـ "الوكالة الجماعية" هو: "نطلب بضع شرائح بيتزا من أجل الميزانية، ولكن نصنع سلطة منزلية فاخرة من أجل الأم، ونأكل جميعاً معاً". (بهذه الطريقة، يتم توسيع وكالة كل فرد - أي قدرة كل شخص على الحصول على ما يحتاجه).
3. حلقة التدريب (التعلم من الأخطاء)
يلعب الروبوت هذه اللعبة آلاف المرات.
- إذا جادل كثيراً وفشل في الاتفاق، يحصل على "درجة سيئة" (مكافأة سلبية).
- إذا وجد تسوية ذكية ومبدعة تجعل الجميع سعداء، يحصل على "نجمة ذهبية" (مكافأة إيجابية).
مع مرور الوقت، يتعلم الروبوت أن الجدال للأبد أمر سيء، ولكن إيجاد تسوية مبدعة هو أفضل طريقة للفوز.
لماذا يعد هذا أمراً هاماً؟
1. الأمر لا يتعلق فقط بكونه "لطيفاً".
طرق التدريب القديمة علمت الروبوتات أن تكون "مساعدة، وصادقة، وغير ضارة". لكن في العالم الحقيقي، كونك "غير ضار" ليس كافياً. فأحياناً يتعين عليك الاختيار بين شيئين "جيدين" متعارضين (مثل الخصوصية مقابل السلامة). هذه الطريقة الجديدة تعلم الروبوت كيفية التنقل عبر التوتر بين قيمتين جيدتين، بدلاً من مجرد اختيار إحداهما.
2. إنها تشبه جلسة "العلاج الجماعي" للذكاء الاصطناعي.
تظهر الورقة البحثية أنه عندما يتعلم الروبوت التفاوض، فإنه لا يتحسن في الجدال فحسب، بل يصبح أفضل في التفكير. إنه يتعلم دمج وجهات النظر المختلفة في فكرة واحدة أقوى. إنه يشبه مجموعة من الأصدقاء وهم يتبادلون الأفكار: الفكرة النهائية غالباً ما تكون أفضل مما قد يصل إليه أي شخص بمفرده.
3. هذا لا يجعل الروبوت "غبياً".
هناك خوف شائع بأنه إذا علمت الروبوت الجدال، فقد ينسى كيفية إجراء الرياضيات أو اتباع التعليمات. اختبر الباحثون هذا، وظل الروبوت بارعاً في الرياضيات والمنطق كما كان من قبل. لقد اكتسب فقط قوة خارقة جديدة: الدبلوماسية.
المثال الواقعي من الورقة البحثية
تقدم الورقة مثالاً رائعاً: معالج لديه عميل يعترف بارتكاب جريمة، لكن هناك شخصاً بريئاً آخر مسجون حالياً بسببها.
- القاعدة (أ): الحفاظ على سرية المريض (عدم إخبار أي شخص).
- القاعدة (ب): تحقيق العدالة للشخص البريء (قول الحقيقة).
الروبوت العادي قد يقول: "لا يمكنني كسر السرية"، أو "يجب أن أخبر الشرطة"، فيختار جانباً واحداً ويتجاهل الآخر.
الروبوت المدرب على التفاوض يجد طريقاً ثالثاً: "دعنا نشجع العميل على الاعتراف طواعية للسلطات. بهذه الطريقة، يتحمل العميل المسؤولية (الحفاظ على وكالته)، ويتحرر الشخص البريء (العدالة)، ولم يقم المعالج بانتهاك الثقة قسراً (الحفاظ على العلاقة)".
الخلاصة
تشير هذه الورقة إلى أنه لجعل الذكاء الاصطناعي مفيداً حقاً في عالمنا المعقد والمنقسم، لا ينبغي لنا فقط تعليمه أن يكون خادماً مطيعاً. يجب أن نعلمه كيف يكون دبلوماسياً.
من خلال تدريبهم على التفاوض مع أنفسهم، نحن نبني ذكاءً اصطناعياً يمكنه مساعدتنا في حل صراعاتنا البشرية، وإيجاد حلول يشعر فيها الجميع بأنهم مسموعون وأكثر حرية ولو قليلاً. إنها خطوة نحو ذكاء اصطناعي لا يكتفي فقط بالإجابة على أسئلتنا، بل يساعدنا في تحديد ما يجب أن نفعله معاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.