Combining Tree-Search, Generative Models, and Nash Bargaining Concepts in Game-Theoretic Reinforcement Learning
تقدم هذه الورقة إطار عمل تدريب متعدد الوكلاء، قابل للتوسع وعام، يجمع بين بحث شجرة مونت كارلو مع النماذج التوليدية العميقة المتعلمة (الاستجابة المثلى التوليدية) ومفاهيم تفاوض ناش، لأتمتة نمذجة الخصم والتفاوض، مما يمكّن الوكلاء من تحقيق مستويات رفاهية اجتماعية ودرجات تفاوض تضاهي المستوى البشري في ألعاب المعلومات الناقصة مثل لعبة "Deal-or-No-Deal".
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير في سوق ضخم وفوضوي حيث يحاول الجميع إبرام صفقات، لكن لا أحد يعرف بالضبط ما يريده الآخر. بعض الناس يخفون تفضيلاتهم الحقيقية، والقواعد معقدة. هذا هو عالم ألعاب المعلومات الناقصة، مثل البوكر أو المفاوضات المعقدة.
لفترة طويلة، حاول باحثو الذكاء الاصطناعي بناء وكلاء "أذكياء" للعب في هذه الأسواق. لكنهم واجهوا مشكلتين كبيرتين:
- مشكلة "الصياغة اليدوية": لجعل الوكيل ذكياً، كان على البشر كتابة قواعد محددة بناءً على خبرتهم الخاصة (على سبيل المثال: "إذا بدا الخصم متوتراً، اعرض سعراً أقل"). هذا الأسلوب لا ينجح إذا كان الخصم غريباً أو إذا كانت اللعبة جديدة تماماً.
- مشكلة "البحث الأعمى": لإيجال أفضل حركة، يحتاج الوكيل إلى تخيل جميع السيناريوهات المستقبلية الممكنة. ولكن في الألعاب ذات المعلومات المخفية، يكون عدد الاحتمالات هائلاً (مثل محاولة عد كل حبة رمل على الشاطئ)، مما يجعل حتى الحواسيب العملاقة تتعثر.
تقدم هذه الورقة البحثية نظاماً جديداً متكاملاً يسمى GenBR (الاستجابة المثلى التوليدية - Generative Best Response) والذي يحل كلتا المشكلتين. إليك كيف يعمل، باستخدام بعض التشبيهات البسيطة.
1. "محرك الخيال" (النماذج التوليدية)
تخيل أنك تلعب لعبة ورق حيث لا يمكنك رؤية يد خصمك. لكي تقوم بحركة جيدة، عليك أن تخمن الأوراق التي قد يمتلكها.
- الطريقة القديمة: تحاول حساب الاحتمال الدقيق لكل مجموعة أوراق ممكنة. الأمر يشبه محاولة حل معادلة رياضية لكل حبة رمل على الشاطئ. إنه أمر بطيء جداً وغالباً ما يكون مستحيلاً.
- الطريقة الجديدة (GenBR): بدلاً من القيام بالعمليات الحسابية، يمتلك الذكاء الاصطناعي "آلة أحلام" (نموذج توليدي). عندما يحين وقت التفكير، يسأل الذكاء الاصطناعي آلة أحلامه: "بناءً على ما رأيته حتى الآن، ما هو السيناريو المرجح لما يحمله خصمي؟"
- تقوم آلة الأحلام فوراً بتخيل بعض السيناريوهات الواقعية (على سبيل المثال: "ربما لديه الآس من نوع السباتي"، أو "ربما يقوم بالخداع"). ثم يخطط الذكاء الاصطناعي لتحركاته بناءً على هذه السيناريوهات المتخيلة. الأمر يشبه لاعب الشطرنج الذي لا يحسب كل حركة، بل يتصور بضعة احتمالات قوية ويلعب بناءً عليها.
2. "المحاكي الذهني" (البحث + التعلم التعزيزي)
بمجرد أن يتخيل الذكاء الاصطناعي بضعة سيناريوهات، فإنه يحتاج لمعرفة أفضل حركة.
- فكر في هذا كـ مدرب خارق. يقوم الذكاء الاصطناعي بإجراء محاكاة ذهنية (بحث) حيث يلعب اللعبة آلاف المرات في عقله، مجرباً حركات مختلفة ضد الخصوم "المتخيلين".
- يتعلم من هذه المحاكاة تماماً كما يتعلم البشر من لعب مباريات تدريبية. ومع مرور الوقت، يصبح أفضل في اكتشاف الحركات التي تعمل بشكل أفضل ضد أنواع معينة من الخصوم.
3. "دوجو التطور" (PSRO)
كيف يتعلم الذكاء الاصطناعي تخيل السيناريوهات الصحيحة ولعب الحركات الصحيحة في المقام الأول؟
- وضع الباحثون الذكاء الاصطناعي في "دوجو ذهني" (يسمى PSRO).
- في هذا الدوجو، يقاتل الذكاء الاصطناعي ضد حشد كامل من النسخ المختلفة من نفسه.
- بعض النسخ هجومية.
- بعضها تعاوني.
- وبعضها مخادع.
- يتعلم الذكاء الاصطناعي كيف يتكيف. إذا قاتل خصماً هجومياً، فإنه يتعلم أن يكون دفاعياً. وإذا قاتل خصماً تعاونياً، فإنه يتعلم أن يكون ودوداً.
- والأهم من ذلك، أن الذكاء الاصطناعي لا يتعلم فقط لهزيمة خصم واحد؛ بل يبني مكتبة ذهنية لكيفية تصرف أنواع مختلفة من البشر. وهذا يسمح له بالتعرف فوراً: "آه، هذا الإنسان يتصرف مثل الخصم 'الهجومي' الذي قاتلته بالأمس. أنا أعرف كيف أتعامل معه!"
4. "المفاوض العادل" (نظرية التفاوض)
اختبر الباحثون هذا النظام في لعبة تسمى "Deal or No Deal" (صفقة أم لا)، حيث يحاول شخصان تقسيم كومة من العناصر (مثل الكتب، القبعات، وكرات السلة) التي يرغب كلاهما فيها ولكن بقيم متفاوتة لكل منهما.
- لم يكن الهدف هو الفوز فحسب؛ بل كان إيجاد صفقة تجعل كلا الشخصين سعيدين (الرفاه الاجتماعي).
- علم الباحثون الذكاء الاصطناعي مفهوماً يسمى "تفاوض ناش" (Nash Bargaining). فكر في هذا كـ "القاعدة الذهبية" للتفاوض: ابحث عن صفقة لا يشعر فيها أي من الطرفين بأنه تعرض للاستغلال، ويتم فيها تعظيم السعادة الإجمالية.
- تعلم الذكاء الاصطناعي كيفية التعامل مع الرياضيات المعقدة للعدالة تلقائياً، دون أن يتم إخباره بقواعد محددة حول العدالة.
النتائج: هزيمة البشر في لعبتهم الخاصة
اختبر الباحثون وكلاء الذكاء الاصطناعي هؤلاء ضد بشر حقيقيين.
- النتيجة: كانت وكلاء الذكاء الاصطناعي بارعين تماماً مثل البشر الذين يتفاوضون مع بشر آخرين.
- المفاجأة: لم يكتفِ وكيل الذكاء الاصطناعي "العادل" بالفوز فحسب، بل أبرم صفقات جعلت كلاً من الإنسان والذكاء الاصطناعي يخرجون سعداء. لقد حقق نفس مستوى "الرفاه الاجتماعي" (السعادة الإجمالية) الذي حققه بشر يتفاوضون مع بعضهم البعض.
- لماذا هذا مهم: هذا يثبت أن الذكاء الاصطناعي يمكنه تعلم فهم النفس البشرية والتفاوض بعدالة دون الحاجة إلى كتابة إنسان لقواعد لكل موقف محتمل. إنه يتعلم من خلال الفعل، والتخيل، والتكيف.
ملخص
باخت-صار، قامت هذه الورقة البحثية ببناء ذكاء اصطناعي يمكنه:
- تخيل سيناريوهات محتملة للتعامل مع المعلومات المخفية (بدلاً من العمليات الحسابية المستحيلة).
- التدرب ضد حشد من الخصوم المختلفين لتعلم كيفية التكيف.
- تعلم فن التفاوض العادل تلقائياً.
الأمر يشبه تعليم روبوت كيف يلعب البوكر أو يتفاوض في صفقة تجارية ليس عبر إعطائه كتاب قواعد، بل بتركه يلعب ملايين الألعاب، ويتخيل المستقبل، ويتعلم من أخطائه حتى يصبح سيداً في التفاعل البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.