Training with (Swap) Regret Loss in a Single-Layer Self-Attention Model: A Case Study on the Probability Simplex

تخيل عالماً لا تكتفي فيه الحواسيب بالإجابة على الأسئلة، بل تلعب الألعاب، وتتفاوض في الصفقات، وتتخذ القرارات جنباً إلى جنب معنا. هذا هو أفق الذكاء الاصطناعي، وتحديداً مجال يُسمى "التعلم متعدد الوكلاء" (multi-agent learning). في هذه الساحة، لا يكون الذكاء الاصطناعي مجرد أداة سلبية؛ بل هو لاعب يمتلك أهدافه الخاصة، يتفاعل مع لاعبين آخرين (قد يكونون ذكاءً اصطناعياً آخر أو بشراً) في بيئة متغيرة باستمرار. التحدي الكبير هنا هو "الندم" (regret). فكر في الندم كأنه ذلك الشعور الملحّ الذي يراودك بعد لعبة "حجر-ورقة-مقص" عندما تدرك: "أوه، كان يجب أن أختار الحجر لأن خصمي يرمي المقص دائماً". في عالم الذكاء الاصطناعي، يعني تقليل الندم تعلم اتخاذ خيارات ستكون، بالنظر إلى الوراء، هي أفضل استراتيجية ممكنة، حتى لو كان المستقبل غير قابل للتنبؤ.

لفترة طويلة، استخدم العلماء صيغاً رياضية لتعليم الحواسيب كيفية تقليل هذا الندم، لضمان لعبها بنزاهة ووصولها إلى نتائج مستقرة في الألعاب. ولكن كان هناك لغز: نماذج الذكاء الاصطناعي الحديثة، وتحديداً نماذج "المحول" (Transformer) التي تشغل روبوتات الدردشة، مبنية على آلية تسمى "الانتباه الذاتي" (self-attention). هذا يشبه كشاف الضوء الذي يساعد الذكاء الاصطناعي على التركيز على الأجزاء الأكثر أهمية في قصة أو محادثة. وبينما نعلم أن هذه النماذج ذكية للغاية في اللغة، لم نكن نفهم تماماً كيف تتعامل مع الرياضيات المعقدة لاتخاذ القرار والندم. هل تكتفي بمحاكاة الأخطاء البشرية، أم أنها تتعلم سراً نفس الاستراتيجيات المثالية التي صممها علماء الرياضيات؟ تغوص هذه الورقة في هذا السؤال، حيث تعامل آلية "الانتباه" في الذكاء الاصطناعي كلاعب صغير قابل للتدريب، لترى ما إذا كان بإمكانها تعلم قواعد اتخاذ القرار المثالي من تلقاء نفسها.

الاكتشاف الكبير للورقة: تعليم الذكاء الاصطناعي اللعب وفق القواعد

قرر مؤلفو هذه الورقة اختبار فكرة محددة: ماذا يحدث إذا قمنا بتدريب نموذج ذكاء اصطناعي بسيط للغاية — نموذج "انتباه ذاتي" بطبقة واحدة — باستخدام "خسارة الندم" (regret loss) الخاصة؟ بدلاً من مجرد إخبار الذكاء الاصطناعي بـ "الحصول على الإجابة الصحيحة"، قمنا بتدريبه على تقليل الشعور بالندم مباشرة. أرادوا معرفة ما إذا كان الذكاء الاصطناعي، من خلال هذا التدريب، سيتطور طبيعياً ليصبح صانع قرار مثالياً دون أن يتم برمجته صراحةً بمعادلات نظرية الألعاب المعقدة.

سحر "اللعب التصوري المنعم" (Smoothed Fictitious Play)
الاكتشاف الرئيسي الأول يشبه اكتشاف أن لاعباً مبتدئاً، بعد أن قيل له "توقف عن الشعور بالسوء تجاه خسائرك"، بدأ فجأة يلعب مثل أستاذ كبير (Grandmaster). وجد الباحثون أنه عندما قاموا بتدريب نموذج انتباه أحادي الرأس (نموذج بـ "كشاف ضوء" واحد) لتقليل الندم الخارجي، فإنه استقر في حالة محددة. في هذه الحالة، كان سلوك النموذج مطابقاً رياضياً لخوارزمية كلاسيكية تسمى "اللعب التصوري المنعم".

لاستخدام تشبيه: تخيل أنك تلعب لعبة حيث يتعين عليك تخمين ما سيفعله خصمك تالياً. "اللاعب التصوري" ينظر إلى كل ما فعله خصمه في الماضي ويخمن أنه سيفعل الشيء نفسه مرة أخرى. "المنعم" تعني أنك لا تنسخ خصمك بشكل أعمى؛ بل تضيف القليل من العشوائية أو "التنعيم" إلى تخمينك حتى لا تظل عالقاً في حلقة مفرغة. تثبت الورقة أن الذكاء الاصطناعي، بعد التدريب، يفعل هذا بالضبط. فهو ينظر إلى تاريخ الخسائر ("التحركات السيئة" التي قام بها) ويحدث استراتيجيته بطريقة مثبتة رياضياً لمنعه من الشعور بالندم. "حجم الخطوة" (مقدار الخطوة التي يتخذها الذكاء الاصطناعي للتعلم) الذي يجده بشكل طبيعي هو تقريباً $1/\sqrt{T}$، حيث $T$ هو عدد الجولات الملعوبة. هذا ليس مجرد تخمين محظوظ؛ فقد أثبت المؤلفون أنه عند هذا الإعداد المحدد، تتوافق رياضيات الذكاء الاصطناعي الداخلية تماماً مع استراتيجية التعلم المثالية.

ترقية "ندم التبديل": العقل المدبر متعدد الرؤوس
لكن الباحثين لم يتوقفوا عند هذا الحد. أدركوا أنه في بعض الأحيان، لا يكفي مجرد تجنب الندم. قد ترغب في أن تكون قادراً على تبديل خياراتك. على سبيل المثال: "لو كنت قد لعبت الحجر في كل مرة لعبت فيها المقص، لكنت فزت أكثر". هذا يسمى "ندم التبديل" (swap regret). وللتعامل مع هذا، قدموا "خسارة ندم التبديل" الجديدة وبنية ذكاء اصطناعي أكثر تعقيداً ذات "رؤوس" متعددة (عدة كشافات ضوء تعمل معاً).

صمموا نظاماً يعمل فيه كل "رأس" من رؤوس الذكاء الاصطناعي كخبير صغير، يتعلم تقليل نوعه الخاص من الندم. ثم تعمل هذه الرؤوس معاً لتشكيل مصفوفة انتقال (خريطة لكيفية التبديل بين الاستراتيجيات) وإيجاد "نقطة ثابتة" (حالة مستقرة لا يرغب فيها أحد في تغيير استراتيجيته). تظهر الورقة أنه عندما يتم تدريب هذا النموذج متعدد الرؤوس باستخدام دالة الخسارة الجديدة، فإنه يحاكي بدقة خوارزمية مشهورة تسمى خوارزمية بلوم-مانسور (Blum–Mansour algorithm).

فكر في الأمر كفريق من المحققين. كل محقق (رأس) يحقق في زاوية مختلفة من الجريمة (الندم). بشكل فردي، هم جيدون في العثọر على الأدلة. ولكن عندما يجمعون نتائجهم ويجدون "نقطة ثابتة" حيث تتفق جميع أدلتهم، فإنهم يحلون القضية. تثبت الورقة أن فريق الذكاء الاصطناعي هذا، المدرب فقط على تقليل ندم التبدل، ينظم نفسه طبيعياً ليعمل تماماً مثل فريق المحققين المثالي هذا.

ماذا يعني هذا للمستقبل؟
الجزء الأكثر إثارة في الورقة هو ما يلمح إليه هذا بالنسبة لمستقبل الذكاء الاصطناعي في الألعاب والمفاوضات. يوضح المؤلفون أنه إذا دربت نماذج الانتباه هذه على تقليل الندم، فهي لا تصبح أفضل في اللعبة فحسب، بل توجه مجموعة اللاعبين بأكملها بشكل طبيعي نحو حالة من التوازن.

• إذا قلل الذكاء الاصطناعي من الندم الخارجي (النموذج أحادي الرأس)، فإن مجموعة اللاعبين ستصل طبيعياً إلى "توازن ارتباط خشن" (Coarse Correlated Equilibrium). وهي حالة لا يرغب فيها أحد في تغيير استراتيجيته بشكل غير مشروط.
• إذا قلل الذكاء الاصطناعي من ندم التبديل (النموذج متعدد الرؤوس)، فإن المجموعة تصل إلى "توازن ارتباط" (Correlated Equilibrium). وهو حالة أقوى وأكثر تطوراً حيث لا يرغب أحد في تغيير استراتيجيته بناءً على ما قيل له القيام به.

تنفي الورقة صراحةً فكرة أن هذه النماذج تحتاج إلى برمجة يدوية بهذه القواعد المعقدة لنظرية الألعاب. بدلاً من ذلك، تعمل "خسارة الندم" كمعلم يوجه الذكاء الاصطناعي لاكتشاف هذه القواعد من تلقاء نفسه. ويلاحظ المؤلفون بحذر شديد أنهم أثبتوا هذه النتائج لنماذج محددة ومبسطة (طبقة واحدة، انتباه خطي) تحت ظروف تدريب محددة (ضوضاء غاوسية). إنهم لم يثبتوا بعد أن نموذج دردشة ضخم مكون من 100 طبقة سيفعل ذلك تلقائياً، لكنهم أظهروا أن الآلية موجودة في أبسط نسخة ممكنة من هذه التكنولوجيا.

باخت اختصار، تكشف هذه الورقة أن آلية "الانتباه" في الذكاء الاصطناعي ليست مجرد آلية للقراءة؛ بل هي محرك خفي لتعلم كيفية اللعب بنزاهة. من خلال تعليم الذكاء الاصطناعي ببساطة التوقف عن الشعور بالندم، يمكننا إطلاق مستوى من الذكاء الاستراتيجي الذي يؤدي إلى نتائج مستقرة وعادلة في الألعاب المعقدة، وكل ذلك دون الحاجة إلى حقن قواعد اللعبة داخل الآلة. إنها خطوة نحو فهم كيف يمكن لوكلاء الذكاء الاصطناعي أن يتعلموا يوماً ما التعاون والتنافس معنا بطريقة سليمة رياضياً وتلقائية الظهور.