في المشهد الواسع للذكاء الاصطنا artificial intelligence، هناك ركن محدد مخصص لتعليم الآلات كيفية التفاعل مع بعضها البعض. هذا المجال، المعروف باسم التعلم المعزز متعدد الوكلاء (multi-agent reinforcement learning)، يطرح سؤالاً بسيطاً ولكنه عميق: كيف نجعل عدة أنظمة ذكية تتعلم معاً دون أن تدفع بعضها البعض نحو الجنون؟ تخيل غرفة مليئة بالطلاب يحاولون حل مسألة رياضية في نفس الوقت. إذا قام كل طالب بتغيير استراتيجيته كل ثانية بناءً على ما يفعله الآخرون، فستصبح الغرفة الصفية هدفاً متحركاً فوضوًا. لن يتمكن أحد من الاستقرار على إجابة ثابتة لأن الأرض تتحرك باستمرار تحت أقدامهم. في عالم نظرية الألعاب، الهدف هو الوصول إلى حالة من التوازن حيث لا يملك أي لاعب حافزاً لتغيير حركته، وهو مفهوم يُعرف باسم توازن ناش (Nash equilibrium). ومع ذلك، عندما لا تكون الأفعال المتاحة لهؤلاء اللاعبين مجرد خيارات بسيطة قليلة، بل تدفق مستمر من الاحتمالات — مثل تحديد الكمية التي يجب إنتاجها بالضبط أو مقدار المال الذي يجب إنفاقه — تصبح الرياضيات صعبة للغاية. غالباً ما تفشل الطرق القياسية هنا، مما يتسبب في تذبذب الوكلاء بشكل جامح أو وقوعهم في حلقات مفرغة، دون الوصول أبداً إلى نقطة الاتفاق المستقرة تلك.

اقترح باحث يدعى مارفين بونجيوفي من جامعة دارمشتات التقنية طريقة جديدة للتنقل عبر هذه الفوضى. في دراسة نُشرت في أواخر عام 2026، قدم خوارزمية تسمى "Deep Regret Actor-Critic"، أو DRAC. بدلاً من محاولة تعظيم المكافأة الفورية لكل وكيل، وهو ما يؤدي غالباً إلى عدم الاستقرار، تعلم هذه الطة الجديدة الوكلاء تقليل "ندمهم" (regret). بعبارات بسيطة، الندم هو الشعور بفقدان فرصة للحصول على نتيجة أفضل لأنك اخترت فعلاً مختلفاً. من خلال تدريب النظام لضمان أنه لا يمكن لأي لاعب أن يفعل أفضل بكثير بتغيير رأيه وحده، توجه الخوارماوية المجموعة نحو توازن مستقر وغير قابل للاستغلال. النتائج مذهلة: في المحاكاة الاقتصادية المعقدة التي تتضمن قرارات مستمرة، وجدت هذه الطريقة الجديدة باستمرار الحل الرياضي الدقيق حيث عجزت الطرق القديمة، مما يثبت أن التركيز على ما تم تفويته هو مسار أكثر موثوقية للاتفاق من التركيز على ما تم كسبه.

لفهم سبب أهمية ذلك، يجب على المرء أولاً أن يستوعب طبيعة المشكلة التي يواجهها هؤلاء الوكلاء. في العديد من السيناريوهات الواقعية، من الأسواق إلى المسابقات، يتخذ اللاعبون قرارات في تسلسل، وأفضل حركة تعتمد تماماً على ما يفعله الآخرون. إذا حاول الوكيل التعلم من خلال مجرد التفاعل مع المكافآت الحالية، فإنه يشبه محاولة إصابة هدف متحرك بينما يحاول الهدف أيضاً مراوغة المصوب. البيئة غير مستقرة (non-stationary)، مما يعني أنها تتغير مع تغير المتعلمين. غالباً ما تفشل الخوارزميات التقليدية لأنها تعامل اللاعبين الآخرين كجزء من بيئة ثابتة، لتتعرض لاحقاً لعنصر المفاجأة عندما يقوم هؤلاء اللاعبون بتحديث استراتيجياتهم. يؤدي هذا إلى دورة من التكيف حيث لا يستقر أحد أبداً. وبينما حاولت بعض الطرق السابقة حل ذلك من خلال النظر في شجرة اللعبة بأكملها أو استخدام دوال جهد معقدة، إلا أنها غالباً ما تعاني مع الحجم الهائل للأفعال المستمرة أو تتطلب تدريباً متخصصاً لا يتوسع بشكل جيد.

حل بونجيوفي، DRAC، يتخذ نهجاً هيكلياً مختلفاً. فهو يعمل تحت إطار عمل حيث يتم تدريب الوكلاء معاً بطريقة مركزية ولكن لا يزال بإمكانهم العمل بشكل مستقل. الابتكار الجوهي يكمكم في كيفية تقييم النجاح. بدلاً من السؤال: "هل حصلت على درجة عالية؟"، يسأل النظام: "هل كان بإمكاني القيام بعمل أفضل لو كنت قد اخترت بشكل مختلف، بينما استمر الجميع في فعل ما فعلوه بالضبط؟". وللإجابة على هذا، تستخدم الخوارزمية خدعة ذكية. فهي تقوم بتجميد أفعال جميع اللاعبين الآخرين ثم تأخذ عينات من مجموعة واسعة من التحركات البديلة للوكيل المعني. وتقوم بحساب ما ستكون عليه المكافأة لكل من هذه البدائل الافتراضية. ومن خلال مقارنة النتيجة الفعلية مقابل أفضل نتيجة ممكنة من هذه العينات، يحسب النظام مقياساً دقيقاً للندم. تخلق هذه العملية هدفاً مستقراً لخوارزمية التعلم، لأن "أفضل نتيجة ممكنة" تُحسب مقابل مجموعة ثابتة من أفعال الخصوم، مما يزيل مشكلة الهدف المتحرك.

تستخدم الخوارزمية شبكة عصبية مزدوجة الرأس للقيام بهذه المهمة. جزء من الشبكة يتنبأ بأفضل منفعة (utility) يمكن للوكيل تحقيقها ضد الأفعال الثابتة للآخرين، بينما يتنبأ الجزء الآخر بالمنفعة الفعلية للفعل المتخذ. الفرق بين هذين التنبؤين هو الندم. يقوم النظام بعد ذلك بتعديل استراتيجية الوكيل لتقليل هذا الفرق. إذا كان الندم مرتفعاً، فهذا يعني أن الوكيل قد فاتته فرصة أفضل، ويتم تعديل الاستراتيجية لتجنب هذا الخطأ في المرة القادمة. إذا كان الندم صفراً، فهذا يعني أن الوكيل يلعب بشكل مثالي بالنظر إلى ما يفعله الجميع. ومن خلال تقليل هذا الندم عبر جميع الوكلاء في آن واحد، يتجه النظام بشكل طبيعي نحو حالة لا يرغب فيها أحد في تغيير استراتيجيته، وهو تعريف توازن ناش.

لاختبار هذه الفكرة، أجرى الباحث محاكاتين متميزتين. الأولى كانت نموذج "Cournot oligopoly" تسلسلي، وهو نموذج اقتصادي كلاسيكي حيث تتنافس عدة شركات من خلال تحديد كمية المنتج الذي تنتجه. في هذا السيناريو، يعتمد سعر السوق على إجمالي الكمية المنتجة من قبل جميع الشركات. أقام الباحثون سوقاً تضم ثلاث شركات تتنافس على مدار خمس جولات، مع القدرة على إنتاج أي كمية ضمن نطاق مستمر. قارنوا خوارزمية DRAC الجديدة بطريقة راسخة تسمى MADDPG. أظهرت النتائج أن DRAC كانت متفوقة بمراحل. بعد 200,000 دورة تدريبية، انحرفت استراتيجيات DRAC عن الحل النظري المثالي بنحو 1.1 بالمائة فقط. وفي المقابل، انحرفت الطريقة القديمة بنسبة تقارب 2 بالمائة. والأهم من ذلك، أن مقياس "القابلية للاستغلال" (exploitability) — أي مقدار ما يمكن للاعب كسبه عن طريق تغيير استراتيجيته — كان أقل بكثير بالنسبة لـ DRAC، حيث حام حول 0.000137، مقارنة بـ 0.000427 للطريقة الأخرى. يشير هذا إلى أن الخوارزمية الجديدة لم تجد الإجابة الصحيحة فحسب، بل فعلت ذلك بدرجة أعلى بكثير من الاستقرار.

تضمنت التجربة الثانية "مسابقة جائزة تناسبية تسلسلية" (sequential proportional prize contest)، وهي مشكلة تخصيص موارد ديناميكية. هنا، يتنافس لاعبان عبر عدة جولات للفوز بجائزة، لكن يجب عليهما إنفاق جزء من ميزانيتهما للقيام بذلك. تُقسم الجائزة بناءً على مقدار ما ينفقه كل لاعب بالنسبة للإجمالي. يتطلب هذا الإعداد من اللاعبين التفكير مسبقاً، والموازنة بين مقدار ما سينفقونه الآن مقابل ما يحتاجون إلى ادخاره للجولات اللاحقة. قام الباحثون بمحاكاة هذه المسابقة على خمس مراحل مع قاعدة محددة لاستنفاد الميزانية. مرة أخرى، وُضعت خوارزمية DRAC في مواجهة الطريقة القياسية. كانت النتائج متسقة مع التجربة الأولى. حققت DRAC انحرافاً عن الاستراتيجية المثالية النظرية بنسبة 3.0 بالمائة فقط، بينما تأخرت الطريقة القياسية عند 6.3 بالمائة. كما كانت القابلية للاستغلال في DRAC أقل بكثير أيضاً، حيث استقرت عند 0.000745 مقارنة بـ 0.00248 للمنافس. تؤكد هذه الأرقام أن نهج تقليل الندم فعال حتى في الألعاب الديناميكية متعددة المراحل حيث يتعين على اللاعبين التخطيط للمستقبل.

يعتمد نجاح هذا النهج على رؤية محددة: من خلال تحويل التركيز من تعظيم المكافآت إلى تقليل الندم، تتجنب الخوارزمية عدم الاستقرار الذي تعاني منه الطرق الأخرى. في التعلم متعدد الوكلاء القياسي، إذا ارتكب أحد الوكلاء خطأً، فقد يؤدي ذلك إلى إرباك تعلم الآخرين، مما يخلق سلسلة من الأخطاء. تتجنب DRAC ذلك من خلال حساب سيناريوهات "ماذا لو" مقابل أفعال الخصوم الثابتة. هذا يفصل التقييم عن التحديثات الفوضوية للاعبين الآخرين، مما يخلق مشهداً مستقراً وثابتاً لعملية التعلم. تقول الخوارزمية أساساً: "تجاهل ما يفعله الآخرون الآن؛ فقط انظر إلى ما كان بإمكانك القيام به بشكل أفضل ضد ما فعلوه". هذا التحول البسيط يسمح للنظام بتنسيق تحديثاته دون الوقوع في فخ التواطؤ، حيث قد يتعلم الوكلاء بالصدفة التعاون بطريقة تضر بالتوازن العام.

رغم أن النتائج مثيرة للإعجاب، إلا أن الورقة البحثية تقر بوجود بعض القيود. تعتمد الطريقة على أخذ العينات لإيجاد أفضل الأفعال البديلة. في البيئات السلسة والمتوقعة لأسواق Cournot ومسابقة الجائزة، نجح هذا الأمر تماماً. ومع ذلك، في الألعاب ذات مناظر المكافآت شديدة التعقيد أو المتعرجة، قد تخطئ عملية أخذ العينات في إيجاد الحركة الأفضل حقاً. بالإضافة إلى ذلك، تتطلب الخوارزمية نموذجاً للبيئة لمحاكاة هذه النتائج الافتراضية. في لعبة فيديو أو محاكاة، يكون هذا سهلاً، ولكن في حالات "الصندوق الأسود" الواقعية حيث تكون القواعد مجهولة، سيحتاج النظام إلى طريقة للتنبؤ بنتائج الأفعال التي لم يتخذها بعد. وبالرغم من هذه القيود، توضح الدراسة تقدماً كبيراً. فهي تظهر أن الألعاب المستمرة متعددة الوكلاء يمكن حلها بدقة عالية من خلال تعليم الوكلاء النظر إلى الوراء نحو الفرص الضائعة بدلاً من النظر إلى الأمام نحو مكاسبهم المحتملة.

تمتد تداعيات هذا العمل إلى ما وراء الألعاب المحددة التي تم اختبارها. إن القدرة على تقريب "توازن ناش المثالي لللعبة الفرعية" (Subgame-Perfect Nash Equilibrium) — وهي حالة يتخذ فيها اللاعبون قرارات مثالية في كل مرحلة من مراحل اللعبة، وليس فقط في بدايتها — في المساحات المستمرة تمثل عقبة رئيسية في الذكاء الاصطناعي. ومن خلال إثبات أن تقليل الندم يمكن أن يثبت استقرار التعلم، يفتح هذا البحث الباب أمام أنظمة أكثر قوة متعددة الوكلاء في مجالات الاقتصاد، وإدارة المرور، وتوزيع الموارد. يقترح المؤلف أنه يمكن تكييف هذا الإطار في نهاية المطاف للألعاب ذات المعلومات الناقصة، حيث لا يعرف اللاعبون كل شيء عن حالة العالم، وللألعاب المنفصلة (discrete games) حيث يختار اللاعبون من بين مجموعة من الخيارات المتميزة. في الوقت الحالي، تقف الدراسة كدليل واضح على أنه في بعض الأحيان، تكون أفضل طريقة للمضي قدماً هي التحليل الدقيق لما كان بإمكانك فعله بشكل مختلف.