🤖 AI

Conservative Equilibrium Discovery in Offline Game-Theoretic Multiagent Reinforcement Learning

تقدم هذه الورقة COffeE-PSRO، وهو إطار عمل جديد لتعلم التعزيز متعدد الوكلاء غير المتصل (offline) يوسع أوراكل استجابة فضاء السياسات (Policy Space Response Oracles) بمبادئ التحفظ وحلال استراتيجية ميتا مصمم خصيصاً لتحديد توازنات الندم المنخفض في الألعاب ذات الدوافع المختلطة من خلال مراعاة عدم اليقين في ديناميكيات اللعبة ضمن مجموعات البيانات الثابتة.

المؤلفون الأصليون: Austin A. Nguyen, Michael P. Wellman

نُشر 2026-03-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Austin A. Nguyen, Michael P. Wellman

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدرب يحاول بناء الاستراتيجية المثلى لرياضة جماعية معقدة، مثل بطولة بوكر عالية المخاطر أو مفاوضات دبلوماسية. لكن هناك عقبة: لا يُسمح لك بلعب أي ألعاب جديدة. يمكنك فقط النظر إلى صندوق قديم ومغبر من تسجيلات المباريات (مجموعة بيانات) من الماضي.

هدفك هو اكتشاف "توازن ناش" (Nash Equilibrium) المثالي — وهي حالة لا يرغب فيها أي لاعب في تغيير استراتيجيته لأنه يلعب بالفعل بأفضل ما يمكنه ضد الآخرين.

المشكلة؟ التسجيلات القديمة قد تكون غير مكتملة. ربما تظهر فقط ما يحدث عندما يكون اللاعبون عدوانيين، ولكنها لا تظهر أبداً ما يحدث عندما يكونون حذرين. إذا حاولت ابتكار استراتيجية جديدة بناءً على هذه الفجوات، فقد تقع بالخطأ في فخ لأنك لا تعرف كيف تسير اللعبة حقاً في تلك اللحظات غير المسجلة.

تقدم هذه الورقة طريقة جديدة تسمى COffeE-PSRO (اختصار ذكي لـ Conservative Offline Exploration PSRO - الاستكشاف المحافظ خارج الخط الزمني). فكر فيها كـ "مدرب يضع السلامة أولاً" يستخدم مجموعة محددة من القواعد للعثور على أفضل استراتيجية دون أن يخطو خطوة واحدة داخل الملعب.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "النقطة العمياء"

في تدريب الذكاء الاصطناٍعي التقليدي، يلعب الوكلاء ملايين الألعاب للتعلم. أما في "التعلم خارج الخط الزمني" (Offline Learning)، فهم عالقون مع مجموعة بيانات ثابتة.

التشبيه: تخيل أنك تحاول تعلم قيادة السيارة من خلال قراءة دليل تعليمات كُتب في عام 1990 فقط. يخبرك الدليل كيف تقود على الطرق الجافة، لكنه لا يذكر شيئاً عن القيادة في وسط عاصفة ثلجية. إذا حاولت القيادة في عاصفة ثلجية بناءً على ذلك الدليل فقط، فقد تصطدم.
المخاطرة: إذا حاول الذكاء الاصطناعي أن يكون ذكياً جداً ويبتكر استراتيجية لموقف لا تغطيه البيانات، فقد يبدو رائعاً على الورق ولكنه سيفشل فشلاً ذريعاً في العالم الحقيقي.

2. الحل: التخمين "المحافظ"

استعار المؤلفون مفهوماً من الذكاء الاصطناعي أحادي اللاعب يسمى التحفظ (Conservatism).

التشبيه: السائق المحافظ لا يقود بسرعة لمجرد أن الدليل يقول "السرعة القصوى 60". بل يقود بسرعة 45 لأنه يعلم أن الدليل قد يفتقر إلى تفاصيل حول البقع الجليدية. إنه يلتزم بـ "المناطق الآمنة" حيث يمتلك بيانات جيدة.
الابتكار: يطبق COffeE-PSRO هذا على الألعاب متعددة اللاعبين. فهو لا ينظر فقط إلى "ما الذي يعطي أكبر عدد من النقاط؟" بل يسأل: "ما الذي يعطي أكبر عدد من النقاط *دون أن يتسبب لي في الهلاك بسبب حركة مفاجئة لم أرها في البيانات؟"

3. كيف يعمل COffeE-PSRO (الأدوات السحرية الثلاث)

أ. "البلورة السحرية" للمجموعات (تقدير عدم اليقين)

بدلاً من تدريب ذكاء اصطناعي واحد للتنبؤ بما سيحدث بعد ذلك، يقومون بتدريب خمسة نماذج مختلفة قليلاً (مجموعة/Ensemble).

التشبيه: تخيل أنك تسأل خمسة خبراء أرصاد جوية مختلفين عما إذا كانت السماء ستمطر.
- إذا قال الخمسة جميعاً "مطر بنسبة 100%"، فأنت واثق.
- إذا قال أحدهم "مشمس"، وآخر "مطر"، وثلاثة "غائم"، فأنت تعلم أن هناك عدم يقين.
التطبيق: عندما يفكر الذكاء الاصطناعي في حركة جديدة، فإنه يتحقق من "توقعات الطقس" من نماذجه الخمسة. إذا اختلفوا بشدة، يدرك الذكاء الاصطناعي أنه في "نقطة عمياء" (تغطية بيانات منخفضة) ويصبح حذراً للغاية. إذا اتفقوا، يشعر بالأمان للاستكشاف.

ب. "هدف الأولوية للسلامة" (الهدف المعدل)

عادةً، يحاول الذكاء الاصطناعي تعظيم نقاطه. يقوم COffeE-PSRO بتغيير الهدف.

المعادلة: النقاط المكتسبة - (عقوبة عدم اليقين)
التشبيه: يشبه الأمر مقامراً يقول: "سآخذ هذا الرهان، لكني سأخصم 10 دولارات من أرباحي المحتملة مقابل كل مرة لا أكون فيها متأكداً بنسبة 100% من أن النرد ليس مغشوشاً". هذا يجبر الذكاء الاصطناعي على تجنب الاستراتيجيات عالية المخاطر والالتزام بتلك التي تكون قوية حتى لو كانت البيانات غير كاملة.

ج. "المدرب المتشائم" (حلّال الاستراتيجية العليا)

بمجرد أن يولد الذكاء الاصطناዊ قائمة من الاستراتيجيات المحتملة، فإنه يحتاج إلى اختيار الأفضل منها. الطرق القياسية تختار الاستراتيجية ذات أعلى متوسط ربح متوقع. يستخدم COffeE-PSRO طريقة جديدة تسمى R2D (ديناميكيات المكرر القوي).

التشبيه: المدرب التقليدي يختار اللاعب الذي لديه أعلى متوسط نقاط. أما مدرب COffeE-PSRO فيسأل: "من هو اللاعب الذي سيحقق أفضل نتيجة في أسوأ سيناريو له؟"
لماذا يهم هذا: في اللعبة، أنت لا تريد فقط الفوز في المتوسط؛ بل تريد تجنب كارثة خسارة كل شيء بسبب حركة غريبة من الخصم. تجد R2D الاستراتيجية التي تكون "آمنة" حتى لو ساءت الأمور.

4. النتائج: لماذا يهم هذا؟

اختبر الباحثون النظام في "لعبة مساومة" (مثل شخصين يتقاسمان كومة من المال).

النتيجة: عندما كانت البيانات فوضوية أو غير مكتملة (مثل مجموعة بيانات صغيرة)، وجدت COffeE-PSRO استراتيجيات أقرب بكثير إلى "التوازن المثالي" من الطرق الأخرى.
المقايضة: اكتشفت الورقة أيضاً وجود "نقطة مثالية". إذا كنت محافظاً للغاية (خائفاً جداً من عدم اليقين)، فستفقد استراتيجيات جيدة. وإذا كنت جريئاً للغاية، فستتحطم. يجد COffeE-PSRO التوازن حيث تكون حذراً بما يكفي لتكون آمناً، وجريئاً بما يكفي لتفوز.

الملخص

COffeE-PSRO هو طريقة جديدة ليتعلم الذكاء الاصطناعي من البيانات القديمة دون أن يخدعه خياله.

يستخدم فريقاً من المتنبئين لرصد مواضع ضعف البيانات.
يعاقب الحركات الخطرة التي تعتمد على نقاط الضعف تلك.
يختار الفائز الأكثر أماناً بدلاً من مجرد صاحب أعلى متوسط فوز.

إنه الفرق بين المقامر الذي يراهن بكل شيء بناءً على حدس، والمستثمر المحترف الذي يبني محفظة استثمارية تصمد حتى لو انهارت السوق بشكل غير متوقع.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "اكتشاف التوازن المحافظ في التعلم المعزز متعدد الوكلاء القائم على نظرية الألعاب في البيئات غير المتصلة (Offline)" (COffeE-PSRO).

1. تعريف المشكلة

تتناول الورقة تحدي التعلم المعزز متعدد الوكلاء (MARL) في بيئة غير متصلة (Offline). في هذا الإعداد، يجب على الوكلاء تعلم استراتيجيات لحل لعبة باستخدام مجموعة بيانات ثابتة ومجمعة مسبقاً من مسارات الحالة والعمل (state-action trajectories)، دون الوصول إلى محاكي بيئة عبر الإنترنت.

التحدي الجوهري: في الألعاب ذات الدوافع المختلطة (general-sum)، غالباً ما تغطي مجموعات البيانات جزءاً صغيراً فقط من فضاء الاستراتيجيات. وبناءً على ذلك، يكون من غير الممكن التحقق مما إذا كانت الاستراتيجية المقترحة هي توازن ناش (Nash Equilibrium) حقيقي، لأن مجموعة البيانات قد تفتقر إلى البيانات المتعلقة بالانحرافات أحادية الجانب الحرجة.
الهدف: يتم صياغة الهدف كعملية اختيار التوازن (equilibrium selection). فمن بين ملفات تعريف الاستراتيجيات المرشحة التي تبدو كأنها توازنات بناءً على البيانات المحدودة، يجب على الخوارزمية اختيار الملف الأكثر احتمالاً لامتلاك ندم منخفض (low regret) (أي أن يكون قريباً من التوازن الحقيقي) في ديناميكيات اللعبة الفعلية المجهولة.
القيد الرئيسي: يجب أن تأخذ الخوارمة في الاعتبار عدم اليقين (uncertainty) فيما يتعلق بديناميكيات اللعبة والانحرافات الاستراتيجية المحتملة التي قد لا تكون ممثلة جيداً في مجموعة البيانات.

2. المنهجية: COffeE-PSRO

يقترح المؤلفون خوارزمية COffeE-PSRO (الاستكشاف غير المتصل المحافظ لـ Oracle فضاء السياسات)، والتي توسع إطار عمل PSRO المخصص للعمل عبر الإنترنت من خلال دمج مبادئ التعلم المعزز غير المتصل المحافظ (Conservative Offline RL).

تتكون المنهجية من ثلاثة مكونات رئيسية:

أ. نموذج ديناميكيات المجموعة (Ensemble Dynamics Model)

بدلاً من المحاكي عبر الإنترنت، تقوم COffeE-PSRO بتدريب مجموعة من $K$ من الشبكات العصبية متعددة الطبقات (MLPs) لنمذجة ديناميكيات اللعبة (الانتقالات، المكافآت، الملاحظات) من مجموعة البيانات غير المتصلة.

تحديد عدم اليقين: يُستخدم التباين (وتحديداً النطاق) في التنبؤات عبر أعضاء المجموعة كوكيل لعدم اليقين ( $\rho$ ). يشير التباين العالي إلى أن النموذج غير متأكد من نتيجة زوج (الحالة-العمل)، مما يعني أن مجموعة البيانات توفر معلومات غير كافية لتلك المنطقة.

ب. هدف الاستجابة المحافظ (Conservative Response Objective)

تقوم PSRO القياسية بتدريب سياسة "أفضل استجابة" ضد هدف استراتيجية ميتا (meta-strategy) ثابت. تقوم COffeE-PSRO بتعديل هذا الهدف لمعاقبة عدم اليقين. يوازن دالة الهدف الجديدة $J''_i$ بين ثلاثة عوامل:

المكافأة المتوقعة: تعظيم العائد القياسي.
عدم يقين الاستجابة: عدم اليقين المرتبط باستراتيجية الخصم الحالية ( $\sigma_{-i}$ ).
عدم يقين الانحراف: عدم اليقين المتعلق بالانحرافات أحادية الجانب المحتملة من قبل الخصم.

تُصاغ دالة الهدف كالتالي:
$J''_i(\theta, \sigma_{-i}) = (1-\alpha)J'_i(\theta, \sigma_{-i}) - \alpha \mathbb{E} \left[ \sum \lambda \rho(s_t, a_t, R) \right]$
حيث أن:

$\lambda$ هو وزن العقوبة لعدم اليقين.
$\alpha$ هو معامل فائق (hyperparameter) يتحكم في احتمالية التحسين خصيصاً لـ تغطية الانحراف الاستراتيجي (تقليل عدم اليقين في الانحرافات الاستراتيجية المحتملة للخصم) أثناء حلقات التدريب. يتم تقليل قيمة $\alpha$ تدريجياً (annealed) لتصل إلى الصفر عبر التكرارات.

هذا يشجع الوكيل على استكشاف الاستراتيجيات التي ليست فقط عالية المكافأة، بل وأيضاً قوية تجاه عدم يقين النموذج، مما يؤدي فعلياً إلى "إمالة" الاستكشاف نحو مناطق السياسة ذات الثقة العالية.

ج. حلل استراتيجية الميتا عبر ديناميكيات المكرر القوي (R2D)

تقدم الورقة حلاً جديداً لاستراتيجية الميتا (Meta-Strategy Solver) يسمى R2D (ديناميكيات المكرر القوي) لحساب ملف التوازن من اللعبة التجريبية.

الآلية: على عكس ديناميكيات المكرر (RD) القياسية التي تستخدم متوسط العوائد المتوقعة، يستخدم R2D تقديرات المنفعة المتشائمة. فهو يحسب الحد الأدنى من تقديرات المنفعة عبر نماذج المجموعة.
قاعدة التحديث: يقوم R2D بتحديث احتمالات الاستراتيجية عن طريق التحسين لأقصى ندم محتمل (الحد الأعلى لانحراف الندم). فهو يسعى للوصول إلى نقطة مستقرة تقلل من الندم المحتمل في حال انحرف اللاعب، مما يضمن أن التوازن المختار قوي ضد أخطاء النموذج.
البديل: يعرّف المؤلفون أيضاً R3D (ديناميكيات المكرر المنتظمة القوية) والتي تضيف عتبة توقف بناءً على أسوأ ندم محتمل لمنع الإفراط في التخصيص (overfitting).

3. المساهمات الرئيسية

إعادة صياغة المشكلة: إعادة صياغة حل الألعاب غير المتصلة كـ مشكلة اختيار التوازن تحت عدم اليقين، مع إعطاء الأولوية للحلول ذات الثقة العالية في انخفاض الندم في اللعبة الحقيقية.
التوسيع الخوارزمي: توسيع نطاق PSRO ليشمل البيئات غير المتصلة عن طريق استبدال المحاكي بنموذج ديناميكيات للمجموعة وتقديم هدف استجابة محافظ يعاقب عدم اليقين في كل من الاستجابة الحالية والانحرافات الاستراتيجية المحتملة.
حل مبتكر: اقتراح R2D، وهو محلل لاستراتيجية الميتا يستخدم حدود المنفعة المتشائمة لاختيار التوازنات التي تقلل من أسوأ ندم، مما يعزز القوة في البيئات التي تفتقر للبيانات.
التحفظ الاستراتيجي: إثبات أن "التحفظ الاستراتيجي" (التحسين لعدم اليقين في فضاءات الانحراف) يختلف عن، وغالباً ما يتفوق على، مجرد "التحفظ السلوكي" (تقليد سلوك مجموعة البيانات عبر نسخ السلوك - Behavior Cloning) في الألعاب ذات الدوافع المختلطة.

4. النتائج التجريبية

قيم المؤلفون COffeE-PSRO على لعبة تفاوض متسلسلة (لاعبين، معلومات غير كاملة) باستخدام مجموعات بيانات بأحجام متفاوتة ( $N \in \{500, 1000, 2000\}$ ) وسياسات سلوكية (عشوائية موحدة مقابل خليط التوازن).

الأداء: حققت COffeE-PSRO مع R2D باستمرار ندماً أقل من النماذج المرجعية المتطورة (متغيرات PSRO لإيجاد التوازن غير المتصل، بما في ذلك تلك التي تستخدم نسخ السلوك).
التحفظ مقابل الأداء:
- في أنظمة البيانات المنخفضة مع سياسات سلوكية عشوائية موحدة، تفوقت COffeE-PSRO بشكل كبير على النماذج المرجعية، مما يثبت أن تحديد عدم اليقين يساعد في إيجاد استراتيجيات قوية حيث تكون البيانات شحيحة.
- في أنظمة البيانات العالية مع خلطات التوازن، كان التفوق أقل وضوحاً، حيث كان "نسخ السلوك" البسيط (OEF-BC) يعمل أحياناً بشكل جيد، مما يبرز أن تقليد السلوك القوي فعال فقط إذا كانت مجموعة البيانات تحتوي على استراتيجيات قوية.
دقة النموذج مقابل الندم: كشفت التجارب عن وجود مقايضة. بينما أدى زيادة التحفظ ( $\lambda, \alpha$ ) إلى تحسين دقة النموذج (دقة تقدير المنفعة)، فإن المستويات المعتدلة من التحفظ هي التي حققت أدنى مستويات الندم. التحفظ المفرط منع اكتشاف الاستراتيجيات القيمة حتى لو كان النموذج دقيقاً.
تأثير الحلل (Solver): أظهر استخدام R2D كحلل نهائي باستمرار نتائج ذات ندم أقل مقارلة بديناميكيات المكرر (RD) القياسية، مما يؤكد فائدة التحسين لتقديرات الندم المتشائمة.

5. الأهمية

الربط بين التعلم المعزز غير المتصل ونظرية الألعاب: نجحت الورقة في سد الفجوة بين التعلم المعزز غير المتصل المحافظ (الذي يركز عادةً على الوكيل الواحد) وتحليل نظرية الألعاب متعدد الوكلاء، معالجة التحدي الفريد المتمثل في الانحرافات أحادية الجانب في البيئات متعددة الوكلاء.
القوة في مواجهة ندرة البيانات: توفر إطار عمل عملياً لنشر التعلم المعزز متعدد الوكلاء في سيناريوهات العالم الحقيقي حيث يكون جمع كميات هائلة من بيانات التفاعل مكلفاً أو مستحيلاً، مما يضمن أن الاستراتيجيات المتعلمة لن تفشل كارثياً بسبب الديناميكيات غير المرئية.
رؤية استراتيجية: تسلط الدراسة الضوء على أنه في الألعاب ذات الدوافع المختلطة، لا يكفي مجرد تقليد سلوك مجموعة البيانات (نسخ السلوك)؛ بل يجب استكشاف وتحديد عدم اليقين بنشاط فيما يتعلق بكيفية انحراف الخصوم عن السلوكيات الملحوظة.
التطبيق العملي: يقدم النهج مساراً قابلاً للتطبيق لحل التفاعلات الاستراتيجية المعقدة في مجالات مثل الاقتصاد، والأنظمة المستقلة، والتفاوض، حيث تكون البيانات ثابتة وتكلفة الفشل (الندم العالي) مرتفعة.