🤖 AI

Sample-Efficient Policy Space Response Oracles with Joint Experience Best Response

تقدم هذه الورقة البحثية "الاستجابة المثلى للتجربة المشتركة" (JBR)، وهي تعديل فعال في استهلاك العينات لأسلوب "أوراكل استجابة فضاء السياسات" (PSRO)، يعمل على تقليل التكاليف الزمنية للتفاعل مع البيئة عبر إعادة استخدام مجموعة بيانات مشتركة واحدة لحساب الاستجابات المثلى لجميع الوكلاء في آن واحد، مما يتيح تعلمًا متعدد الوكلاء قابلاً للتوسع مع التخفيف من تحيز انزياح التوزيع من خلال استراتيجيات محافظة، أو معززة للاستكشاف، أو هجينة.

المؤلفون الأصليون: Ariyan Bighashdel, Thiago D. Simão, Frans A. Oliehoek

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ariyan Bighashdel, Thiago D. Simão, Frans A. Oliehoek

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مجموعة من لاعبي الشطرنج يحاولون اكتشاف الطريقة المثالية للعب ضد بعضهم البعض. في عالم الذكاء الاصطناعي، يُسمى هذا تعلم التعزيز متعدد الوكلاء (Multi-Agent Reinforcement Learning - MARL). الهدف هو أن يتعلم كل "وكيل" (برنامج كمبيوتر) استراتيجية تعمل بشكل جيد بغض النظر عما يفعله الآخرون.

تقدم هذه الورقة البحثية طريقة جديدة لجعل عملية التعلم هذه أسرع وأقل تكلفة، باستخدام تقنية تسمى الاستجابة المثلى للخبرة المشتركة (Joint Experience Best Response - JBR).

إليك تفصيل للمشكلة والحل، مشروحاً عبر تشبيهات من الحياة اليومية.

المشكلة: "الممارسة الفردية" المكلفة

تقليدياً، لكي يتعلم كل وكيل أفضل طريقة للعب، يجب عليه ممارسة اللعب بمفرده ضد مزيج محدد من الخصوم. هذا يشبه نادياً للشطرنج حيث:

اللاعب (أ) يتدرب على 100 مباراة ضد مزيج معين من الخصوم.
ثم يتدرب اللاعب (ب) على 100 مباراة ضد نفس المزيج.
ثم يتدرب اللاعب (ج) على 100 مباراة.

على الرغم من أنهم جميعاً يلعبون ضد "متوسط" خصم واحد، إلا أنهم يهدرون الوقت والطاقة. إنهم جميعاً يركضون إلى الصالة الرياضية بشكل منفصل لرفع نفس الأوزان تماماً، بينما كان بإمكانهم الذهاب معاً. في مصطلحات الكمبيوتر، يسمى هذا أوراكل استجابة فضاء السياسات (Policy Space Response Oracles - PSRO). وهي تعمل بشكل جيد، لكنها مكلفة للغاية لأن كل وكيل يجب أن يقوم بمحاكاة آلاف الألعاب بمفرده.

الحل: جلسة "الدراسة الجماعية"

تقترح الورقة الاستجابة المثلى للخبرة المشتركة (JBR). بدلاً من التدرب بشكل منفصل، يذهب جميع الوكلاء إلى الصالة الرياضية معاً.

يلعبون جميعاً مجموعة واحدة من الألعاب ضد بعضهم البعض في نفس الوقت.
يسجلون كل حركة، وكل فوز، وكل خسارة في دفتر ملاحظات واحد ضخم ("مجموعة البيانات المشتركة").
بعد الجلسة، يعود الجميع إلى منازلهم ويدرسون نفس دفتر الملاحظات هذا ليعرفوا كيف كان بإمكانهم اللعب بشكل أفضل.

الفائدة: هذا يوفر قدراً هائلاً من الوقت وقوة الكمبيوتر. فبدلاً من تشغيل المحاكاة $N$ من المرات (مرة لكل وكيل)، نقوم بتشغيلها مرة واحدة فقط ونشارك النتائج.

العقبة: "الشبح في دفتر الملاحظات"

هناك خطر في طريقة الدراسة الجماعية هذه. إذا لعبت المجموعة نوعاً معيناً فقط من الألعاب (على سبيل المثال، الافتتاح بقطعة البيدق فقط)، فإن دفتر ملاحظاتهم لن يحتوي على ملاحظات حول كيفية التعامل مع افتتاحية الحصان. عندما يحاولون التعلم من الدفتر لاحقاً، قد يرتكبون تخمينات سيئة لأنهم يحاولون التعلم عن أشياء لم يروها بالفعل. في المصطلحات التقنية، يسمى هذا انزياح التوزيع (distribution shift) أو تحيز التعلم غير المتصل (offline learning bias).

ولإصلاح ذلك، تقدم الورقة ثلاثة "علاجات" (حلول):

النهج التحفظي (تحسين السياسة الآمنة):
- التشبيه: إذا لم يتضمن دفتر الملاحظات ملاحظات حول كيفية التعامل مع حركة معينة، فإن الطالب يرفض تغيير استراتيجيته. يلتزم بما يعرف بالفعل أنه آمن.
- النتيجة: إنه آمن جداً، لكنه لا يتحسن كثيراً لأنه يخشى تجربة أشياء جديدة.
نهج "الخلط العشوائي" (تعزيز الاستكشاف):
- التشبيه: أثناء الدراسة الجماعية، يطلب المعلم من الجميع القيام بحركات عشوائية سخيفة أحياناً لمجرد رؤية ما سيحدث. هذا يملأ دفتر الملاحظات بمزيد من التنوع.
- النتيجة: هذا يساعد، لكن القيام بحركات عشوائية ليس دائماً الطريقة الأكثر كفاءة للتعلم.
النهج "المستهدف" (الفائز):
- التشبيه: هذا هو النسخة الأذكى. أثناء الدراسة الجماعية، يقول المعلم: "حسناً، نحن نعلم أن اللاعب (أ) يحاول تعلم كيفية مواجهة هجوم معين. فلنقوم جميعاً بحركات تختبر ذلك الهجوم تحديداً". إنهم يخلقون عمداً السيناريوهات المطلوبة لسد الثغرات في دفتر الملاحظات.
- النتيجة: هذا ينشئ دفتر ملاحظات عالي الجودة يغطي جميع القواعد المهمة دون إضاعة الوقت في أمور عشوائية غير مفيدة. تسمي الورقة هذا JBR-PSRO- $\delta$ T.
النهج الهجين:
- التشبيه: تدرس المجموعة معاً لمدة 9 أيام، ولكن في اليوم العاشر، يذهب الجميع إلى الصالة الرياضية بمفردهم للتحقق من عملهم.
- النتيجة: تحصل على سرعة الدراسة الجماعية مع دقة الممارسة الفردية المثالية.

النتائج: ماذا وجدوا؟

اختبر المؤلفون هذه الأفكار على نوعين من الألعاب:

ألعاب البوكر (Kuhn و Leduc): وهي تشبه ألعاب الطاولة ذات المعلومات المخفية.
ألعاب الروبوتات (بيئات الجسيمات - Particle Environments): وهي تشبه ألعاب الفيديو حيث يتعين على الروبوتات الدفع، أو اللمس، أو القتال ضد بعضها البعض في حركة مستمرة.

النتائج:

في الألعاب البسيطة، عملت "الدراسة الجماعية" (JBR) بنفس كفاءة "الممارسة الفردية" (Standard PSRO).
في الألعاب المعقدة، فشلت "الدراسة الجماعية" الأساسية لأن دفتر الملاحظات كان يفتقد الكثير من الصفحات.
ومع ذلك، فإن النسخة "المستهدفة" (حيث مارسوا الحركات المفقودة عمداً) عملت بكفاءة تقارب الممارسة الفردية المكلفة ولكن باستخدام نصف قوة الكمبيوتر.
النسخة الهجينة (التي تمزج بين الجماعي والفردي) حققت دقة الطريقة المكلفة مع تكلفة إضافية ضئيلة جداً.

الخلا ملخص القول

تثبت الورقة البحثية أنك لست بحاجة لأن يمارس كل وكيل ذكاء اصطنا_ي التدريب بمفرده لتعلم كيفية لعب لعبة ما. إذا شاركوا تجاربهم ودرسوها معاً — خاصة إذا مارسوا عمداً الأشياء التي يفتقرون إليها — فيمكنهم التعلم بنفس الكفاءة، ولكن بشكل أسرع وأقل تكلفة. وهذا يجعل من الممكن استخدام استراتيجيات الذكاء الاصناعي القوية هذه في مواقف واقعية أكبر وأكثر تعقيداً حيث تكون تشغيل عمليات المحاكاة بشكل فردي مكلفاً للغاية.

ملخص تقني: أوراكل استجابة فضاء السياسات عالي كفاءة العينات مع الاستجابة المثلى للتجربة المشتركة

1. بيان المشكلة

يوفر التعلم المعزز متعدد الوكلاء (MARL) بديلاً قابلاً للتوسع للتحليل الدقيق لنظرية الألعاب، ولكنه يواجه تحديين رئيسيين: عدم الاستقرار (حيث يؤدي التعلم المستقل إلى تغيير البيئة مع تحديث الوكلاء لسياساتهم) والحاجة إلى الحفاظ على تنوع مجموعات الاستراتيجيات لاستيعاب التفاعلات غير المتعدية. يعالج إطار عمل أوراكل استجابة فضاء السياسات (PSRO) هذه التحديات من خلال توسيع اللعبة المقيدة بشكل تكراري باستخدام الاستجابات المثلى التقريبية (BRs).

ومع ذلك، يعاني PSRO القياسي من تكاليف حسابية وعينات باهظة. في كل تكرار، يجب على كل وكيل حساب الاستجابة المثلى بشكل مستقل ضد الاستراتيجية العليا الحالية للوكلاء الآخرين. يتطلب هذا حل عدد من مشكلات التعلم المعزز (RL) يساوي عدد الوكلاء، حيث تتطلب كل منها محاكاة كاملة للوكلاء المتبقين. في المجالات التي تحتوي على لاعبين كثيرين أو محاكيات مكلفة، تجعل بنية الاستجابة المثلى لكل وكيل من PSRO أمراً غير عملي.

2. المنهجية

المفهوم الجوهري: الاستجابة المثلى للتجربة المشتركة (JBR)

يقترح المؤلفون الاستجابة المثلى للتجربة المشتركة (JBR)، وهو تعديل على PSRO يعيد استخدام بيانات التفاعل عبر جميع الوكلاء. بدلاً من تدريب الاستجابة المثلى لكل وكيل بشكل مستقل، يقوم JBR بـ:

جمع المسارات مرة واحدة تحت ملف الاستراتيجية العليا الحالي $\sigma = (\sigma_j)_{j \in N}$ .
بناء مجموعة بيانات مشتركة $\mathcal{D}_\sigma$ تحتوي على الانتقالات $(s_t, a_{1,t}, \dots, a_{n,t}, r_{1,t}, \dots, r_{n,t}, s_{t+1})$ .
حساب الاستجابات المثلى لـ جميع الوكلاء في وقت واحد من هذه المجموعة الواحدة من البيانات.

هذا يحول حساب الاستجابة المثلى من مشكلة تعلم معزز عبر الإنترنت (online RL) إلى مشكلة تعلم معزز غير متصل (offline RL)، حيث يتم تحسين السياسات من مجموعة بيانات ثابتة. وبينما يحسن هذا من كفاءة العينات بشكل كبير، فإنه يؤدي إلى تحيز انزياح التوزيع لأن مجموعة البيانات يتم إنشاؤها تحت الاستراتيجية العليا الحالية، والتي قد لا تغطي مناطق الحالة-الفعل ذات الصلة للاستجابة المثلى الحقيقية.

معالجة تحيز التعلم المعزز غير المتصل (Offline RL Bias)

للتخفيف من قيود التعلم المعزز غير المتصل (تحديداً انزياح التوزيع)، يقدم البحث ثلاثة علاجات متكاملة:

الاستجابة المثلى المحافظة (تحسين السياسة الآمن):
- يفرض قيداً حيث تبتعد السياسة المتعلمة $\pi_i$ عن الاستراتيجية العليا المرجعية $\sigma_i$ فقط في أزواج الحالة-الفعل المغطاة بشكل كافٍ في مجموعة البيانات (العدد $N_D(s, a_i) \ge N^\wedge$ ).
- في المناطق قليلة العينات، تعود السياسة إلى $\sigma_i$ ، مما يضمن عدم تدهور الأداء دون المستوى المرجعي.
- القصور: رغم أنها آمنة، إلا أنها حذرة للغاية وتحد من القدرة على إيجاد تحسينات كبيرة مقارم بالاستجابات المثلى المستقلة.
الاستجابة المثلى المعززة بالاستكشاف:
- تعديل عملية جمع البيانات لتحسين التغطية. بدلاً من التصرف وفقاً لـ $\sigma$ بشكل صارم، يتبع الوكلاء استراتيجية عليا مضطربة بمقدار $\delta$ :
  $\tilde{\sigma}_j(a_j|s) = (1-\delta)\sigma_j(a_j|s) + \delta\nu_j(a_j|s)$
- تم اقتراح استراتيجيتين للاستكشاف:
  - $\delta$ -العشوائية ( $\delta$ -R): حيث تكون $\nu_j$ سياسة عشوائية منتظمة.
  - $\delta$ -الموجهة ( $\delta$ -T): حيث تكون $\nu_j$ هي مرشح الاستجابة المثلى الحالي ( $\pi^{BR,cur}_j$ ). هذا يوجه الاستكشاف نحو المسارات الواعدة، مما يعمل فعلياً كشكل من أشكال نمذجة الخصم.
- الضمان النظري: يثبت البحث أنه في الألعاب ذات اللاعبين اثنين وصفر من المجموع (zero-sum) ذات النهايات المحددة، إذا حسب الوكلاء استجابة مثلى بمقدار $\epsilon$ للاستراتيجية المضطربة $\tilde{\sigma}$ ، فإن الاستراتيجية العليا الناتلة هي توازن ناش بمقدار $(\epsilon + 2R\delta)$ للعبة الأصلية (حيث $R$ هو نطاق العائد).
الاستجابة المثلى الهجينة (HBR):
- التناوب بين JBR والاستجابة المثلى المستقلة (IBR) القياسية.
- في معظم التكرارات، يُستخدم JBR من أجل الكفاءة. وفي كل تكرار رقم $k$ ، يقوم الوكلاء بتحديث استجابة مثلى مستقلة قياسية لتصحيح أخطاء التقريب.
- يهدف هذا إلى الجمع بين كفاءة العينات لـ JBR ودقة IBR.

3. المساهمات الرئيسية

إطار عمل JBR: تقديم الاستجابة المثلى للتجربة المشتركة، وهو تعديل جاهز للتركيب (drop-in modification) على PSRO يعيد استخدام المسارات المشتركة لحساب الاستجابات المثلى لجميع الوكلاء في آن واحد، مما يحسن كفاءة العينات بشكل كبير.
علاجات تحيز التعلم غير المتصل: تحديد قيود التعلم المعزز غير المتصل المتأصلة في JBR واقتراح وتقييم ثلاثة علاجات محددة: JBR المحافظ، وJBR المعزز بالاستكشاف (مع ضمانات تقارب نظرية)، وBR الهجين.
دراسة تجريبية شاملة: مقارنة صارمة لمتغيرات JBR مقابل PSRO القياسي (الاستجابة المثلى المستقلة) ونماذج MARL السائدة (التعلم المستقل وCTDE) عبر بيئات منفصلة (بوكر) ومستمرة (جسيمات).

4. النتائج التجريبية

البيئات

المنفصلة: لعبة Kuhn Poker (مساحة حالة صغيرة ومغطاة بالكامل) وLeduc Poker (مساحة حالة أكبر، معلومات ناقصة).
المستمرة: Simple Tag، Simple Adversary، وSimple Push (بيئات جسيمات متعددة الوكلاء).

النتائج

الجدوى في المجالات البسيطة: في Kuhn Poker، حيث مساحة الحالة صغيرة ومغطاة بالكامل، يطابق JBR سلوك التقارب لـ PSRO القياسي، مما يؤكد الجدوى في ظل ظروف العينات الجيدة.
فشل JBR الساذج: في Leduc Poker، يفشل JBR الساذج (بدون استكشاف أو تحفظ) في الحفاظ على دقة التوازن بسبب تحيز التعلم غير المتصل، حيث يستقر عند مستويات استغلال أعلى مقارنة بـ PSRO.
فعالية المتغيرات:
- JBR المحافظ مستقر ولكنه يؤدي أداءً ضعيفاً مقارنة بـ PSRO بسبب الحذر المفرط.
- JBR المعزز بالاستكشاف ( $\delta$ -R) يظهر مكاسب متوسطة ولكنه يفتقر إلى التوجيه.
- JBR المعزز بالاستكखाव ( $\delta$ -T) يحقق أفضل توازن، حيث يصل إلى دقة توازن ناش قريبة من PSRO مع عدد أقل بكثير من العينات. الاستكشاف الموجه يتوقع تحديثات الخصم، مما يؤدي إلى تقارب مبكر أسرع.
- الاستجابة المثلى الهجينة (HBR-PSRO) تسد الفجوة المتبقية في الدقة مع PSRO مع زيادة طفيفة فقط في تكلفة العينات.
كفاءة العينات: يحقق JBR-PSRO- $\delta$ T تقريباً نفس قيمة NashConv الخاصة بـ PSRO باستخدام نصف إجمالي حلقات الاستجابة المثلى المطلوبة من قبل PSRO القياسي.
المقارنة مع MARL: عبر جميع البيئات، تتفوق الأساليب القائمة على PSRO (بما في ذلك متغيرات JBR) باستمرار على نماذج MARL القياسية (التعلم المستقل وCTDE) من حيث المتانة الاستراتيجية ودقة التوازن.

5. الأهمية والادعاءات

يدعي البحث أن JBR يجعل PSRO أكثر عملية بشكل كبير للتعلم الاستراتيجي واسع النطاق مع الحفاظ على متانة التوازن.

القابلية للتوسع: من خلال توزيع تفاعلات البيئة عبر الوكلاء، يقلل JBR من تكلفة عينات حساب الاستجابة المثلى، مما يعالج الاختناق الرئيسي لـ PSRO في حالات تعدد الوكلاء أو المحاكيات المكلفة.
المتانة: تؤكد النتائج أن التدريب القائم استراتيجياً (نمط PSRO) يظل أكثر متانة من أساليب MARL القياسية عند جعله عالي كفاءة العينات.
النشر العملي: توفر المتغيرات المقترحة، وخاصة JBR-PSRO- $\delta$ T و HBR-PSRO، مسارات قابلة للتطبيق لنشر PSRO في المجالات التي تهيمن فيها تكاليف التفاعل مع البيئة على وقت التشغيل، دون التضحية بجودة التوازنات المتعلمة.

يشير المؤلفون إلى أنه بينما يحسن JBR الكفاءة، فإن PSRO ومتغيراته لا تزال تتطلب المزيد من التكرارات والعينات مقارنة بطرق MARS التقليدية، كما تظل القابلية للتوسع في المجالات المستمرة عالية الأبعاد تحدياً للعمل المستقبلي.