🤖 machine learning

Self-Play Reinforcement Learning under Imperfect Information in Big 2

تقدم هذه الورقة إطار عمل للتعلم التعزيزي باللعب الذاتي للعبة الورق ذات المعلومات الناقصة "Big 2"، حيث تُظهر أن خوارزمية (PPO) تتفوق على الأساليب القائمة على القيمة في ظل ظروف محكومة، وتبرز فوائد تنظيم الإنتروبيا واللعب الذاتي للسياسة الحالية لتدريب وكلاء متعددين من الوكلاء المتينين.

المؤلفون الأصليون: Aalok Patwa

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aalok Patwa

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تجلس إلى طاولة مع ثلاثة من أصدقائك تلعب لعبة ورق تسمى "Big 2". يمكنك رؤية أوراق يدك المكونة من 13 ورقة، ويمكنك رؤية الأوراق التي لعبها الجميع حتى الآن. ولكنك لا تستطيع رؤية الأوراق المخفية في أيدي أصدقائك. هذا ما يسميه الباحثون "المعلومات الناقصة" (Imperfect Information). عليك أن تخمن ما يحملونه بناءً على ما يلعبونه، وما يتنازلون عنه، وعدد الأوراق المتبقية.

الهدف من هذه الورقة البحثية هو تعليم برنامج كمبيوتر (وكيل ذكاء اصطناعي) كيفية لعب هذه اللعبة ببراعة باستخدام التعلم التعزيزي (Reinforcement Learning - RL). فكر في التعلم التعزيزي كطالب يتعلم من خلال التجربة والخطأ: يلعب الذكاء الاصطناائي آلاف المباريات، ويحصل على "درجات" (مكافآت) للفوز أو الخسارة، ويبدأ تدريجياً في استيعاب أفضل الاستراتيجيات.

إليك تفصيل لما توصلت إليه الورقة، باستخدام تشبيهات بسيطة:

1. التحدي: لعبة الأسرار المخفية

لعبة "Big 2" صعبة لأنها:

لا تعرف كل شيء: عليك تخمين أيدي خصومك.
القواعد تتغير في كل دور: أحياناً يمكنك لعب ورقة واحدة، وأحياناً زوج، وأحياناً "سلسلة" (Straight) معقدة. قائمة الحركات المسموح بها تتغير باستمرار.
المدى القصير مقابل المدى الطويل: أحياناً قد يبدو لعب أقوى ورقة لديك الآن أمراً جيداً، لكنه قد يتركك بلا حيلة لاحقاً. يجب على الذكاء الاصطناعي أن يتعلم التضحية بفوز صغير اليوم ليفوز باللعبة بأكملها غداً.

2. التجربة: من تعلم بشكل أفضل؟

قام الباحثون بإعداد "معسكر تدريبي" حيث علموا أربعة أنواع مختلفة من طلاب الذكاء الاصطناعي باستخدام نفس القواعد تماماً، ونفس القدر من قوة الكمبيوتر، ونفس الوقت. أرادوا معرفة أي أسلوب تعلم هو الأفضل.

الطلاب:
1. طالب الـ PPO (طالب "السياسة"): هذا الطالب يتعلم من خلال تجربة استراتيجيات مختلفة وتعديل "شعوره الداخلي" بشأن الحركة التي يجب اتخاذها. إنه يشبه مدرباً يقول لك: "جرب لعب زوج هنا، يبدو هذا مناسباً".
2. طلاب الـ Q-Learning / SARSA / Monte Carlo (طلاب "القيمة"): هؤلاء الطلاب يحاولون حفظ درجة لكل موقف محتمل. يتساءلون: "إذا لعبت هذه الورقة، ما هي القيمة النقطية الدقيقة التي سأحصل عليها في النهاية؟"

النتيجة: الطالب الذي يتبع نظام PPO هو من فاز في المعسكر التدريبي. لقد تعلم بشكل أسرع وأصبح لاعباً أفضل من "طلاب القيمة".

لماذا؟ في لعبة ذات معلومات مخفية وعدة لاعبين، محاولة حساب الدرجة المستقبلية الدقيقة لكل حركة هو أمر يشبه محاولة التنبؤ بالطقس للسنة القادمة بدقة مثالية—الأمر مليء بالضجيج ويستغرق وقتاً طويلاً جداً. نهج PPO المتمثل في "تعديل الاستراتيجية بناءً على كيفية سير الأمور" كان أكثر كفاءة.

3. السر الخفي: "الإنتروبيا" (لا تكن متوقعاً للغاية)

لاحظ الباحثون شيئاً مثيراً للاهتمام حول طالب الـ PPO الفائز. في البداية، كان واثقاً جداً، حيث يختار نفس الحركة "الأفضل" بنسبة 90% من الوقت. ولكن في لعبة لا يستطيع فيها خصومك رؤية أوراقك، فإن كونك متوقعاً بنسبة 100% أمر خطير. إذا كنت تلعب دائماً بنفس الطريقة، فسيتمكن الخصوم الأذكياء من فهمك.

التشبيه: تخيل أنك تلعب "حجر-ورقة-مقص". إذا كنت ترمي دائماً "حجر" لأن هذا يبدو أفضل حركة، فسيقوم خصمك بسرعة برمي "ورقة" ويهزمك. أنت بحاجة إلى التنويع قليلاً.
الحل: أضاف الباحثون القليل من "الإنتروبيا" (العشوائية) إلى تدريب الذكاء الاصطناعي. أخبروه: "لا تكن متأكداً بنسبة 100%؛ احتفظ بالقليل من عنصر المفاجأة في تحركاتك".
النتيجة: الذكاء الاصطناعي الذي حافظ على قدر متوسط من العشوائية كان هو الأفضل أداءً. أصبح من الصعب قراءته وأكثر قدرة على التكيف. ومع ذلك، فإن الكثير من العشوائية جعله يلعب بغباء، لذا كان التوازن هو المفتاح.

4. شريك التدريب: ضد من يجب أن تلعب؟

تعلم الذكاء الاصطناعي من خلال اللعب ضد نفسه (Self-Play). اختبر الباحثون ثلاث طرق مختلفة لإعداد هذه المباريات التدريبية:

خصم ثابت: لعب الذكاء الاصطناعي ضد كمبيوتر يلعب دائماً نفس الاستراتيجية "الذكية".
خصم نقاط التفتيش (Checkpoint): لعب الذكاء الاصطناعي ضد نسخ قديمة من نفسه تم حفظها من مراحل مبكرة من التدريب.
خصم السياسة الحالية (Current-Policy): لعب الذكاء الاصطناعي ضد النسخة الحالية من نفسه، والتي كانت تتحسن كل يوم.

النتيجة: اللعب ضد السياسة الحالية (النسخة التي تتحسن في الوقت الحالي) كان هو الطريقة الأفضل.

التشبيه: تخيل أنك تتعلم السباحة.
- إذا كنت تتدرب فقط ضد روبوت بطيء وثابت، فستصبح جيداً في هزيمة هذا الروبوت، لكنك قد لا تتعلم كيفية التعامل مع سباح سريع.
- إذا كنت تتدرب ضد "نفسك الماضية"، فقد تكون تخوض معارك ربحتها بالفعل.
- إذا كنت تتدرب ضد نفسك الحالية، فإن مستوى الصعوبة يرتفع تماماً بنفس سرعة تحسن مهاراتك. إنه مثل مدرب شخصي يعدل الوزن على القضبان الحديدية ليتناسب تماماً مع قوتك الحالية. هذا جعل الذكاء الاصطناعي في تحدٍ مستمر وتعلم الدروس الأكثر صلة.

ملخص

تظهر هذه الورقة أنه بالنسبة لألعاب الورق المعقدة مثل "Big 2":

التعلم القائم على الاستراتيجية (PPO) يعمل بشكل أفضل من محاولة حفظ الدرجات الدقيقة.
الاحتفاظ بالقليل من العشوائية في تحركاتك يجعلك خصماً أصعب.
التدريب ضد نسخة من نفسك تتحسن جنباً إلى جنب معك هو أسرع طريقة للتعلم.

خلص المؤلفون إلى أن "Big 2" هي "مطبخ اختبار" رائع لتعليم أجهزة الكمبيوتر كيفية اتخاذ قرارات ذكية عندما لا تتوفر لديها جميع الحقائق، وهي مهارة يمكن أن تساعد في نهاية المطوت في العديد من المواقف الواقعية حيث تكون المعلومات مخفية.

ملخص تقني: التعلم التعزيزي عبر اللعب الذاتي في بيئة معلومات ناقصة في لعبة Big 2

بيان المشكلة

تتناول الورقة التحديات المتعلقة بتدريب وكلاء التعلم التعزيزي (RL) في ألعاب متعددة اللاعبين ذات معلومات ناقصة. وتحديداً، تبحث في لعبة Big 2، وهي لعبة رمي أوراق مكونة من أربعة لاعبين وتتميز بـ:

المعلومات المخفية: يلاحظ اللاعبون فقط أوراق أيديهم الخاصة وتاريخ اللعب العام؛ بينما يجب استنتاج أوراق الخصوم من خلال الأفعال، والتمرير (pass)، وأعداد الأوراق المتبقية.
المكافآت الشحيحة والمتأخرة: المكافأة الأساسية (الفوز) تحدث فقط في الحالة النهائية، بينما تكون المكافآت البينية صفراً.
الخصوم غير المستقرين (Non-Stationary): في إعدادات اللعب الذاتي، يتغير توزيع الخصوم مع تحسن الوكلاء.
مساحات العمل المتغيرة: الأفعال القانونية هي مجموعات محددة من الأوراق في يد اللاعب (أحادية، أزواج، تسلسلات، إلخ) والتي تتغير جذرياً بين الأدوار، مما يجعل تجريد الأفعال الثابتة أمراً صعباً.

يهدف المؤلفون إلى تحديد ما إذا كانت أهداف تدرج السياسة (policy-gradient) أو القيم (value-based) تتعلم بشكل أكثر فعالية في هذا الإعداد تحت ميزانية محكومة ومحدودة الحوسبة، وكيف تؤثر خيارات تصميم التدريب المحددة (تنظيم الإنتروبيا، ومنهج الخصم) على الاستقرار والأداء.

المنهجية

1. البيئة والتمثيل

قام المؤلفون بتطوير محاكي حيث تعكس حالة الملاحظة ( $o_i$ ) بدقة المعلومات المتاحة:

المدخلات: يد اللاعب الخاصة (مع الحشو/padding)، الدور النشط (trick)، جميع الأوراق المرئية، أعداد الأوراق المتبقية للخصوم، عدد مرات التمرير، وتاريخ الأوراق الملعوبة لكل خصم.
مساحة العمل: يقوم المحاكي بحصر جميع التشكيلات القانونية في يد اللاعب وتصفيتها بناءً على الدور النشط، مما ينتج مجموعة أفعال قانونية متغيرة الطول $A(o_i)$ . هذا يتجنب استكشاف الأفعال غير القانونية.
البنية العصبية:
- مشفر الحالة (State Encoder): يستخدم جدول تضمين (embedding) مشترك للأوراق. تتم معالجة يد اللاعب عبر آلية الانتباه الذاتي (self-attention) والتجميع (pooling). يتم تضمين المعلومات العامة (الدور، الأوراق المرئية، أعداد الخصوم) ودمجها لتشكيل تضمين الحالة.
- تسجيل الأفعال (Action Scoring): يتم ترميز الأفعال القانونية كمتجهات سمات ذات 80 بُعداً. يتم حساب حاصل الضرب النقطي بين تضمين الحالة وتضمين الفعل لتسجيل كل مرشح قانوني.
- التمييز: بخلاف العمل السابق الذي استخدم رؤوساً ثابتة بـ 1695 فعلاً مع حجب الحركات غير القانونية، يقوم هذا النموذج بتسجيل الأفعال القانونية فقط، مما يسمح للأوراق المحتفظ بها بالتفاعل قبل عملية التجميع.

2. خوارزميات التعلم

تقارن الدراسة أربع خوارزميات تحت بنيات متطابقة وميزانيات تدريب متساوية (5,000 دفعة، 64 حلقة لكل دفعة):

PPO (تحسين السياسة التقريبية): نموذج أساسي لتدرج السياسة يستخدم أهدافاً بديلة مقصوصة (clipped surrogate objectives) ورأساً منفصلاً للقيمة.
تقريب مونت كارلو لـ Q (Monte Carlo Q Approximation): طريقة تعتمد على القيمة تستخدم العائد المخصوم الكامل ( $y_t = \sum \gamma^{k-t} r_k$ ) كهدف.
SARSA: طريقة تعتمد على القيمة تعمل بنمط "على السياسة" (on-policy) باستخدام أهداف الخطوة الواحدة ( $y_t = r_t + \gamma Q(s_{t+1}, a_{t+1})$ ).
Q-Learning: طريقة تعتمد على القيمة تعمل بنمط "خارج السياسة" (off-policy) باستخدام أهداف الحد الأقصى ( $y_t = r_t + \gamma \max_a Q(s_{t+1}, a)$ ).

تستخدم جميع الطرق المعتمدة على القيمة استراتيجية $\epsilon$ -greedy للاستكشاف أثناء التدريب، والاختيار الجشع (greedy selection) أثناء التقييم.

3. مناهج التدريب والتقييم

اللعب الذاتي (Self-Play): يستخدم الإعداد الافتراضي اللعب الذاتي للسياسة الحالية، حيث تتحكم السياسة الحالية في المقاعد الأربعة.
الخطوط المرجعية (Baselines): يتم التقييم مقابل ثلاثة خصوم استدلاليين:
- العشوائي (Random): يختار الأفعال القانونية بشكل موحد.
  بناءً على السمات الاستراتيجية (التخلص من الأوراق، الحفاظ على التشكيلات، تجنب الاستخدام المبكر للـ '2's).
- الذكي (Smart): سياسة قائمة على القواعد تسجل الأفعال بناءً على سمات استراتيجية.
المقاييس: معدل الفوز ومتوسط درجة اللعبة (مجموع الأوراق المتبقية للخاسرين، وسالب للخاسرين) ضد كل فئة من الخصوم.

المساهمات والنتائج الرئيسية

1. أداء الخوارزميات

تحت ميزانية حوسبة محدودة، تفوق PPO على جميع الطرق المعتمدة على القيمة (Monte Carlo Q، SARSA، Q-learning) عبر جميع فئات الخصوم.

حقق PPO معدل فوز 85.4% ضد العشوائي، و58.2% ضد الجشع، و37.1% ضد الذكي.
فشلت الطرق المعتمدة على القيمة، رغم تعلمها لسياسات مفيدة، في مضاهاة أداء PPO النهائي. يعزو المؤلفون ذلك إلى صعوبة تقدير القيمة في مساحة حالة لعبة Big 2 ذات التباين العالي والمعلومات الناقصة، حيث تُزار الحالات ذات الأهمية الاستراتيجية نادراً، ويجب تخصيص العوائد النهائية عبر تسلسلات طويلة.

2. تنظيم الإنتروبيا (Entropy Regularization)

وجد المؤلفون أن PPO بدون تنظيم الإنتروبيا يصبح حتمياً بشكل مفرط، حيث يختار الأفعال الأعلى احتمالية بنسبة تزيد عن 90% حتى في المواقف الاستراتيجية الغامضة.

النتيجة: أدى تنظيم الإنتروبيا المتوسط ( $\beta_{ent} = 0.05$ ) إلى تحسين الأداء بشكل كبير عبر جميع فئات الخصوم (على سبيل المثال، زيادة معدل الفوز ضد الذكي من 37.1% إلى 43.5%).
الدلالة: السياسات العشوائية (Stochastic policies) مفيدة في ألعاب المعلومات الناقصة للحفاظ على عدم القدرة على التنبؤ وتجنب الالتزام المفرط بتفضيلات الأفعال غير المثالية. ومع ذلك، فإن الإنتروبيا المفرطة تضعف الأداء.

3. منهج الخصم (Opponent Curriculum)

قارنت الدراسة بين اللعب الذاتي للسياسة الحالية وبين اللعب الذاتي لنقاط التحقق (checkpoint self-play) (التدريب ضد سياسات سابقة محفوظة) والتدريب ضد خصم ثابت (التدريب فقط ضد الخصم الذكي).

النتيجة: حقق اللعب الذاتي للسياسة الحالية أفضل النتائج لكل من PPO وMonte Carlo Q.
السبب: التدريب ضد خصم ثابت ومحدد (الذكي فقط) يضيق توزيع الحالة ويقلل الاستكشاف. أما اللعب الذاتي لنقاط التحقق فيقدم تنوعاً ولكنه يضعف إشارة التعلم من خلال تعريض الوكيل لأخطاء "قديمة" تعلم بالفعل التغلب عليها. يعمل اللعب الذاتي للسياسة الحالية كمنهج تكيفي، مما يبقي مستوى صعوبة الخصم متوافقاً مع مستوى مهارة الوكيل الحالي.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول دراسة تجريبية محكومة تقارن بين أهداف التعلم التعزيزي وخيارات تصميم التدريب خصيصاً للعبة Big 2. وتكمن أهميتها في:

تأسيس خط مرجعي: توفر خط مرجعي متاح للبحوث المستقبلية حول البحث، والتجريد، ونمذجة الخصم في Big 2، مع عزل العوامل التي غالباً ما تختلط في الأنظمة الأكبر.
إثبات الكفاءة: تظهر أن التعلم التعزيزي العميق يمكنه تعلم استراتيجيات قوية في لعبة مكونة من أربعة لاعبين ومعلومات ناقصة دون الحاجة لنماذج خصوم مهندسة، أو بحث في الأشجار، أو تقليم أفعال استدلالي يتجاوز التصفية القانونية.
تحديد العوامل الحاسمة: تسلط الضوة على أن في إعدادات الميزانية المحدودة، يكون اختيار الخوارزمية (PPO > القيمة)، وعشوائية السياسة (تنظيم الإنتروبيا)، وتصميم المنهج (اللعب الذاتي للسياسة الحالية) هي العوامل الحاسمة للنجاح.

يبقى المؤلفون متواضعين، مشيرين إلى أن دراستهم لا تقارن مع تقليل الندم المضاد للواقع (CFR)، أو الوكلاء المعززين بالبحث، أو ميزانيات التدريب الأكبر، وأن هناك حاجة لعمل مستقبلي لتحديد ما إذا كانت الطرق المعتمدة على القيمة يمكنها سد الفجوة مع التدريب الممتد أو ما إذا كان اللعب المتقاطع سيكشف عن نقاط ضعف استراتيجية جديدة.