Mastering Baghchal by Self-Play with Deep Reinforcement Learning
تقدم هذه الورقة تقييماً منهجياً لأربع خوارزميات للتعلم التعزيزي العميق (DQN، وREINFORCE، وPPO، وMuZero) لإتقان لعبة "باغتشال" النيبالية غير المتماثلة من خلال اللعب الذاتي، مما يكشف أن MuZero يحقق أعلى معدلات الفوز عبر التخطيط القائم على النموذج، بينما توفر خوارزمية PPO التوازن الأكثر عملية بين الأداء والكفاءة الحسابية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
على مدى عقود، ظل مجال الذكاء الاصطناعي مهووساً بالألعاب، مستخدماً إياها كساحة اختبار لتعليم الآلات كيفية التفكير. والهدف ليس مجرد الفوز في الشطرنج أو لعبة "غو" (Go)، بل فهم كيف يمكن لـ "وكيل" (agent) أن يتعلم استراتيجيات معقدة من الصراعات الأولية، دون أن يتم إخباره بالقواعد من قبل معلم بشري. هذه العملية، المعروفة باسم "التعلم التعزيزي"، تعمل كشكل رقمي من أشكال التجربة والخطأ؛ حيث يلعب الوكيل لعبة ما، ويتلقى مكافأة مقابل حركة جيدة أو عقوبة مقابل حركة سيئة، ويقوم ببطء بتعديل منطقه الداخلي لتعظيم المكافآت المستقبلية. وبينما نجح هذا النهج في إتقان الألعاب المتماثلة حيث يمتلك كلا اللاعبين قطعاً وأهدافاً متطابقة، فإنه يواجه صعوداً أكثر حدة عندما يكون اللاعبون مختلفين جوهرياً. في هذه السيناريوهات غير المتماثلة، قد يمتلك أحد الجانبين عدداً قليلاً من الوحدات القوية بينما يقود الآخر جيشاً كبيراً وبطيئاً، مما يخلق لغزاً يبدو فيه مسار النصر مختلفاً تماماً لكل لاعب. إن فهم كيفية تنقل الآلات عبر هذه الميادين غير المتكافئة أمر بالغ الأهمية، ليس فقط من أجل تطوير روبوتات ألعاب أفضل، بل لتطوير ذكاء اصطناعي يمكنه التعامل مع الحقائق الواقعية الفوضوية وغير المتكافئة.
في دراسة حديثة، وجه الباحثون من جامعة كاتماندو في نيبال اهتمامهم إلى لعبة "باغشال" (Baghchal)، وهي لعبة لوحية تقليدية من ثقافتهم تجسد هذا التباين بشكل مثالي. تُلعب اللعبة على شبكة خمسة في خمسة، وتضع أربعة نمور رشيقة في مواجهة عشرين ماعزاً. يتحرك النمور أولاً ويمكنهم القفز فوق الماعز لالتقاطهم، بهدف إزالة خمسة من الماعز من اللوحة للفوز. أما الماعز، الذين يتم وضعهم على اللوحة واحداً تلو الآخر في مرحلة الافتتاح، فيجب عليهم العمل معاً لمحاصرة النمور وقطع جميع حركاتهم. إذا نجح الماعز في محاصرة النمور بحيث لا يستطيعون الحركة، يفوز الماعز. تُلعب اللعبة بمعلومات كاملة، مما يعني أن كلا الجانبين يرى اللوحة بأكملها في جميع الأوقات، ومع ذلك تكمن التحديات في الأدوار المختلفة تماماً: فالنمور تحتاج إلى تكتيكات هجومية قصيرة المدى للصيد، بينما يتطلب الماعز تخطيطاً طويل المدى ومنسقاً لبناء جدار دفاعي. وعلى الرغم من عمقها الاستراتيجي، لم تحظَ "باغشال" باهتمام كبير من باحثي الذكاء الاصطناعي الحديث، الذين ركزوا إلى حد كبير على الألعاب الغربية أو شرق الآسيوية.
لاستكشاف كيفية تعامل الآلات مع هذا التحدي الفريد، درب الفريق أربعة أنواع مختلفة من خوارزميات التعلم للعب كلا جانبي اللعبة ضد أنفسهم. لم يقوموا ببرمجة الوكلاء باستراتيجيات محددة؛ بدلاً من ذلك، تركوا الخوارزميات تلعب آلاف الألعاب ضد نسخ من نفسها، متعلمة من النتائج. اختبر الباحثون مجموعة متنوعة من أساليب التعلم: أسلوب تعلم عن طريق حفظ قيمة أوضاع لوحية محددة، وآخر تعلم عن طريق التخمين والتحقق من تسلسلات اللعب الكاملة، وثالث وازن بين التعلم والاستقرار، ورابع بنى نموذجاً داخلياً للعبة لتخيل الحركات المستقبلية. ومن خلال جعل كل خوارزمية تلعب دور النمر ودور الماعز، تمكن الباحثون من معرفة ما إذا كان بإمكان طريقة تعلم واحدة التكيف مع طريقتين مختلفتين تماماً في التفكير، أو ما إذا كانت ستعاني لإتقان دور واحد بينما تفشل في الآخر.
كشفت النتائج عن تسلسل هرمي واضح في مدى جودة تعلم هذه الآلات للعب. كانت الخوارزمية الأكثر نجاحاً هي تلك التي بنت نموذجاً داخلياً للعبة، مما سمح لها بمحاكاة السيناريوهات المستقبلية قبل اتخاذ أي خطوة. هذا النهج، المعروف باسم "التخطيط القائم على النموذج"، مكن الوكيل من التفكير لعدة خطوات للأمام، وهي مهارة حاسمة للماعز الذين يجب عليهم تخطيط حصارهم بعناية. في عمليات المحاكاة، فاز هذا الوكيل المتقدم بنسبة 86 بالمائة من الألعاب عندما لعب كنمر، و62 بالمائة عندما لعب كماعز. لقد تعلم القيام بالتضحيات، مثل ترك ماعز يهرب مؤقتاً لضبط فخ أفضل لاحقاً، وتفوق في التنسيق طويل المدى المطلوب لإيقاف النمور. وجد الباحثون أن القدرة على التخطيط المسبق كانت العامل الأكبر في الفوز، لأنها سمحت للوكيل برؤية عواقب أفعاله في المستقبل البعيد.
ومع ذلك، سلطت الدراسة الضوء أيضاً على مقايضة عملية. فبينما كان الوكيل القائم على النموذج هو اللاعب الأقوى، إلا أنه كان أيضاً الأكثر تطلباً، حيث يتطلب قوة حوسبة ووقتاً أكبر بكثير للتدريب. فقد استغرق الأمر ما يقرب من خمس وعشرين ساعة من المعالجة المستمرة للوصو إلى ذروة أدائه، وكان أبطأ في اتخاذ القرارات أثناء اللعبة. وفي المقابل، قدمت خوارزمية أخرى، والتي تعلمت من خلال الموازنة بين الاستكشاف والاستقرار، حلاً وسطاً جذاباً. فقد حققت معدلات فوز قوية لكلا الجانبين — 73 بالمائة كنمر و58 بالمائة كماعز — ولكنها فعلت ذلك بجهد حوسبي أقل وفي أقل من نصف وقت التدريب. يشير هذا إلى أنه بالنسبة للعديد من التطبيقات في العالم الحقيقي حيث تكون الموارد محدودة، فإن نظاماً أقل قوة ولكنه أكثر كفاءة قد يكون الخيار الأفضل.
كما اكتشف الباحثون كيف شكلت طبيعة اللعبة نفسها عملية التعلم. فقد ثبت أن دور النمر كان أسهل لجميع الخوارزميات لإتقانه لأن المكافآت كانت فورية وواضحة: فالتقاط ماعز يعطي دفعة فورية. وهذا جعل عملية التعلم مستقرة وسريعة. أما دور الماعز، فقد كان أصعب بكثير. الماعز يتلقون المكافآت فقط عندما ينجحون في محاصرة النمور، وهو أمر قد يحدث بعد العديد من الحركات من مرحلة الإعداد الأولية. هذا التأخير جعل من الصعب على الخوارزميات معرفة أي الحركات المبكرة كانت مفيدة وأيها لم تكن كذلك. وبناءً على ذلك، عانت الخوارزميات التي اعتمدت على التغذية الراجعة الفورية مع دور الماعز، وغالباً ما فشلت في تنسيق العشرين قطعة لتشكيل دفاع متماسك. أظهرت الدراسة أنه بينما يمكن للآلات تعلم لعب الألعاب غير المتماثلة، فإن صعوبة الدور تعتمد بشكل كبير على مدى سرعة تقديم اللعبة للتغذية الراجعة حول النجاح.
في نهاية المطاف، يوضح هذا العمل أن الذكاء الاصطناعي الحديث يمكنه تعلم التنقل في الميادين المعقدة وغير المتكافئة دون تعليم بشري. تؤكد الدراسة أن القدرة على التخطيط المسبق هي المفتاح لإتقان ألعاب مثل "باغشال"، حيث يتطلب مسار النصر التفكير فيما وراء الخطوة التالية المباشرة. وبينما تتطلب الأنظمة الأكثر قوة موارد حوسبية كبيرة، تشير النتائج إلى أن الخوارزميات الفعالة يمكنها أن تحقق مستويات عالية من المهارة، مما يجعل تقنيات لعب الألعاب المتقدمة متاحة حتى في البيئات ذات الأجهزة المحدودة. ومن خلال تطبيق هذه الأساليب على لعبة نيبالية تقليدية، لم يطور الباحثون علم الذكاء الاصطناعي فحسب، بل ساعدوا أيضاً في الحفاظ على تراث ثقافي، مثبتين أن الاستراتيجيات القديمة يمكن أن تعلم الآلات الحديثة دروساً قيمة حول التعاون، والاستراتيجية، وفن التفكير المسبق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.