🤖 machine learning

Causal Reinforcement Learning for Complex Card Games: A Magic The Gathering Benchmark

تقدم هذه الورقة MTG-Causal-RL، وهو معيار مرجعي جديد لـ Gymnasium يعتمد على لعبة Magic: The Gathering يدمج نموذجاً سببيّاً هيكلياً محددًا يدويًا لتمكين التقييم الصارم لتخصيص الائتمان السببي، والنقل الهيكلي، وقابلية تدقيق السياسات في بيئات معقدة، جزئية الملاحظة، ذات مساحات إجراءات مقنعة واسعة.

المؤلفون الأصليون: Cristiano da Costa Cunha, Ajmal Mian, Tim French, Wei Liu

نُشر 2026-05-08

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Cristiano da Costa Cunha, Ajmal Mian, Tim French, Wei Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية لعب لعبة بطاقات معقدة للغاية تسمى Magic: The Gathering. عادةً، عندما نعلم الروبوتات كيفية لعب الألعاب، نكتفي بإظهار القواعد لها وتركها تفوز أو تخسر. إنها تتعلم من خلال التجربة والخطأ، تماماً مثل كلب يتعلم جلب الكرة: "إذا فعلت هذا، سأحصل على مكافأة (فوز)؛ وإذا فعلت ذاك، فلن أحصل عليها".

لكن هناك مشكلة في هذا النهج. قد يصبح الروبوت بارعاً جداً في الفوز، لكنه لا يفهم حقاً لماذا فاز. الأمر يشبه طالباً يحفظ نموذج الإجابة لاختبار رياضيات دون أن يفهم الرياضيات نفسها. إذا تغير الاختبار قليلاً، فسيفشل.

تقدم هذه الورقة البحثية طريقة جديدة لتدريب هؤلاء "اللاعبين الآليين" ليفهموا السبب والنتيجة لأفعالهم، وليس فقط النتيجة النهائية. إليك تفصيل ما فعلوه، باستخدام تشبيهات بسيطة:

1. "النادي الرياضي" الجديد للذكاء الاصطناعي

قام المؤلفون ببناء بيئة تدريب خاصة (معيار مرجعي) تعتمد على لعبة Magic: The Gathering. فكر في هذا كأنه صالة ألعاب رياضية عالية التقنية للذكاء الاصطناعي.

اللعبة: إنها لعبة بطاقات معقدة تحتوي على معلومات مخفية (لا يمكنك رؤية بطاقات خصمك)، وخيارات هائلة (مئات الحركات الممكنة)، وعناصر عشوائية (سحب البطاقات يشبه الحظ).
التحول الجوهري: في هذا النادي الرياضي، في كل مرة يقوم فيها الذكاء الاصطناعي بحركة، فإنه لا يحصل فقط على نتيجة "فوز" أو "خسارة". بل يحصل على خريطة سببية.
- تشبيه: تخيل أنك تلعب الشطرنج. عادةً، تعرف فقط ما إذا كنت قد فزت أم لا. في هذا النادي الرياضي، تخبرك اللعبة أيضاً: "لأنك حركت الحصان إلى هنا، فقد زادت سيطرتك على المركز بنسبة 5%، مما جعل خصمك أكثر عرضة للخسارة". إنها تفكك اللعبة إلى "رافعات" محددة (مثل المانا، عدد البطاقات، نقاط الحياة) وتوضح بدقة كيف يؤثر سحب رافعة واحدة على الرافعة الأخرى.

2. المدرب "السببي" (CGFA-PPO)

يقترح البحث وكيل ذكاء اصطناعي جديد يسمى CGFA-PPO.

الطريقة القديمة (الذكاء الاصطناعي القياسي): ينظر الذكاء الاصطناعي إلى اللوحة ويخمن: "إذا فعلت (س)، فقد أفوز". إنه "صندوق أسود".
الطريقة الجديدة (الذكاء الاصطناعي السببي): يمتلك هذا الوكيل "مدرباً" خاصاً بداخله. يعرف هذا المدرب قواعد السبب والنتيجة (النموذج السببي الهيكلي).
- تشبيه: تخيل طالباً يؤدي اختباراً. "الذكاء الاصطناعي القياسي" يكتفي بتخمين الإجابة. أما "الذكاء الاصطناعي السببي"، فلديه معلم يهمس في أذنه: "مهلاً، إذا أنفقت طاقتك على هذه التعويذة، فستكون لديك طاقة أقل لتلك لاحقاً. لهذا السبب يجب أن تختار هذا المسار".
الهدف: يحاول الذكاء الاصطناعي ليس فقط التعلم للفوز، بل لفهم أي "رافعات" محددة (مثل امتلاك المزيد من البطاقات أو المزيد من نقاط الحياة) تؤدي فعلياً إلى النصر.

3. التجربة: هل نجح الأمر؟

وضع الباحثون "المدرب السببي" الخاص بهم في مواجهة ذكاء اصطناعي قياسي يعتمد على "التخمين"، ولاعب عشوائي. واختبرواهم ضد خمسة أنواع مختلفة من مجموعات البطاقات (الاستراتيجيات)، مثل المجموعة الهجومية التي تهاجم بسرعة أو المجموعة الدفاعية التي تنتظر.

النتائج:

كلا النوعين من الذكاء الاصطناعي أصبحا أفضل من اللعب العشوائي: تعلم كل من الذكاء الاصطناعي القياسي والذكاء الاصطناعي السببي الجديد اللعب بشكل أفضل بكثير من شخص يختار البطاقات عشوائياً.
لا يوجد فائز واضح: من المثير للدهشة أن الذكاء الاصطناعي السببي الجديد لم يفز في كل مكان.
- في بعض المجموعات (مثل تلك التي تهاجم بسرعة)، كان الذكاء الاصطناعي السببي أفضل قليلاً.
- في مجموعات أخرى (مثل المجموعات الدفاعية البطيئة)، كان الذكاء الاصطناعي القياسي هو الأفضل في الواقع.
القيمة الحقيقية: يجادل البحث بأن الذكاء الاصطناعي السببي لا يزال ناجحاً، حتى لو لم يفز في كل مباراة. لماذا؟ لأنه يوفر لنا الشفافية.
- تشبيه: إذا فاز الذكاء الاصطناعي القياسي، فنحن نقول فقط "عمل جيد". أما إذا فاز الذكاء الاصطناعي السببي، فيمكننا النظر في "مذكراته" ونقول: "آه، لقد فاز لأنه أدرك أن توفير 'المانا' (الطاقة) لنهاية اللعبة كان هو المفتاح".
- تُظهر الورقة أنه من خلال النظر في هذه "المذكرات" (مسارات المعايرة)، يمكن للباحثين معرفة لماذا يعاني الذكاء الاصطناعي أو ينجح، وهو أمر مستحيل مع "الصندوق الأسود" للذكاء الاصطناعي القياسي.

4. ميزة "التدقيق"

إن المساهمة الأكبر لهذه الورقة ليست مجرد إنشاء ذكاء اصطناعي جديد يفوز بمزيد من المباريات؛ بل هي إنشاء أداة للتحقق من كيفية تفكير الذكاء الاصطناعي.

لقد أنشأوا نظاماً حيث يمكنك أن تسأل الذكاء الاصطناعي: "لو كنت قد قمت بهذه الحركة المختلفة، ماذا كان سيحدث؟"
يمكن للذكاء الاصطناي الإجابة بناءً على خريطته السببية، وليس بمجرد التخمين. هذا يشبه امتلاك "مسجل طيران" لعملية اتخاذ القرار لدى الذكاء الاصطناعي.

الملخص

لقد بنى المؤلفون محاكياً للعبة بطاقات معقدة يجبر الذكاء الاصطناعي على فهم السبب والنتيجة، وليس فقط الحظ. لقد أنشأوا وكيل ذكاء اصطناعي جديداً يحاول تعلم هذه الروابط. وبينما لم يصبح هذا الوكيل الجديد بطلاً لا يهزم في لعبة البطاقات، إلا أنه أثبت أنه يمكننا الآن تدقيق (فحص وفهم) قرارات الذكاء الاصطناعي. إنها خطوة نحو بناء ذكاء اصطناعي لا يتصرف بذكاء فحسب، بل يشرح لماذا تصرف بهذه الطريقة.

ما لا تدعيه الورقة البحثية:

لا تدعي أن هذا الذكاء الاصطناعي يمكن استخدامه لتشخيص الأمراض أو إدارة الأسواق المالية (رغم أن المؤلفين ذكروا أن هذه هي الاحتمالات المستقبلية للمجال، إلا أن هذه الورقة تحديداً تتعلق بلعبة البطاقات فقط).
لا تدعي أن الذكاء الاصطناعي السببي مثالي؛ بل تعترف في الواقع بأنه لا يزال يواجه صعوبات مع بعض الاستراتيجيات المعقدة.
لا تدعي أنها حلت مشكلة "الصندوق الأسود" للذكاء الاصطناعي بالكامل، بل قدمت طريقة جديدة للنظر داخل الصندوق.

ملخص تقني: MTG-Causal-RL

بيان المشكلة

تفتقر التعلم المعزز السببي (Causal RL) حاليًا إلى معايير مرجعية تعالج في آن واحد اتخاذ القرار المتسلسل، والمعلومات الخفية، وفضاءات الأفعال المقنعة الكبيرة، والبنية السببية الصريحة. توفر البيئات الحالية عادةً إما تحكمًا منخفض المستوى مع تدخلات فيزيائية واضحة (مثل الروبوتات) أو ألعابًا استراتيجية تفتقر إلى واجهة سببية صريحة (مثل ألعاب اللوحات القياسية). تعيق هذه الفجوة الأبحاث المتعلقة بتخصيص الائتمان السببي (Causal Credit Assignment)، والنقل الهيكلي عبر النماذج الأصلية المحددة، وقابلية تدقيق السياسات تحت ظروف الملاحظة الجزئية المعقدة.

المنهجية

معيار MTG-Causal-RL

يقدم المؤلفون MTG-Causal-RL، وهو معيار مرجعي مبني على مكتبة Gymnasium يعتمد على لعبة Magic: The Gathering (MTG). تم تصميم البيئة لتكون غنية استراتيجيًا ولكنها قابلة للحوسبة بكفاءة، وتتميز بـ:

فضاء الملاحظة: متجه ملاحظة جزئي مكون من 3,077 بُعدًا يغطي اليد المرئية، ساحة المعركة، المقبرة، إجمالي نقاط الحياة، المرحلة، وحالة المانا.
فضاء الأفعال: فضاء منفصل مقنع يتكون من 478 فعلًا منظمًا في 16 فئة (مثل إلقاء التعاويذ، الهجوم، الصد، دفع المانا). عادة ما يكون هناك ما بين 2 إلى 15 فعلًا قانونيًا فقط في كل حالة.
النماذج الأصلية (Archetypes): تعمل خمسة نماذج من decks Standard 2025 التنافسية (Mono-Red Aggro، Azorius Control، Dimir Midrange، Domain Ramp، Boros Convoke) كمجمع للتدريب والتقييم.
النموذج السببي الهيكلي (SCM): يحدد نموذج SCM مصمم يدويًا العلاقات السببية بين المتغيرات الاستراتيجية. لا يتم تعلمه من البيانات بل يُشتق من نظرية استراتيجية MTG لإعطاء الأولوية لقابلية التفسير. يتكون النموذج من أربع طبقات:
1. الموارد: المانا، هبوط الأراضي، مخلوقات المانا.
2. حالة اللوحة: ضغط اللوحة، كثافة التهديدات.
3. الموقف الاستراتيجي: ميزة البطاقات (Card Advantage)، التوقيت (Tempo)، احتياطي الحياة، وتوافر الإزالة.
4. النتيجة: احتمالية الفوز ($WinProb$)، والتي تُنمذج كدالة سيجمويد (Sigmoid) لآبائها الستة (العوامل الاستراتيجية).
واجهة التدخل: تكشف البيئة عن المتغيرات السببية، وآثار التدخل المتوقعة من SCM (المحسوبة تحليليًا عبر انتشار $do(\cdot)$ )، وآثار الائتمان لكل عامل. ترتبط الأفعال بالتدخلات (على سبيل المثال، لعب أرض يقابل $do(LandDrop=1) $)، مما يؤدي إلى نشر الآثار عبر SCM لتحديث$ WinProb$.

الوكيل المقترح: CGFA-PPO

كإسهام ثانوي، يقترح المؤلفون Causal Graph-Factored Advantage PPO (CGFA-PPO). يوسع هذا الوكيل خوارزمية Masked PPO القياسية بثلاث مكونات سببية:

نقاد العوامل (Per-Factor Critics): مجموعة من $K$ من رؤوس النقاد ( $V_k$ ) التي تتوافق مع آباء SCM لـ $WinProb $. يتم تدريبها مقابل مكافآت لكل عامل محددة بتغير قيم العامل ($ \phi_k(s_{t+1}) - \phi_k(s_t)$).
أوزان الخليط القابلة للتعلم: طبقة softmax ( $w_k$ ) تدمج الميزة القياسية (Scalar Advantage) مع الميزات المتوافقة مع العوامل. يتم تهيئة هذه الأوزان من أوزان الانحدار اللوجستي لـ SCM لتوفير أولوية هيكلية.
بوابة المتبقي المشروطة بالحالة: بوابة $g(s) \in (0,1)$ تقرر ديناميكيًا مدى الاعتماد على الميزة القياسية مقابل الميزة المتوافقة مع العوامل لكل حالة.
خسارة معايرة التدخل: خسارة ارتباط بيرسون ( $L_{cal}$ ) التي توائم الميزات المتعلمة لكل عامل ( $A_k$ ) مع آثار التدخل المتوقعة من SCM ( $\epsilon_k$ ).

بروتوكول التجربة

يستخدم التقييم بروتوكولًا إحصائيًا صارمًا لض ضمان قابلية التكرار وصحة الادعاءات السببية:

البذور المزدوجة (Paired Seeds): تستخدم المقارنات بذورًا مزدوجة عبر الوكلاء والـ decks.
الاختبارات الإحصائية: تستخدم معدلات الفوز فترات ويلسون (Wilson score intervals) وفترات ثقة بوتستراب مزدوجة. تستخدم المقارنات الزوجية اختبار ويلكوكسون (Wilcoxon signed-rank) واختبار ويلش (Welch t-tests).

التصحيح: يتم تطبيق تصحيح Holm-Bonferroni ضمن عائلات المقارنة المسجلة مسبقًا للتحكم في المقارنات المتعددة.

المقاييس: بالإضافة إلى معدلات الفوز الرئيسية، يتتبع المعيار فجوات النقل (transfer gaps) من نوع "ترك واحد خارج المجموعة" (leave-one-out) عبر النماذج الأصلية، ومسارات معايرة كل عامل، وحصص تخصيص الائتمان.

النتائج الرئيسية

الأداء الرئيسي

المقارنة مع الخط المرجعي: يتفوق كل من Masked PPO و CGFA-PPO بشكل كبير على خط الأساس العشوائي المنتظم عبر جميع النماذج الخمسة.
الاعتماد على الـ Deck: لا يهيمن أي من الوكيلين بشكل مطلق. يتفوق CGFA-PPO على PPO في نموذج Azorius Control (+5.0 pp) و Mono-Red Aggro (+2.8 pp). وفي المقابل، يتفوق PPO على CGFA-PPO في Boros Convoke (-3.9 pp)، و Dimir Midrange (-2.2 pp)، و Domain Ramp (-8.3 pp).
المرتكزات الاستدلالية (Heuristic Anchors): تؤدي الاستدلالات المبرمجة يدويًا أداءً قويًا في النماذج الاستباقية (مثل Mono-Red) ولكنها تؤدي بشكل ضعيف في النماذج التفاعلية أو المعقدة (مثل Azorius Control، Domain Ramp)، مما يشير إلى أن المعيار يحتوي على أنظمة تفضل كلًا من البرمجة النصية والتعلم.

الاستئصال والتشخيص (Ablation and Diagnostics)

التعزيز السببي: في شريحة التشخيص لـ Mono-Red، حقق CGFA-PPO الكامل (70.6%) أداءً مشابهًا للتحكم ذي القيمة القياسية فقط (69.4%) وللنسخة التي لا تحتوي على بوابة (70.6%). نسخة "بدون معايرة" حققت بالفعل 73.3%، مما يشير إلى أن المعايرة والبوابة هي آليات للمواءمة وقابلية التفسير وليست مجرد أدوات لرفع الأداء الفوري في هذا السياق.
النقل (Transfer): كشفت اختبارات النقل (leave-one-out) أن مجموعات الخصوم المستبعدة كانت غالبًا أسهل من مجموعة التدريب (فجوات تعميم سالبة لكل من PPO و CGFA-PPO)، مما يثبت قدرة المعيار على اكتشاف التحولات في التقييم بدلاً من إثبات حل مشكلة النقل.
المعايرة: أظهرت مسارات التدريب أن ارتباطات العوامل تحركت نحو الإيجابية، وتركزت حصة الائتمان بشدة على عامل "احتياطي الحياة" (life buffer)، وظلت البوابة المتبقية نشطة، مما يؤكد أن الوكيل يستخدم الواجهة السببية بطريقة قابلة للتدقيق.

الأهمية والادعاءات

يزعم البحث أن MTG-Causal-RL يوفر بيئة اختبار مشتركة لثلاثة أسئلة مفتوحة لا تستطيع المعايير الحالية طرحها معًا:

تخصيص الائتمان السببي: تقييم الوكلاء تحت فضاءات أفعال مقنعة حيث يجب تخصيص الأفعال لعوامل سببية محددة.
النقل الهيكلي: اختبار التعميم عبر نماذج استراتيجية محددة بوضوح.
تدقيق السياسة: استخدام مقاييس قائمة على SCM (منحنيات المعايرة، آثار التدخل) لتدقيق لماذا يتخذ الوكيل قراراته، وليس فقط ما هو معدل الفوز.

يؤكد المؤلفون أن المساهمة الأساسية هي البيئة المرجعية والواجهة السببية، والتي تسمح بفصل القدرة، ونقاد العوامل، والبوابة، والمعايرة. تشير النتائج إلى أنه بينما يمكن للوكلاء السببيين أن يكونوا تنافسيين، فإن التسمية "السببية" وحدها لا تضمن تفوق معدلات الفوز القياسية؛ بل تكمن القيمة في القدرة على تشخيص السلوكيات الهيكلية وتدقيق تحديثات السياسة مقابل النماذج السببية الصريحة. يتم إصدار المعيار بشكل مفتوح لدعم أبحاث التعلم المعزز السببي، ونماذج العالم (world-model)، ووكلاء النماذج اللغوية الكبيرة (LLM-agents).