🤖 machine learning

Causal Reinforcement Learning for Complex Card Games: A Magic The Gathering Benchmark

यह शोधपत्र MTG-Causal-RL प्रस्तुत करता है, जो मैजिक: द गैदरिंग (Magic: The Gathering) पर आधारित एक नया जिमनीम (Gymnasium) बेंचमार्क है जो बड़े मास्क किए गए एक्शन स्पेस वाले जटिल, आंशिक रूप से दृश्यमान वातावरणों में कॉज़ल क्रेडिट असाइनमेंट (causal credit assignment), स्ट्रक्चरल ट्रांसफर (structural transfer) और पॉलिसी ऑडिटेबिलिटी (policy auditability) के कठोर मूल्यांकन को सक्षम करने के लिए एक हस्त-निर्दिष्ट स्ट्रक्चरल कॉज़ल मॉडल को एकीकृत करता है।

मूल लेखक: Cristiano da Costa Cunha, Ajmal Mian, Tim French, Wei Liu

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Cristiano da Costa Cunha, Ajmal Mian, Tim French, Wei Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक बहुत ही जटिल कार्ड गेम, मैजिक: द गैदरिंग (Magic: The Gathering) खेलना सिखाने की कोशिश कर रहे हैं। आमतौर पर, जब हम रोबोट को गेम खेलना सिखाते हैं, तो हम उन्हें बस नियम दिखा देते हैं और उन्हें जीतने या हारने देते हैं। वे प्रयास और त्रुटि (trial and error) से सीखते हैं, ठीक वैसे ही जैसे एक कुत्ता गेंद लाने के लिए सीखा जाता है: "अगर मैं यह करता हूँ, तो मुझे इनाम (जीत) मिलता है; अगर मैं वह करता हूँ, तो नहीं मिलता।"

लेकिन इस दृष्टिकोण के साथ एक समस्या है। रोबोट गेम जीतने में बहुत अच्छा हो सकता है, लेकिन वह वास्तव में यह नहीं समझ पाता कि वह क्यों जीता। यह एक ऐसे छात्र की तरह है जिसने गणित की परीक्षा के लिए उत्तर कुंजी (answer key) रट ली है लेकिन उसे गणित समझ नहीं आया। यदि आप परीक्षा को थोड़ा बदल देते हैं, तो वह असफल हो जाता है।

यह पेपर इन "AI खिलाड़ियों" को प्रशिक्षित करने का एक नया तरीका पेश करता है ताकि वे केवल परिणाम को नहीं, बल्कि अपने कदमों के कारण और प्रभाव (cause and effect) को समझ सकें। यहाँ बताया गया है कि उन्होंने क्या किया, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. AI के लिए नया "जिम"

लेखकों ने एक विशेष प्रशिक्षण वातावरण (एक बेंचमार्क) बनाया जो मैजिक: द गैदरिंग पर आधारित है। इसे AI के लिए एक हाई-टेक जिम समझें।

खेल: यह एक जटिल कार्ड गेम है जिसमें छिपी हुई जानकारी (आप अपने प्रतिद्वंद्वी के कार्ड नहीं देख सकते), विशाल विकल्प (सैकड़ों संभावित चालें), और यादृच्छिक तत्व (कार्ड खींचना भाग्य जैसा है) शामिल हैं।
ट्विस्ट: इस जिम में, हर बार जब AI कोई चाल चलता है, तो उसे केवल "जीत" या "हार" का स्कोर नहीं मिलता। उसे एक कॉज़ल मैप (Causal Map) मिलता है।
- उपमा: कल्पना कीजिए कि आप शतरंज खेल रहे हैं। आमतौर पर, आपको बस पता चलता है कि आप जीते या हारे। इस जिम में, गेम आपको यह भी बताता है: "क्योंकि आपने अपना नाइट (knight) यहाँ चलाया, इसलिए आपके केंद्र पर आपका नियंत्रण 5% बढ़ गया, जिससे आपके प्रतिद्वंद्वी के हारने की संभावना बढ़ गई।" यह गेम को विशिष्ट "लीवर्स" (जैसे माना (mana), कार्ड की संख्या, जीवन अंक) में तोड़ देता है और दिखाता है कि एक लीवर को खींचने से दूसरों पर क्या प्रभाव पड़ता है।

2. "कॉज़ल" कोच (CGFA-PPO)

यह पेपर एक नया AI एजेंट प्रस्तावित करता है जिसे CGFA-PPO कहा जाता है।

पुराना तरीका (मानक AI): AI बोर्ड को देखता है और अनुमान लगाता है, "यदि मैं X करता हूँ, तो शायद मैं जीत जाऊँगा।" यह एक ब्लैक बॉक्स है।
नया तरीका (कॉज़ल AI): इस एजेंट के अंदर एक विशेष "कोच" होता है। कोच को कारण और प्रभाव के नियमों (स्ट्रक्चरल कॉज़ल मॉडल) का पता होता है।
- उपमा: एक छात्र की कल्पना करें जो परीक्षा दे रहा है। "मानक AI" केवल उत्तर का अनुमान लगाता है। "कॉज़ल AI" के पास एक शिक्षक है जो उसके कान में फुसफुसा रहा है: "हे, यदि तुम अपनी ऊर्जा इस स्पेल (spell) पर खर्च करते हो, तो तुम्हारे पास बाद के लिए उस स्पेल के लिए कम ऊर्जा बचेगी। इसीलिए तुम्हें यह रास्ता चुनना चाहिए।"
लक्ष्य: AI का लक्ष्य न केवल जीतना सीखना है, बल्कि यह समझना भी है कि कौन से विशिष्ट "लीवर्स" (जैसे अधिक कार्ड होना या अधिक जीवन होना) वास्तव में जीत की ओर ले जाते हैं।

3. प्रयोग: क्या यह काम कर गया?

शोधकर्ताओं ने अपने नए "कॉज़ल कोच" AI को एक मानक "अनुमान लगाने वाले" AI और एक रैंडम खिलाड़ी के खिलाफ मुकाबला कराया। उन्होंने इसे पांच अलग-अलग प्रकार के डेक (रणनीतियों) के खिलाफ परखा, जैसे कि एक आक्रामक डेक जो तेजी से हमला करता है या एक रक्षात्मक डेक जो इंतजार करता है।

परिणाम:

दोनों AI रैंडम से बेहतर थे: मानक AI और नया कॉज़ल AI दोनों ने रैंडम तरीके से कार्ड चुनने वाले व्यक्ति की तुलना में बहुत बेहतर खेलना सीखा।
कोई स्पष्ट विजेता नहीं: आश्चर्यजनक रूप से, नया कॉज़ल AI हर जगह नहीं जीता।
- कुछ डेक पर (जैसे तेज़ हमला करने वाले डेक पर), कॉज़ल AI थोड़ा बेहतर था।
- अन्य डेक पर (जैसे धीमे, रक्षात्मक डेक पर), मानक AI वास्तव में बेहतर था।
वास्तविक मूल्य: पेपर का तर्क है कि कॉज़ल AI अभी भी एक सफलता है, भले ही वह हर गेम न जीता हो। क्यों? क्योंकि यह हमें पारदर्शिता (transparency) देता है।
- उपमा: यदि मानक AI जीतता है, तो हम बस कहते हैं "अच्छा काम किया।" यदि कॉज़ल AI जीतता है, तो हम उसकी "डायरी" देख सकते हैं और कह सकते हैं, "आह, वह इसलिए जीता क्योंकि उसने महसूस किया कि एंड-गेम के लिए अपनी 'माना' (ऊर्जा) बचाना ही जीत की कुंजी थी।"
- पेपर दिखाता है कि इन "डायरीज़" (कैलिब्रेशन ट्रेजेक्टरीज) को देखकर, शोधकर्ता यह देख सकते हैं कि AI कहाँ संघर्ष कर रहा है या कहाँ सफल हो रहा है, जो मानक "ब्लैक बॉक्स" AI के साथ असंभव है।

4. "ऑडिट" फीचर

इस पेपर का सबसे बड़ा योगदान केवल एक नया AI नहीं है जो अधिक गेम जीतता है; बल्कि यह AI के सोचने के तरीके को जाँचने (audit) के लिए एक नया उपकरण है।

उन्होंने एक प्रणाली बनाई है जहाँ आप AI से पूछ सकते हैं: "यदि आपने यह अलग चाल चली होती, तो क्या होता?"
AI अपने कॉज़ल मैप के आधार पर इसका उत्तर दे सकता है, न कि केवल अनुमान लगाकर। यह AI की निर्णय लेने की प्रक्रिया के लिए एक "फ्लाइट रिकॉर्डर" रखने जैसा है।

सारांश

लेखकों ने एक जटिल कार्ड गेम सिम्युलेटर बनाया जो AI को केवल भाग्य नहीं, बल्कि कारण और प्रभाव को समझने के लिए मजबूर करता है। उन्होंने एक नया AI एजेंट बनाया जो इन कनेक्शनों को सीखने की कोशिश करता है। हालाँकि यह नया एजेंट कार्ड गेम का अजेय चैंपियन नहीं बना, इसने यह साबित कर दिया कि अब हम AI के निर्णयों का ऑडिट (जाँच) कर सकते हैं। यह ऐसे AI के निर्माण की दिशा में एक कदम है जो केवल स्मार्ट व्यवहार नहीं करता, बल्कि यह भी समझाता है कि उसने ऐसा व्यवहार क्यों किया।

यह पेपर क्या दावा नहीं करता है:

यह दावा नहीं करता है कि इस AI का उपयोग बीमारियों का निदान करने या वित्तीय बाजारों को प्रबंधित करने के लिए किया जा सकता है (हालाँकि लेखक उल्लेख करते हैं कि ये क्षेत्र के लिए भविष्य की संभावनाएं हैं, यह विशिष्ट पेपर केवल कार्ड गेम के बारे में है)।
यह दावा नहीं करता कि कॉज़ल AI पूर्ण है; वास्तव में, यह स्वीकार करता है कि AI अभी भी कुछ जटिल रणनीतियों के साथ संघर्ष करता है।
यह दावा नहीं करता है कि इसने AI की "ब्लैक बॉक्स" समस्या को पूरी तरह से हल कर दिया है, बल्कि यह उसके अंदर झांकने का एक नया तरीका प्रदान करता है।

तकनीकी सारांश: MTG-Causal-RL

समस्या विवरण

कॉज़ल रिइन्फोर्समेंट लर्निंग (RL) वर्तमान में ऐसे बेंचमार्क की कमी का सामना कर रहा है जो अनुक्रमिक निर्णय लेने (sequential decision-making), छिपी हुई जानकारी (hidden information), बड़े मास्क किए गए एक्शन स्पेस और स्पष्ट कॉज़ल स्ट्रक्चर को एक साथ संबोधित कर सकें। मौजूदा वातावरण या तो स्पष्ट भौतिक हस्तक्षेपों के साथ लो-लेवल कंट्रोल (जैसे रोबोटिक्स) प्रदान करते हैं या स्पष्ट कॉज़ल इंटरफेस की कमी वाले रणनीतिक खेल (जैसे मानक बोर्ड गेम्स) प्रदान करते हैं। यह अंतराल कॉज़ल क्रेडिट असाइनमेंट, परिभाषित आर्केटाइप्स के बीच स्ट्रक्चरल ट्रांसफर और जटिल, आंशिक रूप से दृश्य (partially observable) स्थितियों के तहत पॉलिसी ऑडिटेबिलिटी के अनुसंधान में बाधा डालता है।

कार्यप्रणाली

MTG-Causal-RL बेंचमार्क

लेखक MTG-Causal-RL पेश करते हैं, जो Magic: The Gathering (MTG) पर आधारित एक Gymnasium-आधारित बेंचमार्क है। इस वातावरण को रणनीतिक रूप से समृद्ध लेकिन गणनात्मक रूप से सुलभ (computationally tractable) बनाया गया है, जिसमें निम्नलिखित विशेषताएं हैं:

ऑब्जर्वेशन स्पेस: एक 3,077-आयामी आंशिक ऑब्जर्वेशन वेक्टर जो दृश्य हाथ (hand), युद्धक्षेत्र (battlefield), कब्रिस्तान (graveyard), लाइफ टोल्स, फेज और माना स्टेट को कवर करता है।
एक्शन स्पेस: 16 श्रेणियों (जैसे स्पेल कास्ट करना, हमला करना, ब्लॉक करना, माना भुगतान) में व्यवस्थित एक 478-एक्शन मास्क किया गया डिस्क्रीट स्पेस। आमतौर पर, प्रति स्टेट केवल 2-15 क्रियाएं वैध होती हैं।
आर्केटाइप्स: पांच प्रतिस्पर्धी स्टैंडर्ड 2025 डेक आर्केटाइप्स (Mono-Red Aggro, Azorius Control, Dimir Midrange, Domain Ramp, Boros Convoke) प्रशिक्षण और मूल्यांकन पूल के रूप में कार्य करते हैं।
स्ट्रक्चरल कॉज़ल मॉडल (SCM): एक हैंड-डिज़ाइन किया गया SCM रणनीतिक चरों के बीच कॉज़ल संबंधों को परिभाषित करता है। यह डेटा से सीखा नहीं गया है बल्कि व्याख्यात्मकता (interpretability) को प्राथमिकता देने के लिए MTG रणनीतिक सिद्धांत से प्राप्त किया गया है। मॉडल में चार परतें हैं:
1. संसाधन (Resources): माना, लैंड ड्रॉप्स, माना क्रीचर्स।
2. बोर्ड स्टेट (Board State): बोर्ड प्रेशर, थ्रेट डेंसिटी।
3. रणनीतिक स्थिति (Strategic Position): कार्ड एडवांटेज, टेम्पो, लाइफ बफर, रिमूवल उपलब्धता।
4. परिणाम (Outcome): जीत की संभावना ($WinProb$), जिसे इसके छह पेरेंट्स (रणनीतिक कारकों) के सिग्मॉइड फंक्शन के रूप में मॉडल किया गया है।
इंटरवेंशन इंटरफेस: वातावरण कॉज़ल वेरिएबल्स, SCM-अनुमानित इंटरवेंशन प्रभाव ( $do(\cdot)$ प्रोपेगेशन के माध्यम से विश्लेषणात्मक रूप से गणना किए गए), और प्रति-फैक्टर क्रेडिट ट्रेसेस को उजागर करता है। एक्शन्स इंटरवेंशन से मैप होते हैं (जैसे लैंड खेलना $do(LandDrop=1) $के अनुरूप है), जो$ WinProb$ को अपडेट करने के लिए SCM के माध्यम से प्रभावों को प्रसारित करते हैं।

प्रस्तावित एजेंट: CGFA-PPO

एक माध्यमिक योगदान के रूप में, लेखक Causal Graph-Factored Advantage PPO (CGFA-PPO) का प्रस्ताव करते हैं। यह एजेंट तीन कॉज़ल घटकों के साथ मानक मास्क किए गए PPO का विस्तार करता है:

प्रति-फैक्टर क्रिटिक्स (Per-Factor Critics): $K$ क्रिटिक हेड्स ( $V_k$ ) का एक सेट जो $WinProb$ के SCM पेरेंट्स के अनुरूप है। इन्हें प्रति-फैक्टर रिवार्ड्स के विरुद्ध प्रशिक्षित किया जाता है जो फैक्टर वैल्यूज में परिवर्तन ( $\phi_k(s_{t+1}) - \phi_k(s_t)$ ) द्वारा परिभाषित होते हैं।
लर्नेबल मिक्सचर वेट्स (Learnable Mixture Weights): एक सॉफ्टमैक्स लेयर ( $w_k$ ) जो स्केलर एडवांटेज को फैक्टर-अलाइन्ड एडवांटेज के साथ ब्लेंड करती है। इन वेट्स को एक स्ट्रक्चरल प्रायर प्रदान करने के लिए SCM के लॉजिस्टिक रिग्रेशन वेट्स से इनिशियलाइज किया जाता है।
स्टेट-कंडीशनल रेसिडुअल गेट (State-Conditional Residual Gate): एक गेट $g(s) \in (0,1)$ जो प्रत्येक स्टेट के लिए स्केलर एडवांटेज बनाम फैक्टर-अलाइन्ड एडवांटेज पर निर्भरता को गतिशील रूप से तय करता है।
इंटरवेंशन-कैलिब्रेशन लॉस (Intervention-Calibration Loss): एक पियर्सन कोरिलेशन लॉस ( $L_{cal}$ ) जो सीखे गए प्रति-फैक्टर एडवांटेज ( $A_k$ ) को SCM-अनुमानित इंटरवेंशन प्रभावों ( $\epsilon_k$ ) के साथ संरेखित करता है।

प्रयोगात्मक प्रोटोकॉल

मूल्यांकन एक कठोर सांख्यिकीय प्रोटोकॉल का उपयोग करता है ताकि पुनरुत्पादकता (reproducibility) और वैध कॉज़ल दावे सुनिश्चित किए जा सकें:

पेयर्ड सीड्स (Paired Seeds): तुलनाओं में एजेंटों और डेक के बीच पेयर्ड सीड्स का उपयोग किया जाता है।
सांख्यिकीय परीक्षण: विन रेट्स के लिए विल्सन स्कोर इंटरवल्स और पेयर्ड-बूटस्ट्रैप कॉन्फिडेंस इंटरवल्स का उपयोग किया जाता है। पेयरवाइज तुलना के लिए विलकॉक्स साइन्ड-रैंक टेस्ट और वेलच टी-टेस्ट का उपयोग किया जाता है।
करेक्शन: मल्टीपल कंपैरिजन को नियंत्रित करने के लिए प्री-रजिस्टर्ड कंपैरिजन फैमिलीज के भीतर होल्म-बोनफेरोनी करेक्शन लागू किया गया है।
मेट्रिक्स: हेडलाइन विन रेट्स के अलावा, बेंचमार्क लीव-वन-आउट क्रॉस-आर्केटाइप ट्रांसफर गैप्स, प्रति-फैक्टर कैलिब्रेशन ट्रेजेक्टरीज और क्रेडिट असाइनमेंट शेयर्स को ट्रैक करता है।

मुख्य परिणाम

हेडलाइन प्रदर्शन

बेसलाइन तुलना: दोनों मानक मास्क किए गए PPO और CGFA-PPO सभी पांच आर्केटाइप्स में यूनिफॉर्म रैंडम बेसलाइन से काफी बेहतर प्रदर्शन करते हैं।
डेक डिपेंडेंसी: कोई भी एजेंट दूसरे पर समान रूप से हावी नहीं होता है। CGFA-PPO, Azorius Control (+5.0 pp) और Mono-Red Aggro (+2.8 pp) पर PPO से बेहतर प्रदर्शन करता है। इसके विपरीत, PPO, CGFA-PPO से Boros Convoke (-3.9 pp), Dimir Midrange (-2.2 pp) और Domain Ramp (-8.3 pp) पर बेहतर प्रदर्शन करता है।
ह्यूरिस्टिक एंकर्स: हैंड-कोडेड ह्यूरिस्टिक्स प्रोएक्टिव डेक (जैसे Mono-Red) पर मजबूती से प्रदर्शन करते हैं लेकिन रिएक्टिव या जटिल डेक (जैसे Azorius Control, Domain Ramp) पर खराब प्रदर्शन करते हैं, जो यह दर्शाता है कि बेंचमार्क में स्क्रिप्टिंग और लर्निंग दोनों के अनुकूल रिजीम मौजूद हैं।

एब्लेशन और डायग्नोस्टिक्स

कॉज़ल ऑग्मेंटेशन: मोनो-रेड डायग्नोस्टिक स्लाइस पर, पूर्ण CGFA-PPO (70.6%) स्केलर-ओनली कंट्रोल (69.4%) और नो-गेट वेरिएंट (70.6%) के तुलनीय प्रदर्शन करता है। "नो-कैलिब्रेशन" वेरिएंट ने वास्तव में 73.3% हासिल किया, जो सुझाव देता है कि कैलिब्रेशन और गेटिंग संरेखण और व्याख्यात्मकता के लिए तंत्र हैं न कि तत्काल प्रदर्शन बूस्टर।
ट्रांसफर: लीव-वन-आउट ट्रांसफर टेस्ट से पता चला कि होल्ड-आउट अपोनेंट मिक्स अक्सर ट्रेनिंग पूल की तुलना में आसान थे (दोनों PPO और CGFA-PPO के लिए नेगेटिव जनरलाइजेशन गैप), जो मूल्यांकन शिफ्ट का पता लगाने की बेंचमार्क की क्षमता को प्रदर्शित करता है न कि सिद्ध ट्रांसफर को।
कैलिब्रेशन: ट्रेनिंग ट्रेजेक्टरीज ने दिखाया कि फैक्टर कोरिलेशन पॉजिटिव रूप से बढ़े, क्रेडिट शेयर "लाइफ बफर" फैक्टर पर भारी केंद्रित हुआ, और रेसिडुअल गेट सक्रिय रहा, जो पुष्टि करता है कि एजेंट एक ऑडिट करने योग्य तरीके से कॉज़ल इंटरफेस का उपयोग करता है।

महत्व और दावे

पेपर का दावा है कि MTG-Causal-RL तीन खुले प्रश्नों के लिए एक साझा टेस्टबेड प्रदान करता जिन्हें वर्तमान बेंचमार्क एक साथ नहीं रख सकते:

कॉज़ल क्रेडिट असाइनमेंट: मास्क किए गए एक्शन स्पेस के तहत एजेंटों का मूल्यांकन करना जहाँ एक्शन्स को विशिष्ट कॉज़ल फैक्टर्स को क्रेडिट किया जाना चाहिए।
स्ट्रक्चरल ट्रांसफर: स्पष्ट रूप से परिभाषित रणनीतिक आर्केटाइप्स में सामान्यीकरण का परीक्षण करना।
पॉलिसी ऑडिटेबिलिटी: यह ऑडिट करने के लिए कि एक पॉलिसी निर्णय क्यों लेती है, न कि केवल यह कि क्या विन रेट है, SCM-ग्राउंडेड मेट्रिक्स (कैलिब्रेशन कर्व्स, इंटरवेंशन इफेक्ट्स) का उपयोग करना।

लेखक इस बात पर जोर देते हैं कि प्राथमिक योगदान बेंचमार्क वातावरण और कॉज़ल इंटरफेस है, जो क्षमता, फैक्टर क्रिटिक्स, गेटिंग और कैलिब्रेशन को अलग करने की अनुमति देता है। परिणाम बताते हैं कि हालांकि कॉज़ल एजेंट प्रतिस्पर्धी हो सकते हैं, केवल "कॉज़ल" लेबल ही बेहतर स्केलर विन रेट की गारंटी नहीं देता है; इसका मूल्य संरचनात्मक व्यवहार को निदान करने और स्पष्ट कॉज़ल मॉडल के विरुद्ध पॉलिसी अपडेट को ऑडिट करने की क्षमता में निहित है। बेंचमार्क को कॉज़ल RL, वर्ल्ड-मॉडल और LLM-एजेंट अनुसंधान का समर्थन करने के लिए खुले रूप से जारी किया गया है।