💬 NLP

CAST: Game Solvers as Turn-Level Teachers for LLM Agents

यह शोध पत्र CAST का प्रस्ताव करता है, एक ऐसी विधि जो सत्यापन योग्य पुरस्कारों (verifiable rewards) के साथ सुदृढीकरण शिक्षण (reinforcement learning) के माध्यम से LLM एजेंटों को प्रशिक्षित करने के लिए गेम सॉल्वर से स्टेट-वैल्यू परिवर्तनों का लाभ उठाकर सघन, टर्न-स्तरीय क्रेडिट सिग्नल उत्पन्न करती है, जो विभिन्न गेम वातावरणों में मौजूदा बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करती है।

मूल लेखक: Yu Wang, Yi-Kai Zhang, Wentao Shi, Ziang Ye, Yuchun Miao, Yueqing Sun, Qi Gu, Xunliang Cai, Lan-Zhe Guo, Han-Jia Ye, Fuli Feng

प्रकाशित 2026-07-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu Wang, Yi-Kai Zhang, Wentao Shi, Ziang Ye, Yuchun Miao, Yueqing Sun, Qi Gu, Xunliang Cai, Lan-Zhe Guo, Han-Jia Ye, Fuli Feng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

"क्या होगा अगर?" का महान खेल

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत ही उत्साही रोबोट को शतरंज या कोई वीडियो गेम जैसा जटिल बोर्ड गेम खेलना सिखा रहे हैं। उस रोबोट ने पुस्तकालय की हर किताब पढ़ ली है और वह भाषा को लगभग किसी भी अन्य व्यक्ति से बेहतर समझ सकता है, लेकिन उसने वास्तव में कभी वह खेल खेला नहीं है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है: सुपर-स्मार्ट कंप्यूटर जो चैट कर सकते हैं, लिख सकते हैं और तर्क कर सकते हैं, लेकिन अक्सर उन्हें संघर्ष करना पड़ता है जब उन्हें बदलते परिवेश में एक लक्ष्य तक पहुँचने के लिए निर्णयों की एक श्रृंखला लेनी होती है।

इन रोबोटों को सिखाने के लिए, वैज्ञानिक आमतौर पर रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक विधि का उपयोग करते हैं। इसे एक कुत्ते को प्रशिक्षित करने की तरह समझें। आप कुत्ते को एक आदेश देते हैं, वह कुछ करता है, और यदि वह अंत में सही काम करता है, तो आप उसे एक बड़ा इनाम (ट्रीट) देते हैं। यदि वह विफल रहता है, तो उसे कुछ नहीं मिलता। समस्या यह है कि लंबे, जटिल खेलों में, "इनाम" केवल अंत में मिलता है। यदि रोबोट ने तीन चाल पहले कोई गलती की थी, तो उसे पता नहीं चलता कि कौन सी चाल समस्या थी। वह बस इतना जानता है कि पूरा खेल विफल रहा। इसे "क्रेडिट असाइनमेंट" (credit assignment) समस्या कहा जाता है: यह पता लगाना कि सफलता के लिए किस विशिष्ट कदम को श्रेय दिया जाना चाहिए या विफलता के लिए किसे दोषी ठहराया जाना चाहिए। इसके बिना, रोबोट केवल अनुमान लगाता है, और सीखना अविश्वसनीय रूप से धीमा और निराशाजनक हो जाता है।

"सॉल्वर" शिक्षक: सीखने का एक नया तरीका

यह शोध पत्र CAST (Credit Assignment from Solver Teachers) नामक एक चतुर नई तकनीक पेश करता है ताकि इन AI एजेंटों को तेज़ी से और स्मार्ट तरीके से सीखने में मदद मिल सके। शोधकर्ताओं ने महसूस किया कि जबकि AI खेल को समझने के लिए संघर्ष कर रहा है, वहां पहले से ही एक "परफेक्ट प्लेयर" उपलब्ध है: एक गेम सॉल्वर (game solver)। एक सॉल्वर एक विशेष कंप्यूटर प्रोग्राम है जिसे किसी विशिष्ट खेल को पूरी तरह से हल करने के लिए डिज़ाइन किया गया है, जैसे कि एक गणितीय समीकरण। वह जानता है कि बोर्ड पर किसी भी स्थान से जीतने के लिए कितने कदमों की आवश्यकता है।

लेखकों का बड़ा विचार यह है कि इस परफेक्ट सॉल्वर को एक टर्न-लेवल टीचर (turn-level teacher) के रूप में कार्य करने दें। खेल के खत्म होने तक "अच्छा काम किया" या "बुरा काम किया" कहने के बजाय, सॉल्वर AI द्वारा चली गई हर एक चाल के बाद बोर्ड की जांच करता है। वह पूछता है: "क्या इस चाल ने हमें जीतने के करीब पहुँचाया, या हमें जीत से दूर धकेल दिया?"

यहाँ जादू कैसे होता है:

स्कोरकार्ड: सॉल्वर बोर्ड के लिए एक "कॉस्ट-टू-गो" (cost-to-go) नंबर की गणना करता है। यह नंबर जीत तक के शेष चरणों का प्रतिनिधित्व करता है। यदि AI ऐसी चाल चलता है जो इस नंबर को कम करती है (जीत के करीब पहुँचती है), तो सॉल्वर इसे एक सकारात्मक "एडवांटेज" स्कोर देता है। यदि चाल स्थिति को बदतर बनाती है, तो इसे नकारात्मक स्कोर मिलता है।
सिग्नल: शोध पत्र का तर्क है कि यह स्कोर वास्तव में एक गुप्त कोड है। यह पता चलता है कि गणितीय रूप से, AI को इस स्कोर को "अधिकतम (maximize)" करने के लिए कहना, बिल्कुल सॉल्वर के विकल्पों की नकल करने के समान है, लेकिन बिना सॉल्वर को संभावनाओं की एक पूरी सूची लिखने की आवश्यकता के (जो बहुत भारी और धीमा होगा)। यह एक शिक्षक के फुसफुसाने जैसा है, "वह एक अच्छी चाल थी," बजाय इसके कि वह क्यों अच्छी थी, इस पर एक पूरा निबंध लिखे।
फ़िल्टर: कभी-कभी सॉल्वर के स्कोर बहुत अजीब हो सकते हैं—जैसे किसी जाल में फंसने के लिए भारी दंड मिलना। AI को इन चरम संख्याओं से भ्रमित होने से बचाने के लिए, शोधकर्ता एक विशेष गणितीय "कंप्रेसर" (जिसे asinh ट्रांसफॉर्मेशन कहा जाता है) का उपयोग करते हैं जो बड़े उतार-चढ़ाव को सुचारू बनाता है जबकि छोटे, महत्वपूर्ण विवरणों को स्पष्ट रखता है। वे स्कोर को सामान्य (normalize) भी करते हैं ताकि AI संख्याओं के आकार से अभिभूत न हो जाए।

उन्होंने क्या पाया

टीम ने तीन क्लासिक खेलों पर इस नई विधि का परीक्षण किया: सोकोबान (Sokoban) (बक्सों को लक्ष्यों तक धकेलना), माइनस्वीपर (Minesweeper) (बमों से टकराए बिना सुरक्षित वर्ग खोजना), और रश ऑवर (Rush Hour) (रास्ता खाली करने के लिए कारों को खिसकाना)। उन्होंने अपने AI की तुलना अन्य AI मॉडल्स से की जो केवल अंतिम जीत/हार के परिणाम से सीखते हैं।

परिणाम प्रभावशाली थे। "सॉल्वर टीचर" के साथ प्रशिक्षित AI ने काफी तेज़ी से सीखा। कुछ मामलों में, इसने अन्य तरीकों की तुलना में 1.7 से 2.0 गुना कम चरणों में समान स्तर का कौशल प्राप्त कर लिया। अधिक महत्वपूर्ण बात यह है कि यह केवल उन विशिष्ट पहेलियों में बेहतर नहीं हुआ जिनका इसने अभ्यास किया था; यह एक बेहतर सामान्य खिलाड़ी भी बन गया। जब उन्होंने इसे उन खेलों पर परखा जिन्हें इसने पहले कभी नहीं देखा था, या उन्हीं खेलों के बहुत कठिन संस्करणों पर, तो CAST-प्रशिक्षित AI ने लगातार सभी अन्य प्रशिक्षित मॉडलों को पछाड़ दिया और यहाँ तक कि कई शक्तिशाली, पूर्व-निर्मित व्यावसायिक AI मॉडल्स को भी हरा दिया जिन्होंने इन खेलों पर प्रशिक्षण नहीं लिया था।

शोधकर्ताओं ने यह भी जाँच की कि क्या यह "सॉल्वर टीचर" बहुत धीमा या महंगा है। उन्होंने पाया कि बोर्ड की जाँच करने में सॉल्वर द्वारा लिया गया समय बहुत कम था—AI द्वारा खेल में बिताए गए कुल समय का 0.01% से भी कम। यह इतना तेज़ था कि इससे कोई अतिरिक्त काम भी नहीं बढ़ा। यहाँ तक कि जब उन्होंने परफेक्ट सॉल्वर को एक "लर्नड" (learned) AI से बदल दिया जो परफेक्ट नहीं था (लेकिन फिर भी अच्छा था), तब भी यह तरीका अच्छी तरह से काम करता रहा, जिससे पता चलता है कि इस दृष्टिकोण का उपयोग तब भी किया जा सकता है जब एक पूर्ण समाधान मौजूद न हो।

संक्षेप में, यह शोध पत्र सुझाव देता है कि परफेक्ट गेम-सॉल्वर को हर एक कदम के बाद "अच्छी चाल" या "बुरी चाल" फुसफुसाने देने से, हम सामान्य-उद्देश्य वाले AI एजेंटों को बेहतर निर्णय लेने वाला बना सकते हैं, जिससे वे बहुत कम ट्रायल और एरर के साथ जटिल, दीर्घकालिक समस्याओं को हल कर सकते हैं।

तकनीकी सारांश: CAST (सॉल्वर टीचर्स से क्रेडिट असाइनमेंट)

समस्या विवरण

लंबे समय तक चलने वाले वातावरण (long-horizon environments), जैसे कि शास्त्रीय खेल (Sokoban, Minesweeper, Rush Hour) में जनरललिस्ट एजेंट के रूप में कार्य करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रशिक्षित करना एक महत्वपूर्ण बाधा का सामना करता है: स्पार्स रिवॉर्ड सिग्नल (sparse reward signals)। जबकि वेरिफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग (RLVR) एकल-टर्न कार्यों में सफल रहा है, यह अंतिम परिणाम रिवॉर्ड्स (जीत/हार) पर निर्भर करता है जो इस बारे में कोई जानकारी नहीं देता कि किन विशिष्ट मध्यवर्ती निर्णयों ने सफलता या विफलता की ओर ले जाने का काम किया। यह एक मौलिक क्रेडिट-असाइनमेंट समस्या पैदा करता है जहाँ एक पूरे प्रक्षेपवक्र (trajectory) के प्रत्येक टोकन को एक ही मोटे फीडबैक को प्राप्त होता है, जिससे मॉडल की लंबी अवधि की योजना बनाने, लक्ष्य-निर्देशित अन्वेषण और त्रुटि सुधार की क्षमता बाधित होती है। इन संकेतों को सघन (densify) करने के प्रयास, जो अक्सर महंगे सर्च, सीखे गए प्रोसेस रिवॉर्ड मॉडल्स, या क्रॉस-ट्रैजेक्टरी तुलनाओं पर आधारित होते हैं, अक्सर कम्प्यूटेशनल लागत, पर्यवेक्षण की गुणवत्ता और सिग्नल विश्वसनीयता के बीच संतुलन बनाने में विफल रहते हैं।

कार्यप्रणाली: CAST

लेखक CAST (Credit Assignment from Solver Teachers) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो LLM एजेंटों को सूक्ष्म, टर्न-लेवल पर्यवेक्षण प्रदान करने के लिए डोमेन-विशिष्ट गेम सॉल्वर का लाभ उठाता है।

मुख्य तंत्र

टर्न-लेवल टीचर के रूप में सॉल्वर: केवल विशेषज्ञ प्रक्षेपववृत्त (expert trajectories) उत्पन्न करने के लिए सॉल्वर का उपयोग करने के बजाय (जो सीखने को केवल विशेषज्ञ-विजिटेड स्टेट्स तक सीमित कर देता है), CAST सॉल्वर का उपयोग वास्तविक समय में LLM के ऑन-पॉलिसी कार्यों का मूल्यांकन करने के लिए करता है।
सॉल्वर एडवांटेज निर्माण:
- सॉल्वर एक कॉस्ट-टू-गो (cost-to-go) मान, $N(s)$ की गणना करता है, जो स्थिति $s$ से जीतने के लिए आवश्यक न्यूनतम चरणों का प्रतिनिधित्व करता है।
- LLM द्वारा ली गई क्रिया $a_t$ के लिए, जो $s_t$ से $s_{t+1}$ में संक्रमण करती है, विधि कॉस्ट-टू-गो में परिवर्तन की गणना करती है।
- एक शिफ्टेड सॉल्वर एडवांटेज को इस प्रकार परिभाषित किया गया है:
  $\tilde{A}^{\pi_{Solver}}(s_t, a_t) = N(s_t) - \mathbb{E}[N(s_{t+1})]$
- यदि क्रिया लक्ष्य से दूरी कम करती है (प्रगति), तो यह मान धनात्मक होता है, यदि तटस्थ है तो शून्य, और यदि यह दूरी बढ़ाती है या डेड एंड (dead end) की ओर ले जाती है तो ऋणात्मक होता है।
सिग्नल शेपिंग (Signal Shaping): भारी-पूंछ वाले मानों (जैसे डेड एंड के लिए बड़े दंड) या स्केल के अंतरों के कारण होने वाली ट्रेनिंग अस्थिरता को रोकने के लिए, CAST दो रूपांतरण लागू करता है:
- Asinh संपीड़न (Asinh Compression): $g(x) = \text{asinh}(x)$ , जो छोटे मानों को रैखिक रूप से सुरक्षित रखता है जबकि चरम आउटलेर्स को लॉगरिदमिक रूप से संकुचित करता है।
- बैच-लेवल RMS नॉर्मलाइजेशन: यह सिग्नल को एक बैच के भीतर इसके रूट-मीन-स्क्वायर मैग्नीट्यूड द्वारा पुनर्गठित (rescale) करता है ताकि सुसंगत स्केल सुनिश्चित हो सके, बिना माध्य (mean) को घटाए (ताकि "कोई प्रगति नहीं" के अर्थ को शून्य के रूप में संरक्षित किया जा सके)।
RLVR के साथ एकीकरण: शेप्ड सॉल्वर एडवांटेज को मानक प्रक्षेपवक्र-स्तर के आउटकम एडवांटेज (जैसे GRPO से) के साथ जोड़ा जाता है ताकि एक संयुक्त एडवांटेज सिग्नल बनाया जा सके:
$\hat{A}_{i,t} = \hat{A}^{outcome}_i + \alpha \cdot h(\tilde{A}^{\pi_{Solver}}_{i,t})$
इस संयुक्त सिग्नल का उपयोग पॉलिसी को अपडेट करने के लिए क्लिप्ड सरोगेट ऑब्जेक्टिव में किया जाता है।

सैद्धांतिक अंतर्दृष्टि: लॉजिट-फ्री ऑन-पॉलिसी डिस्टिलेशन

पेपर एक सॉफ्ट-ऑप्टिमल टीचर से सॉल्वर एडवांटेज को अधिकतम करने और ऑन-पॉलिसी डिस्टिलेशन (OPD) के बीच एक सैद्धांतिक समानता स्थापित करता है।

इस धारणा के तहत कि एक मजबूत सॉल्वर एक सॉफ्ट-ऑप्टिमल पॉलिसी के रूप में कार्य करता है जहाँ एक्शन प्रोबेबिलिटीज़ $\exp(Q/\tau)$ के समानुपाती हैं, सॉल्वर एडवांटेज गणितीय रूप से सॉल्वर की पॉलिसी के तहत क्रिया की लॉग-प्रोबेबिलिटी के समानुपाती है।
मुख्य योगदान: यह दर्शाता है कि स्कैलर सॉल्वर एडवांटेज स्वाभाविक रूप से टीचर की प्रेफरेंस डिस्ट्रीब्यूशन को एनकोड करता है। फलस्वरूप, CAST लॉजिट-फ्री (logit-free) तरीके से डिस्टिलेशन प्राप्त करता है (बिना टीचर के पूर्ण एक्शन डिस्ट्रीब्यूशन के), जो केवल स्केलर मानों पर निर्भर करता है। यह छात्र LLM को सॉल्वर के वैल्यू फंक्शन से कुशलतापूर्वक सीखने की अनुमति देता है।

मुख्य योगदान

सॉल्वर-व्युत्पन्न क्रेडिट: LLM ट्रेनिंग के लिए गेम सॉल्वर के स्टेट-वैल्यू परिवर्तनों को सूक्ष्म, टर्न-लेवल एडवांटेज में बदलने की विधि का परिचय।
लॉजिट-फ्री डिस्टिलेशन: यह सैद्धांतिक प्रमाण कि सॉल्वर एडवांटेज को अधिकतम करना सॉफ्ट-ऑप्टिमल टीचर से ऑन-पॉलिसी डिस्टिलेशन के समान है, जो पूर्ण टीचर डिस्ट्रीब्यूशन के बजाय केवल स्केलर मानों का उपयोग करके कुशल प्रशिक्षण को सक्षम बनाता है।
स्थिर सिग्नल शेपिंग: चरम मानों और क्रॉस-डोमेन स्केल विविधताओं को संभालने के लिए asinh ट्रांसफॉर्मेशन और बैच-लेवल RMS नॉर्मलाइजेशन का उपयोग, जो RLVR में स्थिर एकीकरण सुनिश्चित करता है।
व्यावहारिकता: यह प्रदर्शन करना कि सटीक सॉल्वर नगण्य ओवरहेड जोड़ते हैं और जब सटीक सॉल्वर उपलब्ध न हों, तो सीखे गए वैल्यू नेटवर्क (जैसे DQN) प्रभावी अनुमान (approximation) के रूप में कार्य कर सकते हैं।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन Sokoban, Minesweeper, और Rush Hour पर किया गया, और ALFWorld एवं WebShop पर ज़ीरो-शॉट ट्रांसफर के साथ परीक्षण किया गया।

इन-डोमेन प्रदर्शन: CAST ने इन-डोमेन और अनसीन-डिफिकल्टी सेटिंग्स दोनों में तीनों खेलों में सभी प्रशिक्षित बेसलाइन्स (GRPO, GSPO, DAPO, GiGPO) और ट्रेनिंग-फ्री प्रॉम्प्टिंग विधियों (मजबूत क्लोज्ड-सोर्स मॉडल्स जैसे Claude-Opus-4.6 सहित) को पछाड़ दिया।
- औसतन, CAST ने इन-डोमेन कार्यों पर 62.1% की सफलता दर (Avg@4) और अनसीन-डिफिकल्टी पर 28.4% हासिल की, जो बैकबोन DAPO (44.7% ID, 18.7% Unseen) से काफी बेहतर है।
सैंपल दक्षता (Sample Efficiency): CAST ने तीनों खेलों में DAPO की पीक वैलिडेशन परफॉरमेंस को 1.7× से 2.0× कम ट्रेनिंग स्टेप्स में प्राप्त कर लिया।
ज़ीरो-शॉट जनरलाइजेशन: बिना किसी अतिरिक्त फाइन-ट्यूनिंग के, CAST एजेंट ALFWorld और WebShop में स्थानांतरित हुए, और अन्य सभी विधियों में उच्चतम औसत ज़ीरो-शॉट प्रदर्शन (30.3% समग्र) प्राप्त किया, जो अगले सर्वश्रेष्ठ बेसलाइन से 5.6 अंक अधिक है।
एब्लेशन स्टडीज (Ablation Studies):
- सॉल्वर-एडवांटेज वेट ( $\alpha$ ) महत्वपूर्ण है; $\alpha=0.1$ ने प्रोसेस गाइडेंस और आउटकम ऑब्जेक्टिव के बीच सबसे अच्छा संतुलन प्रदान किया।
- Asinh कंप्रेशन और RMS नॉर्मलाइजेशन दोनों आवश्यक थे; दोनों में से किसी एक को हटाने से प्रदर्शन गिर गया, जिसमें अत्यधिक मानों से होने वाली ग्रेडिएंट अस्थिरता के कारण asinh को हटाने से सबसे बड़ी गिरावट आई।
सीखे गए सॉल्वर्स: सटीक सॉल्वर को सीखे गए DQN वैल्यू नेटवर्क से बदलने पर भी अधिकांश प्रदर्शन लाभ बरकरार रहे, जो सटीक सॉल्वर उपलब्ध न होने पर भी इसकी प्रयोज्यता को प्रदर्शित करता है।

महत्व और दावे

पेपर का दावा है कि CAST डोमेन सॉल्वर्स से प्राप्त सूक्ष्म, विस्तृत सिग्नल प्रदान करके लॉन्ग-होरिजन RLVR में मौलिक क्रेडिट-असाइनमेंट चुनौती को संबोधित करता है। लॉजिट-फ्री ऑन-पॉलिसी डिस्टिलेशन के साथ समानता को सिद्ध करके, यह विधि पूर्ण एक्शन डिस्ट्रीब्यूशन उत्पन्न करने के कम्प्यूटेशनल बोझ के बिना LLMs को एक्सपर्ट वैल्यू फंक्शन्स के साथ संरेखित (align) करने का एक व्यावहारिक मार्ग प्रदान करती है। परिणाम बताते हैं कि विश्वसनीय स्टेट इवैल्यूएशन—चाहे वह सटीक सॉल्वर के माध्यम से हो या सीखे गए वैल्यू फंक्शन्स के माध्यम से—स्पार्स आउटकम से डेंस, एक्शन योग्य फीडबैक तक पहुँचने का एक मजबूत मार्ग प्रदान करता है, जिससे LLMs को केवल आउटकम-ओनली दृष्टिकोण की तुलना में जटिल, मल्टी-स्टेप निर्णय लेने वाले कार्यों में अधिक कुशलता से महारत हासिल करने में सक्षम बनाया जा सकता है।