Towards Improving Sequential Decision-Making in LLM Agents via Experience Memory
यह शोध पत्र शून्य-योग खेलों (zero-sum games) जैसे अनुक्रमिक निर्णय लेने वाले कार्यों में लार्ज लैंग्वेज मॉडल्स के उप-इष्टतम प्रदर्शन की जांच करता है और एक अनुभव स्मृति (experience memory) वाले एजेंटिक ढांचे का प्रस्ताव करता है जो मॉडल के भार (weights) को संशोधित किए बिना रणनीतिक खेल में सुधार करने के लिए पोस्ट-गेम रिफ्लेक्शन और नियम निष्कर्षण का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बुद्धिमान, सुशिक्षित रोबोट को कोई खेल खेलना सिखाने की कोशिश कर रहे हैं। आप उसे लिखे गए हर एक पुस्तक का पुस्तकालय देते हैं, और वह कविता सुना सकता है, जटिल गणित की समस्याओं को हल कर सकता है, और कोड लिख सकता है। लेकिन जब आप उसे टिक-टैक-टो (Tic-Tac-Toe) जैसे एक साधारण खेल के बोर्ड पर बैठाते हैं, तो वह मूर्खतापूर्ण गलतियाँ करने लगता है। वह एक ऐसी चाल चलता है जो सतह पर तो अच्छी दिखती है लेकिन पाँच चालों के भीतर ही खेल हार जाता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है: सुपर-स्मार्ट एआई जो बात कर सकता है और तर्क दे सकता है, लेकिन कभी-कभी उन निर्णयों की एक श्रृंखला में संघर्ष करता है जहाँ एक गलत चाल सब कुछ बर्बाद कर सकती है।
बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: ऐसा क्यों होता है? क्या रोबोट उस क्षण में चरणों (steps) के बारे में सोचने में बुरा है? या क्या यह केवल "हैलुसिनेशन" (hallucination) कर रहा है क्योंकि यह उस खेल को याद करने की कोशिश कर रहा है जिसे इसने किसी किताब में देखा था, लेकिन वास्तव में यह तर्क को नहीं समझता? इसे जानने के लिए, वैज्ञानिक सीक्वेंशियल डिसीजन-मेकिंग (sequential decision-making) का उपयोग करते हैं, जो बस एक फैंसी तरीका है यह कहने का कि "चुनावों की एक श्रृंखला बनाना जहाँ एक चुनाव का परिणाम अगले चुनाव के लिए बोर्ड को बदल देता है।" वे इसे जीरो-सम गेम्स (zero-sum games) में टेस्ट करते हैं, जैसे शतरंज या चेकर्स, जहाँ एक खिलाड़ी की जीत दूसरे की हार होती है। ये खेल परीक्षण के लिए एकदम सही हैं क्योंकि इनके नियम सख्त हैं, और हम गणित का उपयोग करके ठीक से जान सकते हैं कि "परफेक्ट" चाल क्या होगी। यदि एक रोबोट टिक-टैक-टो में एक परफेक्ट कंप्यूटर प्रोग्राम को नहीं हरा सकता, तो उसके दिमाग में कुछ टूटा हुआ है।
तर्क की बाधा (The Reasoning Bottleneck) की पहेली
इस अध्ययन में, चेक तकनीकी विश्वविद्यालय (Czech Technical University), प्राग के शोधकर्ताओं ने इस चुनौती को स्वीकार किया। उन्होंने उपलब्ध सबसे स्मार्ट एआई मॉडल्स को लिया—जो कुशल, छोटे मॉडल्स से लेकर GPT-5.4 और Gemini 3.1 Pro जैसे "फ्रंटियर" दिग्गजों तक विस्तृत थे—और उन्हें सरल खेलों: टिक-टैक-टो, निम (Nim) (पत्थरों के ढेर वाला खेल), और कनेक्ट फोर (Connect Four) खेलने की चुनौती दी।
परिणाम एआई के लिए थोड़े शर्मनाक थे। यहाँ तक कि सबसे उन्नत मॉडल्स भी, जो प्रतियोगिता स्तर की गणितीय समस्याओं को हल कर सकते हैं, उप-इष्टतम (sub-optimally) तरीके से खेले। टिक-टैक-टो में, जहाँ एक मानव बच्चा एक दोपहर में कभी न हारने के लिए सीख सकता है, इन एआई मॉडल्स ने सौ चालों में चार से बारह गलतियाँ कीं। कनेक्ट फोर में, "फ्रंटियर" मॉडल्स ने एक मानक कंप्यूटर प्रतिद्वंद्वी के खिलाफ लगभग हर गेम हारा, जो अक्सर चालीस चालों वाले खेल में पहले दस चालों के भीतर ही ढह जाते हैं।
शोधकर्ता जानना चाहते थे: क्या एआई बस खेल को भूल रहा है? शायद यह उस रणनीति को याद करने की कोशिश कर रहा है जिसे उसने अपने ट्रेनिंग डेटा में देखा था, लेकिन खेल थोड़ा अलग दिखता है, इसलिए वह भ्रमित हो जाता है। इसे टेस्ट करने के लिए, उन्होंने एआई के साथ एक चाल चली। उन्होंने खेल को अंदर से बिल्कुल वैसा ही रखा लेकिन ऊपर की "स्किन" बदल दी। उन्होंने टिक-टैक-टो को एक "मैजिक स्क्वायर" में बदल दिया जहाँ आप तीन नंबर चुनकर जीतते हैं जिनका योग 15 होता है, या उन्होंने नदी पार करने की एक "कहानी" सुनाई।
यहाँ मोड़ यह है: एआई में बहुत अधिक सुधार या गिरावट नहीं हुई। भले ही खेल को गणितीय पहेली या कहानी के रूप में छिपाया गया था, एआई ने अभी भी उतनी ही गलतियाँ कीं। यह सुझाव देता है कि समस्या यह नहीं है कि एआई अपनी याद की गई रणनीति को भूल रहा है या नियमों को समझने में विफल हो रहा है; बल्कि यह है कि एआई के पास उस क्षण में एक रीजनिंग बॉटलनेक (reasoning bottleneck) है। यह एक ऐसे छात्र की तरह है जो इतिहास की पाठ्यपुस्तक सुना सकता है और तर्क को पूरी तरह समझ सकता है, लेकिन जब उसे मौके पर एक सरल तर्क पहेली हल करने के लिए कहा जाता है, तो वह जम जाता है क्योंकि वह वर्तमान स्थिति को सही अगले कदम से जोड़ नहीं पाता। एआई जो जानता है और जो वह बदलते वातावरण में कर सकता है, उसके बीच का अंतर वास्तविक है, और यह जिद्दी है।
समाधान: एक "रिफ्लेक्टिव" नोटबुक
चूंकि इन विशाल एआई मॉडल्स को फिर से प्रशिक्षित (retraining) करना महंगा और जोखिम भरा है (इससे वे कोड लिखना या बोलना भूल सकते हैं), शोधकर्ताओं ने पूछा: क्या हम एआई के दिमाग को बदले बिना उसकी मदद कर सकते हैं?
उन्होंने REAPER (Reflective Experiential Agent with Periodic Extraction of Rules) नामक एक नया फ्रेमवर्क बनाया। REAPER को एक नए दिमाग के रूप में नहीं, बल्कि एआई के बगल में बैठे एक स्मार्ट नोटबुक और एक सख्त कोच के रूप में सोचें।
यह कैसे काम करता है:
- खेल: एआई एक प्रतिद्वंद्वी के खिलाफ खेल खेलता है।
- चिंतन (Reflection): खेल खत्म होने के बाद, एआई केवल अंतिम स्कोर (जीत/हार) को नहीं देखता है। इसके बजाय, REAPER सिस्टम उसे अपने द्वारा चली गई हर एक चाल को देखने के लिए मजबूर करता है। यह पूछता है: "क्या यह चाल उस समय बोर्ड के लिए अच्छी थी? क्या इसने मुझे जीतने में मदद की, या इसने मुझे नुकसान पहुँचाया?"
- क्रेडिट असाइनमेंट (Credit Assignment): यह जादुई हिस्सा है। एक सामान्य खेल में, यदि आप हारते हैं, तो आप सोच सकते हैं कि हर चाल खराब थी। लेकिन REAPER कहता है, "रुको, तुमने बीच में एक बेहतरीन चाल चली थी, भले ही तुम अंत में हार गए हो।" यह अच्छी चालों के लिए श्रेय और बुरी चालों के लिए दोष देता है, भले ही अंतिम परिणाम हार हो।
- नियम पुस्तिका (Rule Book): हर कुछ खेलों के बाद, REAPER इन सभी चिंतनों को लेता है और उन्हें सरल, प्राकृतिक भाषा के नियमों के रूप में लिख देता है। केवल "इस विशिष्ट स्थान में चाल X अच्छी थी" याद रखने के बजाय, यह सीखता है "यदि प्रतिद्वंद्वी कोने को खतरा देता है, तो उसे ब्लॉक करें।"
- लूप (The Loop): एआई फिर से खेलता है, लेकिन इस बार वह अपनी चाल चलने से पहले अपने नियमों की नोटबुक और पिछली गलतियों को पढ़ता है।
परिणाम: स्मार्ट, न कि केवल मजबूत
शोधकर्ताओं ने इसे GPT-5 nano का उपयोग करके टिक-टैक-टो पर टेस्ट किया। परिणाम स्पष्ट थे:
- बेसलाइन (Baseline): नोटबुक के बिना, एआई खराब खेला, कई गलतियाँ कीं।
- "ओरिजिनल" प्रयास: उन्होंने नोटबुक का एक सरल संस्करण आजमाया, लेकिन यह बहुत अव्यवस्थित था और एआई फॉर्मेटिंग की गलतियाँ करता रहा।
- REAPER की सफलता: चिंतन और नियम निष्कर्षण (rule extraction) के पूर्ण सिस्टम के साथ, एआई का प्रदर्शन बढ़ गया। यह लगभग 86.8% बार ड्रॉ (एक परफेक्ट प्रतिद्वंद्वी के खिलाफ सबसे अच्छा परिणाम) करने लगा, जबकि बेहतर बेसलाइन के लिए यह 81.8% था।
महत्वपूर्ण रूप से, एआई को फिर से प्रशिक्षित करने की आवश्यकता नहीं थी। उसने शुद्ध रूप से अपने स्वयं के अनुभव से सीखा, ठीक वैसे ही जैसे एक मानव खिलाड़ी अपने पिछले खेलों का अध्ययन करके बेहतर बनता है। शोधकर्ताओं ने पाया कि इस पद्धति ने न केवल एआई को बेहतर बनाया; बल्कि इसने इसे अधिक कुशल भी बनाया, जिससे वह अपने निर्णय लेने के लिए कम शब्दों (टोकन) का उपयोग करने लगा क्योंकि उसके पास पालन करने के लिए एक स्पष्ट रणनीति थी।
इसका क्या अर्थ है
यह पेपर बताता है कि खेलों में एआई के साथ समस्या यह नहीं है कि वे नियमों को समझने के लिए पर्याप्त स्मार्ट नहीं हैं; बल्कि समस्या यह है कि वे लंबे कार्यों की श्रृंखला को अंतिम परिणाम से जोड़ने में संघर्ष करते हैं। उन्हें अपनी गलतियों पर चिंतन करने और विशिष्ट खेलों से सामान्य नियम निकालने का तरीका देकर, हम उन्हें एक अनाड़ी खिलाड़ी से एक रणनीतिक खिलाड़ी में बदल सकते हैं, बिना उनके कोड की एक भी लाइन को बदले।
शोधकर्ता सावधानी से नोट करते हैं कि यह सरल खेलों पर एक सिमुलेशन है। वे यह दावा नहीं करते कि यह सभी एआई समस्याओं को हल करता है या यह अभी तक जटिल, वास्तविक दुनिया के परिदृश्यों में पूरी तरह से काम करेगा। लेकिन यह एक महत्वपूर्ण बात साबित करता है: अनुभव की स्मृति और आत्म-चिंतन शक्तिशाली उपकरण हैं। यदि हम एआई को यह सिखा सकें कि जो उन्होंने किया उस पर पीछे मुड़कर देखें, उससे सीखें और सबक लिखें, तो हम ऐसे एजेंट बना सकते हैं जो केवल शून्य में "सोचते" नहीं हैं, बल्कि वास्तव में अपने आसपास की दुनिया से सीखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।