Plans Don't Persist: Why Context Management Is Load Bearing for LLM Agents
यह शोध पत्र प्रदर्शित करता है कि LLM एजेंट योजनाओं को एक निरंतर अवस्था (persistent state) के रूप में आत्मसात करने में विफल रहते हैं, बल्कि योजना की जानकारी बनाए रखने के लिए संदर्भ प्रबंधन (context management) पर महत्वपूर्ण रूप से निर्भर करते हैं, जो एक नए नैदानिक ढांचे (diagnostic framework) के माध्यम से प्रकट हुआ है जो यह दर्शाता है कि जब योजनाओं को संदर्भ विंडो (context window) से हटा दिया जाता है, तो प्रदर्शन में भारी गिरावट आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Plans Don't Persist" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: "नाज़ुक नोट" (Fragile Note) की समस्या
कल्पना कीजिए कि आप एक रोबोट हैं जिसे एक बिखरे हुए घर की सफाई करने का काम दिया गया है। शुरू करने से पहले, आप एक स्टिकी नोट पर टू-डू लिस्ट लिखते हैं: "1. किचन में जाओ। 2. कप उठाओ। 3. इसे डिशवॉशर में डाल दो।"
AI एजेंट्स (Large Language Models द्वारा संचालित रोबोट) की दुनिया में, यह "स्टिकी नोट" ही प्लान (योजना) है। यह पेपर एक महत्वपूर्ण सवाल की जांच करता है: क्या रोबोट वास्तव में इस सूची को याद रखता है, या वह हर कदम उठाते समय बस उस नोट को बार-बार पढ़ता रहता है?
लेखकों ने पाया कि मानक AI मॉडल्स के लिए जवाब है: यह बस उस नोट को पढ़ता रहता है।
यदि आप उस स्टिकी नोट को हटा देते हैं (या यदि रोबोट की मेमोरी विंडो भर जाती है और नोट "बाहर" निकल जाता है), तो रोबोट तुरंत भूल जाता है कि उसे क्या करना था। प्लान उसके "दिमाग" में स्टोर नहीं होता; यह केवल उस "कागज" में स्टोर होता है जिसे वह वर्तमान में देख रहा है।
प्रयोग: "घोस्ट रिप्ले" (Ghost Replay)
इसे साबित करने के लिए, शोधकर्ताओं ने रिप्ले पेयरिंग (Replay Pairing) नामक एक चतुर तकनीक का उपयोग किया। कल्पना कीजिए कि आप रोबोट द्वारा घर साफ करने की एक फिल्म को दो बार चला रहे हैं:
- मूवी A (असली चीज़): रोबोट प्लान वाले स्टिकी नोट को देखता है, और फिर सफाई शुरू करता है।
- मूवी B (द घोस्ट): रोबोट बिल्कुल वही क्रियाएं करता है और वही परिणाम देखता है, लेकिन प्लान वाला स्टिकी नोट जादुई रूप से उसकी दृष्टि से हटा दिया गया है।
शोधकर्ताओं ने मूवी A और मूवी B के बीच रोबोट की आंतरिक "ब्रेन स्टेट" (उसके छिपे हुए विचारों) की तुलना की।
- यदि रोबोट ने प्लान याद कर लिया था: तो दोनों फिल्मों में रोबोट की ब्रेन स्टेट लगभग समान होनी चाहिए थी, क्योंकि वह प्लान को कंठस्थ जानता है।
- यदि रोबोट सिर्फ नोट पढ़ रहा था: तो जैसे ही नोट गायब होता, उसकी ब्रेन स्टेट नाटकीय रूप से बदल जानी चाहिए थी।
परिणाम: जैसे ही नोट हटाया गया, रोबोट की ब्रेन स्टेट तुरंत बदल गई। प्लान का "सिग्नल" एक ही स्टेप में 4 से 12 गुना तक गिर गया। ऐसा लगा जैसे रोबोट ने नोट देखा, एक कदम उठाया, और फिर नोट उसके दिमाग से पूरी तरह गायब हो गया।
"सोचने" का जाल (Reasoning Models)
शोधकर्ताओं ने नए, स्मार्ट AI मॉडल्स (जिन्हें "Reasoning Models" कहा जाता है) का भी परीक्षण किया जो कार्य करने से पहले खुद से बात करते हैं। इन मॉडल्स के आउटपुट में एक विशेष सेक्शन होता है जिसे <thinking> कहा जाता है, जहाँ वे अपने विचार लिखते हैं।
जब उन्होंने इन स्मार्ट मॉडल्स पर "घोस्ट रिप्ले" का परीक्षण किया, तो परिणाम अजीब थे। ऐसा लगा जैसे रोबोट बिना नोट के भी प्लान को याद रख रहा है!
ट्विस्ट: शोधकर्ताओं ने महसूस किया कि यह एक धोखा था। स्मार्ट मॉडल्स चलते समय अपने ही <thinking> ब्लॉक्स के अंदर प्लान को दोबारा लिख रहे थे। इसलिए, भले ही मूल नोट हटा दिया गया था, रोबोट अभी भी अपने हालिया विचारों से प्लान को "पढ़" रहा था।
उन्होंने इसे "स्ट्रिक्ट स्ट्रिपिंग" (Strict Stripping) के साथ ठीक किया, जो न केवल मूल नोट को, बल्कि रोबोट के उन हालिया विचारों को भी हटा देता है जिनमें प्लान का उल्लेख था। एक बार जब उन्होंने ऐसा किया, तो स्मार्ट मॉडल्स ने भी दिखाया कि वे प्लान को अपने सामने दृश्यमान रखने पर निर्भर हैं। वे वास्तव में इसे अपने लॉन्ग-टर्म मेमोरी में "धारण" नहीं करते हैं।
स्ट्रेस टेस्ट: जब नोट गायब हो जाए तो क्या होता है?
यह देखने के लिए कि असल जिंदगी में यह कितना बुरा है, उन्होंने एक "कंप्रेशन स्ट्रेस टेस्ट" चलाया। उन्होंने AI को घर साफ करने के लिए मजबूर किया लेकिन उसकी मेमोरी विंडो को सीमित कर दिया ताकि उसे नए नोट्स के लिए जगह बनाने हेतु पुराने नोट्स फेंकने पड़ें।
- "नाइव" (Naive) दृष्टिकोण: उन्होंने AI को जगह बचाने के लिए प्लान नोट को फेंकने दिया।
- परिणाम: AI की सफलता दर 35% गिर गई। वह काम पूरा नहीं कर सका क्योंकि वह प्लान भूल गया।
- "स्मार्ट" दृष्टिकोण: उन्होंने यह पता लगाने के लिए एक डिटेक्टर का उपयोग करने की कोशिश की कि AI कब भूल रहा है और फिर प्लान नोट को दोबारा डाला।
- परिणाम: इससे ज्यादा मदद नहीं मिली। AI पहले से ही भ्रमित था क्योंकि उसने केवल प्लान ही नहीं, बल्कि जो वह कर रहा था उसका "कॉन्टेक्स्ट" (संदर्भ) भी खो दिया था।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि वर्तमान AI एजेंट्स के लिए, कॉन्टेक्स्ट मैनेजमेंट (संदर्भ प्रबंधन) सिस्टम का सबसे महत्वपूर्ण हिस्सा है।
AI की मेमोरी विंडो को एक व्हाइटबोर्ड की तरह समझें। प्लान रोबोट के हाथ पर बना कोई स्थायी टैटू नहीं है; यह व्हाइटबोर्ड पर खींची गई एक मार्कर ड्राइंग है। जब तक मार्कर बोर्ड पर है, रोबोट काम करता है। यदि आप बोर्ड को मिटा देते हैं (भले ही आपने केवल प्लान को मिटाया हो), तो रोबोट काम करना बंद कर देता है।
पेपर के मुख्य दावे:
- प्लान निरंतर (persistent) नहीं होते: वे AI की आंतरिक "ब्रेन स्टेट" में स्टोर नहीं होते; उन्हें हर स्टेप पर टेक्स्ट विंडो से दोबारा पढ़ना पड़ता है।
- क्षय (Decay) तेज़ है: जैसे ही टेक्स्ट हट जाता है, प्लान की "याद" लगभग तुरंत (एक स्टेप के भीतर) गायब हो जाती है।
- रीजनिंग मॉडल्स ट्रिकी हैं: वे अपने सोचने के निशानों (thinking traces) में प्लान को छिपा लेते हैं, जो परीक्षणों को धोखा दे सकता है जब तक कि आप उन निशानों को हटा न दें।
- सुरक्षा पर्याप्त नहीं है: केवल प्लान टेक्स्ट को सुरक्षित रखना मेमोरी सीमाओं के लिए कोई जादुई समाधान नहीं है; यदि AI अपने कार्यों का कॉन्टेक्स्ट खो देता है, तो प्लान होने के बावजूद वह विफल हो जाता है।
यह पेपर इस "भूलने" को मापने का एक नया तरीका प्रदान करता है और यह सिद्ध करता है कि फिलहाल AI एजेंट्स नाजुक हैं: काम जारी रखने के लिए उन्हें प्लान का अभी के अभी सामने दिखना ज़रूरी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।