Context as an Environment: Programmatic Context Management for Long-Horizon Agents
यह शोध पत्र 'स्क्रॉल' (Scroll) को प्रस्तुत करता है, जो एक प्रोग्रामेटिक संदर्भ प्रबंधन प्रणाली है जो एजेंट सत्रों को एक 'अपेंड-ओनली' (append-only) इवेंट लॉग और एक निरंतर पायथन कर्नेल (persistent Python kernel) के साथ निष्पादन योग्य वातावरण के रूप में मानती है, जिससे एलएलएम (LLMs) को कोड के माध्यम से गतिशील रूप से दीर्घ-अवधि की स्थिति (long-horizon state) प्रबंधित करने में सक्षम बनाया जाता है और साथ ही लॉन्ग-कॉन्टेक्स्ट बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी बातचीत की कल्पना करें जो कभी समाप्त नहीं होती। आप एक बहुत ही बुद्धिमान कंप्यूटर प्रोग्राम से बात कर रहे हैं, जो आपको कोड लिखने, जटिल यात्राओं की योजना बनाने या गहरे विषयों पर शोध करने में मदद कर सकता है। शुरुआत में, बातचीत आसान होती है। प्रोग्राम पिछले कुछ मिनटों में कही गई आपकी हर बात को याद रखता है। लेकिन जैसे-जैसे बातचीत घंटों या दिनों तक खिंचती जाती है, सूचना की मात्रा बढ़ती जाती है। अंततः, यह इतनी अधिक हो जाती है कि प्रोग्राम इसे अपनी तत्काल स्मृति (immediate memory) में रखने में असमर्थ हो जाता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस तत्काल स्मृति को 'कॉन्टेक्स्ट विंडो' (context window) कहा जाता है। यह एक निश्चित आकार की होती है, जैसे एक डेस्क जो केवल कुछ कागजों को ही थाम सकती है। जब कागजों का ढेर बहुत ऊँचा हो जाता है, तो प्रोग्राम को नए कागजों के लिए जगह बनाने हेतु कुछ कागजों को फेंकना पड़ता है।
समस्या यह है कि प्रोग्राम को यह पता नहीं चलता कि कौन से कागज महत्वपूर्ण हैं जब तक कि बहुत देर न हो जाए। यदि आप उससे किसी ऐसी चीज़ के बारे में पूछते हैं जिसका आपने तीन दिन पहले उल्लेख किया था, तो हो सकता है कि प्रोग्राम उस कागज को पहले ही हटा चुका हो। पारंपरिक समाधान इसे पुराने कागजों को एक संक्षिप्त नोट में सारांशित करके या कुछ तथ्यों को एक अलग नोटबुक में रखकर हल करने की कोशिश करते हैं। लेकिन ये तरीके जोखिम भरे हैं। यदि प्रोग्राम किसी विशिष्ट विवरण, जैसे कि कोई तारीख या संख्या, को हटा देता है, तो वह विवरण हमेशा के लिए चला जाता है। उसे वापस प्राप्त नहीं किया जा सकता। उन कार्यों के लिए जिनमें सटीक तथ्यों को खोजने या स्थिति कैसे बदली, इसे ट्रैक करने के लिए लंबे इतिहास को देखने की आवश्यकता होती है, एक भी विवरण खो जाने से प्रोग्राम विफल हो सकता है।
शोधकर्ताओं की एक टीम ने इस बढ़ती बातचीत को संभालने का एक अलग तरीका प्रस्तावित किया है। वे अपने सिस्टम को 'स्क्रॉल' (Scroll) कहते हैं। पूरे इतिहास को प्रोग्राम की तत्काल स्मृति में फिट करने के बजाय, वे इतिहास को एक अलग, स्थायी वातावरण के रूप में देखते हैं जहाँ प्रोग्राम जब चाहे जा सकता है। इसे एक विशाल, व्यवस्थित संग्रह (archive) के रूप में सोचें जो प्रोग्राम के डेस्क के ठीक बाहर स्थित है। प्रोग्राम एक बार में पूरे संग्रह को नहीं पढ़ता है। इसके बजाय, वह एक छोटा निर्देश लिखता है, जैसे कि एक खोज क्वेरी (search query) या कमांड, ताकि संग्रह में जाया जा सके, उस विशिष्ट पृष्ठ को खोजा जा सके जिसकी उसे आवश्यकता है, और उस पृष्ठ को केवल डेस्क पर वापस लाया जा सके।
इस प्रणाली का मूल एक हर संवाद का स्थायी रिकॉर्ड है, जिसे 'इवेंट लॉग' (Event Log) कहा जाता है। यह लॉग एक टेप रिकॉर्डर की तरह है जो कभी नहीं रुकता, जो हर संदेश, हर टूल के परिणाम और हर निर्णय को सटीक विवरण के साथ कैप्चर करता है। यह प्रोग्राम की तत्काल स्मृति के बाहर सुरक्षित रूप से संग्रहीत है, इसलिए कुछ भी खोता नहीं है। इस लॉग के साथ एक 'परसिस्टेंट वर्कस्पेस' (persistent workspace) है, जो एक प्रकार का डिजिटल सैंडबॉक्स है जहाँ प्रोग्राम अपने वर्तमान विचारों और गणनाओं को रख सकता है। जब प्रोग्राम को अतीत की किसी चीज़ को याद करने की आवश्यकता होती है, तो वह सारांश पर निर्भर नहीं रहता। वह इवेंट लॉग को खोजने के लिए एक कोड लिखता है, उस सटीक क्षण को खोजता है जिसे वह ढूंढ रहा है, और उस जानकारी को अपने वर्कस्पेस में लोड करता है।
यह दृष्टिकोण प्रोग्राम के सोचने के तरीके को बदल देता है। यह अनुमान लगाने के बजाय कि क्या रखना है, प्रोग्राम यह तय करता है कि कब और क्या खोजना है। यदि प्रोग्राम एक यात्रा की योजना बना रहा है और उसे उस पसंद को याद करने की आवश्यकता है जो उपयोगकर्ता ने हफ्तों पहले बताई थी, तो वह उस विशिष्ट पसंद को खोजने के लिए एक कमांड लिखता है। फिर वह उपयोगकर्ता द्वारा उपयोग किए गए सटीक शब्दों को लोड करता है और निर्णय लेने के लिए उनका उपयोग करता है। प्रोग्राम केवल आवश्यक जानकारी को ही अपने तत्काल दृश्य में लाता है। बातचीत का शेष इतिहास सुरक्षित रूप से संग्रह में संग्रहीत रहता है, और यदि बाद में प्रोग्राम को इसकी आवश्यकता हो, तो इसे पुनः प्राप्त किया जा सकता है।
तत्काल दृश्य को बहुत अधिक भरने से बचाने के लिए, सिस्टम के पास उस पुरानी जानकारी को हटाने का एक तरीका है जिसका वर्तमान में उपयोग नहीं किया जा रहा है। जब वर्कस्पेस भर जाता है, तो सिस्टम बातचीत के सबसे पुराने हिस्सों को वापस संग्रह में भेज देता है। हालाँकि, अन्य प्रणालियों के विपरीत जो इन पुराने हिस्सों को हटा देती हैं या सारांशित करती हैं, 'स्क्रॉल' उन्हें बिल्कुल वैसा ही रखता है जैसा वे थे। यह एक छोटा मानचित्र, एक इंडेक्स (index) बनाता है, जो प्रोग्राम को बताता है कि संग्रह में वे पुराने हिस्से वास्तव में कहाँ संग्रहीत हैं। यदि प्रोग्राम को बाद में लगता है कि उसे पुराने संवाद की जाँच करने की आवश्यकता है, तो वह सीधे सही स्थान पर जाने और मूल पाठ को पुनः प्राप्त करने के लिए इस मानचित्र का उपयोग कर सकता है। यह सुनिश्चित करता है कि प्रोग्राम हमेशा मूल स्रोत पर वापस जा सके, भले ही वह जानकारी अब उसके तत्काल दृश्य में न हो।
शोधकर्ताओं ने इस प्रणाली का परीक्षण कई कठिन चुनौतियों पर किया, जिन्हें यह देखने के लिए डिज़ाइन किया गया था कि एक आर्टिफिशियल इंटेलिजेंस लंबी बातचीत को कितनी अच्छी तरह संभाल सकता है। एक परीक्षण में, सिस्टम को एक मिलियन से अधिक शब्दों की बातचीत के इतिहास के आधार पर प्रश्नों के उत्तर देने थे। दूसरे में, इसे एक एजेंट के रूप में कार्य करना था जो जानकारी एकत्र करने और समस्याओं को हल करने के लिए उपकरणों का उपयोग करते हुए लंबे समय तक निर्णय लेता है। परिणामों ने दिखाया कि यह नई विधि अत्यधिक प्रभावी थी। एक परीक्षण में, जो यह मापने के लिए था कि सिस्टम लंबे इतिहास पर कितनी अच्छी तरह याद रख सकता है और तर्क दे सकता है, इसने 94.8 प्रतिशत का स्कोर प्राप्त किया। दस मिलियन शब्दों के इतिहास वाले एक अन्य परीक्षण में, इसने 73.1 प्रतिशत का स्कोर किया, जो पहले से प्रकाशित किसी भी अन्य सिस्टम से अधिक था। एक परीक्षण में, जहाँ सिस्टम को जटिल कार्यों को हल करते हुए एक बढ़ते परिवेश को प्रबंधित करना था, इसने 86.7 प्रतिशत प्राप्त किया, जो पिछले सर्वोत्तम परिणामों से कहीं अधिक था।
इस प्रणाली की सफलता इस क्षमता से आती है कि यह स्मृति को एक प्रोग्रामिंग कार्य के रूप में मानती है। प्रोग्राम को जानकारी खोजने और उपयोग करने के लिए अपने स्वयं के निर्देश लिखने की अनुमति देकर, यह प्रणाली प्रोग्राम की कोड लिखने की बढ़ती क्षमता का लाभ उठाती है। यह प्रोग्राम को अपने इतिहास को ऐसे सारांश में संकुचित करने के लिए मजबूर नहीं करती जिससे महत्वपूर्ण विवरण खो सकते हैं। इसके बजाय, यह प्रोग्राम को जब भी आवश्यकता हो, पूर्ण, बिना संपादित इतिहास तक पहुँचने के उपकरण प्रदान करती है। शोधकर्ताओं ने पाया कि यह तरीका विभिन्न प्रकार के शक्तिशाली प्रोग्रामों में अच्छी तरह से काम करता है, जो यह सुझाव देता है कि कोड के माध्यम से दीर्घकालिक स्मृति को प्रबंधित करने की क्षमता एक सामान्य कौशल है जिसे विभिन्न प्रणालियों द्वारा सीखा जा सकता है।
यह कार्य इस दिशा में एक बदलाव का सुझाव देता है कि हम बुद्धिमान एजेंटों का निर्माण कैसे करें। प्रोग्राम की तत्काल स्मृति को बड़ा या बेहतर सारांश बनाने के बजाय, हम इसे अपने स्वयं के जीवन का एक स्थायी, खोजने योग्य रिकॉर्ड प्रदान कर सकते हैं। प्रोग्राम इस रिकॉर्ड को नेविगेट करना सीखता है, यह तय करता है कि क्या आगे लाना है और क्या पीछे छोड़ना है। यह तत्काल दृश्य को स्पष्ट और केंद्रित रखता है, जबकि यह सुनिश्चित करता है कि अतीत का पूर्ण सत्य हमेशा उपलब्ध रहे। शोधकर्ताओं का मानना है कि यह दृष्टिकोण आर्टिफिशियल इंटेलिजेंस को भविष्य में और भी लंबे और अधिक जटिल कार्यों को संभालने में मदद कर सकता है, जिससे इसे उन विवरणों को खोए बिना एक बहुत गहरे इतिहास से सीखने की अनुमति मिलेगी जो महत्वपूर्ण हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।