When Does Context Compaction Pay in Long-Horizon Agents?

एक डिजिटल सहायक की कल्पना करें जो घंटों तक काम कर सकता है, फाइलों को पढ़कर, कोड चलाकर और अपनी प्रगति की जांच करके जटिल समस्याओं को हल कर सकता है। ऐसा करने के लिए, सहायक को यह याद रखना होगा कि उसने अब तक क्या किया है, अपने कार्यों और देखे गए परिणामों का एक चलता हुआ लॉग (log) रखना होगा। इस लॉग को उसका "संदर्भ" (context) कहा जाता है। जैसे-जैसे काम जारी रहता है, यह लॉग लंबा और लंबा होता जाता है, अंततः इतना बड़ा हो जाता है कि यह सहायक को धीमा कर देता है और इसे प्रोसेस करने में काफी पैसा खर्च होता है। इसे प्रबंधित करने के लिए, सॉफ्टवेयर इंजीनियरों ने "कॉन्टेक्स्ट कॉम्पैक्शन" (context compaction) नामक एक तरकीब विकसित की है। पूरी हिस्ट्री को आगे ले जाने के बजाय, सिस्टम सहायक से यह लिखने को कहता है कि क्या हुआ था, उसका एक संक्षिप्त सारांश, फिर पुराने विवरणों को हटा देता है, और केवल उस सारांश का उपयोग करके काम जारी रखता है। यह कुछ हद तक वैसा ही है जैसे एक यात्री, जो सौ मील चलने के बाद, अपनी यात्रा का वर्णन करते हुए अपने भविष्य के स्वयं के लिए एक पोस्टकार्ड लिखता है, और फिर अपने बैकपैक में जगह बचाने के लिए विस्तृत डायरी को जला देता है। उम्मीद यह है कि यह सारांश यात्री को ट्रैक पर रखने के लिए पर्याप्त होगा जबकि समय और संसाधनों की बचत भी करेगा।

एक नए अध्ययन में शोधकर्ता युयाओ वांग (Yuyao Wang) ने जांच की है कि क्या यह रणनीति वास्तव में दीर्घकालिक कार्यों के लिए काम करती है। शोधकर्ता ने दो अलग-अलग उन्नत भाषा मॉडलों का उपयोग करके नौ कठिन, बहु-चरणीय समस्याओं पर इस विचार का परीक्षण किया। उन्होंने एक नियंत्रित प्रयोग स्थापित किया जहाँ उन्होंने विशिष्ट क्षणों पर एजेंटों की स्थिति (state) को सुरक्षित किया और फिर उन्हें समाप्ति रेखा तक पहुँचने के लिए दो अलग-अलग तरीकों से छोड़ा। एक विधि में, एजेंटों ने अपने पूर्ण इतिहास को बनाए रखा, जो एक बेसलाइन के रूप में कार्य करता था। दूसरी विधि में, जब भी उनका इतिहास बहुत लंबा हो जाता, एजेंट सारांश का उपयोग करने के लिए स्विच कर जाते। शोधकर्ता ने न केवल अंतिम लागत को मापा, बल्कि यह भी मापा कि रणनीति में बदलाव ने एजेंट के व्यवहार, चरणों की संख्या और सारांश लिखे जाने के लिए प्रतीक्षा में बिताए गए समय को कैसे प्रभावित किया।

परिणामों ने एक आश्चर्यजनक मोड़ प्रकट किया। जबकि गणित ने सुझाव दिया था कि सारांश पर स्विच करने से पैसा बचना चाहिए, वास्तविकता अक्सर इसके विपरीत थी। परीक्षण किए गए मॉडलों में से एक के लिए, वे एजेंट जिन्होंने सारांश पर स्विच किया, उन्होंने पूर्ण इतिहास रखने वाले एजेंटों की तुलना में अधिक पैसा खर्च किया। कारण यह नहीं था कि सारांश खराब थे, बल्कि यह था कि सारांश बनाने की क्रिया ने एजेंट के व्यवहार को इस तरह बदल दिया जिससे अतिरिक्त काम पैदा हुआ। जब एजेंट को पूर्ण इतिहास के बजाय एक सारांश प्राप्त हुआ, तो उसे अक्सर उन फाइलों को फिर से पढ़ने या जानकारी की जांच करने की आवश्यकता महसूस हुई जिन्हें वह पहले ही देख चुका था, जिससे अतिरिक्त अनुरोधों की एक श्रृंखला बन गई। ये अतिरिक्त कदम, जिन्हें शोधकर्ता ने "रीड-ओनली" (read-only) क्रियाएं कहा, जल्दी ही बढ़ गए। कई मामलों में, छोटे इतिहास के कारण होने वाली बचत इन अतिरिक्त, अनावश्यक जांचों की लागत से पूरी तरह से खत्म हो गई। वास्तव में, परीक्षण किए गए प्राथमिक मॉडल के लिए, कार्य को पूरा करने के लिए जारी रहने पर 21 में से 20 अलग-अलग स्थितियों में इस रणनीति ने लागत बढ़ा दी।

अध्ययन ने यह भी देखा कि रणनीति कभी सफल हो सकती है या नहीं, यह निर्धारित करने के लिए एजेंटों को स्विच के बाद कितने समय तक काम करना पड़ा। शोधकर्ता ने पाया कि कॉन्टेक्स्ट कॉम्पैक्शन केवल तभी वित्तीय लाभ देता है जब सारांश लिखे जाने के बाद बहुत अधिक काम बाकी हो। यदि कार्य लगभग समाप्त होने वाला है, तो सारांश लिखने और एजेंट द्वारा किए जाने वाले अतिरिक्त कदमों की लागत बचत के लायक नहीं होती है। हालांकि, उन कार्यों के लिए जिनमें लंबा रास्ता बाकी है, यह रणनीति काम कर सकती है, लेकिन केवल विशिष्ट परिस्थितियों में। तकनीक की कीमत बहुत मायने रखती है; एक मॉडल के लिए, रणनीति तभी पैसा बचा सकती थी जब कंप्यूटर की मेमोरी से पढ़ने की लागत बहुत अधिक हो, जो वर्तमान में अधिकांश प्रदाताओं द्वारा ली जाने वाली दरों से कहीं अधिक है। परीक्षण किए गए दूसरे मॉडल के लिए, रणनीति बहुत अधिक प्रभावी थी, जिससे मौजूदा कीमतों के साथ भी पैसा बचा, लेकिन यह मुख्य रूप से इसलिए था क्योंकि सारांश प्राप्त करने पर उस मॉडल का व्यवहार बहुत कम नाटकीय रूप से बदला था।

लागत के अलावा, शोधकर्ता ने यह भी जांचा कि एजेंट कितनी तेजी से काम करते हैं। उन्होंने यह देखने के लिए एक एकल कंप्यूटर चिप पर प्रक्रिया का अनुकरण किया कि क्या छोटे इतिहास सिस्टम को तेज करेंगे। उन्होंने पाया कि हालांकि छोटे इतिहास ने व्यक्तिगत चरणों के प्रसंस्करण को तेज कर दिया, लेकिन सारांश लिखने और एजेंट द्वारा किए गए अतिरिक्त कार्यों में लगने वाले समय ने पूरी प्रक्रिया को अक्सर धीमा कर दिया। कुछ परिदृश्यों में, सारांश का उपयोग करने वाले एजेंटों को उसी कार्य को पूरा करने में पूर्ण इतिहास वाले एजेंटों की तुलना में लगभग दोगुना समय लगा, भले ही वे कभी भी कतार में प्रतीक्षा नहीं कर रहे थे। ऐसा इसलिए हुआ क्योंकि लंबे इतिहास को प्रोसेस करने में बचा समय, सारांश उत्पन्न करने और एजेंट द्वारा किए गए अतिरिक्त कार्य के समय में खो गया।

अध्ययन निष्कर्ष निकालता है कि कॉन्टेक्स्ट कॉम्पैक्शन दीर्घकालिक कार्यों के लिए एक सरल समाधान नहीं है। यह एक ऐसा समझौता (trade-off) है जो बहुत हद तक उपयोग किए जा रहे विशिष्ट मॉडल, तकनीक की लागत और शेष कार्य की मात्रा पर निर्भर करता है। शोधकर्ता ने पाया कि इतिहास को बस छोटा कर देने से अक्सर एजेंट भ्रमित हो जाता है, जिससे वह अपना काम दोहराने लगता है। इस रणनीति को सफल बनाने के लिए, सिस्टम को सावधानीपूर्वक डिजाइन करने की आवश्यकता है ताकि सबसे हालिया चरणों को संरक्षित किया जा सके और यह सुनिश्चित किया जा सके कि एजेंट को अपने स्वयं के इतिहास की दोबारा जांच करने की आवश्यकता महसूस न हो। जब तक ये स्थितियाँ पूरी नहीं होतीं, तब तक पूर्ण इतिहास रखना, इसकी लागत के बावजूद, लंबे और जटिल समस्याओं से जूझ रहे एजेंटों के लिए अधिक विश्वसनीय और कभी-कभी सस्ता मार्ग बना रहता है।