Tessera: Lossless-First, Vendor-Free Session Compression for Long-Horizon Agent Harnesses
टेसेरा (Tessera) एक वेंडर-मुक्त, लॉसलेस-फर्स्ट सेशन कंप्रेशन प्रॉक्सी है जो मॉडल कॉन्टेक्स्ट प्रोटोकॉल (Model Context Protocol) के माध्यम से मूल डेटा तक सत्यापन योग्य पहुंच बनाए रखते हुए बातचीत के इतिहास को नियत रूप से पुनर्गठित करने के लिए एक तीन-स्तरीय मेमोरी सिस्टम का उपयोग करके लंबे समय तक चलने वाले एलएलएम (LLM) एजेंटों के लिए टोकन लागत और विलंबता को कम करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक विशेष प्रकार का सॉफ्टवेयर जिसे 'एजेंट' कहा जाता है, एक डिजिटल कार्यकर्ता के रूप में कार्य करता है। ये एजेंट केवल चैट नहीं करते; वे टूल्स का उपयोग करके, फाइलों को पढ़कर और कमांड चलाकर कार्य करते हैं। ऐसा करने के लिए, वे एक लार्ज लैंग्वेज मॉडल (LLM) पर निर्भर होते हैं, जो एक शक्तिशाली कंप्यूटर प्रोग्राम है जो मानवीय भाषा को समझता है और उत्पन्न करता है। हालाँकि, इन मॉडलों की एक मेमोरी सीमा होती है। हर बार जब एजेंट एक कदम उठाता है, तो उसे पूरी बातचीत का इतिहास वापस मॉडल को भेजना पड़ता है ताकि मॉडल को पता चल सके कि अब तक क्या हुआ है। जैसे-जैसे सत्र लंबा होता जाता है, जिसमें दर्जनों फाइलें और सैकड़ों कमांड शामिल होते हैं, यह इतिहास विशाल हो जाता है। हर बार इसे पूरा भेजना धीमा और महंगा होता है।
इसे हल करने के लिए, इंजीनियरों ने दो मुख्य तरकीबें आजमाई हैं। पहली यह कि बातचीत के सबसे पुराने हिस्सों को बस काट दिया जाए, और केवल हालिया संदेशों को रखा जाए। इससे जगह तो बचती है लेकिन महत्वपूर्ण तथ्यों को मिटने का जोखिम रहता है, जैसे कि कोई पासवर्ड या फाइल लोकेशन, जिसकी एजेंट को बाद में आवश्यकता हो सकती है। दूसरी तरकीब यह है कि मॉडल से पुराने हिस्सों को एक छोटी कहानी के रूप में सारांशित (summarize) करने के लिए कहना। यह भी जोखिम भरा है क्योंकि सारांश किसी महत्वपूर्ण विवरण को छोड़ सकता है या कुछ नया आविष्कार कर सकता है, और यह जांचने का कोई तरीका नहीं है कि सारांश सटीक है या नहीं। दोनों विधियाँ पैसा बचाने और सत्य बनाए रखने के बीच एक चुनाव करने के लिए मजबूर करती हैं।
एक शोधकर्ता मोहम्मद मोसाफर ने एक अलग दृष्टिकोण प्रस्तावित किया है जो इस चुनाव करने से इनकार करता है। उन्होंने टेसेरा (Tessera) नामक एक प्रणाली बनाई, जो एजेंट और मॉडल के बीच एक स्मार्ट बिचौलिए के रूप में कार्य करती है। पुराने सूचना को हटाने या उसे सारांश में फिर से लिखने के बजाय, टेसेरा बातचीत को सटीक प्रतियां और लगभग समान (near-duplicates) ढूंढकर और उन्हें हटाकर संकुचित (compress) करता है। यह मूल टेक्स्ट को एक अलग स्टोरेज क्षेत्र में सुरक्षित रखता है और मुख्य बातचीत में दोहराए गए हिस्सों को छोटे, सटीक पॉइंटर्स (pointers) से बदल देता है। यदि एजेंट को वह पुराना टेक्स्ट फिर से देखने की आवश्यकता है, तो वह इसके लिए पूछ सकता है, और सिस्टम तुरंत मूल टेक्स्ट को प्राप्त कर लेता है। यह विधि एजेंट को बिना किसी तथ्य को खोए या किसी विशिष्ट कंपनी की तकनीक पर निर्भर हुए, बहुत छोटे बातचीत इतिहास के साथ काम करने की अनुमति देती है।
समस्या का मूल कारण यह है कि ये एजेंट कैसे काम करते हैं। जब एक एजेंट एक कमांड चलाता है, तो उसे एक परिणाम मिलता है। यदि वह उसी कमांड को फिर से चलाता है, तो उसे अक्सर बिल्कुल वही परिणाम मिलता है। एक लंबे सत्र में, एजेंट कई बार एक ही लॉग फाइल पढ़ सकता है या बार-बार एक ही स्थिति की जाँच कर सकता है। क्योंकि एजेंट हर बार पूरा इतिहास भेजता है, इसलिए वह बार-बार एक ही बड़े टेक्स्ट ब्लॉक्स भेजता रहता है। टेसेरा इस दोहराव को पहचान लेता है। यह बातचीत के इतिहास को स्कैन करता है और पहचानता है कि कब टेक्स्ट का एक हिस्सा पहले भेजे गए किसी हिस्से के समान है। पूरे टेक्स्ट को फिर से भेजने के बजाय, यह एक छोटा मार्कर भेजता है जो कहता है, "यह तीन स्टेप पहले भेजे गए टेक्स्ट के समान है।" मॉडल अभी भी मार्कर को पढ़ सकता है और संदर्भ को समझ सकता है, लेकिन भेजे जाने वाले डेटा की मात्रा काफी कम हो जाती है।
टेसेरा केवल सटीक प्रतियों को खोजने से कहीं आगे जाता है। यह उस टेक्स्ट को भी देखता है जो लगभग समान है, जैसे कि एक लॉग फाइल जिसमें केवल कुछ शब्द बदले गए हों। जब यह लगभग समान दिखने वाले (near-duplicates) टेक्स्ट को पाता है, तो यह पूरी फाइल भेजने के बजाय केवल परिवर्तनों का वर्णन करने वाला एक छोटा नोट भेजता है। यह संख्याओं की लंबी सूचियों या कोड जैसे बड़े डेटा ब्लॉक्स को भी संभालता है, अनावश्यक फॉर्मेटिंग को हटाकर केवल आवश्यक संरचना को रखता है। यह सब बिना किसी लार्ज लैंग्वेज मॉडल का निर्णय लेने के लिए उपयोग किए, किया जाता है। सिस्टम सरल, नियतात्मक (deterministic) नियमों का उपयोग करता है, जिसका अर्थ है कि यह हमेशा समान इनपुट के लिए समान परिणाम देगा। यह प्रक्रिया को तेज़ और विश्वसनीय बनाता है, जिससे संदेश भेजने के समय में केवल कुछ मिलीसेकंड ही जुड़ते हैं।
यह जांचने के लिए कि क्या यह प्रणाली वास्तव में काम करती है, शोधकर्ता ने एक नियंत्रित वातावरण बनाया। उन्होंने एक जनरेटर बनाया जो वास्तविक डेटा, जैसे JSON रिस्पॉन्स, सर्विस लॉग और कमांड आउटपुट से भरे नकली एजेंट सत्र बनाता है। इन सत्रों में, उन्होंने विशिष्ट, अद्वितीय तथ्य, जैसे कि एक रैंडम कोड या एक विशिष्ट सेटिंग, यादृच्छिक (random) स्थानों पर रोपे। फिर उन्होंने सत्रों को टेसेरा के माध्यम से चलाया और मापा कि कितने रोपे गए तथ्य संकुचित इतिहास में बचे रहे। उन्होंने इसकी तुलना अन्य विधियों से की जो या तो पुराने संदेशों को काट देती हैं या केवल हालिया संदेशों को रखती हैं। परिणाम स्पष्ट थे। जब सिस्टम ने बातचीत को उसके मूल आकार के लगभग 29 प्रतिशत तक संकुचित किया, तो उसने मुख्य इतिहास में 61.8 प्रतिशत तथ्यों को सुरक्षित रखा। इसके विपरीत, अन्य विधियों ने, जिन्हें समान मात्रा में स्थान रखने के लिए मजबूर किया गया था, केवल लगभग 26 से 30 प्रतिशत तथ्य ही रखे।
इस प्रणाली में एक तरीका भी शामिल है जिससे यदि आवश्यक हो तो छूटी हुई जानकारी वापस प्राप्त की जा सके। इसे रिकॉल टियर (recall tier) कहा जाता है। यदि एजेंट बातचीत के पुराने हिस्से के बारे में कोई विशिष्ट प्रश्न पूछता है, तो सिस्टम मूल टेक्स्ट के सुरक्षित स्टोरेज को खोज सकता है और सटीक अंश वापस ला सकता है। जब इस सुविधा का उपयोग किया जाता है, तो सिस्टम 99.5 प्रतिशत तथ्यों को पुनः प्राप्त कर सकता है, भले ही वे मुख्य संकुचित इतिहास में न हों। इसका अर्थ है कि एजेंट एक बहुत ही छोटा, कुशल इतिहास रख सकता है लेकिन आवश्यकता पड़ने पर पूर्ण विवरण तक पहुँच सकता है। शोधकर्ताओं ने पाया कि यह रिकवरी तब सबसे अच्छा काम करती है जब एजेंट को पुराने इवेंट का संदर्भ याद रहता है, लेकिन यह अस्पष्ट प्रश्नों के साथ भी अच्छी तरह से काम करता है।
अध्ययन ने विभिन्न प्रकार के एजेंटों के व्यवहार को भी देखा। कुछ एजेंट, जैसे कि सॉफ्टवेयर बग्स को ठीक करने के लिए डिज़ाइन किए गए एजेंट, अक्सर कमांड को दोहराते हैं और एक ही परिणाम देखते हैं। इन एजेंटों के लिए, सिस्टम ने पाया कि बातचीत का लगभग 15 प्रतिशत सटीक डुप्लिकेट था। अन्य एजेंट, जो अलग-अलग मॉडल्स का उपयोग करते हैं, शायद ही कभी खुद को दोहराते हैं। सिस्टम दोनों स्थितियों के अनुकूल था, यह सिद्ध करता है कि इसे काम करने के लिए किसी विशिष्ट प्रकार के एजेंट के लिए ट्यून करने की आवश्यकता नहीं है। यह बस जो वहां है उसे हटा देता है, चाहे वह बहुत अधिक दोहराव हो या बहुत कम। डेटा को संकुचित करने में लगने वाला समय नगण्य है, जो प्रति अनुरोध आठ मिलीसेकंड से भी कम है, जो मॉडल द्वारा प्रतिक्रिया उत्पन्न करने में लगने वाले समय से बहुत कम है।
सबसे महत्वपूर्ण निष्कर्षों में से एक यह है कि इस पद्धति के लिए सटीकता से समझौता करने की आवश्यकता नहीं है। सारांशीकरण (summarization) के विपरीत, जो विवरण खो सकता है या अर्थ बदल सकता है, टेसेरा प्रत्येक मूल बाइट को सुरक्षित रखता है। यदि किसी तथ्य को स्थान बचाने के लिए मुख्य दृश्य से हटाया जाता है, तो वह गायब नहीं होता है; वह बस एक हैंडल के पीछे छिपा होता है जिसे किसी भी समय खोला जा सकता है। यह प्रणाली को पूरी तरह से ऑडिट योग्य (auditable) बनाता है। एक इंजीनियर संकुचित इतिहास को देख सकता है और जान सकता है कि क्या हटाया गया था और मूल कहाँ मिलेगा। यह वर्तमान विधियों से एक महत्वपूर्ण बदलाव है, जो अक्सर मॉडल को यह अनुमान लगाने पर निर्भर करती है कि क्या महत्वपूर्ण है, जो कि एक सत्यापन योग्य प्रक्रिया नहीं है।
शोधकर्ताओं ने अपने सिस्टम का परीक्षण प्रबंधन के कई अन्य तरीकों के विरुद्ध किया। उन्होंने पाया कि केवल सबसे हालिया संदेशों को रखना, जो एक सामान्य अभ्यास है, तथ्यों को बनाए रखने का सबसे कम प्रभावी तरीका था। यहाँ तक कि एक विधि जो संदेशों को यादृच्छिक रूप से रखती थी, पुराने संदेशों को काटने की तुलना में बेहतर प्रदर्शन करती थी, लेकिन फिर भी वह टेसेरा की सटीकता का मुकाबला नहीं कर सकी। टेसेरा की सफलता की कुंजी यह है कि यह पूरे संदेशों को नहीं फेंकता है। इसके बजाय, यह संदेशों के अंदर से 'फैट' (अनावश्यक भाग) को काट देता है, लंबे टेक्स्ट के सिर और पूंछ को रखता है और बीच के हिस्से को पॉइंटर से बदल देता है। यह एजेंट को बातचीत का संदर्भ बनाए रखते हुए डेटा के भारी बोझ को कम करने की अनुमति देता है।
अध्ययन ने यह भी जांचा कि सिस्टम अपने सेटिंग्स के प्रति कितना संवेदनशील है। शोधकर्ताओं ने उन नियमों को बदला कि क्या चीज़ डुप्लिकेट मानी जाए और कितने हालिया संदेशों को संपीड़न (compression) से सुरक्षित रखा जाए। उन्होंने पाया कि सिस्टम मजबूत (robust) है। नियमों को थोड़ा बदलने से प्रदर्शन खराब नहीं हुआ। सिस्टम ने लगभग 70 प्रतिशत डेटा बचाया और अधिकांश महत्वपूर्ण तथ्यों को सुरक्षित रखा। यह स्थिरता बताती है कि सिस्टम का उपयोग निरंतर समायोजन की आवश्यकता के बिना वास्तविक दुनिया के अनुप्रयोगों में किया जा सकता है।
अंत में, यह कार्य प्रदर्शित करता है कि सत्य को खोए बिना एजेंट की बातचीत को बहुत छोटा बनाना संभव है। बातचीत के इतिहास को एक ऐसी कहानी के रूप में मानने के बजाय जिसे सारांशित या काटा जाना चाहिए, बल्कि इसे संकुचित और पुनर्प्राप्त (retrieve) किए जाने वाले डेटा के संग्रह के रूप में मानकर, यह प्रणाली दक्षता का एक ऐसा स्तर प्राप्त करती है जो पहले एक समझौते (trade-off) के रूप में आवश्यक माना जाता था। एजेंट मेमोरी समाप्त हुए बिना या अत्यधिक डेटा ट्रांसफर के लिए भुगतान किए बिना लंबे, जटिल कार्य कर सकता है। यह प्रणाली किसी विशिष्ट मॉडल प्रदाता से स्वतंत्र है, जिसका अर्थ है कि इसे किसी भी ऐसे टूल के साथ उपयोग किया जा सकता है जो इन एजेंटों की मानक भाषा बोलता है।
शोधकर्ता स्वीकार करते हैं कि उनका परीक्षण सिंथेटिक डेटा के साथ किया गया था, जिसका अर्थ है कि सत्र कंप्यूटर द्वारा उत्पन्न किए गए थे न कि वास्तविक मानव उपयोग से रिकॉर्ड किए गए थे। वे वास्तविक दुनिया के एजेंट ट्रेजेक्टरीज पर अपने सिस्टम का परीक्षण करने की योजना बना रहे हैं ताकि यह देख सकें कि यह वास्तविक परिस्थितियों में कैसा प्रदर्शन करता है। वे यह भी नोट करते हैं कि जबकि वर्तमान प्रणाली रेडंडेंसी (अनावश्यक दोहराव) को हटाने में उत्कृष्ट है, यह अभी तक बातचीत के गहरे अर्थ को नहीं समझती है। भविष्य के संस्करणों में ऐसे स्तर जोड़े जा सकते हैं जो कार्य के आधार पर यह पहचान सकें कि बातचीत का कौन सा हिस्सा सबसे महत्वपूर्ण है। हालाँकि, वर्तमान प्रणाली एक ठोस आधार प्रदान करती है। यह सिद्ध करती है कि सावधानीपूर्वक इंजीनियरिंग के साथ, हम एजेंट के कार्य का पूर्ण रिकॉर्ड रख सकते हैं जबकि डेटा के केवल एक अंश को भेज सकते हैं, जिससे यह सुनिश्चित होता है कि कोई भी तथ्य वास्तव में कभी खोता नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।