Contextual Memory Virtualisation: DAG-Based State Management and Structurally Lossless Trimming for LLM Agents
यह शोध पत्र कॉन्टेक्स्टुअल मेमोरी वर्चुअलाइजेशन (CMV) का प्रस्ताव करता है, जो एक ऐसा सिस्टम है जो समानांतर सत्रों में स्टेट के पुन: उपयोग को सक्षम करने के लिए LLM सत्र इतिहास को एक वर्जन-कंट्रोल्ड डायरेक्टेड एसाइक्लिक ग्राफ (DAG) के रूप में मॉडल करता है और उपयोगकर्ता एवं असिस्टेंट की सभी सामग्री को यथावत सुरक्षित रखते हुए मैकेनिकल ओवरहेड को संरचनात्मक रूप से लॉसलेस तरीके से कम करने के लिए एक थ्री-पास एल्गोरिदम का उपयोग करता है, जिससे टोकन में महत्वपूर्ण कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर आर्किटेक्ट हैं जो एक बेहद प्रतिभाशाली लेकिन थोड़े भुलक्कड़ AI असिस्टेंट के साथ काम कर रहे हैं। आप एक जटिल गगनचुंबी इमारत (skyscraper) को डिजाइन करने के लिए घंटों साथ बिताते हैं। आप नींव पर चर्चा करते हैं, सामग्री चुनते हैं, लाइटिंग पर बहस करते हैं, और संरचनात्मक समस्याओं को हल करते हैं। दिन के अंत तक, आपने अपनी साझा बातचीत के इतिहास में उस इमारत का एक विशाल "मानसिक मॉडल" बना लिया है।
अब, कल्पना कीजिए कि AI की याददाश्त (उसका "कॉन्टेक्स्ट विंडो") एक छोटे व्हाइटबोर्ड की तरह है। वह भरता जा रहा है। नए विचारों के लिए जगह बनाने के लिए, AI को आपके द्वारा लिखे गए 98% हिस्से को मिटाने के लिए मजबूर होना पड़ता है, जिससे केवल एक छोटा, अस्पष्ट सारांश बच जाता है जैसे: "हमने एक गगनचुंबी इमारत के बारे में चर्चा की थी।"
जब आप अगले दिन काम शुरू करते हैं, तो AI सब कुछ भूल चुका होता है। आपको नींव को फिर से समझाने, सामग्रियों पर फिर से बहस करने और समस्याओं को फिर से हल करने में एक घंटा और खर्च करना पड़ता है। यह वर्तमान में AI एजेंटों के साथ होने वाली समस्या है: जब भी बातचीत बहुत लंबी हो जाती है, वे अपनी कड़ी मेहनत से प्राप्त समझ खो देते हैं।
यह पेपर कॉन्टेक्स्टुअल मेमोरी वर्चुअलाइजेशन (CMV) नामक एक समाधान प्रस्तावित करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:
1. आपके मस्तिष्क के लिए "Git" (DAG मॉडल)
वर्तमान में, AI के साथ बात करना टेक्स्ट की एक एकल, सीधी रेखा की तरह है। यदि आप किसी डेड एंड (dead end) पर पहुँच जाते हैं या एक अलग डिज़ाइन आज़माना चाहते हैं, तो आपको फिर से शुरुआत करनी पड़ती है।
लेखक आपकी बातचीत के इतिहास को सॉफ्टवेयर कोड (विशेष रूप से Git नामक सिस्टम का उपयोग करके) की तरह मानने का सुझाव देते हैं।
- स्नैपशॉट्स (Snapshots): केवल बातचीत को स्क्रीन से स्क्रॉल होने देने के बजाय, आप AI की वर्तमान समझ का एक "स्नैपशॉट" ले सकते हैं। इसे एक वीडियो गेम में "चेकपॉइंट" सेव करने के रूप में सोचें।
- ब्रांचिंग (Branching): उस चेकपॉइंट से, आप एक "ब्रांच" बना सकते हैं। कल्पना कीजिए कि आपके पास अपनी गगनचुंबी इमारत के लिए एक ठोस नींव है। अब आप दो समानांतर ब्रह्मांड बना सकते हैं:
- ब्रांच A: प्लंबिंग (plumbing) पर ध्यान केंद्रित करता है।
- ब्रांच B: इलेक्ट्रिकल वायरिंग पर ध्यान केंद्रित करता है।
- जादू: दोनों शाखाएं उसी सटीक गहरी समझ (नींव) के साथ शुरू होती हैं। आपको दोनों के लिए नींव को फिर से समझाने की आवश्यकता नहीं है। आप इन "समानांतर सत्रों" के बीच तुरंत स्विच कर सकते हैं, जिससे AI का मस्तिष्क सुरक्षित रहता है।
2. "स्ट्रक्चरल वैक्यूम क्लीनर" (लॉसलेस ट्रिमिंग)
स्नैपशॉट्स के बावजूद, बातचीत के लॉग्स बहुत बड़े हो सकते हैं क्योंकि वे "कचरा" डेटा से भरे होते जिसकी AI को सक्रिय मेमोरी में आवश्यकता नहीं होती।
कल्पना कीजिए कि आपका बातचीत लॉग यात्रा के लिए पैक किया गया एक सूटकेस है।
- अच्छी चीजें: आपके कपड़े (वास्तविक बातचीत, आपके प्रश्न और AI के स्मार्ट उत्तर)।
- कचरा: वे कार्डबोर्ड बॉक्स जिनमें कपड़े आए थे, प्लास्टिक रैपिंग और शिपिंग लेबल (रॉ कोड डंप, विशाल बेस64 इमेज, तकनीकी मेटाडेटा)।
यह पेपर एक थ्री-पास ट्रिमिंग एल्गोरिदम पेश करता है जो एक सुपर-स्मार्ट वैक्यूम क्लीनर की तरह काम करता है।
- यह आपके कपड़ों (प्रत्येक यूजर मैसेज और AI रिस्पॉन्स) को बिल्कुल वैसा ही रखता है जैसा वे हैं।
- यह कार्डबोर्ड और प्लास्टिक (रॉ टूल आउटपुट, विशाल इमेज फाइलें और तकनीकी लॉग्स) को फेंक देता है।
- ट्रिक: यदि AI को बाद में किसी विशिष्ट फ़ाइल को देखने की आवश्यकता है, तो उसे सूटकेस में उस 50-पेज के डंप की आवश्यकता नहीं है। उसे बस एक छोटी सी नोट की आवश्यकता है: "फ़ाइल X पढ़ी गई थी।" यदि वास्तव में आवश्यकता हुई, तो AI उस ताज़ा फ़ाइल को हार्ड ड्राइव से जाकर ले सकता है।
यह प्रक्रिया आपके सूटेकेश (कॉन्टेक्स्ट विंडो) को औसतन 20% तक छोटा कर देती है, और अव्यवस्थित सत्रों में, बिना किसी अर्थ को खोए इसे 86% तक कम कर देती है।
3. क्या यह लागत के लायक है? (आर्थिक जांच)
आप पूछ सकते हैं: "यदि मैं सारा कचरा हटा देता हूँ, तो क्या AI भ्रमित नहीं हो जाएगा? और क्या इसमें पैसा खर्च होता है?"
- "कैश" पेनल्टी: AI कंपनियां आपसे कम शुल्क लेती हैं यदि आप उन्हें बार-बार एक ही टेक्स्ट भेजते हैं (जैसे कि एक लाइब्रेरी बुक जिसे उनके पास पहले से है)। जब आप टेक्स्ट को ट्रिम करते हैं, तो AI एक "नया" बुक देखता है और इसे एक बार पढ़ने के लिए पूरा शुल्क देना पड़ता है।
- फायदा: पेपर ने 76 वास्तविक कोडिंग सत्रों पर एक परीक्षण चलाया। उन्होंने पाया कि उस एक बार के "नई किताब" के शुल्क के बावजूद, हर टर्न में छोटे संदेश भेजने से होने वाली बचत बहुत जल्दी खुद की भरपाई कर लेती है।
- बहुत अधिक "कचरा" (जैसे भारी टूल उपयोग) वाले सत्रों के लिए, बचत केवल 10 टर्न के बाद दिखने लगी।
- अधिकांश उपयोगकर्ताओं के लिए, "ब्रेक-ईवन" (नो प्रॉफिट नो लॉस) पॉइंट लगभग 35 टर्न के आसपास था।
बड़ी तस्वीर (The Big Picture)
अभी, लंबे समय तक चलने वाले प्रोजेक्ट्स के लिए AI का उपयोग करना ऐसा लगता है जैसे एक ऐसी कैथेड्रल बनाने की कोशिश करना जिसकी याददाश्त हर घंटे रीसेट हो जाती है। आप अपना 90% समय AI को वही फिर से सिखाने में बिता देते हैं जो उसने अभी सीखा था।
CMV खेल बदल देता है:
- यह आपकी प्रगति को बचाता है: आप अपने प्रोजेक्ट के "मानसिक मॉडल" को सहेज सकते हैं और शून्य से शुरू किए बिना नए विचारों की ओर बढ़ सकते हैं।
- यह घर की सफाई करता है: यह डिजिटल अव्यवस्था को हटा देता है ताकि AI महत्वपूर्ण चीजों पर ध्यान केंद्रित कर सके।
- यह पैसे बचाता है: यह लंबे, जटिल सत्रों को सस्ता और तेज़ बनाता है।
संक्षेप में, यह सिस्टम AI की मेमोरी को एक क्षणभंगुर चैट के रूप में नहीं, बल्कि एक वर्जन-कंट्रोल्ड, पर्सिस्टेंट वर्कस्पेस के रूप में मानता है जिसे आप एक पेशेवर सॉफ्टवेयर प्रोजेक्ट की तरह प्रबंधित, ब्रांच और ऑप्टिमाइज़ कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।