LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference
यह शोध पत्र LiveMem को प्रस्तुत करता है, जो प्रीट्रेनड फुल-अटेंशन LLMs के लिए एक अंतर्निहित मेमोरी विधि है जो सक्रिय कॉन्टेक्स्ट विंडो से स्वतंत्र एक निरंतर, लोड-बेयरिंग मेमोरी स्टेट बनाए रखता है, जिससे उन लंबे समय तक चलने वाले इन्फरेंस परिदृश्यों में स्टेट निरंतरता और दीर्घकालिक सूचना प्रतिधारण सक्षम होता है जहाँ ऐतिहासिक साक्ष्य अब तत्काल कॉन्टेक्स्ट में मौजूद नहीं होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान मित्र से बात कर रहे हैं जो आपकी कही हुई हर बात को याद रखता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह मित्र एक "लार्ज लैंग्वेज मॉडल" (LLM) है। आमतौर पर, ये मॉडल एक छात्र की तरह होते हैं जो एक परीक्षा दे रहे हों: वे निर्देशों और एक कहानी का एक विशिष्ट सेट पढ़ते हैं, एक प्रश्न का उत्तर देते हैं, और फिर परीक्षा समाप्त हो जाती है। लेकिन क्या होगा यदि आप इस मित्र को एक आजीवन साथी बनाना चाहते हैं, जो वर्षों तक आपसे बातचीत कर सके, आपकी यात्रा की योजना बनाने में मदद कर सके, आपके पसंदीदा गीतों को याद रख सके, और सैकड़ों बातचीत के माध्यम से समस्याओं को हल कर सके?
समस्या यह है कि इन AI मित्रों की "वर्किंग मेमोरी" (कार्यकारी स्मृति) आश्चर्यजनक रूप से छोटी होती है। इसे एक कक्षा में व्हाइटबोर्ड की तरह समझें। शिक्षक (AI) केवल वही देख सकता है जो अभी बोर्ड पर लिखा गया है। यदि कक्षा बहुत लंबी चलती है, तो शिक्षक को नए नोट्स के लिए जगह बनाने हेतु पुराने नोट्स मिटाने पड़ते हैं। एक बार मिट जाने के बाद, बोर्ड से वे पुराने नोट्स गायब हो जाते हैं। पारंपरिक AI सिस्टम इसे एक विशाल नोटबुक रखने के जरिए हल करने की कोशिश करते हैं जिसमें सब कुछ लिखा होता है और जब भी कोई प्रश्न आता है, वे उसमें से जानकारी ढूँढते हैं। लेकिन यह धीमा और बोझिल है; यह किसी लाइब्रेरी में तथ्य खोजने के लिए बातचीत को रोकने जैसा है बजाय इसके कि वह उसे बस याद रखे। बड़ा सवाल यह है कि: क्या हम वैज्ञानिकों को AI को एक तरीका दे सकते हैं जिससे वह शब्दों के मिट जाने के बाद भी, व्हाइटबोर्ड पर अतीत का एक "अहसास" या "सारांश" बनाए रख सके, ताकि वह बातचीत का सूत्र कभी न खोए?
यही वह चीज़ है जिसे "LiveMem" पेपर संबोधित करता है। शोधकर्ताओं ने, जो झिचेन लियू (Zhichen Liu) और रुइहान सन (Ruihan Sun) के नेतृत्व में थे, एक नया तरीका प्रस्तावित किया है जिससे AI लंबे संवादों को बिना अपना मानसिक संतुलन खोए संभाल सके। वे एक प्रणाली पेश करते हैं जिसे LiveMem कहा जाता है, जो AI के विचारों के लिए एक जादुई, स्थायी "बैकपैक" (पीठ पर लटकाने वाला थैला) की तरह कार्य करता है।
यह कैसे काम करता है: कल्पना कीजिए कि AI के सोचने के दो तरीके हैं। पहला, उसका "मुख्य मस्तिष्क" (Main Brain), जो व्हाइटबोर्ड पर वर्तमान बातचीत को देखता है। यह व्हाइटबोर्ड आकार में सीमित है; जब यह भर जाता है, तो नए स्थान के लिए पुराने नोट्स मिटा दिए जाते हैं। यह सामान्य है। लेकिन LiveMem एक दूसरा हिस्सा जोड़ता है: एक "साइड ब्रेन" या रिकरेंट मेमोरी स्टेट (Recurrent Memory State)। यह साइड ब्रेन एक बैकपैक की तरह है जिसे AI हर समय पहने रहता है। जैसे-जैसे AI नए शब्द पढ़ता है, वह इस बैकपैक को अपडेट करता है। जब व्हाइटबोर्ड भर जाता है और पुराने नोट्स मिटा दिए जाते हैं, तो उन मिटाए गए नोट्स की महत्वपूर्ण जानकारी खोती नहीं है; उसे बैकपैक में पैक कर दिया जाता है।
शोधकर्ताओं ने इस प्रणाली को एक विशेष तकनीक का उपयोग करके प्रशिक्षित किया। उन्होंने केवल AI को लंबी कहानियाँ पढ़ने के लिए नहीं छोड़ा; बल्कि उन्होंने उसे व्हाइटबोर्ड को "भूलने" और बैकपैक को भरा रखने का अभ्यास करने के लिए मजबूर किया। उन्होंने "कॉन्टेक्स्ट टर्नओवर" (context turnover) नामक एक विधि का उपयोग किया, जहाँ वे एक लंबी बातचीत लेते थे, AI को उसकी शुरुआत दिखाते थे, फिर शुरुआत को व्हाइटबोर्ड से मिटा देते थे, और फिर AI से उस बारे में एक प्रश्न पूछते थे। यदि AI केवल व्हाइटबोर्ड पर निर्भर होता, तो वह विफल हो जाता क्योंकि नोट्स गायब हो चुके थे। लेकिन क्योंकि LiveMem के पास अपने बैकपैक में मुख्य विवरण पैक थे, AI अभी भी सही उत्तर दे सकता था।
पेपर दिखाता है कि LiveMem इसमें बहुत अच्छा है। उनके परीक्षणों में, जब साक्ष्य (evidence) प्रश्न के लिए AI के तत्काल दृश्य (व्हाइटबोर्ड) से पूरी तरह से मिटा दिया गया था, तब भी LiveMem उच्च सटीकता के साथ उत्तर दे सका। उदाहरण के लिए, "LongMemEval" नामक एक परीक्षण में, जब सहायक साक्ष्य वर्तमान बातचीत की खिड़की से बहुत दूर धकेल दिए गए थे, LiveMem ने अन्य तरीकों की तुलना में काफी बेहतर प्रदर्शन किया। जबकि बिना इस "बैकपैक" वाले मॉडल (जैसे मानक Qwen3-4B) की सटीकता अत्यंत कम हो गई, LiveMem ने दस प्रतिशत से अधिक उच्च परिणाम प्राप्त किए। यह सुझाव देता है कि AI केवल अनुमान नहीं लगा रहा है; वह वास्तव में अपनी मेमोरी स्टेट में इतिहास को आगे ले जा रहा है।
हालाँकि, लेखक सावधानीपूर्वक यह नोट करते हैं कि यह "बैकपैक" एक सटीक रिकॉर्डिंग स्टूडियो नहीं है। यह हर एक शब्द को ठीक उसी तरह स्टोर नहीं करता जैसा बोला गया था। यदि आप AI से तीन दिन पहले मिटाए गए किसी विशिष्ट वाक्य को सुनाने के लिए कहते हैं, तो हो सकता है कि वह इसे 100% सही न कर पाए। यह हुए घटनाक्रम के सारांश या अहसास की तरह है। पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि यह प्रणाली प्रत्येक टोकन का एक पूर्ण, लॉसलेस (बिना किसी हानि के) संग्रह है। इसके बजाय, यह एक "लॉसी" (lossy) अवस्था है जो स्मृति के उपयोगी हिस्सों को जीवित रखती है।
टीम ने यह भी पाया कि AI को कैसे प्रशिक्षित किया जाता है, यह बहुत मायने रखता है। यदि आप सभी प्रकार के डेटा को एक साथ मिला देते हैं, तो हो सकता है कि AI बैकपैक का प्रभावी ढंग से उपयोग करना न सीख पाए। उन्होंने पाया कि एक विशिष्ट प्रशिक्षण कार्यक्रम—लंबी कहानियों के साथ शुरू करके मेमोरी साइड को "जगाना" और फिर विभिन्न कार्यों के मिश्रण की ओर स्विच करना—सबसे अच्छा काम करता है। इसने AI को अपने बैकपैक में लिखने और उससे पढ़ने के लिए कुशल होने में मदद की।
संक्षेप में, LiveMem सुझाव देता है कि AI सहायकों को बनाने का एक नया तरीका है जो वास्तव में अपने इतिहास को याद रख सकें। पुराने नोट्स को लाइब्रेरी में खोजने या एक छोटे व्हाइटबोर्ड पर निर्भर रहने के बजाय, LiveMem AI को एक निरंतर अवस्था (persistent state) देता है जो हर बातचीत के साथ विकसित होती है। भले ही यह हर शब्द का सटीक संग्रह नहीं है, लेकिन यह बातचीत के "सार" को जीवित रखने में सफल है, जिससे AI अपने अतीत के विशिष्ट विवरणों के मिट जाने के बाद भी सुसंगत और सहायक बना रह सकता है। यह हमें ऐसे AI एजेंटों के करीब लाता है जो वास्तव में आजीवन साथी बन सकते हैं, जो समय के साथ निरंतर आत्म-बोध और इतिहास बनाए रख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।