Less Context, More Accuracy: A Bi-Temporal Memory Engine for LLM Agents Where a Lean Retrieved Context Beats the Full History
यह शोध पत्र एंग्राम (Engram) को पेश करता है, जो एक ओपन-सोर्स बाइटेंपोरल मेमोरी इंजन है जो एक लॉसलेस राइट पाथ को बाइटेंपोरल नॉलेज ग्राफ से कॉम्पैक्ट, प्रोवेनेंस-टैग्ड कॉन्टेक्स्ट को असेंबल करने वाली एक हाइब्रिड रीड स्ट्रैटेजी के साथ जोड़कर सटीकता और दक्षता में फुल-कॉन्टेक्स्ट बेसलाइन्स से बेहतर प्रदर्शन करता है, जिससे काफी कम टोकन का उपयोग करते हुए LongMemEval_S पर 83.6% स्कोर प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Less Context, More Accuracy: A Bi-Temporal Memory Engine for LLM Agents" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए हिंदी अनुवाद दिया गया है।
बड़ी समस्या: "ओवरलोडेड बैकपैक" (ज़रूरत से ज़्यादा भरा हुआ बस्ता)
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके जासूस साथी (AI) के पास एक ऐसा बस्ता (backpack) है जो हर बार बात करने पर भारी होता जाता है।
- पुराना तरीका: तीन दिन पहले मिले किसी सुराग को याद रखने के लिए, आप पूरे बस्ते को मेज पर खाली कर देते हैं। इसमें सब कुछ भरा होता है: मंगलवार का मौसम का रिपोर्ट, पिछले हफ्ते के रेस्टोरेंट का मेनू, और वह असली सुराग जिसकी आपको ज़रूरत है।
- परिणाम: जासूस ढेर सारे कचरे (distractors) से घबरा जाता है। वे कचरे को छानने में इतना समय बिता देते हैं कि वे असली सुराग को मिस कर देते हैं, या वे शोर (noise) से भ्रमित हो जाते हैं। साथ ही, उस भारी बस्ते को ढोना धीमा और महंगा भी है।
समाधान: Engram (एक "स्मार्ट लाइब्रेरियन")
लेखकों ने Engram नामक एक नया सिस्टम बनाया है। पूरा बस्ता खाली करने के बजाय, Engram एक सुपर-स्मार्ट लाइब्रेरियन की तरह काम करता है जो एक व्यवस्थित आर्काइव रखता है। जब आप कोई सवाल पूछते हैं, तो लाइब्रेरियन आपको पूरी लाइब्रेरी नहीं लाता; वह आपको केवल वही विशिष्ट पन्ने लाता है जिनकी आपको आवश्यकता है, साथ ही एक स्पष्ट नोट भी देता है कि वे पन्ने कब लिखे गए थे।
यह कैसे काम करता है, इसे तीन सरल भागों में बांटा गया है:
1. दो-चरणीय लेखन प्रक्रिया (System-1 और System-2)
Engram यादों को दो अलग-अलग तरीकों से लिखता है, ठीक वैसे ही जैसे मानव मस्तिष्क:
- फास्ट राइट (System-1): जब आप चैट करते हैं, तो Engram तुरंत बातचीत की एक रॉ, लॉसलेस कॉपी (जैसे सुरक्षा कैमरे की रिकॉर्डिंग) सेव कर लेता है। यह मिलीसेकंड में होता है और आपकी गति को धीमा नहीं करता।
- स्लो थिंक (System-2): बाद में, जब सिस्टम खाली (idle) होता है, तो यह उस रिकॉर्डिंग को पढ़ता है और उसे एटॉमिक फैक्ट्स (सरल कथन जैसे "X, Y में काम करता है") में बदल देता है। यह तथ्यों की एक टाइमलाइन बनाता है।
- जादुई ट्रिक: यदि कोई तथ्य बदल जाता है (जैसे, "X, Y में काम करता है" बदलकर "X, Z में काम करता है"), तो Engram पुराने वाले को डिलीट नहीं करता। इसके बजाय, यह पुराने को "एक्सपायर्ड" (समाप्त) के रूप में चिह्नित करता है और नए को उससे जोड़ देता है। यह एक "सुपरसेसन चेन" (supersession chain) बनाता है। आप हमेशा पीछे मुड़कर देख सकते हैं: "ओह, दोपहर 2:00 बजे, हमें लगा कि X, Y में काम करता है, लेकिन 3:00 बजे हमने इसे अपडेट करके Z कर दिया।"
2. "As-Of" फ़िल्टर (टाइम ट्रैवल)
चूंकि Engram तथ्यों की टाइमलाइन रखता है कि वे कब सच थे, इसलिए यह इस आधार पर सवाल का जवाब दे सकता है कि आप कब पूछ रहे हैं।
- उदाहरण: यदि आप पूछते हैं, "X कहाँ काम करता था?" तो Engram टाइमलाइन चेक करना जानता है। यदि आप पिछले महीने के बारे में पूछ रहे हैं, तो यह पुराना काम दिखाएगा। यदि आप आज के बारे में पूछ रहे हैं, तो यह नया काम दिखाएगा। यह विरोधाभासों से भ्रमित नहीं होता क्योंकि इसे पता है कि प्रत्येक संस्करण कब वैध था।
3. हाइब्रिड रीड (दोनों दुनियाओं का सर्वश्रेष्ठ)
जब आप कोई सवाल पूछते हैं, तो Engram केवल अंदाज़ा नहीं लगाता। यह एक "हाइब्रिड" सर्च का उपयोग करता है:
- यह तथ्यों (साफ, व्यवस्थित नोट्स) को खोजता है।
- यह रॉ चंक्स (मूल बातचीत के अंश) को भी पकड़ता है ताकि यह सुनिश्चित हो सके कि छोटी जानकारियाँ छूट न जाएँ।
- यह इन दोनों को मिलाता है, कचरे को फ़िल्टर करता है, और जासूस को कागजों का एक छोटा, सटीक ढेर (लगभग 9,600 शब्द) थमाता है, न कि पूरी लाइब्रेरी (79,000 शब्द)।
परिणाम: कम ही ज़्यादा है
लेखकों ने LongMemEvalS नामक 500-प्रश्नों की परीक्षा पर इसका परीक्षण किया।
- फुल-कॉन्टेक्स्ट टीम: हर बार पूरा इतिहास पढ़ने की कोशिश करके उत्तर देने का प्रयास किया। वे 73.2% सही रहे।
- Engram टीम: केवल छोटे, फ़िल्टर किए गए कागजों के ढेर का उपयोग करके उत्तर दिया। वे 83.6% सही रहे।
चौंकाने वाली बात: 87% टेक्स्ट (डिस्ट्रैक्शंस) को फेंक देने के बावजूद, Engram वास्तव में अधिक सटीक हो गया। पूरे इतिहास में मौजूद शोर (noise) वास्तव में AI के प्रदर्शन को नुकसान पहुँचा रहा था।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
- लागत के ऊपर सटीकता: आमतौर पर, लोग कम मेमोरी का उपयोग करके पैसे बचाने की कोशिश करते हैं। Engram साबित करता है कि कम मेमोरी का उपयोग करना वास्तव में AI को स्मार्टर बना सकता है क्योंकि यह AI को विचलित होने से रोकता है।
- कोई "फेक" नंबर नहीं: लेखक ईमानदारी के प्रति बहुत सख्त हैं। उन्होंने एक सार्वजनिक, पुनरुत्पादक (reproducible) टेस्टिंग टूल ("हार्नेस") बनाया है ताकि कोई भी टेस्ट चला सके और वही परिणाम देख सके। उन्होंने उन सामान्य बग्स को ठीक किया है जहाँ अन्य शोधकर्ता अनजाने में खुद को अनुचित लाभ दे देते थे (जैसे, AI को पूरे इतिहास में उत्तर दिखाना)।
- प्राइवेसी और कंट्रोल: चूंकि सिस्टम "क्या विश्वास किया गया और कब" का एक स्पष्ट ट्रेल रखता है, इसलिए यदि कोई उपयोगकर्ता भूल जाने (to be forgotten) के लिए कहता है, तो विशिष्ट यादों को हटाना आसान है। यह स्थानीय रूप से (locally) चलता है, जिसका अर्थ है कि आपका डेटा आपके कंप्यूटर को छोड़ने की ज़रूरत नहीं है।
निचोड़ (Bottom Line)
Engram दिखाता है कि AI एजेंटों के लिए, याददाश्त की मात्रा से अधिक उसकी गुणवत्ता मायने रखती है। AI को एक साधारण प्रश्न का उत्तर देने के लिए उसका पूरा जीवन इतिहास पढ़ने के लिए मजबूर करने के बजाय, एक स्मार्ट, समय-जागरूक सिस्टम जो केवल प्रासंगिक, सत्यापित तथ्यों को निकालता है, समस्याओं को तेज़ी से, सस्ते में और अधिक सटीकता के साथ हल कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।