🤖 AI

MEMAUDIT: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing

यह शोध पत्र MEMAUDIT को प्रस्तुत करता है, जो एक सटीक पैकेज-ओरेकल मूल्यांकन प्रोटोकॉल है जो मेमोरी चयन को सटीक सॉल्वर के साथ एक परिमित, ऑडिट योग्य अनुकूलन समस्या में बदलकर और इस प्रकार रिप्रजेंटेशन क्वालिटी को डाउनस्ट्रीम रिट्रीवल और रीजनिंग प्रभावों से अलग करके, स्टोरेज बजट के तहत दीर्घकालिक LLM मेमोरी राइटिंग की गुणवत्ता को अलग और प्रमाणित करता है।

मूल लेखक: Nishant Bhargava, Rodrigo Sobral Barrento

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nishant Bhargava, Rodrigo Sobral Barrento

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं जो महीनों तक चलता है। आपके पास एक नोटबुक है, लेकिन वह छोटी है। आप जो कुछ भी देखते, सुनते या करते हैं, उसे हर एक चीज़ लिख नहीं सकते। आपको निर्णय लेना होगा: मैं क्या लिखूँ और मैं इसे कैसे लिखूँ? क्या मैं पूरी बातचीत को कॉपी कर दूँ? या मैं बस लिख दूँ "क्लाइंट को पिज्जा पसंद है"? या मैं लिखूँ "क्लाइंट ने अपना मन बदलकर सुशी कर लिया"?

यदि आप गलत चीज़ लिखते हैं, या यदि आप इसे ऐसे तरीके से लिखते हैं जो बहुत अधिक जगह घेर लेता है, तो आप बाद में केस हार सकते हैं। लेकिन यदि आप केस हार जाते हैं, तो आप यह कैसे जानेंगे कि क्यों? क्या आप सुराग भूल गए? क्या आपने सुराग लिखा तो था लेकिन एक ऐसे कोड में जिसे कोई पढ़ नहीं सका? या आपने सही सुराग लिखा, लेकिन बाद में नोटबुक पढ़ने वाले जासूस ने उसे समझ ही नहीं पाया?

यह पेपर मेमोरी सिस्टम (स्मृति प्रणाली) का परीक्षण करने का एक नया तरीका पेश करता है जिसे MEMAUDIT कहा जाता है। यह एक सख्त, निष्पक्ष रेफरी की तरह है जो केवल उस हिस्से को देखता है जहाँ आप नोट्स लिखते हैं, और उसके बाद जो कुछ भी होता है उसे अनदेखा कर देता है।

समस्या: मेमोरी का "ब्लैक बॉक्स" (Black Box)

आमतौर पर, जब हम AI की मेमोरी का परीक्षण करते हैं, तो हम अंत में AI से एक प्रश्न पूछते हैं और देखते हैं कि क्या वह उत्तर सही देता है। समस्या यह है कि यह एक "ब्लैक बॉक्स" है। यदि AI उत्तर गलत देता है, तो हमें नहीं पता कि ऐसा क्यों हुआ:

इसने सही मेमोरी को सहेजा (save) नहीं।
इसने मेमोरी को सहेजा तो सही, लेकिन ऐसे फॉर्मेट में जो बहुत बड़ा या अव्यवस्थित था।
इसने मेमोरी को सहेजा, लेकिन "सर्च इंजन" उसे ढूँढ नहीं पाया।
इसने मेमोरी को ढूँढ लिया, लेकिन "सोचने वाले दिमाग" ने उसे अनदेखा कर दिया।

पेपर का तर्क है कि हमें केवल अनुमान लगाना बंद करना चाहिए और विशेष रूप से लिखने के चरण (writing phase) को मापना शुरू करना चाहिए।

समाधान: "MEMAUDIT पैकेज"

लेखकों ने एक नियंत्रित प्रयोग बनाया है जिसे MEMAUDIT पैकेज कहा जाता है। इसे एक सिमुलेशन गेम की तरह समझें जिसके नियम तय हैं:

कहानी (अनुभव प्रवाह - Experience Stream): आपको घटनाओं की एक विशिष्ट, स्थिर कहानी दी जाती है (जैसे, "यूजर ने कहा कि वे शाकाहारी भोजन पसंद करते हैं, फिर बाद में कहा कि वे अब पेस्केटेरियन (मछली खाने वाले) हैं")।
विकल्प (उम्मीदवार यादें - Candidate Memories): हर घटना के लिए, आपको इसे लिखने के संभावित तरीकों की एक सूची दी जाती है:
- रॉ स्पैन (Raw Span): पूरा वाक्य कॉपी करें (महंगा है, बहुत अधिक जगह लेता है)।
- तथ्य (Fact): सिर्फ "शाकाहारी पसंद है" (सस्ता है, लेकिन पुराना हो सकता है)।
- अपडेट (Update): "बदलकर पेस्केटेरियन हो गया" (मध्यम लागत, बहुत उपयोगी)।
- टॉम्बस्टोन (Tombstone): "पुराना शाकाहारी तथ्य अब अमान्य है" (गलतियों से बचने के लिए अत्यंत महत्वपूर्ण)।
बजट: आपके पास उपयोग करने के लिए कितनी जगह है, इसकी एक सख्त सीमा है (जैसे एक छोटा बैकपैक)।
लक्ष्य: आपको उस बैकपैक में फिट होने वाले नोट्स का सबसे अच्छा संयोजन चुनना होगा ताकि यदि बाद में कोई प्रश्न पूछे, तो उत्तर आपके द्वारा लिखे गए तथ्यों द्वारा समर्थित हो।

"ओरेकल" (Oracle) और स्कोर

यह पेपर इस पहेली को पूरी तरह से हल करने के लिए एक सुपर-स्मार्ट कंप्यूटर ("ओरेकल") का उपयोग करता है। यह उस विशिष्ट बैकपैक और उन विशिष्ट कहानी की घटनाओं के साथ प्राप्त किया जा सकने वाला सर्वश्रेष्ठ संभव स्कोर गणना करता है।

फिर, यह विभिन्न AI मेमोरी सिस्टम का परीक्षण करता है यह देखने के लिए कि वे उस आदर्श स्कोर के कितने करीब पहुँचते हैं।

स्कोर: यदि आदर्श स्कोर 100 है और एक AI को 80 मिलता है, तो हम जानते हैं कि उसने कितना "सिमेंटिक वैल्यू" (उपयोगी सत्य) संरक्षित किया है।
जादू: क्योंकि नियम स्थिर हैं, यदि कोई AI कम स्कोर करता है, तो हम निश्चित रूप से जानते हैं कि वह लिखने में विफल रहा, न कि खोजने या सोचने में।

मुख्य निष्कर्ष ("अहा!" क्षण)

इस पेपर ने कई प्रकार के मेमोरी सिस्टम पर इसका परीक्षण किया और कुछ दिलचस्प बातें पाईं:

"डेंसिटी ट्रैप" (घनत्व का जाल): कुछ सिस्टम प्रति शब्द "सबसे सस्ते" नोट को चुनकर कुशल होने की कोशिश करते हैं। पेपर दिखाता है कि यह एक जाल है। एक सिस्टम सबसे महत्वपूर्ण विवरण (जैसे कि यूजर ने अपना मन बदला है) को छोड़ने वाला एक सस्ता नोट चुन सकता है, जिससे स्कोर कम हो जाता है।
"टॉम्बस्टोन" का महत्व: ऐसी कहानियों में जहाँ तथ्य बदलते हैं (जैसे शाकाहारी से पेस्केटेरियन उदाहरण), सबसे अच्छे मेमोरी सिस्टम वे होते हैं जो लिखते हैं "यह पुराना तथ्य मर चुका है" (एक टॉम्बस्टोन)। जो सिस्टम केवल "तथ्य" लिखते हैं और पुराने तथ्यों को अमान्य घोषित करना भूल जाते हैं, वे परीक्षण में विफल हो जाते हैं।
वास्तविक दुनिया के सिस्टम: उन्होंने वास्तविक मेमोरी टूल्स (जैसे Mem0, Letta, और A-Mem) का परीक्षण किया।
- कुछ सिस्टम लिखने के लिए अच्छे जानकारी को ढूँढने में माहिर थे (उच्च "एक्सट्रैक्शन" स्कोर) लेकिन जब बैकपैक भर गया तो क्या रखना है यह चुनने में खराब थे (कम "सिलेक्शन" स्कोर)।
- अन्य ने बहुत लंबे और अव्यवस्थित नोट्स लिखे, इसलिए वे सीमित बजट में सबसे महत्वपूर्ण तथ्यों को नहीं समा सके।

यह क्यों महत्वपूर्ण है

सोचिए कि MEMAUDIT एक कारखाने के लिए गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) की तरह है।

पहले, हम केवल यह देखते थे कि अंतिम कार (उत्तर) अच्छी तरह चलती है या नहीं।
अब, MEMAUDIT हुड खोलता है और इंजन असेंबली लाइन (मेमोरी राइटिंग) की जाँच करता है।

यह इंजीनियरों को बताता है: "आपका इंजन ठीक है, लेकिन आपके कर्मचारी बॉक्स में गलत पुर्जे डाल रहे हैं," या "आपके कर्मचारी बेहतरीन पुर्जे चुन रहे हैं, लेकिन वे उन्हें बहुत ढीला पैक कर रहे हैं।"

"खोजने" और "सोचने" की समस्याओं को "लिखने" की समस्या से अलग करके, यह प्रोटोकॉल डेवलपर्स को उनके AI के ठीक उसी हिस्से को ठीक करने में मदद करता है जो टूटा हुआ है, बजाय इसके कि वे केवल अनुमान लगाते रहें। यह एक अस्पष्ट "AI मेमोरी में बुरा है" को एक विशिष्ट "AI बजट के तहत कौन सी यादें रखनी है, यह तय करने में बुरा है" में बदल देता है।

MEMAUDIT का तकनीकी सारांश

समस्या विवरण (Problem Statement)
दीर्घकालिक (long-term) LLM एजेंटों के सामने चुनौती यह है कि भविष्य के प्रश्नों के ज्ञात होने से पहले ही वे पिछले इंटरैक्शन के प्रवाह को स्थायी स्मृति (persistent memory) में संकुचित (compress) कर सकें। मौजूदा मूल्यांकन प्रोटोकॉल आमतौर पर अंतिम प्रश्न-उत्तर (QA) सटीकता को मापते हैं। लेखक तर्क देते हैं कि यह दृष्टिकोण त्रुटिपूर्ण है क्योंकि यह तीन अलग-अलग विफलता मोडों को आपस में मिला देता है: मेमोरी लेखन (चयन और प्रतिनिधित्व), रिट्रीवल (retrieval), और रीडर रीजनिंग (reader reasoning)। एक सिस्टम इसलिए विफल हो सकता है क्योंकि उसने गलत मेमोरी संग्रहीत की, क्योंकि रिट्रीवर ने एक अच्छी मेमोरी को मिस कर दिया, या क्योंकि रीडर ने साक्ष्य (evidence) को अनदेखा कर दिया; केवल अंतिम QA सटीकता यह निर्धारित नहीं कर सकती कि कौन सा स्तर विफल हुआ। इसके अलावा, तैनात किए गए सिस्टम अक्सर उन रूपों में आइटम संग्रहीत करते हैं जो लक्षित बजट के लिए बहुत महंगे होते हैं या उपलब्ध उम्मीदवारों के सेट में से इष्टतम प्रतिनिधित्व (जैसे: रॉ स्पैन बनाम निकाला गया तथ्य बनाम टोंबस्टोन) चुनने में विफल रहते हैं।

कार्यप्रणाली (Methodology): MEMAUDIT प्रोटोकॉल
यह शोध पत्र MEMAUDIT को पेश करता है, जो एक सटीक 'पैकेज-ओरेकल' (package-oracle) मूल्यांकन प्रोटोकॉल है जिसे विशेष रूप से मेमोरी राइटिंग लेयर का अलगाव (isolation) में मूल्यांकन करने के लिए डिज़ाइन किया गया है। मूल्यांकन की मूल इकाई MEMAUDIT पैकेज है, जो मेमोरी चयन समस्या को एक परिमित (finite), ऑडिट योग्य अनुकूलन समस्या में बदल देती है जिसके पास एक प्रमाणित हर (denominator) होता है।

पैकेज परिभाषा (Package Definition): एक पैकेज $P$ को एक निश्चित अनुभव प्रवाह (experience stream), उम्मीदवार मेमोरी प्रतिनिधित्वों का एक सेट (जैसे: रॉ टेक्स्ट, तथ्य, सारांश, टोंबस्टोन), भंडारण लागत, सिमेंटिक साक्ष्य इकाइयाँ, भविष्य-प्रश्न आवश्यकताएँ, और एक भंडारण बजट $B$ द्वारा परिभाषित किया जाता है।
व्यवहार्यता बाधाएं (Feasibility Constraints): एक व्यवहार्य मेमोरी स्टोर $X$ $X$ को दो बाधाओं को पूरा करना चाहिए:
1. नैपसैक बाधा (Knapsack Constraint): कुल लागत $\sum c_u \le B$ ।
2. पार्टिशन मैट्रॉइड बाधा (Partition Matroid Constraint): प्रत्येक अनुभव के लिए अधिकतम एक प्रतिनिधित्व चुना जा सकता है ( $|X \cap G_i| \le 1$ ), जो सभी वेरिएंट्स को रखने के बजाय एक प्रतिनिधित्व चुनने के लिए मजबूर करता है।
उद्देश्य फलन (Objective Function): एक स्टोर की उपयोगिता को कॉन्केव-ओवर-मॉड्यूलर (concave-over-modular) सिमेंटिक कवरेज उद्देश्य द्वारा परिभाषित किया जाता है:
$F(X) = \sum_{r \in R} w_r h_r \left( \sum_{u \in X} a_{ur} \right)$
जहाँ $R$ साक्ष्य इकाइयाँ हैं, $w_r$ महत्व भार (importance weights) हैं, $a_{ur}$ यूनिट $r$ का मेमोरी $u$ द्वारा कवरेज है, और $h_r$ एक कॉन्केव, गैर-घटता (non-decreasing) फलन है (डिफ़ॉल्ट रूप से $\min(1, z)$ )। यह संरचना एक ही साक्ष्य यूनिट के डुप्लिकेट कवरेज के लिए घटते प्रतिफल (diminishing returns) सुनिश्चित करती है।
सटीक अनुकूलन (Exact Optimization): प्रोटोकॉल ब्रांच-एंड-बाउंड सॉल्वर का उपयोग करके सटीक पैकेज ऑप्टिमम ( $OPT_P(B)$ ) की गणना करता है और परिणामों को मिक्स्ड-इंटीजर लीनियर प्रोग्रामिंग (MILP) के साथ प्रमाणित करता है। यह एक ग्राउंड-ट्रुथ डिनोमिनेटर प्रदान करता जिसके विरुद्ध किसी भी राइटर (writer) को स्कोर किया जा सकता है।
बाहरी प्रणालियों के लिए यूनियन डिनोमिनेटर (Union Denominator for External Systems): उन वास्तविक दुनिया के सिस्टम्स (जैसे: Mem0, Letta, A-Mem) के मूल्यांकन के लिए जो पूर्वनिर्धारित उम्मीदवार सेट के बाहर की मेमोरी उत्पन्न कर सकते हैं, प्रोटोकॉल एक यूनियन पैकेज का उपयोग करता है। निर्यात की गई मेमोरी को adjudicated कवरेज पंक्तियों के साथ प्रथम-श्रेणी के उम्मीदवारों के रूप में जोड़ा जाता है। स्कोर, यूनियन (मूल उम्मीदवार + सिस्टम एक्सपोर्ट) के किसी भी उपसमुच्चय (subset) द्वारा प्राप्त की जा सकने वाली इष्टतम उपयोगिता के मुकाबले सिस्टम द्वारा प्राप्त की गई उपयोगिता का अनुपात है। यह एक्सट्रैक्शन क्वालिटी (कितनी उपयोगी सामग्री खोजी गई) और सिलेक्शन क्वालिटी (बजट के तहत इसे कितनी अच्छी तरह चुना गया) के बीच अंतर करता है।

मुख्य योगदान (Key Contributions)

एक परिमित पैकेज ओरेकल की परिभाषा: शोध पत्र एक कठोर फ्रेमवर्क को परिभाषित करता है जो एक पुनरुत्पादनीय (reproducible), प्रमाणित डिनोमिनेटर के साथ बजट-आधारित मेमोरी राइटिंग को प्रस्तुत करता है, जो डाउनस्ट्रीम रिट्रीवल और रीजनिंग से राइट-टाइम क्वालिटी को अलग करता है।
सिमेंटिक कवरेज संरचना: यह मेमोरी संरक्षण को मॉडल करने के लिए एक ज्ञात कॉन्केव-ओवर-मॉड्यूलर सबमॉड्यूलर कवरेज संरचना को लागू करता है, जो वैधता अवस्थाओं (जैसे: पुराने तथ्यों को अमान्य करने के लिए टोंबस्टोन) को नकारात्मक दंड के बजाय सकारात्मक साक्ष्य इकाइयों के रूप में स्पष्ट रूप से संभालता है।
सटीक सॉल्वर और बेसलाइन्स: लेखक ब्रांच-एंड-बाउंड और MILP सर्टिफिकेशन के माध्यम से सटीक पैकेज ऑप्टिमा प्रदान करते हैं। वे एक ग्रुप वैल्यू-थ्रेशोल्ड (GVT) संदर्भ बेसलाइन पेश करते हैं जो सिस्टम को कैलिब्रेट करने के लिए सटीक मार्जिनल्स का उपयोग करता है, और प्रदर्शित करते हैं कि डेंसिटी-ओनली ह्यूरिस्टिक्स (density-only heuristics) मनमाने ढंग से खराब हो सकते हैं।
MEMAUDIT सूट: उपकरणों और डेटासेट्स का एक रिलीज़ जिसमें शामिल हैं:
- नियंत्रित सटीक पैकेज (Controlled Exact Packages): प्रतिनिधित्व विकल्पों का परीक्षण करने के लिए छिपे हुए इवेंट ग्राफ के साथ सिंथेटिक वातावरण (MEMAUDIT-Small)।
- वैलिडिटी-हैवी स्ट्रेस टेस्ट: वर्तमान सत्य बनाम पुराने तथ्यों के संरक्षण का परीक्षण करने के लिए विशेष रूप से डिज़ाइन किए गए परिदृश्य (जैसे: अपडेट चेन, टेम्पोरल इंटरवल)।
- प्राकृतिक और निर्यात किए गए पैकेज: यथार्थवादी बातचीत के स्लाइस से प्राप्त एक मानव-ऑडिटेड "Natural-87" उपसमुच्चय, और समान प्रोटोकॉल के तहत मूल्यांकित Mem0, A-Mem, और Letta के निर्यात किए गए मेमोरी स्टोर्स।

परिणाम (Results)

स्तरों का पृथक्करण (Separation of Layers): नियंत्रित प्रयोगों में, MEMAUDIT सफलतापूर्वक प्रतिनिधित्व गुणवत्ता को अलग करता है। उदाहरण के लिए, एक "डेंसिटी-ओनली" ह्यूरिस्टिक (उच्चतम वैल्यू-पर-कॉस्ट आइटम चुनना) व्यवस्थित रूप से वैलिडिटी-स्टेट यूनिट्स (टोंबस्टोन) को बनाए रखने में विफल रहता है, जो सटीक OPT के केवल 26–36% तक ही पहुँच पाता है, जबकि GVT बेसलाइन लगभग इष्टतम रहती है।
वैलिडिटी कैंडिडेट्स का महत्व: उम्मीदवार सेट से टोंबस्टोन/कंपाउंड-अपडेट कैंडिडेट्स को हटाने से अधिकतम प्राप्त होने वाली उपयोगिता (OPT) में महत्वपूर्ण गिरावट आती है (उदाहरण के लिए, बजट के आधार पर ~52–81% तक गिरना), जो यह सिद्ध करता है कि कैंडिडेट जनरेशन बॉटलनेक्स, सिलेक्शन बॉटलनेक्स से अलग हैं।
बाहरी सिस्टम डायग्नोस्टिक्स: निर्यात किए गए स्टोर्स पर लागू होने पर:
- Mem0: एक उच्च "अपपर-प्रून्ड" (upper-pruned) बाउंड दिखाता है (जो उपयोगी साक्ष्य के अच्छे एक्सट्रैक्शन को दर्शाता है), लेकिन एक कम सिलेक्टेड-स्टोर रेशियो दिखाता है, जिससे यह पहचान होता है कि बजट-अवेयर सिलेक्शन मुख्य बॉटलनेक है।
- Letta: मजबूत सैलिएंस-प्रून्ड यूनियन रेशियो प्राप्त करता है, जो प्रासंगिक सामग्री के प्रभावी चयन को दर्शाता है।
- A-Mem: समृद्ध नोट्स में साक्ष्य सुरक्षित रखता है, लेकिन इसका सीरियलाइज्ड साइज अक्सर सख्त बजटों से अधिक हो जाता है, जिसके परिणामस्वरूप फुल-स्टोर व्यू के लिए शून्य स्कोर मिलता है जब तक कि उसे कॉम्पैक्ट न किया जाए।
स्थिरता (Stability): प्रोटोकॉल कॉस्ट मॉडल विविधताओं (जैसे: वर्ड काउंट बनाम बाइट-ओवरहेड) और एनोटेशन नॉइज़ के प्रति मजबूत है, और मानव-सत्यापित लेबल मॉडल-एडजुडिकेटेड लेबल्स की तुलना में रैंकिंग को सुरक्षित रखते हैं।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि MEMAUDIT एक आवश्यक डायग्नोस्टिक टूल प्रदान करता है जिसे एंड-टू-एंड QA नहीं दे सकता। उम्मीदवार सेट, लागत और साक्ष्य इकाइयों को फ्रीज करके, यह विशिष्ट प्रश्न का उत्तर देता है: "इस पैकेज को देखते हुए, राइटर ने पैकेज-फेसिबल सिमेंटिक वैल्यू का कितना हिस्सा संरक्षित किया है?"

लेखक इस बात पर जोर देते हैं कि यह एक राइट-टाइम डायग्नोस्टिक है, न कि एंड-टू-एंड असिस्टेंट इवैल्यूएशन का विकल्प। इसका महत्व यहाँ है:

लोकलाइजेशन (Localization): यह स्पष्ट करता है कि विफलताएं कैंडिडेट जनरेशन, रिप्रेजेंटेशन चॉइस, या बजट-अवेयर सिलेक्शन से उत्पन्न होती हैं, न कि उन्हें रिट्रीवल या रीडर एरर्स के साथ मिलाने के कारण।
पुनरुत्पादकता (Reproducibility): यह एक स्टोकेस्टिक डाउनस्ट्रीम QA के बजाय एक नियत (deterministic), ऑडिट योग्य डिनोमिनेटर (सटीक OPT) प्रदान करता है।
तुलना (Comparability): यह अलग-अलग आंतरिक प्रतिनिधित्व वाले विषम (heterogeneous) सिस्टम को एक साझा सिमेंटिक ग्राउंड ट्रुथ के माध्यम से स्कोर करने की अनुमति देता।

पेपर विनम्रता बनाए रखता है, यह नोट करते हुए कि Natural-87 एक "पहला ऑडिटेड नेचुरल पैकेज" है और इसे डायग्नोस्टिक्स के लिए बनाया गया है, न कि एक पूर्ण 'फुल-हेस्टैक' बेंचमार्क के रूप में। यह दावा नहीं करता कि यह पूरी लॉन्ग-टर्म मेमोरी समस्या को हल कर देता है, बल्कि यह सटीक 'पैकेज-ओरेकल' प्रदान करता है जिसकी आवश्यकता संपीड़न (compression) और चयन (selection) घटकों को कड़ाई से मूल्यांकन करने के लिए होती है।