🤖 AI

SodaMem: Evidence-Grounded Temporal Graph Memory for LLM Agents

SodaMem एक साक्ष्य-आधारित टेम्पोरल ग्राफ मेमोरी सिस्टम है जो LLM एजेंटों के लिए है, जो समय-जागरूक ग्राफ किनारों (edges) के माध्यम से तथ्य वैधता और उत्पत्ति (provenance) को ट्रैक करके लंबी अवधि की बातचीत की सटीकता में सुधार करता है, और प्रति क्वेरी कम लागत पर LongMemEval-S पर अत्याधुनिक (state-of-the-art) प्रदर्शन प्राप्त करता है।

मूल लेखक: Fengrong Wan, Chengcan Wu, Ningtao Lyu

प्रकाशित 2026-08-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fengrong Wan, Chengcan Wu, Ningtao Lyu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत ही बातूनी रोबोट दोस्त से बात कर रहे हैं जो हफ्तों से आपके साथ रह रहा है। आपने हजारों संदेश साझा किए हैं, आपके पसंदीदा तीखे भोजन से लेकर उस समय तक जब आपने तीखा खाना छोड़ने का फैसला किया। अब, आप पूछते हैं, "आज रात मुझे क्या बनाना चाहिए?" एक साधारण रोबोट बस आपके चैट इतिहास को स्कैन करेगा और जो भी उसे सबसे पहले दिखेगा उसे ढूंढ लेगा: "मुझे तीखा भोजन पसंद है!" वह इस बात को नजरअंदाज कर देता है कि आपने तीन दिन पहले अपना मन बदल लिया था। यह आर्टिफिशियल इंटेलिजेंस में लॉन्ग-होरिज़न मेमोरी (Long-Horizon Memory) की समस्या है। यह केवल घास के ढेर में सुई खोजने के बारे में नहीं है; यह यह जानने के बारे में है कि कौन सी सुई वर्तमान वाली है, उसे कब उठाया गया था, और क्या वह अभी भी तेज है। वैज्ञानिक ऐसे AI एजेंट बनाने की कोशिश कर रहे हैं जो केवल यह याद न रखें कि क्या कहा गया था, बल्कि एक जीवित, सांस लेता हुआ मॉडल बनाए रखें कि अभी क्या सच है, और समय बीतने और नई जानकारी आने के साथ अपने ज्ञान को अपडेट करते रहें।

यहाँ SodaMem आता है, एक नया सिस्टम जिसे इन AI दोस्तों के लिए परम "मेमोरी मैनेजर" बनने के लिए डिज़ाइन किया गया है। SodaMem को एक विशाल, बिखरी हुई नोटबुक के रूप में न सोचें जहाँ हर बातचीत क्रमवार लिखी जाती है, बल्कि इसे एक उच्च-तकनीकी, जीवित समय-यात्रा करने वाले जासूस के बोर्ड (time-traveling detective's board) के रूप में सोचें।

अधिकांश वर्तमान AI मेमोरी सिस्टम सपाट डायरियों की तरह हैं। यदि आप सोमवार को लिखते हैं "मुझे ब्रोकली से नफरत है" और मंगलवार को "मुझे ब्रोकली पसंद है", तो एक साधारण डायरी में बस दो लाइनें होती हैं। जब आप बाद में AI से पूछते हैं, तो वह भ्रमित हो सकता है कि कौन सा सच है, या वह गलत जानकारी उठा सकता है क्योंकि वह आपकी पूछी गई चीज़ के समान दिखती है। SodaMem इसे हर तथ्य को एक FactEvent में बदलकर ठीक करता है—एक विशेष, टाइप किया गया कार्ड जो न केवल यह बताता है कि क्या हुआ, बल्कि यह भी कि यह कब उल्लेख किया गया था, यह वास्तव में कब हुआ था, और यह कितने समय तक सच रहेगा।

यहाँ जादू कैसे काम करता है:

जासूस का बोर्ड (The Graph)
एक सूची के बजाय, SodaMem संबंधों का एक जाल बनाता है। हर बार जब AI कुछ नया सीखता है, तो वह एक कार्ड बनाता है। यदि आप कहते हैं, "मैं तीखा कम कर रहा हूँ," तो SodaMem आपके पुराने "मुझे तीखा भोजन पसंद है" वाले कार्ड से एक लाल रेखा खींचता है और उसे "SUPERSEDES" (जिसका अर्थ है "यह नया वाला पुराने को बदल देता है") लेबल करता है। यदि आप खुद का खंडन करते हैं, तो यह एक "CONTRADICTS" रेखा खींचता है। इस तरह, AI केवल यह अनुमान नहीं लगाता कि कौन सा तथ्य नया है; इसके पास टाइमलाइन का एक स्पष्ट, दृश्य मानचित्र होता है। वह जानता है कि कौन सा तथ्य "वर्तमान" है और कौन से तथ्य पुराने इतिहास हैं।

तीन-पैर वाला स्टूल (The Retrieval)
जब आप कोई प्रश्न पूछते हैं, तो SodaMem केवल कीवर्ड्स नहीं खोजता। यह एक "मल्टी-टनल" खोज का उपयोग करता है, जैसे एक जासूस एक साथ तीन अलग-अलग उपकरणों का उपयोग कर रहा हो:

द ग्राफ टनल (The Graph Tunnel): यह संबंधित तथ्यों को खोजने और यह जांचने के लिए लाल और नीली रेखाओं का अनुसरण करता है कि क्या वे अभी भी वैध हैं।
द वर्ड टनल (The Word Tunnel): यह सटीक शब्दों और वाक्यांशों को स्कैन करता है (जैसे एक क्लासिक सर्च इंजन)।
द वाइब टनल (The Vibe Tunnel): यह उन विचारों को देखता है जो आपके प्रश्न के समान "महसूस" होते हैं, भले ही शब्द अलग हों।
यह फिर सभी सुरागों को जोड़ता है। यदि ग्राफ टनल कहता है कि "यह तथ्य पुराना है" लेकिन वर्ड टनल उसे पाता है, तो सिस्टम साक्ष्यों का वजन करता है। यह उन तथ्यों को प्राथमिकता देता है जो कई रास्तों द्वारा समर्थित हैं और टाइमलाइन के अनुसार अभी भी "वैध" हैं।

प्लानर और रीडर (The Planner and The Reader)
एक बार सबूत एकत्र हो जाने के बाद, SodaMem आपको उत्तर देने के लिए दो-चरणीय टीम का उपयोग करता है। पहले, एक प्लानर (एक प्रोजेक्ट मैनेजर की तरह) साक्ष्यों की जांच करता है, यह तय करता है कि क्या उसे और गहराई से खोजने की आवश्यकता है, और सर्वोत्तम तथ्य एकत्र करता है। फिर, एक रीडर (एक पत्रकार की तरह) अंतिम उत्तर लिखता है। महत्वपूर्ण रूप से, रीडर को अपने स्रोतों का हवाला देना ही होगा। वह केवल अपनी मर्जी से चीजें नहीं बना सकता; उसे विशिष्ट "FactEvent" कार्डों की ओर इशारा करना होगा जो साबित करते हैं कि उसका उत्तर सही है।

परिणाम
शोधकर्ताओं ने इस प्रणाली का परीक्षण LongMemEval-S नामक एक कठिन चुनौती पर किया, जिसमें लंबी बातचीत के बारे में 500 प्रश्न हैं। SodaMem ने 92.8% उत्तर सही दिए (500 में से 464)। और भी प्रभावशाली बात यह है कि इसने यह सब बहुत कम कंप्यूटर पावर खर्च करके किया—औसतन लगभग $0.00161 प्रति प्रश्न** (मीडियन **$ 0.00111 के साथ)।

AI मेमोरी की दुनिया में, कई अन्य सिस्टम जो उच्च स्कोर प्राप्त करते हैं, उन्हें चलाने के लिए दस से चालीस गुना अधिक खर्च करना पड़ता है क्योंकि वे बहुत महंगे "ब्रेन" मॉडल्स का उपयोग करते हैं। SodaMem सटीकता चार्ट के शीर्ष के पास रहता है जबकि वह "बजट-अनुकूल" क्षेत्र में रहता है। यह सिद्ध करता है कि आपको स्मार्ट और अपडेटेड मेमोरी पाने के लिए बहुत अधिक खर्च करने की आवश्यकता नहीं है; आपको बस तथ्यों को व्यवस्थित करने का एक बेहतर तरीका चाहिए।

हालाँकि, लेखक सावधानी बरतते हुए नोट करते हैं कि यह एक विशिष्ट कॉन्फ़िगरेशन है जिसका परीक्षण एक डेटासेट पर किया गया है। हालाँकि परिणाम आशाजनक हैं, वे सुझाव देते हैं कि सिस्टम में अभी भी बढ़ने की गुंजाइश है, विशेष रूप से जटिल समय-संबंधी प्रश्नों को संभालने में जहाँ मनुष्य तारीखों को गलत याद रख सकते हैं। लेकिन फिलहाल के लिए, SodaMem AI एजेंटों के लिए अतीत में जीने के बजाय वर्तमान में जीना शुरू करने का एक स्पष्ट, साक्ष्य-आधारित तरीका प्रदान करता है।

तकनीकी सारांश: SodaMem

समस्या विवरण (Problem Statement)

हफ्तों तक उपयोगकर्ताओं की सहायता करने वाले लॉन्ग-होरिज़न (long-horizon) LLM एजेंटों को चार महत्वपूर्ण विफलता मोड का सामना करना पड़ता है, जिन्हें साधारण फ्लैट RAG डायरियाँ, मार्कडाउन लॉग्स और सरल वेक्टर स्टोर्स हल करने में विफल रहते हैं:

करेंसी/संघर्ष (Currency/Conflict): केवल 'अपेंड-ओनली' (append-only) लॉग्स यह निर्धारित करने में संघर्ष करते हैं कि वर्तमान स्थिति क्या है जब प्राथमिकताएँ बदल जाती हैं (जैसे, "मुझे तीखा खाना पसंद है" बनाम "मैं मसालों में कटौती कर रहा हूँ"), जिससे अक्सर LLM को सबसे ताज़ा चंक (chunk) का अनुमान लगाने के लिए मजबूर होना पड़ता है।
टेम्पोरल स्ट्रक्चर (Temporal Structure): जब तुलनात्मक टाइमलाइन की कमी होती है या सापेक्ष वाक्यांशों (relative phrases) में स्पष्ट आधार नहीं होता, तो सिस्टम सापेक्ष-तारीख संबंधी प्रश्नों ("हाल ही में," "दो महीने पहले") में विफल हो जाते हैं।
प्रोवेनेंस (Provenance): डेटा के स्रोत (source) के नुकसान और अस्पष्ट वेक्टर हिट्स के कारण विश्वास कम हो जाता है, जिनमें विशिष्ट सोर्स टर्न्स (source turns) के संदर्भ (citations) का अभाव होता है।
एसोसिएशन (Association): मल्टी-हॉप सिंथेसिस अक्सर कॉन्टेक्स्ट कन्फ्यूजन के कारण ढह जाता है, जहाँ सिस्टम केवल सिमेंटिक रूप से समान यादें खोज लेते हैं, लेकिन वे वास्तविक एंटिटी/क्लेम लिंक्स स्थापित करने के बजाय एपिसोडिक मिसमैच (episodic mismatches) होते हैं।

क्षेत्र अब इस सवाल से आगे बढ़ गया है कि "क्या मॉडल सुई ढूंढ सकता है?" से बदलकर यह हो गया है कि "क्या एजेंट उपयोगकर्ता का एक सुसंगत, अपडेट करने योग्य मॉडल बनाए रख सकता है और सही परिस्थितियों में इसका उपयोग कर सकता है?"

कार्यप्रणाली (Methodology): SodaMem

SodaMem एक एविडेंस-ग्राउंडेड टेम्पोरल ग्राफ मेमोरी इंफ्रास्ट्रक्चर है जिसे एक सिटेबल (citable), अपडेट करने योग्य यूजर स्टेट बनाए रखने के लिए डिज़ाइन किया गया है। यह एक इन्जेस्ट–स्टोर–प्लानर–रीडर (Ingest–Store–Planner–Reader) पाइपलाइन के माध्यम से संचालित होता है।

1. मुख्य डेटा संरचना: FactEvents

मेमोरी को FactEvents के रूप में संरचित किया गया है, जो टुपल्स $f = (\kappa, \pi, m, \tau, \rho, S, \sigma)$ द्वारा परिभाषित हैं:

किंड ( $\kappa$ ) और प्रेडिकेट ( $\pi$ ): टाइप किए गए तथ्य (Typed facts)।
मोडैलिटी ( $m$ ) और टेम्पोरल फील्ड्स ( $\tau$ ): इसमें मेंशन टाइम, ऑकरेंस टाइम और वैलिडिटी इंटरवल्स शामिल हैं।
एंटिटी रोल्स ( $\rho$ ): संस्थाओं के लिए संरचित भूमिकाएँ।
सोर्स स्पैन ( $S$ ): कच्चे संवाद (raw dialogue) में विशिष्ट "MessagePieces" के अनिवार्य प्रोवेनेंस लिंक्स।
स्टेटस ( $\sigma$ ): एक्टिव (Active), सुपरसीडेड (Superseded), या इनवैलिड (Invalid)।

2. इन्जेशन और रखरखाव (Ingest & Maintenance)

एक्सट्रैक्शन (Extraction): एक LLM संवाद सत्रों से उम्मीदवारों को निकालता है, और इस कठोर बाधा (hard constraint) को लागू करता है कि सभी दावे अनिवार्य रूप से लिटरल सोर्स स्पैन (literal source spans) से मैप होने चाहिए।
टेम्पोरल रेजोल्यूशन (Temporal Resolution): वैकल्पिक पोस्ट-प्रोसेसिंग सापेक्ष तारीखों (जैसे, "दो दिन पहले") को सेशन टाइम के आधार पर तुलनात्मक टाइमस्टैम्प में बदल देती है।
सुपरसेसेशन लॉजिक (Supersession Logic): जब एक नया तथ्य किसी प्रतिस्पर्धी सब्जेक्ट-प्रेडिकेट स्लॉट को अपडेट करता है, तो सिस्टम SUPERSEDES, CONTRADICTS, या UPDATES एडजेस (edges) बनाता है। पुराने तथ्य का वैलिडिटी इंटरवल बंद कर दिया जाता है, और उसका स्टेटस 'सुपरसीडेड' के रूप में चिह्नित किया जाता है।

3. स्टोरेज और इंडेक्सिंग (Storage & Indexing)

परसिस्टेंस (Persistence): तथ्यों को हाइब्रिड इंडेक्सिंग के साथ SQLite में संग्रहीत किया जाता है:
- लेक्सिकल (Lexical): फैक्ट टेक्स्ट, स्पैन और रॉ टर्न्स पर BM25।
- डेंस (Dense): सिमेंटिक समानता के लिए वेक्टर एम्बेडिंग्स (जैसे, MiniLM/GTE)।
- ग्राफ (Graph): सिमेंटिक पड़ोसियों और टाइप किए गए संबंधों के माध्यम से तथ्यों को जोड़ने वाले एडजेस।
ग्राफ रिलेशंस (Graph Relations): इसमें स्पैन के DERIVED FROM लिंक्स और टेम्पोरल एडजेस (SUPERSEDES, आदि) शामिल हैं।

4. रिट्रीवल: मल्टी-टनल और कनेक्शन-डेंसिटी फ्यूजन (Retrieval: Multi-Tunnel & Connection-Density Fusion)

रिट्रीवल केवल एक सिग्नल (जैसे, कोसाइन सिमिलैरिटी अकेले) पर निर्भर रहने के बजाय एक तीन-टनल दृष्टिकोण का उपयोग करता है:

ग्राफ/एंटिटी टनल (मजबूत): यह सर्च हेड्स के रूप में एंटिटीज या फैक्ट्स को हिट करता है और 1-हॉप या सीमित मल्टी-हॉप सिमेंटिक/रिलेशन एडजेस के माध्यम से विस्तार करता है।
BM25 टनल (मजबूत): फैक्ट्स, स्पैन या रॉ टर्न्स पर लेक्सिकल हिट्स, जो संदर्भ के लिए टेम्पोरल रूप से आसन्न (adjacent) टर्न्स तक विस्तार करते हैं।
एम्बेडिंग टनल (कमजोर): डेंस नेबर्स जो BM25 के समान विस्तार पैटर्न रखते हैं लेकिन अप्रासंगिक एपिसोड्स को रिट्रीव करने से बचने के लिए कम बेस वेट्स के साथ काम करते हैं।

फ्यूजन और रैंकिंग (Fusion & Ranking):

वैलिडिटी गेट्स (Validity Gates): हार्ड फिल्टर्स उन तथ्यों को बाहर कर देते हैं जिन्हें इनवैलिड/सुपरसीडेड मार्क किया गया है या जो घोषित वैलिडिटी विंडो के बाहर हैं।
कनेक्शन डेंसिटी (Connection Density): साक्ष्य (evidence) को कई हिट्स (डायरेक्ट और डेरिव्ड) के माध्यम से संचित "मास" के आधार पर रैंक किया जाता है।
सॉफ्ट टेम्पोरल स्कोरिंग (Soft Temporal Scoring): हार्ड टाइम फिल्टर के बजाय, रैंकिंग कॉन्फिडेंस में एक "टाइम बोनस" जोड़ा जाता है यदि तथ्य उपयोगकर्ता के क्वेरी विंडो के भीतर आता है। यह सिस्टम को यूजर की गलत डेटिंग (जैसे, 3 महीने पुराने तथ्य के लिए "दो महीने पहले") से उबरने में मदद करता है।

5. आंसरिंग: प्लानर–रीडर लूप (Answering: Planner–Reader Loop)

प्लानर (Planner): एक LLM एजेंट प्रारंभिक डेंसिटी रैंकिंग अपर्याप्त होने पर साक्ष्य पूल को बढ़ाने के लिए टूल्स (सर्च, इंस्पेक्ट, सेशन एक्सपैंड) को इटरेटिवली कॉल कर सकता है।
रीडर (Reader): एक अलग LLM चयनित एविडेंस आईडी का उपयोग करके अंतिम प्रतिक्रिया तैयार करता है, जो अनिवार्य साइटेशन (mandatory citations) को लागू करता है। यह अलगाव सुनिश्चित करता है कि साइटेशन अनुशासन टूल पॉलिसी से अलग है।

प्रमुख योगदान (Key Contributions)

समस्या का ढांचा (Problem Framing): यह पेपर एजेंट-मेमोरी रिसर्च को सिंथेसाइज करता है ताकि फ्लैट RAG और मार्कडाउन लॉग्स द्वारा अनसुलझे करेंसी, टेम्पोरल स्ट्रक्चर, प्रोवेनेंस और एसोसिएशन जैसे विशिष्ट फेल्योर मोड्स को अलग किया जा सके।
सिस्टम आर्किटेक्चर (System Architecture): SodaMem एक पाइपलाइन पेश करता है जिसमें एक टाइप किया गया FactEvent स्कीमा, हाइब्रिड रिट्रीवल (ग्राफ + लेक्सिकल + डेंस), संघर्ष समाधान के लिए सुपरसेसेशन सिमेंटिक्स, और एविडेंस-ग्राउंडेड आंसरिंग के लिए एक प्लानर–रीडर लूप शामिल है।
कॉस्ट–एक्यूरेसी इवैल्यूएशन (Cost–Accuracy Evaluation): लेखक एक यूनिफाइड कॉस्ट–एक्यूरेसी मैप बनाने के लिए सार्वजनिक सिस्टम का विश्लेषण करते हैं, जो अनुमानित API लागत का उपयोग करते हैं, और "डोमिनेटेड" क्षेत्र (उच्च लागत, कम सटीकता) का विश्लेषण करते हैं।

परिणाम (Results)

LongMemEval-S (500 प्रश्न, ~115k-टोकन हिस्ट्री) पर मूल्यांकन किया गया:

सटीकता (Accuracy): SodaMem ने स्टोर-ऑफ-रिकॉर्ड कॉन्फ़िगरेशन (N=3 का बेस्ट) में 92.8% सटीकता प्राप्त की।
लागत दक्षता (Cost Efficiency):
- औसत लागत (Mean Cost): deepseek-v4-flash का उपयोग करके $0.00161 प्रति प्रश्न (~18.3k टोकन)।
- मीडियन लागत (Median Cost): $0.00111 प्रति प्रश्न (~14.6k टोकन)।
तुलना (Comparison):
- SodaMem सटीकता के फ्रंटियर के पास स्थित है जबकि यह "फ्लैश-टियर" खर्च पर काम करता है।
- यह कई प्रकाशित सिस्टम्स (जैसे, Cersei Embed/Hybrid, AgentOS, MemoryBank) को सख्ती से डोमिनेट करता है जो अक्सर GPT-4o या Opus-क्लास मॉडल्स का उपयोग करके उच्च लागत पर कम सटीकता प्रदान करते हैं।
- जबकि टॉप-टियर सिस्टम जैसे agentmemory V4 (96.2%) और Mem0 (94.4%) उच्च स्कोर प्राप्त करते हैं, वे अनुमानित एक ऑर्डर ऑफ मैग्नीट्यूड अधिक लागत (Opus/GPT-4o का उपयोग करके) पर ऐसा करते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SodaMem यह प्रदर्शित करता है कि उच्च-सटीक, एविडेंस-ग्राउंडेड पर्सनल मेमोरी के लिए महंगे, विशाल-कॉन्टेक्स्ट मॉडल्स या अनस्ट्रक्चर्ड लॉग्स की आवश्यकता नहीं है। एक टेम्पोरल नॉलेज ग्राफ के रूप में मेमोरी को ट्रीट करके, जिसमें स्पष्ट सुपरसेसेशन लॉजिक और प्लानर–रीडर लूप है, सिस्टम निम्नलिखित प्राप्त करता है:

मेंटेनेबल स्टेट (Maintainable State): उपयोगकर्ता का एक सुसंगत, अपडेट करने योग्य मॉडल जो प्राथमिकता रिवर्सल को डिटरमिनिस्टिक रूप से संभालता है।
ऑडिटेबिलिटी (Auditability): प्रत्येक दावा एक सोर्स स्पैन द्वारा समर्थित है, जो वर्तमान RAG सिस्टम के प्रोवेनेंस गैप को संबोधित करता है।
लागत-प्रभावशीलता (Cost-Effectiveness): यह उच्च-स्तरीय मॉडल्स पर निर्भर सिस्टम की तुलना में बहुत कम लागत पर लगभग फ्रंटियर सटीकता (92.8%) प्राप्त करता है, जो प्रभावी रूप से उच्च-स्पेंड वाले Opus/GPT-4o सिस्टम्स को ~10–40x कम लागत पर "अंडरकट" करता है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें सेल्फ-ग्रेडिंग (जज के रूप में उसी Flash मॉडल का उपयोग करना) पर निर्भरता और यह तथ्य शामिल है कि लागत तुलना अनुमानित कंपाइल्ड अनुमान हैं न कि सिंगल-हार्नेस बेक-ऑफ। हालांकि, परिणाम बताते हैं कि स्ट्रक्चर्ड, एविडेंस-ग्राउंडेड टेम्पोरल ग्राफ्स लॉन्ग-होरिज़न एजेंटों के लिए एक व्यवहार्य मार्ग हैं।