तकनीकी सारांश: DimMem – कुशल दीर्घकालिक एजेंट मेमोरी के लिए आयामी संरचनात्मककरण (Dimensional Structuring)

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को कई सत्रों (sessions) में उपयोगकर्ता की प्राथमिकताओं, पिछले निर्णयों और विकसित होते तथ्यों को याद रखने में सक्षम बनाने के लिए दीर्घकालिक मेमोरी की आवश्यकता होती है। मौजूदा मेमोरी सिस्टम एक मौलिक फिडेलिटी-दक्षता ट्रेड-ऑफ (fidelity–efficiency trade-off) का सामना करते हैं:

• कच्चा संवाद इतिहास (Raw Dialogue Histories): पूर्ण संदर्भ को संरक्षित करना उच्च फिडेलिटी सुनिश्चित करता है, लेकिन यह भंडारण, पुनर्प्राप्ति (retrieval), अपडेट और मॉडल कॉन्टेक्स्ट में इंजेक्शन के लिए कम्प्यूटेशनल रूप से महंगा है।
• सपाट तथ्य/सारांश (Flat Facts/Summaries): ये कुशल हैं लेकिन अक्सर उन टेम्पोरल (सामयिक), कारण संबंधी (causal), इरादागत (intentional) और प्रासंगिक संरचनाओं को त्याग देते हैं जो सटीक रिकॉल के लिए आवश्यक हैं (जैसे कि कब कोई घटना हुई, क्यों एक योजना बदली, या सहायक ने पहले क्या सिफारिश की थी)।
• जटिल संरचनाएं (Complex Structures): ग्राफ-आधारित या पदानुक्रमित प्रणालियाँ रिलेशनल संरचना को पुनः प्राप्त करती हैं, लेकिन वे निर्माण और रखरखाव का महत्वपूर्ण ओवरहेड पेश करती हैं।
• सीखी गई नीतियां (Learned Policies): सुदृढीकरण शिक्षण (reinforcement learning) या फाइन-ट्यूनिंग के माध्यम से मेमोरी ऑपरेशन्स (CRUD) सीखने वाले दृष्टिकोण अक्सर संघर्ष करते हैं क्योंकि अंतर्निहित मेमोरी प्रतिनिधित्व में स्पष्ट संरचनात्मक आयाम (समय, कारण, उद्देश्य) की कमी होती है, जिससे नीति को अपूर्ण रिकॉर्ड से लुप्त जानकारी का अनुमान लगाने के लिए मजबूर होना पड़ता है।

मूल चुनौती यह है कि क्वेरी अक्सर केवल सिमेंटिक समानता के बजाय विशिष्ट आयामों (सामयिक, कारण, इरादागत) पर निर्भर करती है। वर्तमान प्रणालियाँ इन आयामों को स्टोरेज स्तर पर स्पष्ट रूप से प्रदर्शित करने में विफल रहती हैं, जिससे पुनर्प्राप्ति त्रुटियां और अक्षम संदर्भ उपयोग होता है।

2. कार्यप्रणाली: DimMem फ्रेमवर्क (Methodology: DimMem Framework)

DimMem एक हल्के आयामी मेमोरी फ्रेमवर्क (lightweight dimensional memory framework) का प्रस्ताव करता है जहाँ प्रत्येक मेमोरी को एक परमाणु (atomic), प्रकारित (typed) और स्व-निहित इकाई के रूप में दर्शाया जाता है जिसमें स्पष्ट आयामी क्षेत्र (dimensional fields) होते हैं।

2.1 आयामी मेमोरी प्रतिनिधित्व (Dimensional Memory Representation)

कच्चे टेक्स्ट या सपाट सारांशों के बजाय, DimMem संवाद धाराओं को संरचित रिकॉर्ड में परिवर्तित करता है:
$$m_i = \langle id_i, C_i, T_i, D_i, \rho_i \rangle$$

• $C_i$ (Content): एक स्व-निहित टेक्स्टुअल मेमोरी जहाँ सर्वनामों (pronouns) को हल किया गया है और सापेक्ष समय को सामान्यीकृत (normalized) किया गया है।
• $T_i$ (Type): तथ्य (स्थिर ज्ञान), एपिसोडिक (विशिष्ट घटनाएँ), या प्रोफाइल (दीर्घकालिक व्यक्तिगत अर्थ) में स्पष्ट वर्गीकरण।
• $D_i$ (Dimensions): स्पष्ट क्षेत्रों का एक विच्छेदित (decoupled) सेट:
  • समय (Time): वैधता या घटित होने का समय।
  • स्थान (Location): भौतिक या प्रासंगिक स्थान।
  • कारण (Reason): कारण संबंधी पृष्ठभूमि।
  • उद्देश्य (Purpose): संचार या कार्य का इरादा।
  • कीवर्ड्स (Keywords): एंटिटी और टॉपिक एंकर्स।
• $\rho_i$ (Pointer): स्रोत विंडो/टर्न का एक संदर्भ, जो मांग पर मूल सहायक प्रतिक्रियाओं को पुनर्प्राप्त करने की अनुमति देता है बिना उन्हें हर रिकॉर्ड में संग्रहीत किए।

2.2 ओवरलैप-जागरूक निष्कर्षण (Overlap-Aware Extraction)

लंबे संवादों को संभालने के लिए, सिस्टम बातचीत को ओवरलैपिंग विंडोज़ में विभाजित करता है। मेमोरी इस तरह निकाली जाती है कि:

• कोरेफरेंस (coreference) को हल करने और समय को सामान्य करने के लिए ओवरलैपिंग टोकन का उपयोग किया जाता है।
• डुप्लिकेशन को रोकने के लिए नई मेमोरी को विंडो के नॉन-ओवरलैपिंग सफिक्स (non-overlapping suffix) में सख्ती से ग्राउंड किया जाता है।
• एक कॉम्पैक्ट एक्सट्रैक्टर (SFT के माध्यम से फाइन-ट्यून किया गया) इन विंडोज़ को आयामी स्कीमा में मैप करता है।

2.3 आयाम-जागरूक ऑपरेशन्स (Dimension-Aware Operations)

फ्रेमवर्क आयामी स्कीमा के माध्यम से पुनर्प्राप्ति, अपडेट और सहायक रिकॉल को एकीकृत करता है:

• त्रि-पथ पुनर्प्राप्ति (Tri-Path Retrieval): क्वेरी को उसी स्कीमा में पार्स किया जाता है। पुनर्प्राप्ति संयोजित करती है:
  1. लेक्सिकल मैचिंग ($R_{bm25}$): सटीक एंटिटीज के लिए।
  2. डेंस रिट्रीवल ($R_{dense}$): सिमेंटिक पैराफ्रेस के लिए।
  3. डायमेंशन मैचिंग ($R_{dim}$): क्वेरी बाधाओं (समय, प्रकार, स्थान, कारण) और मेमोरी आयामों के बीच सहमति के आधार पर स्पष्ट स्कोरिंग। यह सुनिश्चित करता है कि सिमेंटिक रूप से समान लेकिन सामयिक या कारण संबंधी रूप से बेमेल मेमोरी हावी न हो।
• डायनेमिक असिस्टेंट रिकॉल (Dynamic Assistant Recall): सिस्टम भविष्यवाणी करता है कि क्या किसी क्वेरी के लिए पिछले सहायक संदर्भ ($I_{ast}$) की आवश्यकता है। यदि ऐसा है, तो यह $\rho_i$ के माध्यम से विशिष्ट स्रोत रिप्लाई को पुनर्प्राप्त करता है; अन्यथा, यह केवल संरचित उपयोगकर्ता मेमोरी पर निर्भर रहता है। यह उन क्वेरीज़ के लिए कॉन्टेक्स्ट को फुलाने से बचाता है जिन्हें इसकी आवश्यकता नहीं है।
• आयाम-जागरूक अपडेट (Dimension-Aware Update): नए रिकॉर्ड्स को महंगे एम्बेडिंग तुलना या LLM कंसोलिडेशन से पहले मेमोरी टाइप और कीवर्ड ओवरलैप द्वारा फ़िल्टर किया जाता है। यह मर्ज करने, बदलने या दोनों रिकॉर्ड्स को रखने के लिए कैंडिडेट सेट को कम करता है, जिससे यह सुनिश्चित होता है कि केवल संरचनात्मक रूप से संभावित संघर्ष ही LLM निर्णयों को ट्रिगर करें।

2.4 सीखने योग्य संरचित निष्कर्षण (Learnable Structured Extraction)

पेपर यह प्रदर्शित करता है कि उच्च-गुणवत्ता वाला आयामी निष्कर्षण एक सीखने योग्य क्षमता है। GPT-5.4 जैसे टीचर मॉडल द्वारा DimMem स्कीमा का उपयोग करके सिंथेटिक डेटा पर एक कॉम्पैक्ट मॉडल (Qwen3-4B) को फाइन-ट्यून करके, सिस्टम बड़े एक्सट्रैक्टर्स के समान प्रदर्शन प्राप्त करता है। यह बोझ को "बड़े मॉडल्स को प्रॉम्प्ट करने" से हटाकर "एक संरचित स्कीमा पर कॉम्पैक्ट मॉडल्स को प्रशिक्षित करने" पर स्थानांतरित कर देता है।

3. मुख्य योगदान (Key Contributions)

1. आयामी मेमोरी प्रतिनिधित्व: फ्लैट पैसेज या अलग-थलग तथ्यों के बजाय परमाणु, प्रकारित रिकॉर्ड्स की ओर एक बदलाव, जिनमें स्पष्ट आयाम (समय, कारण, उद्देश्य, कीवर्ड) शामिल हैं, जो मेमोरी सिस्टम के लिए परिचालन इंटरफ़ेस के रूप में कार्य करते हैं।
2. आयाम-जागरूक ऑपरेशन्स: पुनर्प्राप्ति, अपडेट और सहायक रिकॉल के लिए तंत्र जो पार्स की गई क्वेरी इंटेंट्स को मेमोरी आयामों के साथ संरेखित करते हैं, जिससे सामयिक, कारण संबंधी और मल्टी-सेशन रीजनिंग में सुधार होता है और लागत कम होती है।
3. सीखने योग्य संरचित निष्कर्षण: अनुभवजन्य प्रमाण कि कॉम्पैक्ट मॉडल (जैसे, 4B पैरामीटर्स) उच्च-गुणवत्ता वाली आयामी मेमोरी का निर्माण करना सीख सकते हैं, जो इस धारणा को चुनौती देता है कि ऐसे संरचित निष्कर्षण के लिए मालिकाना या विशाल-पैमाने के मॉडल्स की आवश्यकता होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन LoCoMo-10 और LongMemEval-S बेंचमार्क पर किया गया।

• प्रदर्शन: DimMem ने LoCoMo पर 81.43% समग्र सटीकता और LongMemEval-S पर 78.20% सटीकता प्राप्त की, जो मौजूदा हल्के सिस्टम (जैसे, LightMem, SimpleMem, MemOS) से बेहतर है।
• दक्षता: इसने बेसलाइन्स की तुलना में LoCo पर प्रति-क्वेरी टोकन लागत को 24% कम कर दिया।
• कॉम्पैक्ट एक्सट्रैक्टर: एक फाइन-ट्यून किया गया Qwen3-4B एक्सट्रैक्टर दोनों बेंचमार्क पर LightMem (जो GPT-4.1-mini का उपयोग करता है) से आगे निकल गया और Qwen3-30B-A3B एक्सट्रैक्टर के प्रदर्शन के करीब पहुँच गया।
• एब्लेशन स्टडीज (Ablation Studies):
  • आयामी संरचना (केवल कंटेंट) को हटाने से सबसे बड़ी गिरावट आई, विशेष रूप से सामयिक और मल्टी-हॉप रीजनिंग में।
  • डायमेंशन-आधारित रिट्रीव रूट को हटाने से प्रिसिजन (precision) कम हो गया, जो पुष्टि करता है कि केवल लेक्सिकल और डेंस रिट्रीवल सख्त बाधाओं को लागू नहीं कर सकते।
  • डायनेमिक असिस्टेंट रिकॉल: यह केवल 12.2% क्वेरीज़ के लिए ट्रिगर हुआ लेकिन विशिष्ट उप-कार्यों पर सहायक-निर्भर सटीकता में 48.2% सुधार किया, जिससे कुल टोकन खपत में 65.6% की कमी आई।
  • अपडेट दक्षता: आयामी फ़िल्टरिंग ने एम्बेडिंग गणनाओं को LongMemEval में 75.5% और LoCoMo में 59.2% कम कर दिया, जबकि एम्बेडिंग-ओनली बेसलाइन्स की तुलना में अधिक वैध मर्ज की पहचान की।

5. महत्व और दावे (Significance and Claims)

पेपर का तर्क है कि स्पष्ट आयामी संरचनात्मककरण (explicit dimensional structuring) LLM एजेंटों के लिए दीर्घकालिक मेमोरी के लिए एक प्रभावी और कुशल आधार है। इसका महत्व यहाँ है:

• इंडक्टिव बायस (Inductive Bias): समय, कारण, उद्देश्य और प्रकार को मेमोरी स्कीमा में प्रथम श्रेणी के नागरिक के रूप में मानना एक मजबूत इंडक्टिव बायस के रूप में कार्य करता है, जो सीधे तौर पर पुनर्प्राप्ति सटीकता और रीजनिंग क्षमताओं में सुधार करता है।
• नियंत्रण और प्रतिनिधित्व का अलगाव: जहाँ पिछले कार्यों ने मेमोरी को कब अपडेट करना है, यह सीखने पर ध्यान केंद्रित किया, वहीं DimMem इस पर ध्यान केंद्रित करता है कि मेमोरी सबस्ट्रेट का निर्माण कैसे करना है। यह तर्क देता है कि एक उच्च-गुणवत्ता वाला, संरचित सबस्ट्रेट किसी भी प्रभावी मेमोरी पॉलिसी के लिए एक पूर्व शर्त है।
• स्केलेबिलिटी: संरचित निष्कर्षण करने के लिए कॉम्पैक्ट मॉडल्स को प्रशिक्षित करने की क्षमता यह बताती है कि परिष्कृत मेमोरी प्रबंधन के लिए अनिवार्य रूप से विशाल कम्प्यूटेशनल संसाधनों की आवश्यकता नहीं होती है, जिससे दीर्घकालिक एजेंट मेमोरी अधिक सुलभ और तैनात करने योग्य बनती है।

लेखक निष्कर्ष निकालते हैं कि DimMem कच्चे संदर्भ की उच्च लागत और सपाट सारांशों की कम फिडेलिटी के बीच एक मध्यम मार्ग प्रदान करता है, यह प्रदर्शित करते हुए कि संरचित, आयाम-जागरूक मेमोरी दोनों ही मामलों में प्रदर्शन करने योग्य और छोटे मॉडल्स द्वारा सीखने योग्य है।