💬 NLP

Towards Version-aware Operations and Transaction Memories for Multi-layer MeMo

यह शोध पत्र MeMo भाषा मॉडलों के लिए एक वर्ज़न-अवेयर (version-aware) फ्रेमवर्क प्रस्तावित करता है जो ज्ञान अपडेट को प्रिमिटिव मेमोरी एडिट्स के संरचित, प्रतिवर्ती लेनदेन (reversible transactions) के माध्यम से प्रबंधित करने के लिए सहायक वर्ज़न और ट्रांजेक्शन कोरिलेशन मैट्रिक्स मेमोरीज का उपयोग करता है, जिससे ज्ञान परिवर्तन होने पर पूर्ण मॉडल रिट्रेनिंग की आवश्यकता कम हो जाती है।

मूल लेखक: Peiran Li

प्रकाशित 2026-06-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peiran Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, अत्यंत बुद्धिमान पुस्तकालय (AI मॉडल) है जो अपने सभी ज्ञान को कोरिलेशन मैट्रिक्स मेमोरी (MeMo) नामक एक विशेष प्रकार की फाइलिंग कैबिनेट में संग्रहीत करता है। आमतौर पर, यदि दुनिया बदलती है—उदाहरण के लिए, यदि वैज्ञानिक यह निर्णय लेते हैं कि प्लूटो अब एक "ग्रह" नहीं बल्कि एक "बौना ग्रह" है—तो इस पुस्तकालय को पूरी तरह से पुनर्गठित करना होगा, या पूरे भवन को फिर से बनाना होगा (रिट्रेनिंग), ताकि नए सत्य को दर्शाया जा सके। यह प्रक्रिया धीमी, महंगी और अव्यवस्थित है।

यह शोध पत्र बिना पुस्तकालय को गिराए बदलावों को संभालने का एक स्मार्ट तरीका प्रस्तावित करता है। यह एक "वर्जन-अवेयर ऑपरेशन लेयर" (Version-Aware Operation Layer) पेश करता है जो एक परिष्कृत "लाइब्रेरियन के अपडेट डेस्क" की तरह कार्य करता है।

यह कैसे काम करता है, इसके सरल उपमाओं का उपयोग करके यहाँ दिया गया है:

1. समस्या: "सब कुछ फिर से लिखने" का जाल

वर्तमान में, यदि आप किसी AI में किसी तथ्य को बदलना चाहते हैं, तो आपको अक्सर पूरे मॉडल को फिर से प्रशिक्षित (retrain) करना पड़ता है। यह एक मुद्रित विश्वकोश में टाइपिंग की गलती को ठीक करने के लिए सभी कागज को पिघलाकर नए सेट को प्रिंट करने जैसा है।

यह शोध पत्र सुझाव देता है कि यदि परिवर्तन केवल एक विशिष्ट स्मृति अपडेट (जैसे किसी तथ्य को बदलना) है, तो हमें पूरे पुस्तकालय को फिर से बनाने की आवश्यकता नहीं है। हमें केवल उस विशिष्ट फ़ाइल को संपादित करना चाहिए।

2. समाधान: "ट्रांजैक्शन" डेस्क

लेखक ज्ञान अपडेट को एकल क्रिया के रूप में नहीं, बल्कि ट्रांजैक्शन (लेनदेन) के रूप में मानने का प्रस्ताव देते हैं। एक ट्रांजैक्शन को एक बैंक ट्रांसफर की तरह समझें: यह चरणों का एक क्रम है जिसे सुरक्षित और सही होने के लिए क्रमवार पूरा किया जाना चाहिए।

केवल यह कहने के बजाय कि "प्लूटो को 'ग्रह' से 'बौना ग्रह' में बदलें," सिस्टम चरणों के एक कोरियोग्राफ किए गए नृत्य (choreographed dance) को निष्पादित करता है:

चरण 1: पुराने तथ्य ("प्लूटो एक ग्रह है") को "अप्रचलित" (obsolete) के रूप में चिह्नित करें (नए प्रश्नों के लिए इसका उपयोग न करें)।
चरण 2: नया तथ्य लिखें ("प्लूटो एक बौना ग्रह है")।
चरण 3: पुराने तथ्य को "इतिहास संग्रह" (History Archive) में सहेजें ताकि यदि हमें यह जानने की आवश्यकता हो कि पुस्तकालय पहले क्या कहता था, तो हम इसे देख सकें।
चरण 4: एक "अनडू बटन" (Undo Button - एक इन्वर्स प्रोग्राम) बनाएं, ताकि यदि हमने कोई गलती की हो और हमें रोल बैक करने की आवश्यकता हो, तो हम ऐसा कर सकें।

3. दो विशेष फाइलिंग कैबिनेट (V-CMM और T-CMM)

इस प्रक्रिया को तेज़ और व्यवस्थित बनाने के लिए, यह शोध पत्र मुख्य पुस्तकालय के बगल में दो नए, विशिष्ट फाइलिंग कैबिनेट पेश करता है:

वर्जन इंडेक्स (V-CMM): यह अपडेट के लिए विषय-सूची (Table of Contents) की तरह है।
- यदि आप पूछते हैं, "वर्जन 1 (2023) और वर्जन 2 (2024) के बीच क्या बदला?", तो यह कैबिनेट आपको एक विशिष्ट कार्यों की सूची (एक "ट्रांजैक्शन हैंडल") की ओर संकेत करता है। यह तथ्यों को स्वयं संग्रहीत नहीं करता है; यह केवल यह बताता है कि कौन सी परिवर्तनों की सूची को देखना है।
ट्रांजैक्शन लाइब्रेरी (T-CMM): यह एक टेम्पलेट शॉप की तरह है।
- हर बदलाव के लिए हर कदम को शून्य से लिखने के बजाय, यह कैबिनेट पुन: प्रयोज्य (reusable) टेम्पलेट्स को संग्रहीत करता है।
- उदाहरण के लिए, इसमें एक "क्लास मूव" (Class Move) टेम्पलेट है। जब आपको किसी तथ्य को एक श्रेणी से दूसरी श्रेणी में ले जाने की आवश्यकता होती है, तो सिस्टम उस टेम्पलेट को लेता है, उसमें विशिष्ट नाम (जैसे "अस्थमा" या "श्वसन रोग") भरता है, और चरणों को निष्पादित करता है। यह स्थान बचाता है और इस प्रक्रिया को तेज़ बनाता है।

4. यह "संरचित" (Structured) परिवर्तनों को कैसे संभालता है

कभी-कभी परिवर्तन केवल एक वाक्य के बारे में नहीं होते; वे जटिल नियमों (जैसे कि एक ऑन्टोलॉजी या चीजों के संबंध का मानचित्र) के बारे में होते हैं।

एक मानचित्र की कल्पना करें जहाँ "अस्थमा" "श्वसन रोग" से जुड़ा है। यदि आप उस संबंध को बदलना चाहते हैं, तो सिस्टम केवल अनुमान नहीं लगाता है। यह आपके उच्च-स्तरीय अनुरोध को लेता है ("अस्थमा के पैरेंट को क्रोनिक रेस्पिरेटरी डिजीज में बदलें") और इसे उन छोटे, निम्न-स्तरीय चरणों की एक लंबी सूची में कंपाइल (compile) करता है (जैसे एक बार में एक शब्द बदलना) जिन्हें मुख्य पुस्तकालय समझता है।

5. "टाइम मशीन" फीचर

चूंकि प्रत्येक परिवर्तन को एक संरचित ट्रांजैक्शन और एक "इन्वर्स प्रोग्राम" के साथ रिकॉर्ड किया जाता है, इसलिए सिस्टम में अंतर्निहित रोलबैक (Rollback) और ट्रेसेबिलिटी (Traceability) है।

रोलबैक (Rollback): यदि आप कोई गलती करते हैं, तो आप "अनडू" दबा सकते हैं, और सिस्टम चरणों को बिल्कुल विपरीत क्रम में उलट देगा, जिससे पुस्तकालय वैसा ही हो जाएगा जैसा वह पहले था।
ट्रेस (Trace): आप पूछ सकते हैं, "AI को क्यों लगता है कि प्लूटो एक बौना ग्रह है?" और सिस्टम ट्रांजैक्शन, वर्जन हिस्ट्री और परिवर्तन के मूल स्रोत के माध्यम से पीछे के रास्ते को ट्रैक कर सकता है।

सारांश

संक्षेप में, यह शोध पत्र एक ऐसा सिस्टम प्रस्तावित करता है जहाँ एक AI की स्मृति को एक सॉफ्टवेयर प्रोग्राम की तरह संपादित, वर्जन किया और रोलबैक किया जा सकता है, न कि एक स्थिर पत्थर की पट्टिका की तरह जिसे एक शब्द बदलने के लिए भी पूरी तरह से फिर से बनाने की आवश्यकता हो। यह अपडेट खोजने के लिए एक "वर्जन इंडेक्स" का उपयोग करता है और उन अपडेट को कुशलतापूर्वक निष्पादित करने के लिए एक "ट्रांजैक्शन लाइब्रेरी" का उपयोग करता है, यह सुनिश्चित करता है कि ज्ञान अपने इतिहास को खोए बिना या सिस्टम को तोड़े बिना विकसित हो सके।

प्रदान किए गए शोध पत्र के आधार पर, Multi-layer MeMo में वर्ज़न-अवेयर ऑपरेशन्स (version-aware operations) और ट्रांजेक्शन मेमोरीज (transaction memories) के लिए प्रस्तावित फ्रेमवर्क का विस्तृत तकनीकी सारांश यहाँ दिया गया है।

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) आमतौर पर निरंतर प्रशिक्षण (continued training), रिट्रीवल ऑग्मेंटेशन (retrieval augmentation), या पैरामीटर-स्तरीय संपादन (parameter-level editing) के माध्यम से नए या बदले हुए ज्ञान के अनुकूल होते हैं। हालांकि ये प्रभावी हैं, लेकिन जब ज्ञान में परिवर्तन छोटे हों और उन्हें मेमोरी एसोसिएशंस (memory associations) के रूप में स्पष्ट रूप से व्यक्त किया जा सकता हो, तो ये विधियाँ अक्सर अक्षम होती हैं। ऐसे मामलों में संशोधित कॉर्पस पर पुन: प्रशिक्षण (retraining) अनावश्यक है।

यह शोध पत्र Multi-layer MeMo (एक मॉडल जो स्पष्ट मल्टी-लेयर कोरिलेशन मैट्रिक्स मेमोरीज, या CMMs का उपयोग करता है, जहाँ मेमोराइजेशन और फॉरगेटिंग आर्किटेक्चरल ऑपरेशन्स हैं) में एक अंतराल की पहचान करता है। जबकि MeMo प्रिमिटिव क्रियाएं (memorize, retrieve, forget) प्रदान करता है, इसमें जटिल, वर्ज़न्ड ज्ञान विकास (versioned knowledge evolution) को संभालने के लिए तंत्र की कमी है। विशेष रूप से, इसे एक ऑपरेशन लेयर की आवश्यकता है जो अंतर्निहित मल्टी-लेयर CMM आर्किटेक्चर को बदले बिना प्रतिस्थापन (replacement), ऐतिहासिक संरक्षण (historical preservation), अप्रचलन (obsolescence), ट्रेसिंग (tracing), और रोलबैक (rollback) को संभालने में सक्षम हो। मुख्य चुनौती यह है कि एक "वर्ज़न-अवेयर ऑपरेशन" (जैसे, इतिहास रखते हुए एक तथ्य को बदलना) शायद ही कभी एक एकल मेमोरी एसोसिएशन होता है; यह कई प्रिमिटिव एडिट्स का एक क्रमबद्ध ट्रांजेक्शन है।

कार्यप्रणाली (Methodology)

लेखक एक दो-चरणीय सहायक मेमोरी फ्रेमवर्क (two-stage auxiliary memory framework) का प्रस्ताव करते हैं जो मौजूदा Multi-layer MeMo स्टैक के ऊपर स्थित है, और ज्ञान अपडेट को एकल एसोसिएशन के बजाय ट्रांसेक्शन्स (transactions) के रूप में मानता है।

1. ऑपरेशन अलजेब्रा (The Operation Algebra)
फ्रेमवर्क उच्च-स्तरीय ऑपरेशन्स को प्रिमिटिव एडिट्स ( $e_j$ ) के क्रमबद्ध अनुक्रमों के रूप में परिभाषित करता है।

प्रिमिटिव एडिट्स (Primitive Edits): इन्हें $(S_j, y_j, \lambda_j)$ के रूप में दर्शाया जाता है, जहाँ $S$ एक अनुक्रम (sequence) है, $y$ एक टोकन/वैल्यू है, और $\lambda \in \{+1, -1\}$ मेमोराइजेशन या फॉरगेटिंग को दर्शाता है।
ट्रांसेक्शन्स ( $\tau$ ): एक ट्रांजेक्शन एडिट्स का एक क्रमबद्ध प्रोग्राम है: $\tau = \langle e_1; e_2; \dots; e_m \rangle$ ।
जटिल ऑपरेशन्स (Complex Operations):
- Replace (प्रतिस्थापन): पुराने कंटीन्यूएशन (continuation) को भूल जाता है और नए को याद करता है।
- Keep-History (इतिहास रखना): एक वर्ज़न्ड सीक्वेंस आइडेंटिफायर के तहत पुराने वर्ज़न को स्पष्ट रूप से याद करता है और साथ ही वर्तमान दृश्य (current view) को अपडेट करता है।
- Multi-token Continuations: इन्हें प्रिमिटिव एडिट्स की श्रृंखलाओं में विभाजित किया जाता है (उदाहरण के लिए, टोकन के अनुक्रम को बदलने के लिए add/remove ऑपरेशन्स की एक श्रृंखला की आवश्यकता होती है)।
- Structured Changes (संरचित परिवर्तन): उच्च-स्तरीय संरचित एसेर्शन (जैसे, ऑन्टोलॉजी मूव्स) को इनपुट अनुक्रमों (जैसे, [VERSION, v, SUBJECT, s, RELATION, r]) में सीरियलाइज किया जाता है और सीक्वेंस-लेवल ट्रांसेक्शन्स में कंपाइल किया जाता है।

2. सहायक मेमोरी संरचनाएं (Auxiliary Memory Structures)
प्राथमिक मेमोरी को फुलाए बिना या प्रत्येक क्वेरी के लिए पूर्ण लॉग की आवश्यकता के बिना इन ट्रांसेक्शन्स को प्रबंधित करने के लिए, शोध पत्र दो सहायक CMMs पेश करता है:

वर्ज़न CMM (V-CMM):
- कार्य: वर्ज़न ट्रांज़िशन (जैसे, $v_a \to v_b$ ) को ट्रांजेक्शन हैंडल्स (transaction handles) से मैप करता है।
- तंत्र: वर्ज़न परिवर्तन से जुड़े विशिष्ट ट्रांजेक्शन हैंडल ( $\tau$ ) को प्राप्त करने के लिए स्लॉट-आधारित एसोसिएशन का उपयोग करता है। यह सिस्टम को यह जानने की अनुमति देता है कि किस सेट ऑफ एडिट्स का संबंध एक विशिष्ट वर्ज़न अपडेट से है।
- लाभ: यह कच्चे लॉग (raw log) से अलग, वर्ज़न हिस्ट्री के लिए कॉम्पैक्ट, एसोसिएटिव इंडेक्सिंग प्रदान करता है।
ट्रांजेक्शन CMM (T-CMM):
- कार्य: ट्रांजेक्शन हैंडल्स को एग्जीक्यूटेबल एडिट फील्ड्स (executable edit fields) से मैप करता है।
- तंत्र: ट्रांजेक्शन की सामग्री को $(\tau, j, a) \to b$ मैपिंग के रूप में संग्रहीत करता है, जहाँ $j$ एडिट इंडेक्स है, $a$ फील्ड का नाम (sequence, value, sign, layer) है, और $b$ वैल्यू है।
- टेम्पलेट्स और पुन: उपयोग (Templates & Reuse): हर बदलाव के लिए पूरी तरह से विस्तारित एडिट प्रोग्राम को स्टोर करने के बजाय, T-CMM टेम्पलेट्स (जैसे, एक जेनेरिक "replace" पैटर्न) और पैरामीटर हैंडल्स को स्टोर कर सकता है। निष्पादन (execution) के समय, इन्हें विशिष्ट प्रिमिटिव एडिट्स की अनुक्रम उत्पन्न करने के लिए इंस्टैंशिएट किया जाता है।
- डिकोडिंग: T-CMM एक ट्रांजेक्शन हैंडल को MeMo प्रिमिटिव्स (memo/forget calls) के एक क्रमबद्ध, निष्पादन योग्य प्रोग्राम में डिकोड करता है।

3. निष्पादन और रोलबैक (Execution and Rollback)

निष्पादन (Execution): सिस्टम V-CMM से एक ट्रांजेक्शन हैंडल को डिकोड करता है, T-CMM से एडिट प्रोग्राम प्राप्त करता है, और मूल Multi-layer MeMo स्टैक के विरुद्ध क्रमबद्ध memo और forget कॉल्स को निष्पादित करता है।
रोलबैक (Rollback): क्रमबद्ध प्रोग्राम को उलटने और एडिट्स के साइन को बदलने ( $\lambda \to -\lambda$ ) द्वारा प्राप्त किया जाता है। यदि ट्रांसेक्शन्स एक-दूसरे पर निर्भर हैं, तो सिस्टम सटीक लॉग को फिर से चला (replay) सकता है; यदि वर्ज़न लॉजिकल व्यूज हैं, तो रोलबैक केवल "latest-view" एलियास (alias) को स्विच कर सकता है।

प्रमुख योगदान (Key Contributions)

वर्ज़न-अवेयर ऑपरेशन लेयर: एक औपचारिक अलजेब्रा जो उच्च-स्तरीय ज्ञान परिवर्तनों (प्रतिस्थापन, अप्रचलन, इतिहास संरक्षण) को MeMo-नेटिव प्रिमिटिव एडिट्स के क्रमबद्ध ट्रांसेक्शन्स में कंपाइल करता है।
दोहरी सहायक मेमोरी आर्किटेक्चर:
- V-CMM: वर्ज़न इंडेक्सिंग को कंटेंट से अलग करता है, वर्ज़न ट्रांज़िशन को ट्रांजेक्शन हैंडल्स से मैप करता है।
- T-CMM: ट्रांजेक्शन कंटेंट को निष्पादन से अलग करता है, पूर्ण लॉग को डुप्लिकेट करने से बचने के लिए पुन: प्रयोज्य टेम्पलेट्स और पैरामीटर हैंडल्स को स्टोर करता है।
स्ट्रक्चर्ड डिफ सपोर्ट (Structured Diff Support): संरचित ज्ञान परिवर्तनों (जैसे, KGCL ऑन्टोलॉजी मूव्स) को सीक्वेंस-टोकन ट्रांसेक्शन्स में कंपाइल करने के लिए एक तंत्र, जो सिम्बोलिक ज्ञान प्रतिनिधित्व को न्यूरल मेमोरी ऑपरेशन्स के साथ जोड़ता है।
ट्रेसेबिलिटी और रिवर्सिबिलिटी (Traceability and Reversibility): फ्रेमवर्क इन्वर्स प्रोग्राम और वर्तमान उत्तर से स्रोत ट्रांजेक्शन और वर्ज़न तक विशिष्ट मेमोरी-लेवल पाथ को रिकॉर्ड करके स्वाभाविक रूप से रोलबैक और ट्रेसेबिलिटी का समर्थन करता है।

परिणाम और मूल्यांकन रोडमैप (Results and Evaluation Roadmap)

शोध पत्र कोई अनुभवजन्य प्रायोगिक परिणाम (जैसे, डेटासेट पर सटीकता बेंचमार्क) प्रस्तुत नहीं करता है क्योंकि यह एक रिसर्च एजेंडा के रूप में एक प्रस्ताव है। इसके बजाय, यह एक चरणबद्ध मूल्यांकन रोडमैप की रूपरेखा तैयार करता है:

प्रोटोटाइप (Prototype): नेटिव MeMo कॉल्स को एक्सपोज़ करना, ऑपरेशन अलजेब्रा को लागू करना, और V-CMM/T-CMM मॉड्यूल को एकीकृत करना।
बेंचमार्क्स (Benchmarks): प्रत्यक्ष संपादन और संरचित अपडेट (जैसे, "Asthma parent-change" उदाहरण) का परीक्षण करने के लिए नियंत्रित टॉय फैक्ट्स और ऑन्टोलॉजी-शैली के डिफ्स का उपयोग करना।
बेसलाइन्स (Baselines): नो अपडेट, रिट्रीवल ऑग्मेंटेशन, सिम्बोलिक लॉग-ओनली पैचिंग, कंटीन्यूड ट्रेनिंग, और पैरामीटर एडिटिंग के विरुद्ध तुलना करना।
मेट्रिक्स (Metrics): ज्ञान को अपडेट करने में सफलता, पुराने सूचना को दबाना, ऐतिहासिक वर्ज़न का संरक्षण, रोलबैक की शुद्धता, ट्रेसेबिलिटी, एडिट्स की लोकैलिटी (locality), और ट्रांजेक्शन पुन: उपयोग दक्षता।

महत्व और दावे (Significance and Claims)

यह शोध पत्र विनम्रतापूर्वक Multi-layer MeMo के लिए एक वर्ज़न-अवेयर ऑपरेशन लेयर को फॉर्म्युलेट करने का दावा करता है जो वृद्धिशील (incremental), प्रतिवर्ती (reversible), और ट्रेस करने योग्य (traceable) ज्ञान अपडेट को सक्षम बनाता है।

मुख्य दावा: स्पष्ट एसोसिएटिव मेमोरीज (CMMs) एक ऐसा ज्ञान अपडेट का समर्थन कर सकती हैं जहाँ परिवर्तन मेमोरी एसोसिएशन के रूप में व्यक्त किए जा सकते हैं, जिससे पुन: प्रशिक्षण की आवश्यकता कम हो जाती है।
दायरा (Scope): फ्रेमवर्क स्थानीय (local) परिवर्तनों को लक्षित करता है। मॉडल के ज्ञान आधार के पूर्ण पुनर्लेखन (full rewrites) के लिए अभी भी प्रशिक्षण की आवश्यकता हो सकती है।
भविष्य की क्षमता: ट्रांजेक्शन तंत्र को भविष्य के लेखकत्व और प्रोवेनेंस एट्रिब्यूशन (authorship and provenance attribution) के लिए एक आधार के रूप में प्रस्तावित किया गया है, जो मेमोरी एडिट्स को विशिष्ट लेखकों, क्यूरेटर्स या स्रोत समुदायों से जोड़कर ट्रेसेबिलिटी को "क्या बदला" से "किसने इसे पेश किया और क्यों" तक विस्तारित करता है।

यह कार्य एक न्यूरो-सिम्बोलिक दृष्टिकोण के रूप में खुद को स्थापित करता है, जो सिम्बोलिक ट्रांसेक्शन्स (वर्ज़निंग, टेम्पलेट्स, लॉग्स) की संरचनात्मक कठोरता को न्यूरल कोरिलेशन मैट्रिक्स मेमोरीज की एसोसिएटिव रिट्रीवल क्षमताओं के साथ जोड़ता है।