तकनीकी सारांश: MeMo – एसोसिएटिव मेमोरी मैकेनिज्म के साथ लैंग्वेज मॉडल्स की ओर

समस्या विवरण

वर्तमान ट्रांसफार्मर-आधारित लार्ज लैंग्वेज मॉडल्स (LLMs) व्यापक प्रशिक्षण के माध्यम से जटिल अनुक्रमिक निर्भरताओं (sequential dependencies) को सीखकर उच्च प्रदर्शन प्राप्त करते हैं, जहाँ याद रखना (memorization) वेट ऑप्टिमाइज़ेशन का एक उभरता हुआ उपोत्पाद (byproduct) है। जबकि यह दृष्टिकोण सामान्यीकरण (generalization) में उत्कृष्ट है, इसमें अक्सर सूचना के भंडारण पर पारदर्शिता और स्पष्ट नियंत्रण की कमी होती है। लेखक तर्क देते हैं कि प्रचलित प्रतिमान (paradigm) सीखने को प्राथमिक तंत्र मानता है, जबकि याद रखने को एक माध्यमिक परिणाम के रूप में देखता है। हालाँकि, उन कार्यों के लिए जिनमें सटीक तथ्यात्मक रिकॉल, प्रश्न उत्तर और सूचना पुनर्प्राप्ति की आवश्यकता होती है, एक मॉडल की डेटा को स्पष्ट रूप से याद रखने की क्षमता अत्यंत महत्वपूर्ण है। मौजूदा विधियाँ जो LLMs को संपादित या नियंत्रित करने पर निर्भर करती हैं, वे अक्सर पोस्ट-हॉक हस्तक्षेपों (post-hoc interventions) पर आधारित होती हैं, जबकि लेखक एक मौलिक बदलाव का प्रस्ताव करते हैं: ऐसे आर्किटेक्चर डिजाइन करना जहाँ याद करना (memorization), सीखने (learning) से पहले आता है। लक्ष्य एक ऐसा लैंग्वेज मॉडल बनाना है जो टोकन अनुक्रमों को एक पारदर्शी, संपादन योग्य तरीके से स्पष्ट रूप से संग्रहीत करता है, जिससे संग्रहीत ज्ञान के नियंत्रित विस्मरण (controlled forgetting) और प्रत्यक्ष हेरफेर की अनुमति मिलती है।

कार्यप्रणाली (Methodology)

यह शोध पत्र MeMo का परिचय देता है, जो लैंग्वेज मॉडलिंग के लिए एक नवीन आर्किटेक्चर है जो ट्रांसफॉर्मर्स के मानक वेट-आधारित लर्निंग के स्थान पर लेयर्ड कोरिलेशन मैट्रिक्स मेमोरीज (CMMs) का उपयोग करता है। यह आर्किटेक्चर तीन मुख्य सैद्धांतिक स्तंभों पर निर्मित है:

1. मल्टीवेरिएट गौसियन रैंडम वेक्टर्स: टोकन्स और अनुक्रमों को एक उच्च-आयामी स्थान में रैंडम वेक्टर्स के रूप में दर्शाया जाता है। जॉनसन-लिंडस्ट्रॉम्ब-लिंडाउ (Johnson-Lindenstrauss) लेम्मा का लाभ उठाते हुए, इन वेक्टर्स को एक निम्न-आयामी स्थान ($R^d$) में मैप किया जाता है जबकि उनके दूरियों को संरक्षित रखा जाता है। यह सुनिश्चित करता है कि विशिष्ट टोकन्स लगभग ऑर्थोगोनल ($a^T b \approx 0$ यदि $a \neq b$) हों और समान टोकन्स अत्यधिक सहसंबंधित ($a^T b \approx 1$ यदि $a = b$) हों।
2. कोरिलेशन मैट्रिक्स मेमोरीज (CMMs): वेट्स सीखने के बजाय, MeMo एसोसिएशन को की-वैल्यू पेयर्स के आउटर प्रोडक्ट के योग के रूप में संग्रहीत करता है। एक CMM $C$ को $C = \sum k_i v_i^T$ के रूप में परिभाषित किया गया है, जहाँ $k_i$ एक अनुक्रम (key) का प्रतिनिधित्व करता है और $v_i$ अगला टोकन (value) है। रिट्रीवल (पुनर्प्राप्ति) को CMM मैट्रिक्स के साथ इनपुट सीक्वेंस वेक्टर को गुणा करके किया जाता है।
3. जॉनसन-लिंडस्ट्रॉम्ब-लिंडाउ ट्रांसफॉर्म (JLT): इस ट्रांसफॉर्म का उपयोग टोकन के अनुक्रमों को लक्षित स्थान $R^d$ में एम्बेड करने के लिए किया जाता है, यह सुनिश्चित करते हुए कि दोनों इनपुट अनुक्रम और आउटपुट वेक्टर्स एक ही आयामी स्थान में हों, जिससे एसोसिएटिव रिट्रीवल प्रक्रिया सुगम हो सके।

आर्किटेक्चर वेरिएंट्स

शोध पत्र दो कॉन्फ़िगरेशन का विवरण देता है:

• सिंगल-लेयर MeMo: यह टोकन्स के निश्चित-लंबाई वाले विंडोज़ ($h$) को याद करने के लिए एक एकल CMM का उपयोग करता है और अगले टोकन की भविष्यवाणी करता है। यह प्रदर्शित करता है कि एक एकल मैट्रिक्स टोकन्स के ओवरलैप के आधार पर आंशिक अनुक्रमों पर सामान्यीकरण कर सकता है।
• मल्टी-लेयर MeMo: लंबे अनुक्रमों को संभालने के लिए, आर्किटेक्चर कई CMM लेयर्स को स्टैक करता है।
  • मेमोराइजेशन चरण: निचली परतें तत्वों के अनुक्रमों को अद्वितीय निरूपणों (representations) में एनकोड करती हैं। इन निरूपणों को CMM में कीज़ (keys) के रूप में संग्रहीत किया जाता है, जहाँ वैल्यूज संपूर्ण एनकोडेड अनुक्रम होती हैं। अंतिम परत लंबे अनुक्रमों और अगले टोकन के बीच के संबंध को संग्रहीत करती है।
  • रिट्रीवल चरण: मध्यवर्ती परतें बढ़ते अनुक्रम लंबाई के एनकोडिंग को रिट्रीव करती हैं, जिन्हें अगले टोकन की भविष्यवाणी के लिए अंतिम परत को क्वेरी करने हेतु जोड़ा (sum up) जाता है।
  • विस्मरण (Forgetting): MeMo की एक अनूठी विशेषता संग्रहीत टेक्स्ट को स्पष्ट रूप से "भूलने" की क्षमता है। इसे CMM मैट्रिक्स से अनुक्रम और टोकन के आउटर प्रोडक्ट को घटाकर प्राप्त किया जाता है, जो बिना रिट्रेनिंग के विशिष्ट एसोसिएशन को प्रभावी रूप से मिटा देता है।

मुख्य योगदान

1. प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र "याद रखने के लिए सीखने" से "सीखने के लिए याद रखने" की ओर एक बदलाव का प्रस्ताव करता है, एक ऐसा आर्किटेक्चर डिजाइन करता है जहाँ मेमोरी स्पष्ट और संरचनात्मक है न कि वेट्स में निहित।
2. MeMo आर्किटेक्चर: लेयर्ड CMMs और रैंडम वेक्टर रिप्रेजेंटेशन पर आधारित एक लैंग्वेज मॉडल का परिचय, जो अनुक्रम भविष्यवाणी के लिए एक गणितीय रूप से पारदर्शी तंत्र प्रदान करता है।
3. संपादन क्षमता और पारदर्शिता: इसका डिज़ाइन स्वाभाविक रूप से मॉडल एडिटिंग का समर्थन करता है, जिसमें विशिष्ट टेक्स्ट को भूलने (forgetting) की क्षमता शामिल है, जो विशिष्ट संग्रहीत एसोसिएशन को हटाकर डेटा लीक और सामाजिक पूर्वाग्रहों को कम करने के लिए एक तंत्र प्रदान करता है।
4. स्पष्ट ज्ञान मॉडलिंग: यह आर्किटेक्चर न्यूरल लैंग्वेज मॉडल्स में सीधे स्पष्ट ज्ञान मॉडलिंग (जैसे नॉलेज ग्राफ, भाषाई ऑन्टोलॉजी) को एकीकृत करने की संभावना खोलता है, जो संभावित रूप से डेटा की भूख (data hunger) को कम कर सकता है।

प्रयोगात्मक परिणाम

लेखकों ने सिंगल-लेयर और मल्टी-लेयर कॉन्फ़िगरेशन दोनों की मेमोराइजेशन क्षमता का मूल्यांकन करने के लिए प्रयोग किए:

• सिंगल-लेयर क्षमता: प्रतीकों के रैंडम अनुक्रमों के साथ प्रयोगों ने CMM में कुल पैरामीटर्स की संख्या और उच्च सटीकता (औसत सटीकता > 0.9 द्वारा परिभाषित) के साथ संग्रहीत किए जा सकने वाले अनुक्रमों की संख्या के बीच एक रैखिक संबंध (linear relationship) दिखाया। यह पारंपरिक ट्रांसफॉर्मर्स में देखे गए लीनियर स्केलिंग लॉ के अनुरूप है लेकिन यह स्पष्ट मेमोराइजेशन पर लागू होता है।
• मल्टी-लेयर क्षमता:
  • आयामीता (Dimensionality): आंतरिक आयाम $d$ को बढ़ाने से मेमोराइजेशन प्रदर्शन में काफी सुधार हुआ। सरल अनुक्रमों पर उच्च सटीकता (>0.97) बनाए रखने के लिए $d=4096$ के आयाम की आवश्यकता थी, जबकि उच्च "डेकॉय" (decoy) दरों (दोहराए गए टोकन जिन्हें अलग संदर्भों की आवश्यकता होती है) वाले जटिल अनुक्रमों के लिए $d=8192$ आवश्यक था।
  • लेयर डेप्थ: परतों की संख्या ($l$) बढ़ाने से लंबे अनुक्रमों को याद करने और जटिल संदर्भों को संभालने की क्षमता बढ़ी। उदाहरण के लिए, 40 डेकॉय के साथ, 250,000 अनुक्रमों के लिए 0.88 से ऊपर स्टोरेज क्षमता प्राप्त करने के लिए कम से कम तीन परतों की आवश्यकता थी।
  • सामान्यीकरण (Generalization): मल्टी-लेयर दृष्टिकोण ने सिंगल लेयर की तुलना में मेमोराइजेशन क्षमता को सफलतापूर्वक विस्तारित किया, जो लंबे संदर्भों के लिए स्टैक्ड CMM दृष्टिकोण को मान्य करता है।

महत्व और दावे

लेखक दावा करते हैं कि MeMo पारदर्शी और संपादन योग्य लैंग्वेज मॉडल्स की ओर एक महत्वपूर्ण कदम है। मानक ट्रांसफॉर्मर्स के अस्पष्ट वेट अपडेट से मेमोराइजेशन को अलग करके, MeMo निम्नलिखित प्रदान करता है:

• नियंत्रण: क्या याद रखा जाना है, कैसे संग्रहीत किया जाना है, और इसे कैसे एक्सेस किया जाना है, इस पर सीधा नियंत्रण।
• सुरक्षा: स्पष्ट विस्मरण तंत्र के माध्यम से डेटा लीक और सामाजिक पूर्वाग्रहों को कम करने की क्षमता।
• एकीकरण: बड़े भाषा मॉडल (LLMs) के युग में पारंपरिक भाषाई अध्ययन और स्पष्ट ज्ञान संरचनाओं का लाभ उठाने की क्षमता।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि वर्तमान कार्यान्वयन में मौजूदा हगिंग फेस इकोसिस्टम के साथ संगतता संबंधी समस्याएँ हैं, जो मानक मूल्यांकन सूट्स का उपयोग करके अत्याधुनिक ट्रांसफॉर्मर्स के साथ सीधा तुलना करने से रोकती है। हालाँकि, वे यह भी कहते हैं कि यह आर्किटेक्चर की प्रदर्शित मेमोराइजेशन क्षमताओं को कम नहीं करता है। इस कार्य का उद्देश्य ज्ञान विशेषज्ञों और भाषाविदों को नियंत्रण वापस देना है, जो मेमोरी मैकेनिज्म को स्पष्ट और प्रबंधनीय बनाकर LLMs की डेटा की भूख को कम करने का मार्ग प्रदान करता है।