Factual recall in linear associative memories: sharp asymptotics and mechanistic insights

तकनीकी सारांश: रैखिक साहचर्य स्मृतियों (Linear Associative Memories) में तथ्यात्मक स्मरण

समस्या विवरण
यह शोध पत्र न्यूरल नेटवर्क के भीतर इनपुट-आउटपुट जुड़ाव को संग्रहीत करने और पुनः प्राप्त करने की मौलिक सीमाओं की जांच करता है, विशेष रूप से बड़े भाषा मॉडलों (LLMs) के संदर्भ में तथ्यात्मक स्मरण (factual recall) के भीतर। लेखक एक न्यूनतम सेटिंग पर ध्यान केंद्रित करते हैं: एक रैखिक साहचर्य स्मृति जो $p$ इनपुट एम्बेडिंग $\{e_\mu\} \subset \mathbb{R}^d$ को उनके संगत लक्ष्य आउटपुट एम्बेडिंग $\{u_\mu\} \subset \mathbb{R}^d$ से एक एकल रैखिक परत $W \in \mathbb{R}^{d \times d}$ के माध्यम से मैप करती है। उद्देश्य $W$ को इस प्रकार सीखना है कि प्रत्येक इनपुट $e_\mu$ के लिए, सही लक्ष्य $u_\mu$ सभी $p$ प्रतिस्पर्धी आउटपुट्स के बीच उच्चतम स्कोर प्राप्त करे:
$$\arg\max_{\rho \in [p]} u_\rho^\top W e_\mu = \mu$$
मानक पर्यवेक्षित वर्गीकरण (supervised classification) के विपरीत, जहाँ लेबल बाइनरी और स्वतंत्र होते हैं, यह "तथ्यात्मक स्मरण" सेटिंग सख्त पृथक्करण बाधाओं (separation constraints) को लागू करती है जहाँ प्रत्येक इनपुट को $p$ उम्मीदवारों के एक साझा पूल से अलग किया जाना चाहिए। यह बाधाओं के बीच मजबूत सहसंबंध (correlations) पैदा करता है, जिससे मूल समस्या का सटीक लक्षण वर्णन विश्लेषणात्मक रूप से कठिन हो जाता है।

कार्यप्रणाली (Methodology)
साझा आउटपुट्स के कारण मूल समस्या (OP) की विश्लेषणात्मक जटिलता को दूर करने के लिए, लेखक एक विच्छेदित समस्या (Decoupled Problem - DP) पेश करते हैं। इस संस्करण में, प्रत्येक इनपुट $e_\mu$ अपने स्वयं के स्वतंत्र $p$ उम्मीदवार आउटपुट्स $\{u^{(\mu)}_\rho\}$ से जुड़ा होता है, न कि एक वैश्विक सेट से। यह संशोधन विभिन्न इनपुटों के बीच बाधाओं के बीच सहसंबंधों को हटा देता है, जिससे समस्या सांख्यिकीय भौतिकी (statistical physics) के उपकरणों का उपयोग करके विश्लेषण के योग्य बन जाती है।

मुख्य कार्यप्रणाली दृष्टिकोण में शामिल है:

1. सांख्यिकीय भौतिकी विश्लेषण: लेखक विच्छेदित समस्या के एसिम्प्टोटिक फ्री एंट्रॉपी (समाधान स्थान का लॉग-वॉल्यूम) की गणना करने के लिए रेप्लिका विधि (replica method) का उपयोग करते हैं। वे उच्च-आयामी सीमा ($d, p \to \infty$ स्थिर लोड पैरामीटर के साथ) में बाधाओं को संतुष्ट करने वाले वेट मैट्रिसेस के भिन्नात्मक वॉल्यूम का विश्लेषण करते हैं।
2. गॉसियन सार्वभौमिकता (Gaussian Universality): वे इस धारणा पर भरोसा करते हैं कि उच्च-आयामी व्यवहार वेट मैट्रिक्स की कोवेरिएंस संरचना द्वारा नियंत्रित होता है, जिससे रैंडम प्रोजेक्शन को गॉसियन वेरिएबल्स (गॉसियन इक्विवेलेंस) से बदलने की अनुमति मिलती है।
3. रैंक-प्रतिबंधित विस्तार (Rank-Constrained Extension): विश्लेषण को दो-परत वाले रैखिक आर्किटेक्चर तक विस्तारित किया गया है जहाँ $W = QR^\top$ है और रैंक $m = \kappa d$ ($\kappa \in (0, 1]$) है, जो एक रैंक-प्रतिबंधित स्मृति को दर्शाता है।
4. संख्यात्मक सत्यापन (Numerical Validation): क्षमता थ्रेशोल्ड और सीखे गए वेट्स के स्पेक्ट्रल गुणों के संबंध में सैद्धांतिक भविष्यवाणियों को सत्यापित करने के लिए क्रॉस-एन्ट्रॉपी लॉस पर एडम (Adam) ऑप्टिमाइज़ेशन का उपयोग करके व्यापक संख्यात्मक सिमुलेशन किए गए हैं।

प्रमुख योगदान

1. विच्छेदित सूत्रीकरण (Decoupled Formulation): साहचर्य स्मृति समस्या के एक विच्छेदित संस्करण का परिचय, जहाँ बाधाएं स्वतंत्र हैं, जो आवश्यक संरचना को बनाए रखते हुए विश्लेषणात्मक उपचार को सरल बनाती है।
2. तुल्यता के प्रमाण (Evidence for Equivalence): शोध पत्र तीन रेखाओं में प्रमाण प्रदान करता है जो इस धारणा का समर्थन करते हैं कि मूल (साझा आउटपुट) और विच्छेदित (स्वतंत्र आउटपुट) समस्याएं उच्च-आयामी सीमा में समान भंडारण क्षमता और यांत्रिक गुण साझा करती हैं:
   • समान अनुभवजन्य रिट्रीवल एक्यूरेसी कर्व्स और ट्रांजिशन पॉइंट्स।
   • इष्टतम वेट मैट्रिसेस के मिलान वाले एसिम्प्टोटिक सिंगुलर वैल्यू वितरण।
   • समान स्टोरेज मैकेनिज्म (स्कोर वितरण)।
3. तीक्ष्ण क्षमता थ्रेशोल्ड (Sharp Capacity Threshold): रेप्लिका विधि का उपयोग करते हुए, लेखक इष्टतम भंडारण क्षमता के लिए एक सटीक अभिव्यक्ति प्राप्त करते हैं। वे लोड पैरामीटर $\alpha = \frac{p \log p}{d^2}$ पर एक तीक्ष्ण चरण संक्रमण (phase transition) स्थापित करते हैं।
   • फुल-रैंक मामले ($\kappa = 1$) के लिए, क्रिटिकल क्षमता $\alpha_c = 1/2$ है।
   • रैंक-प्रतिबंधित मामले ($\kappa < 1$) के लिए, एक सामान्यीकृत थ्रेशोल्ड $\alpha_c(\kappa)$ प्राप्त किया गया है, जो क्वार्टर-सर्कल लॉ वाले इंटीग्रल के माध्यम से व्यक्त किया गया है।
4. यांत्रिक अंतर्दृष्टि (Mechanistic Insights): विश्लेषण प्रकट करता है कि इष्टतम समाधान नैव हीब्बियन लर्निंग नियम ($W_{\text{Hebb}} = \sum u_\mu e_\mu^\top$) से कैसे भिन्न है।
   • हेब्बियन नियम (Hebian Rule): एक निचले थ्रेशोल्ड ($\alpha \approx 1/8$) पर विफल होता है क्योंकि यह लक्ष्य स्कोर को व्यापक उतार-चढ़ाव के साथ बढ़ाता है, जिससे गैर-लक्ष्य स्कोर के साथ ओवरलैप होता है।
   • इष्टतम समाधान (Optimal Solution): प्रतिस्पर्धी आउटपुट्स द्वारा निर्धारित एक्सट्रीम-वैल्यू थ्रेशोल्ड (लगभग $\sqrt{2 \log p}$) के ठीक ऊपर सही स्कोर को उठाकर $\alpha = 1/2$ के उच्च थ्रेशोल्ड को प्राप्त करता है, जबकि लक्ष्य स्कोर के वेरिएंस को कम रखता है।
5. परिमित-आकार प्रभाव (Finite-Size Effects): लेखक एसिम्प्टोटिक लिमिट की ओर धीमी अभिसरण (convergence) को स्पष्ट करते हैं, $O((\log p)^{-1})$ के क्रम में सुधार की भविष्यवाणी करते हैं, जो यह समझाता है कि परिमित आयामों पर संख्यात्मक सिमुलेशन अक्सर सैद्धांतिक सीमा से अधिक क्षमता क्यों दिखाते हैं।

परिणाम

• क्षमता स्केलिंग (Capacity Scaling): अधिकतम जुड़ाव $p$ का पैमाना $p \sim \frac{d^2}{\log p}$, या समकक्ष रूप से $d^2 \sim p \log p$ है। $d$ पर यह द्विघातीय निर्भरता वेट मैट्रिक्स में $d^2$ डिग्री ऑफ फ्रीडम को दर्शाती है, जबकि $\log p$ कारक $p$ प्रतिस्पर्धी आउटपुट्स पर ऑप्टिमाइज़ेशन से उत्पन्न होता है।
• स्पेक्ट्रल गुण (Spectral Properties): क्षमता पर इष्टतम वेट मैट्रिक्स का सिंगुलर वैल्यू वितरण सिद्धांत द्वारा अनुमानित एक विशिष्ट वितरण (रैंक-प्रतिबंधित मामलों के लिए एक ट्रंकेटेड क्वार्टर-सर्कल लॉ) की ओर अभिसरित होता है, जो इनिशियलाइजेशन वितरण से काफी भिन्न है।
• प्रदर्शन अंतराल (Performance Gap): संख्यात्मक परिणाम पुष्टि करते हैं कि इष्टतम लर्निंग (ग्रेडिएंट डिसेंट के माध्यम से) हीब्बियन एंसेबल (ansatz) से काफी बेहतर प्रदर्शन करती है, जो $\alpha_c = 1/2$ के सैद्धांतिक सीमा के करीब भंडारण क्षमता प्राप्त करती है, जबकि हीब्बियन नियम $\alpha \approx 0.125$ के आसपास संतृप्त हो जाता है।

महत्व
शोध पत्र दावा करता है कि यह रैखिक नेटवर्क में तथ्यात्मक भंडारण का पहला सटीक सांख्यिकीय-भौतिकी लक्षण वर्णन प्रदान करता है। जटिल मूल समस्या और विश्लेषणात्मक रूप से सुलभ विच्छेदित मॉडल के बीच समानता स्थापित करके, यह कार्य अधिक यथार्थवादी न्यूरल आर्किटेक्चर की मेमोरी क्षमता को समझने के लिए एक आधार प्रदान करता है। यह स्पष्ट करता है कि तथ्यात्मक स्मरण की मौलिक सीमा हीब्बियन तंत्र द्वारा नहीं, बल्कि एक अधिक कुशल रणनीति द्वारा निर्धारित होती है जो लक्ष्य स्कोर के उतार-चढ़ाव को कम करती है। परिणाम रैंक-प्रतिबंधित (दो-परत) रैखिक मॉडलों तक भी सामान्यीकृत होते हैं, जो यह मात्रा निर्धारित करते हैं कि हिडन लेयर का आकार मेमोरी क्षमता को कैसे प्रभावित करता है। लेखक नोट करते हैं कि हालांकि रेप्लिका विधि गैर-कठोर (non-rigorous) है, फिर भी इसकी भविष्यवाणियां संख्यात्मक प्रयोगों के साथ निकटता से मेल खाती हैं, और वे समानता अनुमान (equivalence conjecture) और क्षमता थ्रेशोल्ड के कठोर प्रमाण को भविष्य के कार्य के लिए एक स्वाभाविक दिशा के रूप में पहचानते हैं।