तकनीकी सारांश: AI एंग्राम्स (Engrams): आर्टिफिशियल इंटेलिजेंस में मेमोरी ट्रेसेस की खोज

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क ज्ञान को एक अत्यंत जटिल और उलझे हुए (entangled) तरीके से संग्रहीत करते हैं, जहाँ व्यक्तिगत पैरामीटर एक साथ कई व्यवहारों में भाग लेते हैं। सीखी गई प्रस्तुतियों (representations) की इस वितरित और उलझी हुई प्रकृति के कारण विशिष्ट अवधारणाओं को निकालना (मशीन अनलर्निंग) या विशिष्ट स्मृतियों को अलग करना कठिन हो जाता है, जिसके लिए पूरे मॉडल को फिर से प्रशिक्षित किए बिना 'सर्जिकल' ज्ञान हेरफेर की आवश्यकता होती है। जबकि तंत्रिका विज्ञान (neuroscience) यह प्रतिपादित करता है कि स्मृतियाँ "एंग्राम्स" नामक पहचान योग्य भौतिक आधारों में संग्रहीत होती हैं, यह एक खुला प्रश्न बना हुआ है कि क्या कृत्र Artificial Neural Networks के भीतर भी इसी तरह के पहचान योग्य मेमोरी ट्रेसेस मौजूद हैं। ज्ञान संपादन (knowledge editing) या अनलर्निंग के वर्तमान तरीके अक्सर पुनरावृत्ति आधारित ग्रेडिएंट-आधारित अनुकूलन (iterative gradient-based optimization) या ह्यूरिस्टिक एट्रिब्यूशन पर निर्भर करते हैं, जो गणनात्मक रूप से महंगे हो सकते हैं, जिनमें विशिष्टता (specificity) के सैद्धांतिक आश्वासन की कमी होती है, या बड़े मॉडलों तक स्केल करने में विफल रहते हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक ज्यामितीय ढांचे (geometric framework) को पेश करता है ताकि "AI एंग्राम्स"—आर्टिफिशियल इंटेलिजेंस में कारण संबंधी स्मृति निशान (causal memory traces)—की पहचान की जा सके, जो एक नियंत्रित व्युत्क्रम समस्या (constrained inverse problem) को औपचारिक रूप देता है।

2.1. बाधाओं के रूप में तंत्रिका वैज्ञानिक मानदंड (Neuroscientific Criteria as Constraints)

लेखक एक लक्षित अवधारणा $c$ के लिए एंग्राम $\mu^+_c$ की पहचान को चार मानक मानदंडों (Josselyn & Tonegawa, 2020; Tomé et al., 2024) के आधार पर परिभाषित करते हैं:

1. विशिष्टता (Specificity): एंग्राम को लक्षित अनुभव ($X^+$) को चुनिंदा रूप से एनकोड करना चाहिए जबकि संदर्भ अनुभवों ($X^-$) के प्रति निष्क्रिय रहना चाहिए।
2. पुनर्सक्रियन (Reactivation): एंग्राम को लक्षित वस्तु से जुड़े आंतरिक निरूपणों ($Z^+$) को लगातार पुनरुत्पादित करना चाहिए।
3. पर्याप्तता (Sufficiency): एक नैव (null) अवस्था में एंग्राम को इंजेक्ट करने से सीखा गया व्यवहार प्रेरित होना चाहिए।
4. आवश्यकता (Necessity): सीखे गए अवस्था से एengram को हटाने (ablate करने) से लक्षित व्यवहार समाप्त हो जाना चाहिए, जबकि असंबंधित ज्ञान सुरक्षित रहना चाहिए।

2.2. बीजगणितीय सूत्रीकरण (Algebraic Formulation)

लेखक सिनैप्टिक एंग्राम $W^+$ की खोज को एक अनुकूलन समस्या के रूप में तैयार करते हैं। वे रैखिक बाधाओं को प्राप्त करने के लिए देखे गए राज्यों (प्राकृतिक शिक्षण) की तुलना हस्तक्षेप किए गए राज्यों (बीजगणितीय हेरफेर) से करते हैं।

• उद्देश्य (Objective): लक्षित और संदर्भ सेटों के बीच हस्तक्षेप किए गए और देखे गए राज्यों के बीच विसंगति को कम करना।
• बाधाएं (Constraints): विशिष्टता सुनिश्चित करने के लिए संदर्भ उप-स्थान (reference subspace) के प्रति ऑर्थोगोनैलिटी ($W^+ X^- = 0$) लागू करना।
• समाधान (Solution): लेखक एंग्राम के लिए एक क्लोज्ड-फॉर्म एस्टिमेटर (closed-form estimator) व्युत्पन्न करते हैं। मूर-पेनरोस स्यूडोइनवर्स (Moore-Penrose pseudoinverse) और अनसेंटर्ड कोवेरिएंस मैट्रिसेस ($\Sigma^+ = X^+ X^{+\top}$ और $\Sigma^- = X^- X^{-\top}$) का उपयोग करके, वे प्राप्त करते हैं:
  $$W^+ = \Delta W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$$
  व्यवहार में, एक प्रशिक्षित मॉडल $W$ के लिए, अपडेट को पूर्वव्यापी रूप से $W^+ = W \Sigma^+ (\Sigma^+ + \Sigma^-)^\dagger$ के रूप में अनुमानित किया जाता है। यह बैकप्रोपैगेशन के बिना एक सिंगल फॉरवर्ड पास में एंग्राम्स को निकालने की अनुमति देता है।

2.3. ज्यामितीय व्याख्या (Geometric Interpretation)

यह शोध पत्र इन जैविक बाधाओं और सूचना ज्यामिति (information geometry) के बीच एक संबंध स्थापित करता है। क्रोनेकर-फैक्टर्ड एप्रोक्सिमेट कर्वेचर (K-FAC) धारणा और अधिकतम एंट्रॉपी के सिद्धांत के तहत, व्युत्पन्न क्लोज्ड-फॉर्म समाधान फिशर सूचना मीट्रिक (Fisher Information Metric) के तहत बाधा मैनिफोल्ड पर न्यूनतम-नोर्म प्रोजेक्शन (minimum-norm projection) के अनुरूप होता है। यह प्रकट करता है कि एंग्रम दिशा पैरामीटर मैनिफोल्ड पर नेचुरल ग्रेडिएंट दिशा के साथ संरेखित है।

2.4. कॉम्बिनेटोरियल अनलर्निंग (Combinatorial Unlearning)

चूंकि पहचाने गए एंग्राम्स रैखिक रूप से योज्य (linearly additive) हैं, इसलिए यह ढांचा कॉम्बिनेटोरियल अनलर्निंग को सक्षम बनाता है। अवधारणाओं के एक उपसमूह को हटाने के लिए, आप सरल रैखिक अंकगणित का उपयोग करके मॉडल वेट्स से संबंधित एंग्राम्स को घटा सकते हैं:
$$\text{Engram}(\alpha) := W - \alpha \sum_{k \in U} W^+_k$$
यह पुनरावृत्ति आधारित अनलर्निंग की घातीय जटिलता (exponential complexity) को दरकिनार करता है।

3. मुख्य योगदान (Key Contributions)

1. AI एंग्राम्स के लिए एक ढांचा: लेखकों ने जैविक स्मृति मानदंडों को बीजगणितीय बाधाओं में अनुवादित किया है, जिससे एक स्केलेबल, क्लोज्ड-फॉर्म एस्टिमेटर प्राप्त होता है जो वैश्विक रूप से उलझे हुए पैरामीटर्स से स्मृति निशानों को अलग करता है।
2. एमोर्टाइज्ड मेमोरी आइसोलेशन (Amortized Memory Isolation): यह विधि स्मृतियों को अलग करती है, जिससे सरल रैखिक अंकगणित के माध्यम से ज्ञान का संयोजन या विलोपन संभव होता है। यह अनलर्निंग की कॉम्बिनेटोरियल जटिलता को हल करता है और सरल MLPs से लेकर अरबों पैरामीटर वाले LLMs तक की आर्किटेक्चर में मजबूती प्रदर्शित करता है।
3. सूचना ज्यामिति से जुड़ाव: यह कार्य दर्शाता है कि जैविक रूप से प्रेरित क्लोज्ड-फॉर्म एस्टिमेटर फिशर कर्वेचर को रिकवर करता है, जो नेचुरल ग्रेडिएंट दिशा के साथ मेल खाता है, जिससे जैविक स्मृति सिद्धांतों और कृत्रिम प्रतिनिधित्व शिक्षण के बीच सेतु बनता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक विविध आर्किटेक्चर और डेटासेट पर इस ढांचे को मान्य करते हैं:

• स्केलेबिलिटी और बहुमुखी प्रतिभा: विधि MLPs, CNNs (ResNet-18/50), विजन ट्रांसफॉर्मर (ViT), और जेनेरेटिव मॉडल्स (ConvAE, WAE) में अवधारणाओं को सफलतापूर्वक अलग और मिटाने में सफल रही। CIFAR-10 और CIFAR-100 प्रयोगों में, एक विशिष्ट एंगग्राम को हटाने से लक्षित क्लास की सटीकता चुनिंदा रूप से हट जाती है जबकि संदर्भ वर्गों पर प्रदर्शन सुरक्षित रहता है (सर्जिकल परिशुद्धता)।
• मात्रात्मक प्रदर्शन: क्लास-वाइज अनलर्निंग बेंचमार्क (CIFAR-10/100) पर, एंग्राम विधि अत्याधुनिक बेसलाइन्स (जैसे, NegGrad, SalUn, Fine-tuning) की तुलना में बेहतर टग-ऑफ-वॉर (ToW) स्कोर प्राप्त करती है, जो शून्य से पुनः प्रशिक्षित मॉडल के साथ बेहतर व्यवहारिक संरेखण का संकेत देती है। यह लेटेंट स्पेस में संरचनात्मक निशानों के प्रसार (DA और NMI मेट्रिक्स) में भी प्रभावी है।
• लार्ज लैंग्वेज मॉडल्स (LLMs): Llama-3.2-1B पर TOFU बेंचमार्क पर लागू होने पर, यह विधि उच्च दक्षता प्रदर्शित करती है।
  • दक्षता: इसे ग्रेडिएंट-आधारित पुनरावृत्ति विधियों की तुलना में लगभग 30x कम FLOPs और 2.3x कम पीक मेमोरी की आवश्यकता होती है, जो दर्जनों मिनटों के बजाय ~2 मिनट में पूरा होता है।
  • प्रदर्शन: हालांकि यह समग्र मेट्रिक्स पर कुछ समर्पित पुनरावृत्ति विधियों (जैसे, AltPO, NPO) से थोड़ा पीछे है, लेकिन यह अन्य क्लोज्ड-फॉर्म एडिटिंग बेसलाइन्स (UCE, Task Arithmetic) की तुलना में काफी बेहतर प्रदर्शन करता है और ग्रेडिएंट-फ्री विधियों के बीच सबसे कम एक्जैक्ट मेमोराइजेशन (EM) स्कोर प्राप्त करता है।
  • स्थानीयकरण (Localization): एंग्राम वेट्स का विश्लेषण प्रकट करता है कि स्मृति निशान यादृच्छिक रूप से वितरित नहीं हैं बल्कि विशिष्ट परतों में केंद्रित हैं: सेल्फ-अटेंशन के क्वेरी (Q) और की (K) प्रोजेक्शन और MLPs के गेट (Gate) प्रोजेक्शन में। एब्लेशन अध्ययन पुष्टि करते हैं कि इन विशिष्ट परतों को लक्षित करना प्रभावी अनलर्निंग के लिए पर्याप्त है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र यह दावा करता है कि वह यह प्रदर्शित करके जैविक स्मृति सिद्धांतों और आर्टिफिशियल इंटेलिजेंस के बीच की खाई को पाटता है कि ज्ञान के कारण संबंधी आधारों (causal substrates) को नियत स्पेक्ट्रल रिज़ॉल्यूशन के माध्यम से अलग और हेरफेर किया जा सकता है, यहाँ तक कि अत्यधिक गैर-रैखिक प्रणालियों के भीतर भी।

• पैराडाइम शिफ्ट: यह कार्य मशीन अनलर्निंग के प्रतिमान को स्टोकेस्टिक ग्रेडिएंट सर्च से संरचनात्मक पहचान (structural identification) की ओर स्थानांतरित करने का प्रस्ताव करता है।
• ऑर्थोगोनल रिजीम: लेखक एंग्राम को पुनरावृत्ति आधारित अनलर्निंग के विकल्प के रूप में नहीं, बल्कि एक ऑर्थोगोनल रिजीम (O(1)-पास, ग्रेडिएंट-फ्री) के रूप में देखते हैं, जो विशेष रूप से तब मूल्यवान है जब:
  1. अनलर्न की जाने वाली अवधारणाओं की संख्या बड़ी हो (कॉम्बिनेटोरियल कंपोजिशनैलिटी का लाभ उठाते हुए)।
  2. कंप्यूट संसाधन या वेट एक्सेस प्रतिबंधित हो।
  3. लक्ष्य वितरण संबंधी समानता के बजाय संरचनात्मक पहचान हो।
• व्याख्यात्मकता (Interpretability): LLMs में संघनित स्थानीयकरण पैटर्न की खोज न्यूरल इंटरप्रिटेबिलिटी पर एक नया दृष्टिकोण प्रदान करती है, जो सुझाव देती है कि स्मृति के विशिष्ट कार्यात्मक टोपोलॉजी वेट स्पेस के रैखिक योग्य उप-स्थानों (linearizable subspaces) में निवास करते हैं।

लेखक निष्कर्ष निकालते हैं कि उनका ढांचा सर्जिकल मेमोरी आइसोलेशन के लिए अभूतपूर्व दक्षता प्रदान करता है, जो सुरक्षित मॉडल व्यवहार और स्पष्ट व्याख्यात्मकता को सक्षम बनाता है, साथ ही निरंतर शिक्षण (continual learning) में एंग्राम्स की अस्थायी गतिशीलता में भविष्य के अनुसंधान के द्वार खोलता है।