तकनीकी सारांश: एक्टिवेशन आउटलेयर्स और फीचर डेथ के बीच संबंध पर

1. समस्या विवरण (Problem Statement)

स्पार्स ऑटोएनकोडर्स (SAEs) को न्यूरल नेटवर्क एक्टिवेशन्स को व्याख्या योग्य (interpretable), स्पार्स फीचर्स में विघटित करने के लिए डिज़ाइन किया गया है ताकि 'सुपरपोजिशन' (superposition) की घटना को उलटा जा सके (जहाँ नेटवर्क ओवरलैपिंग दिशाओं के माध्यम से आयामों (dimensions) से अधिक अवधारणाओं को एनकोड करता है)। हालाँकि, एक महत्वपूर्ण विफलता मोड जिसे फीचर डेथ (feature death) कहा जाता है, तब होता है जब सीखे गए डिक्शनरी फीचर्स किसी भी इनपुट पर सक्रिय नहीं होते हैं। यह डिक्शनरी की क्षमता को नष्ट करता है और जीवित रहने वाले फीचर्स को क्षतिपूर्ति करने के लिए मजबूर करता है, जिससे संभावित रूप से सुपरपोजिशन फिर से आ सकता है।

यह शोध पत्र SAE प्रदर्शन में एक महत्वपूर्ण विसंगति की पहचान करता है: समान SAE कॉन्फ़िगरेशन GPT-2 जैसे मॉडलों पर लगभग शून्य मृत फीचर्स देते हैं, लेकिन AlphaFold3 जैसे मॉडलों पर 70% से अधिक मृत फीचर्स देते हैं। मौजूदा पुनरुद्धार तकनीकें (जैसे AuxK, घोस्ट ग्रेडिएंट्स, रीसैंपलिंग) फीचर डेथ को एक ट्रेनिंग डायनेमिक्स समस्या के रूप में देखती हैं, जो अटके हुए फीचर्स में ग्रेडिएंट सिग्नल डालने का प्रयास करती हैं। हालाँकि, ये विधियाँ सबसे गंभीर मामलों में मृत्यु दर को हल करने में विफल रहती हैं, जो यह सुझाव देता है कि मूल कारण ट्रेनिंग डायनेमिक्स नहीं, बल्कि एक्टिवेशन्स की इनिशियलाइजेशन अवस्था (initialization state) है।

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

2.1 डायमेंशन-लेवल एक्टिवेशन आउटलेयर्स (Dimension-Level Activation Outliers)

लेखक प्रस्तावित करते हैं कि डायमेंशन-लेवल एक्टिवेशन आउटलेयर्स ही फीचर डेथ का प्राथमिक कारण हैं। टोकन-लेवल आउटलेयर्स (विशिष्ट इनपुट्स में स्पाइक्स) के विपरीत, ये ऐसे डायमेंशन्स हैं जहाँ माध्य सक्रियता परिमाण ($\mu$) प्रति-टोकन मानक विचलन ($\sigma$) के सापेक्ष बड़ा होता है। यह सभी इनपुट्स में एक लगभग स्थिर ऑफसेट (offset) बनाता है।

लेखक आउटलियर गंभीरता (outlier severity) को इस अनुपात के रूप में औपचारिक रूप देते हैं:
$$\gamma = \frac{\|\mu\|}{\|\sigma\|}$$
जहाँ $\mu$ माध्य सक्रियता वेक्टर है और $\sigma$ प्रति-टोकन मानक विचलन वेक्टर है।

2.2 मृत्यु का ज्यामितीय तंत्र (Geometric Mechanism of Death)

इनिशियलाइजेशन (शून्य बायस के साथ) पर, फीचर $i$ के लिए प्री-एक्टिवेशन $z_i = w_i \cdot x$ है। इनपुट $x$ को उसके माध्य और भिन्नता ($x = \mu + (x - \mu)$) में विघटित करने पर, प्री-एक्टिवेशन बनता है:
$$z_i = \underbrace{w_i \cdot \mu}_{\text{constant shift}} + \underbrace{w_i \cdot (x - \mu)}_{\text{input-dependent signal}}$$

जब $\gamma$ उच्च होता है, तो 'कांस्टेंट शिफ्ट' सिग्नल पर हावी हो जाता है। यह इनिशियलाइजेशन पर दो अलग-अलग विफलता मोड की ओर ले जाता है:

1. Dead-by-ReLU: वे फीचर्स जिनके वेट्स $\mu$ के विपरीत संरेखित हैं ($w_i \cdot \mu \ll 0$), उन्हें स्थायी रूप से नकारात्मक प्री-एक्टिवेशन्स प्राप्त होते हैं। चूंकि ReLU नकारात्मक मानों के लिए शून्य आउटपुट देता है, इसलिए ये फीचर्स कभी सक्रिय नहीं होते और कोई ग्रेडिएंट प्राप्त नहीं करते।
2. Dead-by-TopK: TopK SAEs में, मध्यम सकारात्मक शिफ्ट वाले फीचर्स ReLU पास कर सकते हैं, लेकिन वे बड़े सकारात्मक शिफ्ट वाले फीचर्स के साथ प्रतिस्पर्धा में हार जाते हैं। केवल $\mu$ के साथ सबसे अधिक संरेखित $k$ फीचर्स ही जीतते हैं, जिससे बाकी फीचर्स मृत रह जाते हैं।

2.3 विश्लेणात्मक व्युत्पत्ति (Analytical Derivation)

शोध पत्र केवल $\gamma$ के आधार पर फीचर डेथ की संभावना के लिए क्लोज्ड-फॉर्म एक्सप्रेशन व्युत्पन्न करता है:

• Dead-by-ReLU: $P(\text{dead}) = \Phi\left(\frac{-C}{\gamma}\right)$, जहाँ $\Phi$ एक स्टैंडर्ड नॉर्मल CDF है और $C$ मूल्यांकन नमूनों की संख्या पर निर्भर करता है।
• Dead-by-TopK: $P(\text{dead}) \approx \Phi\left(\frac{t_k - C}{\gamma}\right)$, जहाँ $t_k$ उस क्वांटाइल को दर्शाता है जो TopK थ्रेशोल्ड के अनुरूप है।

ये फॉर्मूले भविष्यवाणी करते हैं कि जैसे-जैसे $\gamma$ बढ़ता है, मृत्यु दर निरंतर बढ़ती है, जो अत्यधिक गंभीरता पर ReLU के लिए 50% और TopK के लिए $1 - k/n$ के करीब पहुँच जाती है।

2.4 प्रयोगात्मक सेटअप (Experimental Setup)

लेखक भाषा, दृष्टि, प्रोटीन और जीनोमिक मॉडलों में फैले 454 मॉडल-लेयर संयोजनों में इन दावों को सत्यापित करते हैं। वे:

• वास्तविक एक्टिवेशन्स पर $\gamma$ की गणना करते हैं (प्रति-टोकन LayerNorm का उपयोग करके)।
• सहायक लॉस (AuxK) के साथ और बिना SAE को प्रशिक्षित करते हैं।
• कारणता (causality) को अलग करने के लिए नियंत्रित $\gamma$ के साथ सिंथेटिक प्रयोग करते हैं।
• मीन-सेंटरिंग (mean-centering) (इनपुट्स से $\mu$ घटाना या बायस को $\mu$ के रूप में इनिशियलाइज़ करना) को एक शमन रणनीति (mitigation strategy) के रूप में परीक्षण करते हैं।

3. मुख्य योगदान (Key Contributions)

1. आउटलियर गंभीरता डायग्नोस्टिक ($\gamma$): लेखक $\gamma$ को प्रथम सिद्धांतों से व्युत्पन्न करते हैं, यह दिखाते हुए कि यह विश्लेषणात्मक रूप से इनिशियलाइजेशन के समय मृत फीचर्स के अंश को निर्धारित करता है। यह डायग्नोस्टिक बिना किसी फिटिंग के विविध मॉडलों में देखे गए डेथ रेट के साथ मजबूती से सह-संबंधित है (TopK के लिए स्पियरमैन $\rho = 0.89$, ReLU के लिए $\rho = 0.82$)।
2. मृत्यु का ज्यामितीय कारण: शोध पत्र स्थापित करता है कि उच्च-$\gamma$ मॉडलों में फीचर डेथ एक ज्यामितीय इनिशियलाइजेशन समस्या है, न कि ट्रेनिंग डायनेमिक्स की समस्या। एक्टिवेशन मीन एक इनपुट-स्वतंत्र प्री-एक्टिवेशन शिफ्ट बनाता है जो ट्रेनिंग शुरू होने से पहले ही फीचर का भाग्य निर्धारित कर देता है।
3. रिकवरी डायनेमिक्स विश्लेषण: लेखक दो अलग-अलग पुनरुद्धार पथों को स्पष्ट करते हैं:
   • फास्ट (Fast): Dead-by-TopK फीचर्स तब जीवित होते हैं जब प्रतिस्पर्धी फीचर्स ट्रेनिंग के दौरान सिकुड़ जाते हैं।
   • स्लो (Slow): Dead-by-ReLU फीचर्स केवल तभी जीवित होते हैं जब SAE बायस धीरे-धीरे $\mu$ के ऑफसेट को सोखना सीखता है। उच्च $\gamma$ पर यह प्रक्रिया अत्यधिक धीमी होती है, जो यह समझाती है कि अकेले ट्रेनिंग ही फीचर्स को रिकवर करने में क्यों विफल रहती है।
4. मीन-सेंटरिंग द्वारा सत्यापन: शोध पत्र प्रदर्शित करता है कि SAE बायस को एक्टिवेशन मीन के रूप में इनिशियलाइज़ करना (प्रभावी रूप से मीन-सेंटरिंग करना) आउटलियर-प्रेरित मृत्यु को समाप्त कर देता है। यह ज्यामितीय तंत्र की पुष्टि करता है और एक सिद्धांत प्रदान करता है कि कब यह प्रीप्रोसेसिंग आवश्यक है।

4. परिणाम (Results)

• सहसंबंध (Correlation): $\gamma$ 454 मॉडल-लेयर संयोजनों में प्रारंभिक मृत्यु दर की सटीक भविष्यवाणी करता है। सिंथेटिक प्रयोग पुष्टि करते हैं कि बढ़ते $\gamma$ और बढ़ती मृत्यु दर के बीच पूर्ण रैंक सहसंबंध ($\rho=1.0$) है।
• ट्रेनिंग की सीमाएं: उच्च-$\gamma$ परिदृश्यों (जैसे, $\gamma \ge 30$) में, मानक ट्रेनिंग 2 मिलियन स्टेप्स के बाद भी फीचर्स को रिकवर करने में विफल रहती है। बायस लर्निंग प्रक्रिया बाधा है; स्थायी रूप से नकारात्मक प्री-एक्टिवेशन वाले फीचर्स मृत रहते हैं क्योंकि बायस बड़े ऑफसेट को तेजी से नहीं सीख पाता है।
• AuxK की सीमाएं: AuxK, ग्रेडिएंट सिग्नल प्रदान करके Dead-by-TopK फीचर्स की रिकवरी को तेज करता है, लेकिन यह Dead-by-ReLU रिकवरी के लिए आवश्यक बायस लर्निंग को तेज नहीं कर पाता है। फलस्वरूप, AuxK मध्यम $\gamma$ पर मदद करता है लेकिन उच्च $\gamma$ पर मृत्यु को हल करने में विफल रहता है।
• मीन-सेंटरिंग की प्रभावकारिता:
  • सिंथेटिक डेटा ($\gamma=40$) पर, मीन-सेंटरिंग मृत फीचर्स को लगभग शून्य कर देती है और रिकंस्ट्रक्शन एरर को एक क्रम (order of magnitude) कम कर देती है।
  • वास्तविक मॉडलों (जैसे, ESM3, AlphaFold3) पर, मीन-सेंटरिंग प्रारंभिक मृत्यु को >80% से घटाकर लगभग शून्य कर देती है।
  • फीचर क्वालिटी: मीन-सेंटर्ड SAEs अधिक मोनोसेमेंटिक (monosemantic) फीचर्स उत्पन्न करते हैं। ESM3 पर, एक मीन-सेंटर्ड SAE (2,048 फीचर्स के साथ) एक बेसलाइन SAE (8,192 फीचर्स के साथ) की तुलना में अधिक जैविक अवधारणाओं (100 बनाम 73) को रिकवर करता है।
• अवशिष्ट मृत्यु (Residual Death): मीन-सेंटरिंग सभी मृत्यु को समाप्त नहीं करती है। अत्यंत लो-रैंक लेयर्स (जैसे, Evo1) में, जहाँ वेरिएंस बहुत कम दिशाओं में केंद्रित है, फीचर्स अभी भी TopK प्रतिस्पर्धा के कारण मर जाते हैं। लेखक इन विशिष्ट मामलों के लिए PCA व्हाइटनिंग या एक्टिव सबस्पेस इनिशियलाइजेशन जैसे उपचार सुझाते हैं।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह फीचर डेथ को समझने और कम करने के लिए एक सिद्धांत-आधारित आधार (principled basis) प्रदान करता है, जो दृष्टिकोण को "ट्रेनिंग डायनेमिक्स को ठीक करने" से बदलकर "इनिशियलाइजेशन ज्योमेट्री को सुधारने" की ओर ले जाता है।

• व्यावहारिक मार्गदर्शन: लेखक एक सरल डायग्नोस्टिक वर्कफ़्लो प्रस्तावित करते हैं: एक लेयर के लिए $\gamma$ की गणना करें। यदि $\gamma$ उच्च है, तो आउटलियर-प्रेरित मृत्यु को रोकने के लिए मीन-सेंटरिंग (बायस को एक्टिवेशन मीन के रूप में इनिशियलाइज़ करना) आवश्यक है। यदि $\gamma$ कम है, तो मानक ट्रेनिंग पर्याप्त है।
• दक्षता: मीन-सेंटरिंग उच्च-$\gamma$ शासन में महंगे पुनरुद्धार तकनीकों (जैसे AuxK) की आवश्यकता को समाप्त करती है और छोटे डिक्शनरी को बड़े, अनसेंटर्ड डिक्शनरी की तुलना में समान या बेहतर व्याख्यात्मकता प्राप्त करने की अनुमति देती है।
• सैद्धांतिक अंतर्दृष्टि: यह कार्य स्पष्ट करता है कि विभिन्न डोमेन (भाषा बनाम जीव विज्ञान) में SAE के प्रदर्शन में भिन्नता स्रोत मॉडलों की एक्टिवेशन ज्योमेट्री के कारण है, न कि SAE आर्किटेक्चर के कारण।

शोध पत्र निष्कर्ष निकालता है कि अधिकांश मॉडलों के लिए, SAE बायस को एक्टिवेशन के ज्यामितीय माध्य (geometric median) के रूप में इनिशियलाइज़ करना एक शून्य-लागत, उच्च-प्रभाव वाला कदम है जो यह सुनिश्चित करता है कि प्रभावी डिक्शनरी का आकार इच्छित आकार के अनुरूप हो, जिससे विविध मॉडल परिवारों में अधिक विश्वसनीय मैकेनिकल इंटरप्रिटेबिलिटी सक्षम होती है।