📊 statistics

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

यह शोध पत्र लेयरनॉर्म (LayerNorm) ट्रांसफॉर्मर्स के लिए एक नवीन, केवल फॉरवर्ड-पास-आधारित नैदानिक पद्धति प्रस्तुत करता है जो केवल लेयरनॉर्म स्केल मापदंडों का उपयोग करके पैरामीटर स्पेस में एक सटीक बीजगणितीय मृत दिशा (algebraic dead direction) की पहचान करता है, एक ऐसी विधि जिसे 14 मॉडलों में आइजनडीकंपोजिशन (eigendecomposition) के बिना सिंगुलर संरचनाओं की सटीक भविष्यवाणी करने और लेयरनॉर्म को आरएमएसनॉर्म (RMSNorm) आर्किटेक्चर से अलग करने के लिए मान्य किया गया है।

मूल लेखक: Tejas Pradeep Shirodkar, P. J. Narayanan

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tejas Pradeep Shirodkar, P. J. Narayanan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक विशाल, जटिल मशीन लर्निंग मॉडल (एक ट्रांसफॉर्मर) की कल्पना एक गणितीय समीकरणों से बनी विशाल, बहु-मंजिला गगनचुंबी इमारत के रूप में करें। जब इंजीनियर इन मॉडलों को प्रशिक्षित करते हैं, तो वे अरबों सूक्ष्म नॉब्स (पैरामीटर्स) को समायोजित करते हैं ताकि वह इमारत बिल्कुल सीधी खड़ी हो सके और सुचारू रूप से कार्य कर सके।

यह शोध पत्र उस गगनचुंबी इमारत के भीतर झांकने का एक नया तरीका पेश करता है ताकि "डेड डायरेक्शंस" (मृत दिशाओं) को खोजा जा सके।

"डेड डायरेक्शन" क्या है?

मॉडल के पैरामीटर्स को पहाड़ियों और घाटियों के परिदृश्य के रूप में समझें। आमतौर पर, यदि आप मॉडल को किसी भी दिशा में थोड़ा सा धकेलते हैं, तो यह काम करने के तरीके को बदल देता है। लेकिन इन "डेड डायरेक्शंस" में, परिदृश्य पूरी तरह से सपाट होता है। यदि आप मॉडल को एक डेड डायरेक्शन में धकेलते हैं, तो कुछ भी नहीं होता है। यह एक जमी हुई झील पर चलने जैसा है: आप बिना डूबे या अपना रास्ता बदले अनंत काल तक फिसल सकते हैं।

इन दिशाओं को खोजना आमतौर पर कठिन होता है। इसके लिए आमतौर पर मॉडल को हजारों परीक्षण मामलों के माध्यम से चलाना, परिणामों पर जटिल गणित करना, या यह देखना पड़ता है कि मॉडल कैसे सीखता है। यह दीवार में छिपी दरार को खोजने के लिए उस पर हजारों बार थपथपाने जैसा है।

बड़ी खोज: "जादुई दिशा-सूचक" (The Magic Compass)

लेखकों ने एक शॉर्टकट खोजा है, लेकिन केवल उन मॉडलों के लिए जो एक विशिष्ट घटक का उपयोग करते हैं जिसे LayerNorm (AI में एक मानक उपकरण) कहा जाता है।

उन्होंने पाया कि आपको इन डेड डायरेक्शंस को खोजने के लिए मॉडल को चलाने या कोई भारी गणित करने की आवश्यकता नहीं है। आपको बस मॉडल की सेटिंग्स के अंदर एक विशिष्ट संख्या को देखने की आवश्यकता है, जिसे "गामा" ( $\gamma$ ) पैरामीटर कहा जाता है।

उपमा: कल्पना करें कि LayerNorm घटक में संख्याओं वाला एक डायल है। लेखक मिले हैं कि यदि आप बस उन संख्याओं का व्युत्क्रम (inverse - उन्हें उल्टा कर दें) लेते हैं और उन्हें सामान्य (normalize) करते हैं, तो आपको एक सटीक मानचित्र मिल जाता है जो सीधे डेड डायरेक्शन की ओर संकेत करता है।
जादू: आप इस मानचित्र को तुरंत पढ़ सकते हैं। कोई फॉरवर्ड पास (मॉडल चलाना), कोई बैकवर्ड पास (त्रुटियों की गणना करना), और कोई जटिल आइजन-डिकम्पोज़िशन (eigen-decompositions) की आवश्यकता नहीं है। यह ब्लूप्रिंट को देखकर तुरंत यह जान लेने जैसा है कि कमजोर बिंदु कहाँ हैं, बिना घर बनाए।

दो प्रकार की इमारतें

इस पेपर का परीक्षण 14 अलग-अलग बड़े मॉडलों (कुछ टेक्स्ट के लिए, कुछ इमेज के लिए) पर किया गया। उन्होंने एक स्पष्ट विभाजन पाया:

LayerNorm मॉडल (जिनके पास मानचित्र है): 9 में से 9 मॉडल जो LayerNorm का उपयोग करते थे, उनमें "जादुजादुई दिशा-सूचक" पूरी तरह से काम कर गया। अनुमानित दिशा भारी गणित द्वारा पाए गए वास्तविक डेड डायरेक्शन से दशमलव के चार स्थानों तक मेल खाती थी। यह एक सटीक मिलान था।
RMSNorm मॉडल (जिनके पास मानचित्र नहीं है): 5 मॉडल जो RMSNorm नामक एक अन्य टूल का उपयोग करते थे, उनमें यह ट्रिक काम नहीं आई। इसमें कोई सार्वभौमिक डेड डायरेक्शन नहीं था जिसे आप केवल संख्याओं को देखकर खोज सकें। यह तर्कसंगत है क्योंकि RMSNorm में वह विशिष्ट गणितीय "प्रोजेक्टर" नहीं है जो LayerNorm में डेड डायरेक्शन बनाता है।

जब आप प्रशिक्षण (Train) करते हैं तो क्या होता है?

पेपर ने यह भी देखा कि जैसे-जैसे मॉडल सीखता है, क्या होता है।

शुरुआत में (Random): डेड डायरेक्शन मौजूद होता है क्योंकि यह आर्किटेक्चर (ब्लूप्रिंट) के कारण है, और "जादुई दिशा-सूचक" इसे तुरंत खोज लेता है।
प्रशिक्षण के बाद: मॉडल उस दिशा में और भी अधिक "सपाट" हो जाता है। डेड डायरेक्शन एक गहरी खाई बन जाता है। रैंडम शुरुआत और प्रशिक्षित मॉडल के बीच का अंतर यह दर्शाता है कि प्रशिक्षण प्रक्रिया ने इन सपाट स्थानों को कितना गहरा किया है।

गगनचुंबी इमारत के लिए एक सुरक्षा जांच

लेखकों ने यह जांचने के लिए भी इस पद्धति का उपयोग किया कि क्या "रेसिड्यूअल स्ट्रीम" (मुख्य गलियारा जहाँ से जानकारी प्रवाहित होती है) मजबूत बना रहता है।

नियम: एक स्वस्थ इमारत में, गलियारे का "सबसे कमजोर बिंदु" ऊपर की मंजिलों तक जाते समय कमजोर नहीं होना चाहिए।
परिणाम: 14 में से 13 मॉडलों में, यह नियम सही रहा। गलियारा मजबूत बना रहा।
अपवाद: एक मॉडल (Gemma 4-31B) में एक वास्तविक "डेड डायरेक्शन" था जहाँ गलियारा वास्तव में कमजोर हो गया था। लेखकों की पद्धति ने इस दोष को तुरंत पकड़ लिया, जिससे पता चला कि यह केवल एक माप त्रुटि नहीं थी बल्कि उस विशिष्ट मॉडल में एक वास्तविक संरचनात्मक समस्या थी।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

यह मुफ्त है: आप केवल अपने पैरामीटर्स को पढ़कर मॉडल के "सिंगुलर स्ट्रक्चर" (सपाट स्थानों) का निदान कर सकते हैं। इसके लिए भारी गणना की आवश्यकता नहीं है।
यह एक क्लासिफायर है: आप केवल यह जाँचकर बता सकते हैं कि मॉडल LayerNorm का उपयोग करता है या RMSNorm का।
यह एक डायग्नोस्टिक (निदान उपकरण) है: यदि आप देखते हैं कि कोई मॉडल जहाँ यह दिशा-सूचक विफल हो जाता है या जहाँ गलियारा कमजोर हो जाता है, तो यह एक संभावित संरचनात्मक विसंगति को दर्शाता है जिसकी जांच की जानी चाहिए।

संक्षेप में, पेपर कहता है: "यदि आपके पास LayerNorm मॉडल है, तो आपको डेड, फ्लैट दिशाओं को खोजने के लिए इसे चलाने की आवश्यकता नहीं है। बस एक संख्या देखें, उसे उल्टा करें, और आपके पास उत्तर है।"

तकनीकी सारांश: लेयरनॉर्म (LayerNorm) ट्रांसफॉर्मर्स में बीजगणितीय मृत दिशाएँ (Algebraic Dead Directions)

समस्या विवरण
पूर्व-प्रशिक्षित (Pretrained) ट्रांसफॉर्मर उनके लॉस लैंडस्केप के सिंगुलर मिनिमा (singular minima) के निकट कार्य करते हैं, जहाँ फिशर सूचना मीट्रिक (Fisher information metric) पैरामीटर स्पेस में विशिष्ट "मृत दिशाओं" (dead directions) के साथ क्षीण हो जाता है। इन दिशाओं में, लॉस सपाट होता है, और दिशात्मक फिशर सूचना लुप्त हो जाती है। इन दिशाओं की पहचान करना मॉडल की ज्यामिति और सिंगुलर लर्निंग थ्योरी को समझने के लिए महत्वपूर्ण है, लेकिन मौजूदा विधियाँ या तो गणनात्मक रूप से महंगी हैं या अप्रत्यक्ष हैं। एक मृत दिशा को खोजने के लिए आमतौर पर एक फॉरवर्ड पास के साथ-साथ एक्टिवेशन के आइजनडीकंपोजिशन (eigendecomposition), सैंपलिंग-आधारित जटिलता अनुमानों (जैसे, लोकल लर्निंग कोएफिशिएंट), या व्यापक ग्रेडिएंट एक्सेस की आवश्यकता होती है। महत्वपूर्ण बात यह है कि कोई भी पूर्व विधि विशिष्ट मृत दिशा प्रदान नहीं करती जिसे बिना किसी फॉरवर्ड या बैकवर्ड पास के केवल नेटवर्क के पैरामीटर्स से निकाला जा सके।

कार्यप्रणाली
यह शोध पत्र शिरोदकर (2026) के ढांचे पर आधारित लेयरनॉर्म (LN) ट्रांसफॉर्मर के लिए एक क्लोज्ड-फॉर्म डायग्नोस्टिक विकसित करता है, जो फिशर सूचना के KFAC (क्रोनोकर-फैक्टर्ड एप्रोक्सिमेट कर्वेचर) गुणनखंडन से मृत दिशाएँ व्युत्पन्न करता है। मुख्य अंतर्दृष्टि यह है कि लेयरनॉर्म के फॉरवर्ड मैप में निहित मीन-सबट्रैक्शन प्रोजेक्टर (mean-subtraction projector), पोस्ट-नॉर्मलाइजेशन एक्टिवेशन कोवेरियेंस (post-normalization activation covariance) में एक विशिष्ट कर्नेल दिशा को बीजगणितीय रूप से मजबूर करता है।

लेखक प्रस्तावित करते हैं कि किसी भी लेयरनॉर्म युक्त ट्रांसफॉर्मर के लिए, लेयरनॉर्म एफाइन पैरामीटर का इनवर्स-स्केल दिशा, $v^* = \gamma^{-1} / \|\gamma^{-1}\|$ , किसी भी इनपुट वितरण के लिए पोस्ट-फाइनल-नॉर्म सेंटर्ड एक्टिवेशन कोवेरियेंस का एक सटीक बीजगणितीय कर्नेल है। यह दिशा सीधे सीखे गए स्केल पैरामीटर $\gamma$ से पढ़ी जा सकती है।

कार्यप्रणाली में 14 पूर्व-प्रशिक्षित ट्रांसफॉर्मर्स (160M से 35B पैरामीटर्स तक, जिनमें लेयरनॉर्म और RMSNorm के साथ भाषा और विजन मॉडल शामिल हैं) पर तीन प्राथमिक डायग्नोस्टिक परीक्षण शामिल हैं:

बीजगणितीय बेसलाइन सत्यापन (Algebraic Baseline Validation): रैंडम इनिशियलाइजेशन पर, अनुमानित दिशा $v^*$ को एक्टिवेशन कोवेरियेंस की मापी गई बॉटम सिंगुलर दिशा ( $u_\perp$ ) के विरुद्ध तुलना किया जाता है।
नॉर्म-साइड द्वैत (Norm-Side Dichotomy): इस सार्वभौमिक कर्नेल दिशा की उपस्थिति या अनुपस्थिति का उपयोग नॉर्मलाइजेशन स्कीम (LayerNorm बनाम RMSNorm) को वर्गीकृत करने के लिए किया जाता है।
प्रशिक्षण-प्रेरित अंतराल (Training-Induced Gap): "शूर अनुपात" (Schur ratio) $R(h)$ और उसका पूरक $\Delta_\gamma = 1 - R(h)$ यह मापने के लिए मापा जाता है कि प्रशिक्षण के बाद वास्तविक मृत दिशाएँ आर्किटेक्चरल बेसलाइन की तुलना में कितनी गहरी हो जाती हैं।
डेप्थ-इनवेरिएंस (Depth-Invariance): यह परीक्षण किया जाता है कि क्या रेसिडुअल स्ट्रीम का सबसे छोटा सिंगुलर मान ( $\sigma_{\min}$ ) ब्लॉक-दर-ब्लॉक संरक्षित रहता है, जो कि आइडेंटिटी स्किप कनेक्शन और नॉन-कैंसिलेशन हाइपोथेसिस से प्राप्त एक गुण है।

सभी माप प्रति चेकपॉइंट एक सिंगल फॉरवर्ड पास का उपयोग करके किए जाते हैं, जिसमें कोई ग्रेडिएंट एक्सेस या सैंपलिंग चेन्स का उपयोग नहीं किया जाता है, और संख्यात्मक शोर फ्लोर (numerical noise floors) से बचने के लिए fp64 सेंटर्ड कोवेरियेंस एक्यूमुलेशन का उपयोग किया जाता है।

मुख्य योगदान

लेयरनॉर्म के लिए बीजगणितीय मृत दिशा: यह शोध पत्र सिद्ध और अनुभवजन्य रूप से मान्य करता है कि किसी भी लेयरनॉर्म ट्रांसफॉर्मर के लिए, दिशा $\gamma^{-1}/\|\gamma^{-1}\|$ पोस्ट-फाइनल-नॉर्म सेंटर्ड एक्टिवेशन कोवेरियेंस की एक मृत दिशा है। यह दिशा बिना किसी फॉरवर्ड पास के केवल एफाइन पैरामीटर से पढ़ी जा सकती है।
RMSNorm नेगेटिव डिफरेंशियल: यह सिद्ध किया गया है कि RMSNorm, जिसमें मीन-सबट्रैक्शन प्रोजेक्टर की कमी है, में $\gamma$ पर निर्भर ऐसी कोई सार्वभौमिक मृत दिशा नहीं होती है। यह दोनों नॉर्मलाइजेशन प्रकारों के बीच एक सख्त बीजगणितीय द्वैत बनाता है।
रेसिडुअल-स्ट्रीम $\sigma_{\min}$ डेप्थ-इनवेरिएंस: एक क्लोज्ड-फॉर्म कोरोलरी भविष्यवाणी करती है कि नो-कैंसिलेशन हाइपोथेसिस के तहत रेसिडुअल स्ट्रीम का सबसे छोटा सिंगुलर मान ब्लॉक-दर-ब्लॉक कम नहीं हो सकता ( $\sigma_{\min}(X_\ell)/\sigma_{\min}(X_0) \ge 1$ )।
शूर-अनुपात डायग्नोस्टिक: यह पेपर एक मात्रात्मक मीट्रिक ( $\Delta_\gamma$ ) पेश करता है जो आर्किटेक्चरल बेसलाइन (रैंडम इनिशियलाइजेशन) और प्रशिक्षित सिंगुलर स्ट्रक्चर के बीच के अंतर को मापता है। यह अंतराल संचित सिंगुलर स्ट्रक्चर के लिए एक फॉरवर्ड-पास-ओनली डायग्नोस्टिक के रूप में कार्य करता है।

परिणाम
भविdtations को विभिन्न उद्देश्यों (नेक्स्ट-टोकन प्रेडिक्शन, इमेज क्लासिफिकेशन, सेल्फ-सुपरवाइज्ड लर्निंग) पर 14 मॉडल्स (9 लेयरनॉर्म, 5 RMSNorm) पर परखा गया।

बीजगणितीय मिलान (Algebraic Match): रैंडम इनिशियलाइजेशन पर, अनुमानित दिशा $\gamma^{-1}/\|\gamma^{-1}\|$ सभी 9 लेयरनॉर्म मॉडल्स पर मापी गई बॉटम सिंगुलर दिशा के साथ चार दशमलव स्थानों तक मेल खाती है ( $|\cos| \ge 0.9999$ )। औसत अलाइनमेंट 0.99999 था।
RMSNorm अनुपस्थिति: 5 RMSNorm मॉडल्स ने सही ढंग से दिखाया कि $\gamma$ -व्युत्पन्न किसी भी दिशा के साथ कोई अलाइनमेंट नहीं है ( $|\cos| \le 0.10$ ), जो रैंडम-डायरेक्शन नल (null) पर स्थित है।
प्रशिक्षण अंतराल (Training Gap): प्रशिक्षित चेकपॉइंट्स पर, शूर अनुपात $\Delta_\gamma$ सभी मॉडल आकारों में $\approx 1$ पर संतृप्त (saturate) हो जाता है, जो यह दर्शाता है कि प्रशिक्षण लेयरनॉर्म द्वारा स्थापित आर्किटेक्चरल बेसलाइन की तुलना में लगभग $10^3$ गुना गहरी मृत दिशाएँ खोलता है।
डेप्थ-इनवेरिएंस: $\sigma_{\min}$ $σ_{m i n}$ डेप्थ-इनवेरिएंस 14 में से 13 मॉडल्स पर अपने स्वयं के इनपुट डिस्ट्रीब्यूशन पर पढ़ा गया।
- एकमात्र अपवाद, Gemma 4-31B, एक वास्तविक आंतरिक मृत दिशा प्रदर्शित करता है जहाँ रेसिडुअल स्ट्रीम का $\sigma_{\min}$ आउटपुट पर $\sim 18\times$ कम हो जाता है।
- अन्य Gemma 4 वेरिएंट (Gemma 4-E4B) ने टेक्स्ट-ओनली कैलिब्रेशन के तहत एक डिप दिखाया जो मल्टीमॉडल (टेक्स्ट+इमेज+ऑडियो) कैलिब्रेशन के तहत समाप्त हो गया, जिससे यह पहचाना गया कि यह एक डिस्ट्रीब्यूशन-रिलेटिव डेड डायरेक्शन है न कि एक आंतरिक (intrinsic) डेड डायरेक्शन।
डायनेमिक वैलिडेशन: Pythia-1B प्रीट्रेनिंग ट्राजेक्टरी पर, $\sigma_{\min}$ अनुपात हर स्टेप पर $\ge 1$ रहा, जबकि अनुमानित कर्ल दिशा के साथ अलाइनमेंट उच्च ( $\ge 0.998$ ) बना रहा, भले ही $\gamma$ बिखरा (disperse) हो, जो पुष्टि करता है कि यह अनुमान $\gamma$ को ट्रैक करता है न कि इनिशियलाइजेशन को।

महत्व और दावे
यह पेपर लेयरनॉर्म के लिए विशिष्ट सबसे "सस्ता डेड-डायरेक्शन रीड" प्रदान करने का दावा करता है, जिसके लिए बिना किसी फॉरवर्ड या बैकवर्ड पास के केवल एक पैरामीटर ( $\gamma$ ) के निरीक्षण की आवश्यकता होती है। यह अभ्यासकर्ताओं को सक्षम बनाता है:

डेड सबस्पेस की पहचान करना: बिना सैंपलिंग या ग्रेडिएंट एक्सेस के फ्रोजन मॉडल्स में मृत दिशाओं का पता लगाना।
आर्किटेक्चर को वर्गीकृत करना: केवल अपने पैरामीटर्स से किसी पूर्व-प्रशिक्षित मॉडल की नॉर्मलाइजेशन स्कीम (LN बनाम RMSNorm) निर्धारित करना।
पैथोलॉजी का निदान करना: $\sigma_{\min}$ डेप्थ प्रोफाइल को उन आर्किटेक्चरल विसंगतियों (जैसे, Gemma 4 MLP-लोकलाइज्ड कोलैप्स) का पता लगाने के लिए एक रियल-टाइम सिग्नल के रूप में उपयोग करना जिन्हें स्टैंडर्ड पाइपलाइन्स संख्यात्मक शोर (numerical noise) के कारण मिस कर सकती हैं।
डिज़ाइन को सूचित करना: नए नॉर्मलाइजेशन स्कीम्स के लिए एक स्ट्रक्चरल टेस्ट प्रदान करना ताकि यह भविष्यवाणी की जा सके कि क्या वे $\gamma$ -व्युत्पन्न सार्वभौमिक कर्नेल को वहन करेंगे।

लेखक आर्किटेक्चरली गारंटीड मृत दिशाओं (जो लेयरनॉर्म में रैंडम इनिशियलाइजेशन पर मौजूद हैं) और प्रशिक्षण-प्रेरित मृत दिशाओं (जो दोनों LN और RMSNorm मॉडल्स में कर्नेल को गहरा करती हैं) के बीच अंतर करने पर जोर देते हैं। इन दो अवस्थाओं के बीच का अंतराल प्रशिक्षण के दौरान संचित सिंगुलर स्ट्रक्चर के लिए एक डायग्नोस्टिक के रूप में कार्य करता है। पेपर Gemma 4 विसंगति के मूल को हल करने का दावा नहीं करता है, बल्कि सफलतापूर्वक इसे MLP सब-लेयर तक स्थानीयकृत करता है और इसे कैलिब्रेशन आर्टिफैक्ट्स से अलग करता है।