🤖 machine learning

A Geometric Analysis of Sign-Magnitude Asymmetry in a ReLU + RMSNorm Block under Ternary Quantization

यह शोध पत्र टेनरी वेट क्वांटाइजेशन (ternary weight quantization) के प्रति प्री-नॉर्म ट्रांसफॉर्मर्स की मजबूती के लिए एक ज्यामितीय स्पष्टीकरण प्रदान करता है, जो यह प्रदर्शित करता है कि ReLU-प्रेरित दिशात्मक विषमता (directional asymmetry) और RMSNorm के प्रोजेक्शन गुणों का संयोजन साइन-फ्लिप गड़बड़ी (sign-flip perturbations) को परिमाण गड़बड़ी (magnitude perturbations) की तुलना में काफी अधिक आउटपुट ऊर्जा उत्पन्न करने के लिए प्रेरित करता है, जबकि वास्तविक मॉडलों में आउटलायर फीचर्स इस सैद्धांतिक सीमा से विचलन के लिए उत्तरदायी होते हैं।

मूल लेखक: Lei Dong

प्रकाशित 2026-05-20

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lei Dong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: क्यों "संकेत" (Sign) "आकार" (Magnitude) से अधिक महत्वपूर्ण है

कल्पना कीजिए कि आप एक जटिल गीत को समझने की कोशिश कर रहे हैं। आप हर वाद्य यंत्र की आवाज़ (मैग्निट्यूड/आकार) सुन सकते हैं या केवल उनके दिशा (संकेत: धनात्मक या ऋणात्मक) को समझ सकते हैं।

लंबे समय तक, शोधकर्ताओं ने सोचा कि संगीत को समझने के लिए आपको आवाज़ की ज़रूरत होती है। लेकिन हालिया प्रयोगों ने कुछ आश्चर्यजनक दिखाया: यदि आप एक विशाल AI मॉडल (एक ट्रांसफॉर्मर) लेते हैं और उसकी सारी आवाज़ वाली जानकारी को हटा देते हैं, और केवल दिशा (कि वजन +1 है, -1 है, या 0 है) को रखते हैं, तो भी मॉडल लगभग पूरी तरह से काम करता है।

यह शोध पत्र पूछता है: दिशा, आकार की तुलना में इतनी महत्वपूर्ण क्यों है?

लेखक एक ज्यामितीय (geometric) स्पष्टीकरण प्रदान करते हैं जिसमें तीन मुख्य पात्र शामिल हैं: Sign (संकेत), ReLU (एक गेटकीपर), और RMSNorm (एक फिल्टर)।

तीन पात्र और उनकी भूमिकाएँ

1. वेट वेक्टर (The Weight Vector - तीर)

AI के वजन को एक विशाल तीर के रूप में सोचें जो उच्च-आयामी स्थान (high-dimensional space) में एक विशिष्ट दिशा में इशारा कर रहा है।

खोज: पेपर सिद्ध करता है कि संकेत (वह दिशा जिसमें तीर इशारा करता है) तीर की उपयोगी जानकारी का लगभग 64% हिस्सा रखता है।
उपमा: एक दिशा सूचक यंत्र (compass) की कल्पना करें। यह जानना कि कंपास "उत्तर" की ओर इशारा कर रहा है, बहुत कुछ बताता है। यह जानना कि कंपास "उत्तर" है लेकिन साथ ही "थोड़ा भारी" भी है, कुछ भी नया नहीं बताता। पेपर दिखाता है कि "भारीपन" (मैग्निट्यूड) में यादृच्छिक बदलाव ज्यादातर शोर (noise) हैं, जबकि "दिशा" (संकेत) में बदलाव वास्तविक संकेत (signal) हैं।

2. ReLU (The One-Way Gate - एकतरफा द्वार)

ReLU एक एक्टिवेशन फंक्शन है जो एक गेट की तरह काम करता है। यदि सिग्नल धनात्मक (positive) है, तो यह उसे जाने देता है। यदि वह ऋणात्मक (negative) है, तो यह उसे ब्लॉक कर देता है (उसे शून्य में बदल देता है)।

प्रभाव: यह गेट एक "एकतरफा" दुनिया बनाता है। यह धनात्मक और ऋणात्मक सिग्नल्स के साथ अलग तरह से व्यवहार करता है।
उपमा: एक नदी की कल्पना करें जिसमें एक बांध है जो पानी को तभी नीचे बहने देता है जब वह पर्याप्त तेज़ हो। यदि आप पानी को थोड़ा पीछे धकेलते हैं (संकेत बदलना), तो बांध उसे पूरी तरह से रोक देता है। यदि आप केवल यह बदलते हैं कि पानी कितनी ज़ोर से आगे बढ़ रहा है (आकार), तो बांध उसे फिर भी जाने देता है। यह एक छिपा हुआ असंतुलन पैदा करता है।

3. RMSNorm (The Direction Filter - दिशा फिल्टर)

RMSNorm एक नॉर्मलाइजेशन स्टेप है जो सभी सिग्नल्स को एक ही "लंबाई" (आकार) का होने के लिए मजबूर करता है, लेकिन उनकी दिशा को बनाए रखता है।

प्रभाव: यह एक छलनी की तरह काम करता है जो उस चीज़ को फ़िल्टर कर देता है जो मुख्य प्रवाह की दिशा में इशारा करती है, लेकिन जो बगल की दिशा (transverse) में इशारा करती है, उसे रखता है।
उपमा: एक विंड टनल (wind tunnel) की कल्पना करें। यदि आप गेंद को टनल के सीधे नीचे फेंकते हैं (radial), तो विंड टनल उसके प्रभाव को सोख लेती है। यदि आप गेंद को बगल की ओर (transverse) फेंकते हैं, तो विंड टनल उसे गुजरने देती है और वह लक्ष्य से टकराती है।

मुख्य खोज: "2.75x" का आश्चर्य

पेपर का मुख्य गणितीय परिणाम एक विशिष्ट संख्या है: $\pi / (\pi - 2) \approx 2.75$ ।

इसका सरल भाषा में क्या अर्थ है:
यदि आप AI के वजन में गलती करते हैं, तो इसे करने के दो तरीके हैं:

संकेत बदलना (Flip the Sign): +1 को -1 में बदलना।
आकार बदलना (Change the Magnitude): +1 को +0.5 में बदलना (संकेत को समान रखते हुए)।

यदि आप इन गलतियों को समान "ऊर्जा" (गणितीय रूप से, समान Frobenius norm) के साथ करते हैं, तो संकेत बदलना (Sign Flip), आकार बदलने की तुलना में AI के आउटपुट को 2.75 गुना अधिक नुकसान पहुँचाता है।

क्यों?

संकेत बदलना (Sign Flips): ReLU गेट के कारण, संकेत बदलने से अक्सर सिग्नल की दिशा नाटकीय रूप से बदल जाती है। जब यह RMSNorm फिल्टर से टकराता है, तो फिल्टर उस नुकसान के लगभग पूरे हिस्से को जाने देता है (क्योंकि यह बगल की दिशा में इशारा कर रहा है)।
आकार बदलना (Magnitude Changes): क्योंकि संकेत वही रहता है, ReLU गेट सिग्नल को नहीं रोकता। RMSNorm फिल्टर इस बदलाव को "सही दिशा में इशारा करने वाला" मानता है और अधिकांश नुकसान को सोख लेता है, जिससे प्रभाव कम हो जाता है।

निष्कर्ष: AI अपने आकार को गलत करने की तुलना में अपनी दिशा को गलत करने के प्रति बहुत अधिक संवेदनशील है। यही कारण है कि "टेनरी क्वांटाइजेशन" (केवल संकेतों और शून्य को रखना) इतना अच्छा काम करता है।

"आउटलायर" ट्विस्ट: वास्तविक मॉडल और भी अधिक संवेदनशील क्यों हैं

ऊपर दिया गया गणित 2.75x के अंतर की भविष्यवाणी करता है। हालाँकि, जब लेखकों ने एक वास्तविक, विशाल AI मॉडल (TinyLlama) पर इसका परीक्षण किया, तो उन्होंने पाया कि नुकसान बहुत अधिक (कुछ मामलों में 1,000 गुना तक) था।

यह अंतर क्यों है?
गणित ने यह माना था कि AI के आंतरिक सिग्नल समान रूप से फैले हुए हैं (जैसे एक चिकना कोहरा)। लेकिन वास्तविक मॉडलों में, सिग्नल "नुकीले" (spiky) होते हैं। कुछ विशिष्ट न्यूरॉन्स (जिन्हें आउटलायर्स कहा जाता है) अविश्वसनीय रूप से तेज़ और सक्रिय होते हैं, जबकि बाकी शांत होते हैं।

उपमा: एक गायक मंडली (choir) की कल्पना करें जहाँ हर कोई एक ही वॉल्यूम पर गा रहा है। यदि एक व्यक्ति अपनी पिच (pitch) बदलता है, तो वह ध्यान देने योग्य होता है। लेकिन एक वास्तविक AI में, कल्पना करें कि एक व्यक्ति 100 डेसिबल पर चिल्ला रहा है जबकि बाकी फुसफुसा रहे हैं। यदि आप उस चिल्लाने वाले व्यक्ति का संकेत (sign) बदल देते हैं, तो पूरी मंडली का स्वर पूरी तरह से बदल जाता है।
निष्कर्ष: पेपर दिखाता है कि ये "चिल्लाने वाले" आउटलायर्स, संकेत बदलने के नुकसान को उनकी तीव्रता के वर्ग ( $n\alpha^2$ ) से संबंधित कारक द्वारा बढ़ा देते है। यह समझाता है कि वास्तविक मॉडल साइन एरर्स के प्रति इतने संवेदनशील क्यों हैं, जो साधारण 2.75x भविष्यवाणी से कहीं अधिक है।

टेनरी क्वांटाइजेशन (Ternary Quantization) के बारे में क्या? ("अच्छी" खबर)

यह पेपर भी समझाता है कि "टेनरी क्वांटाइजेशन" (केवल -1, 0, +1 का उपयोग करना) क्यों काम करता है।

जब आप वजन को -1, 0, या +1 में क्वांटाइज़ करते हैं, तो आप अनिवार्य रूप से एक "आकार परिवर्तन" (Magnitude Change) कर रहे होते हैं (आप आकार को समायोजित कर रहे हैं लेकिन संकेत को समान रख रहे हैं)।
चूंकि AI स्वाभाविक रूप से आकार परिवर्तनों के प्रति "अंधा" है (RMSNorm फिल्टर के कारण जो उन्हें सोख लेता है), इस प्रकार की त्रुटि हानिरहित होती है।
पेपर गणना करता है कि भले ही ReLU गेट कुछ सिग्नल्स को बदल देता है, फिर भी त्रुटि मुख्य रूप से "रेडियल" (radial) बनी रहती है (जिसे फिल्टर सोख लेता है), जिससे AI इस प्रकार के संपीड़न (compression) के प्रति बहुत सहनशील हो जाता है।

मुख्य निष्कर्षों का सारांश

दिशा ही सर्वोपरि है: आधुनिक AI आर्किटेक्चर में, वजन का संकेत सबसे महत्वपूर्ण जानकारी ले जाता है। आकार ज्यादातर शोर है।
2.75x का नियम: एक सरल मॉडल में, संकेत बदलना आकार बदलने की तुलना में लगभग 3 गुना अधिक नुकसान पहुँचाता है।
फिल्टर प्रभाव: RMSNorm एक फिल्टर के रूप में कार्य करता है जो आकार की त्रुटियों को रद्द कर देता है लेकिन संकेत की त्रुटियों को गुजरने देता है।
आउटलायर प्रभाव: वास्तविक AI मॉडलों में "तेज़" न्यूरॉन्स होते हैं। इन तेज़ न्यूरॉन्स के संकेत को बदलने से भारी नुकसान होता है, जो समझाता है कि वास्तविक मॉडल साधारण गणित की तुलना में कितने अधिक संवेदनशील हैं।
कोई जादुई मल्टीप्लायर नहीं: लेखकों ने परीक्षण किया कि क्या यह नुकसान कई परतों के माध्यम से गुजरते समय बढ़ता (multiply होता) है। ऐसा नहीं होता है। नुकसान घातीय (exponentially) रूप से नहीं बढ़ता; आउटलायर्स की "तेजी" ही उच्च संवेदनशीलता का असली कारण है।

संक्षेप में: पेपर यह सिद्ध करता है कि AI मॉडल ताश के पत्तों के घर की तरह बने हैं जहाँ पत्तों की दिशा मायने रखती है, लेकिन उनकी मोटाई नहीं। जब तक आप दिशा सही रखते हैं, आप पत्तों को बहुत पतला (या केवल संकेतों जैसा) बना सकते हैं, और घर फिर भी खड़ा रहेगा।

तकनीकी सारांश: एक ReLU + RMSNorm ब्लॉक में साइन-मैग्निट्यूड असंतुलन का ज्यामितीय विश्लेषण (Ternary Quantization के अंतर्गत)

1. समस्या विवरण (Problem Statement)

हाल ही में अत्यंत कम-बिट वाले लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से BitNet b1.58 में हुए विकासों ने प्रदर्शित किया है कि प्री-नॉर्म ट्रांसफॉर्मर आर्किटेक्चर वेट्स को टर्नरी सेट $\{-1, 0, +1\}$ तक सीमित रखते हुए भी महत्वपूर्ण भाषाई क्षमता बनाए रख सकते हैं। यह घटना उल्लेखनीय है क्योंकि टर्नरी क्वांटाइजेशन सभी मैग्नीट्यूड (परिमाण) जानकारी को हटा देता है, केवल साइन पैटर्न और स्पर्सिटी (विरलता) को सुरक्षित रखता है। जबकि अनुभवजन्य साक्ष्य (जैसे, लॉटरी टिकट हाइपोथेसिस) सुझाव देते हैं कि वेट के साइन, मैग्नीट्यूड की तुलना में अधिक महत्वपूर्ण हैं, प्री-नॉर्म (RMSNorm) आर्किटेक्चर में विशेष रूप से साइन क्यों अधिक कार्यात्मक जानकारी वहन करता है, इसके लिए एक कठोर सैद्धांतिक स्पष्टीकरण का अभाव रहा है। यह शोध पत्र इस साइन-मैग्निट्यूड असंतुलन (sign-magnitude asymmetry) के लिए एक ज्यामितीय स्पष्टीकरण प्रदान करने का प्रयास करता है।

2. कार्यप्रणाली (Methodology)

लेखक सिंथेटिक मॉडल्स और वास्तविक दुनिया के LLMs (TinyLlama-1.1B, Qwen2.5) दोनों पर एक संयोजन का उपयोग करते हैं: एसिम्प्टोटिक ज्यामितीय विश्लेषण, परटर्बेशन थ्योरी (विक्षोभ सिद्धांत), और अनुभवजन्य सत्यापन।

सैद्धांतिक ढांचा (Theoretical Framework): मुख्य विश्लेषण एक दो-परत वाले मॉडल पर केंद्रित है जिसमें एक लीनियर लेयर, एक ReLU एक्टिवेशन, और एक RMSNorm लेयर ( $\hat{y} = \text{RMSNorm}(W_2 \cdot \text{ReLU}(W_1 \hat{x}))$ ) शामिल है। वेट्स को i.i.d. गॉसियन माना गया है, और इनपुट डेलोकलाइज्ड (गोले पर यूनिफॉर्म) हैं।
परटर्बेशन विश्लेषण (Perturbation Analysis): अध्ययन समान अपेक्षित फ्रोबेनियस नॉर्म (Frobenius norm) के साथ दो प्रकार के वेट परटर्बेशन की तुलना करता है:
1. साइन-फ्लिप (Sign-flip): वेट प्रविष्टियों के साइन को बेतरतीब ढंग से बदलना (एक साइन-परिवर्तित त्रुटि पेश करना)।
2. मैग्निट्यूड (साइन-संरक्षण/Sign-preserving): ऐसा शोर जोड़ना जो वेट्स के मूल साइन को सुरक्षित रखता है (एक साइन-संरक्षण त्रुटि पेश करना)।
ज्यामितीय उपकरण (Geometric Tools): विश्लेषण RMSNorm के फ्रेचेट डेरिवेटिव (Fréchet derivative) (जिसे एक ट्रांसवर्स प्रोजेक्टर के रूप में पहचाना गया है), साइन क्वांटाइजेशन के लिए बसगैंग कांस्टेंट (Bussgang constant), और ReLU सहसंबंधों के लिए प्राइस के प्रमेय (Price's theorem) का उपयोग करता है।
अनुभवजन्य सत्यापन (Experimental Validation): प्रयोग सिंथेटिक डेटा पर सैद्धांतिक सीमाओं को सत्यापित करते हैं और वास्तविक मॉडल्स पर "आउटलियर फीचर्स" (डेलोकलाइजेशन धारणा का उल्लंघन करने वाले कारक) के प्रभाव का परीक्षण करते हैं।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

3.1 $\pi/(\pi-2)$ असंतुलन स्थिरांक (Asymmetry Constant)

शोध पत्र का प्राथमिक सैद्धांतिक परिणाम (थ्योरम 3) स्थापित करता है कि i.i.d. गॉसियन वेट्स वाले दो-परत ReLU + RMSNorm मॉडल में, साइन-फ्लिप परटर्बेशन समान नॉर्म वाले साइन-संरक्षण मैग्नीट्यूड परटर्बेशन की तुलना में लगभग 2.75 गुना ( $\pi/(\pi-2)$ ) अधिक ट्रांसवर्स आउटपुट एनर्जी उत्पन्न करते हैं, जब $p \to 0$ हो।

तंत्र (Mechanism): यह असंतुलन एक दो-चरणीय ज्यामितीय प्रक्रिया से उत्पन्न होता है:
1. ReLU दिशात्मक असंतुलन बनाता है: साइन-संरक्षण परटर्बेशन संरचना बसगैंग कांस्टेंट ( $\cos^2 \to 2/\pi$ ) के माध्यम से वेट वेक्टर के साथ संरेखित होती है। ReLU इस संरेखण को प्रसारित करता है, जिसके परिणामस्वरूप मैग्नीट्यूड परटर्बेशन के लिए उच्च "रेडियल फ्रैक्शन" (आउटपुट दिशा के साथ संरेखित ऊर्जा) प्राप्त होता है ( $R_{mag} \approx 2/\pi$ )। इसके विपरीत, साइन-फ्लिप्स लगभग शून्य रेडियल फ्रैक्शन ( $R_{sign} \approx p$ ) उत्पन्न करते हैं।
2. RMSNorm असंतुलन को उजागर करता है: RMSNorm एक रेडियल फिल्टर के रूप में कार्य करता है (थ्योरम 2), जो आउटपुट वेक्टर के साथ संरेखित घटकों को बाहर निकाल देता है। यह मैग्नीट्यूड परटर्बेशन ऊर्जा का $\approx 63.7\%$ ( $2/\pi$ ) अवशोषित कर लेता है, लेकिन साइन-फ्लिप ऊर्जा के $\approx 99\%$ को सुरक्षित रखता है (छोटे $p$ के लिए)। जीवित रहने वाली ट्रांसवर्स ऊर्जा का अनुपात $\frac{1-p}{1-2/\pi} \approx \frac{\pi}{\pi-2}$ है।

3.2 टर्नरी क्वांटाइजेशन त्रुटि का लक्षण वर्णन (Ternary Quantization Error Characterization)

शोध पत्र टर्नरी क्वांटाइजेशन त्रुटि (थ्योरम 4) को एक साइन-संरक्षण परटर्बेशन के रूप में वर्णित करता है।

मूल आउटपुट और क्वांटाइज्ड आउटपुट के बीच कोणीय संरेखण $\cos^2 \theta \to 2/\pi$ की ओर अभिसरित होता है।
महत्वपूर्ण रूप से, पोस्ट-ReLU रेडियल फ्रैक्शन को $\approx 0.365$ के रूप में गणना किया गया है, जो प्री-ReLU मान ( $1 - 2/\pi$ ) के 0.4% के भीतर है। इसका तात्पर्य है कि ReLU टर्नरी त्रुटि के रेडियल/ट्रांसवर्स अपघटन के प्रति लगभग पारदर्शी (transparent) है, जिसका अर्थ है कि त्रुटि RMSNorm फिल्टरिंग के संबंध में आदर्शित मैग्नीट्यूड परटर्बेशन मॉडल की तरह व्यवहार करती है।

3.3 मल्टी-लेयर कंपाउंडिंग का खंडन (Refutation of Multi-Layer Compounding)

एक स्वाभाविक परिकल्पना यह है कि एकल-लेयर का 2.75× कारक गहरे नेटवर्क में गुणात्मक रूप से (multiplicatively) बढ़ता है, जो वास्तविक मॉडल्स की अत्यधिक संवेदनशीलता की व्याख्या करता है। लेखक इसका खंडन करते हैं (सेक्शन 7.1, टेबल 3)।

सिंथेटिक और प्रशिक्षित मॉडल्स (TinyLlama) पर प्रयोगों से पता चलता है कि ट्रांसवर्स एनर्जी अनुपात गहराई के साथ बढ़ने के बजाय घटता है या स्थिर (plateau) हो जाता है।
वास्तविक मॉडल्स में देखी गई बड़ी साइन संवेदनशीलता गहराई के कारण होने वाले कंपाउंडिंग का परिणाम नहीं है।

3.4 आउटलियर फीचर्स की भूमिका (The Role of Outlier Features)

शोध पत्र पहचानता है कि आउटलियर फीचर्स (भारी पूंछ वाले एक्टिवेशन वितरण जो डेलोकलाइजेशन धारणा का उल्लंघन करते हैं) ही वह वास्तविक स्रोत हैं जो बेसलाइन थ्योरी के 2.75× फैक्टर और वास्तविक मॉडल्स में देखी गई विशाल संवेदनशीलता के बीच के अंतर को स्पष्ट करते हैं।

लीवरेज थ्योरी (Leverage Theory): आयाम $\alpha$ वाले इनपुट डाइमेंशन के लिए, एक एकल साइन-फ्लिप पोस्ट-ReLU ऊर्जा को डेलोकलाइज्ड एंट्री के सापेक्ष $R \approx n\alpha^2$ के कारक से बढ़ाता है (परिशिष्ट E)।
अनुभवजन्य सत्यापन: TinyLlama-1.1B पर, "आउटलियर कॉलम्स" (एक्टिवेशन मैग्नीट्यूड द्वारा शीर्ष 5%) में साइन बदलने से गैर-आउटलियर कॉलम्स की तुलना में $\sim 1,265\times$ अधिक पर्प्लेक्सिटी (perplexity) क्षति होती है। हालांकि, जब साइन काउंट और Perplexity (PPL) बनाम Negative Log-Likelihood (NLL) की नॉन-लिनियरिटी को ध्यान में रखा जाता है, तो लीवरेज रैखिक प्रतिक्रिया शासन ( $p \le 0.5\%$ ) में $\sim 10\times$ पर स्थिर हो जाता है, जो सैद्धांतिक भविष्यवाणी $n \cdot E[\alpha^2]$ से मेल खाता है।

4. महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि यह प्री-नॉर्म ट्रांसफॉर्मर की टर्नरी क्वांटाइजेशन के प्रति मजबूती का एक ज्यामितीय स्पष्टीकरण प्रदान करता है:

साइन डोमिनेंस: साइन पैटर्न वेट वेक्टर्स की दिशात्मक ऊर्जा का $\approx 63.7\%$ कैप्चर करते हैं (तथ्य 1), जबकि रैंडम साइन वाला मैग्नीट्यूड नगण्य दिशात्मक जानकारी रखता है।
आर्किटेक्चरल सिनर्जी: साइन-संरक्षण संरचना + ReLU + RMSNorm का विशिष्ट संयोजन एक ऐसा तंत्र बनाता है जहाँ साइन-परिवर्तित त्रुटियाँ चुनिंदा रूप से ट्रांसवर्स (कार्यात्मक) दिशा में बढ़ जाती हैं, जबकि साइन-संरक्षण त्रुटतियाँ (जैसे टर्नरी क्वांटाइजेशन) RMSNorm के रेडियल फिल्टरिंग द्वारा काफी हद तक अवशोषित कर ली जाती हैं।
वास्तविक दुनिया का विचलन: वास्तविक मॉडल्स में साइन फ्लिप के प्रति अत्यधिक संवेदनशीलता गहराई का अंतर्निहित गुण नहीं है, बल्कि भारी-पूंछ वाले आउटलियर फीचर्स का परिणाम है जो बेसलाइन थ्योरी के लिए आवश्यक डेलोकलाइजेशन धारणाओं का उल्लंघन करते हैं।

5. सीमाएं और खुले प्रश्न (Limitations and Open Problems)

लेखक स्पष्ट रूप से कई सीमाओं को नोट करते हैं:

एकल-परत सिद्धांत (Single-Layer Theory): $\pi/(\pi-2)$ स्थिरांक एक दो-परत वाले खिलौना मॉडल (toy model) के लिए व्युत्पन्न किया गया है; पूर्ण ट्रांसफॉर्मर स्टैक के व्यवहार को पूरी तरह से कैप्चर नहीं किया गया है।
गॉसियन धारणा (Gaussian Assumption): वास्तविक प्रशिक्षित वेट्स i.i.d. गॉसियन नहीं होते हैं, जिससे $2/\pi$ सीमा में विचलन होता है।
एक्टिवेशन फंक्शन्स: क्लोज्ड-फॉर्म परिणाम ReLU की हाफ-स्पेस संरचना पर निर्भर करते हैं। आधुनिक LLMs में उपयोग किए जाने वाले गेटेड एक्टिवेशन (SwiGLU/GeGLU) तक विस्तार अभी भी खुला है, हालांकि प्रयोग गुणात्मक रूप से समान व्यवहार का सुझाव देते हैं।
मल्टी-लेयर प्रोपेगेशन: रेसिडुअल स्ट्रीम में रेडियल फ्रैक्शन $R$ कैसे विकसित होता है, इसका सटीक नियम एक खुला प्रश्न है।
एनर्जी-टू-लॉस मैपिंग: नॉन-लीनियर शासन के लिए परटर्बेशन एनर्जी से Perplexity/NLL का एक कठोर मानचित्रण अभी भी आंशिक रूप से अनसुलझा है, हालांकि शोध पत्र मजबूत अनुभवजन्य सहसंबंध प्रदान करता है।

संक्षेप में, शोध पत्र यह तर्क देता है कि प्री-नॉर्म मॉडल्स में टर्नरी क्वांटाइजेशन की सफलता, ReLU-एक्टिवेटेड स्पेस में साइन-संरक्षण परटर्बेशन के साथ RMSNorm फिल्टर के परस्पर क्रिया की एक ज्यामितीय अनिवार्यता है, जबकि साइन फ्लिप के प्रति इन मॉडल्स की अत्यधिक नाजुकता, आर्किटेक्चरल गहराई के बजाय भारी-पूंछ वाले आउटलियर फीचर्स द्वारा संचालित होती है।