🤖 machine learning

The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks

यह शोध पत्र सिद्ध करता है कि LayerNorm का मीन-सेंटरिंग (mean-centering), RMSNorm के गोलाकार प्रक्षेपण (spherical projection) की तुलना में बाद के वेट मैट्रिसेस (weight matrices) की बेयसियन जटिलता (लोकल लर्निंग कोएफिशिएंट) को ठीक $m/2$ से कम कर देता है, जो डेटा मैनिफोल्ड्स की एफाइन फ्लैटनेस (affine flatness) द्वारा निर्धारित एक संरचनात्मक लाभ है और जिसे सैद्धांतिक सीमाओं एवं नियंत्रित प्रयोगों दोनों के माध्यम से सत्यापित किया गया है।

मूल लेखक: Sungbae Chun

प्रकाशित 2026-03-31

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sungbae Chun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल मशीन (एक न्यूरल नेटवर्क) बना रहे हैं जो पैटर्न पहचानना सीखती है। इस मशीन में कई "नॉब्स" (पैरामीटर्स) हैं जिन्हें वह अपने व्यवहार को बदलने के लिए घुमा सकती है। इसमें जितने अधिक नॉब्स होंगे, यह उतनी ही जटिल होगी, और इसे ओवरफिटिंग (प्रशिक्षण डेटा को सीखने के बजाय उसे रट लेना) से बचाना उतना ही कठिन होगा।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या वे "प्री-प्रोसेसिंग" चरण जो हम इस मशीन में जोड़ते हैं, वास्तव में इसके प्रभावी नॉब्स की संख्या को कम कर देते हैं?

लेखक दो लोकप्रिय प्री-प्रोसेसिंग चरणों पर ध्यान केंद्रित करते हैं: LayerNorm और RMSNorm। जबकि हर कोई इन्हें एक जैसे उपकरण मानता है, यह शोध पत्र सिद्ध करता है कि वे डेटा को आकार देने के तरीके में मौलिक रूप से भिन्न हैं, और इस अंतर की एक सटीक गणितीय लागत है।

यहाँ रोजमर्रा के उपमाओं का उपयोग करके इसका विवरण दिया गया है।

1. सेटअप: "नॉब" और "डेटा"

कल्पना कीजिए कि मशीन का अगला चरण एक वेट मैट्रिक्स (Weight Matrix) है। इसे एक विशाल कंट्रोल पैनल के रूप में सोचें जिसमें $m \times d$ नॉब्स हैं।

डेटा: वह जानकारी जो इस पैनल में प्रवाहित हो रही है।
लक्ष्य: मशीन इन नॉब्स को घुमाने की कोशिश करती है ताकि वे डेटा से पूरी तरह मेल खा सकें।

"जटिलता" (जिसे लोकल लर्निंग कोएफिशिएंट या LLC कहा जाता है) अनिवार्य रूप से इस बात का माप है कि उनमें से कितने नॉब्स वास्तव में उपयोगी हैं। यदि डेटा इस तरह से सीमित है कि कुछ नॉब्स अप्रासंगिक हो जाते हैं, तो मशीन के पास खेलने के लिए प्रभावी रूप से कम नॉब्स रह जाते हैं।

2. दो पात्र: LayerNorm बनाम RMSNorm

LayerNorm: "समतल करने" वाली शक्ति

कल्पना कीजिए कि आपके पास एक 3D कमरे में बिखरे हुए कंचों (marbles) का ढेर है।

LayerNorm इन कंचों को लेता है और उन्हें एक विशिष्ट मेज (एक 2D प्लेन) पर सपाट रहने के लिए मजबूर करता है जो कमरे के केंद्र से गुजरती है।
परिणाम: क्योंकि कंचे अब एक सपाट मेज पर चिपके हुए हैं, इसलिए कंट्रोल पैनल की मेज के ऊपर या नीचे (लंबवत) किसी भी हलचल का कोई प्रभाव नहीं पड़ता। मशीन को उस ऊर्ध्वाधर दिशा को नियंत्रित करने के लिए किसी नॉब की आवश्यकता नहीं है क्योंकि डेटा वहां हिल नहीं सकता।
निष्कर्ष: मशीन हर आउटपुट डायमेंशन के लिए ठीक आधे नॉब की जटिलता खो देती है। यह एक गारंटीकृत कमी है। मेज के ऊपर के खाली स्थान की ओर इशारा करने वाले "नॉब्स" अब बेकार हैं।

RMSNorm: "गोलाकार" बनाने वाली शक्ति

अब, एक अलग मशीन की कल्पना करें जो उन्हीं कंचों को लेती है और उन्हें एक विशाल गुब्बारे (एक स्फीयर) की सतह पर रहने के लिए मजबूर करती है।

RMSNorm ऐसा ही करता है। यह कंचों को एक गोले की सतह पर रखता है।
परिणाम: भले ही कंचे एक सतह पर हों, लेकिन वह सतह हर दिशा में मुड़ी हुई (curved) है। यदि आप कंट्रोल पैनल को किसी भी दिशा में हिलाते हैं, तो भी आप गुब्बारे पर एक नई जगह तक पहुँच सकते हैं। कोई भी दिशा "अदृश्य" नहीं है।
निष्कर्ष: मशीन अपने सभी नॉब्स को बनाए रखती है। जटिलता बिल्कुल वैसी ही रहती है।

3. बड़ी खोज: "सपाटपन" की सीमा (The "Flatness" Threshold)

यह शोध पत्र एक दिलचस्प ज्यामितीय नियम सिद्ध करता है: सब कुछ "सपाटपन" के बारे में है।

यदि डेटा को एक सपाट सतह (एक प्लेन) पर मजबूर किया जाता है: तो आप जटिलता खो देते हैं। मशीन "सरल" हो जाती है क्योंकि उसके पास अन्वेषण के लिए कम दिशाएं होती हैं।
यदि डेटा को एक घुमावदार सतह (थोड़ा सा भी घुमाव) पर मजबूर किया जाता है: तो आप अपनी पूरी जटिलता बनाए रखते हैं।

उपमा:
एक अंधे व्यक्ति के बारे में सोचें जो एक छिपी हुई वस्तु को खोजने की कोशिश कर रहा है।

यदि वस्तु एक सपाट फर्श पर छिपी है, तो उसे केवल बाएं/दाएं और आगे/पीछे खोजने की आवश्यकता है। उसे ऊपर या नीचे देखने की आवश्यकता नहीं है। (कम जटिलता)।
यदि वस्तु एक घुमावदार पहाड़ी पर छिपी है, तो व्यक्ति को खोजने के लिए ऊपर, नीचे, बाएं, दाएं और तिरछा भी देखना पड़ सकता है। (पूर्ण जटिलता)।

लेखकों ने पाया कि जटिलता को उच्च बनाए रखने के लिए एक मामूली सा घुमाव भी पर्याप्त है। सिस्टम इस बात की परवाह नहीं करता कि यह कितना मुड़ा हुआ है, बस यह कि यह पूरी तरह से सपाट नहीं है।

4. "स्मगल किया गया बायस" का आश्चर्य (The "Smuggled Bias" Surprise)

शोध पत्र ने Softmax (AI द्वारा सबसे अच्छे विकल्प को चुनने के लिए उपयोग किया जाता है, जैसे शब्द चुनना) को भी देखा।

Softmax डेटा को एक विशिष्ट आकार (एक सिम्प्लेक्स) पर मजबूर करता है जहाँ संख्याएँ हमेशा 1 के योग के बराबर होती हैं।
ट्विस्ट: यदि मशीन में केवल एक लीनियर लेयर (सिर्फ एक कंट्रोल पैनल) है, तो यह आकार जटिलता को कम नहीं करता है।
पकड़: लेकिन यदि आप मशीन में एक मानक "बायस" (एक डिफॉल्ट सेटिंग) जोड़ते हैं, तो Softmax का आकार अचानक उस बायस को अनावश्यक बना देता है। यह ऐसा है जैसे डेटा के भीतर ही एक "स्मगल किया गया" बायस छिपा हुआ है जो उसी काम को करता है जो स्पष्ट बायस करता है।
परिणाम: यह अतिरेक (redundancy) के कारण मशीन जटिलता खो देती है (ठीक LayerNorm की तरह), प्रभावी रूप से उसके कुछ नॉब्स को "छिपा" देती है।

5. यह क्यों मायने रखता है?

यह केवल गणित के लिए गणित नहीं है। यह AI को प्रशिक्षित करने के बारे में हमारी सोच को बदल देता है:

LayerNorm मॉडलों को संरचनात्मक रूप से "सरल" बनाता है। डेटा को एक सपाट प्लेन पर मजबूर करके, यह प्रशिक्षण शुरू होने से पहले ही स्वतंत्रता की डिग्री (degrees of freedom) को हटा देता है। यह मॉडल को बेहतर ढंग से सामान्यीकरण (generalize) करने या तेजी से अभिसरण (converge) करने में मदद कर सकता है, लेकिन इसका मतलब यह भी है कि मॉडल के पास शोर (noise) को याद रखने की कम क्षमता होती है।
RMSNorm मॉडल को "लचीला" बनाए रखता है। यह जटिल दिशाओं को खोजने की क्षमता को छीने बिना प्रशिक्षण को स्थिर करता है।
"ग्रोकिंग" (Grokking) प्रभाव: लेखक अनुमान लगाते हैं कि चूंकि LayerNorm जटिलता को कम करता है, इसलिए यह मॉडलों को अचानक "समझने" (एक घटना जिसे ग्रोकिंग कहा जाता है) में मदद कर सकता है, क्योंकि इसमें फँसने के लिए बेकार दिशाएं कम होती हैं।

सारांश

LayerNorm एक 3D मानचित्र को 2D कागज पर समतल करने जैसा है। आप "ऊपर और नीचे" जाने की क्षमता खो देते हैं, इसलिए मानचित्र सरल हो जाता है।
RMSNorm मानचित्र को एक गेंद के चारों ओर लपेटने जैसा है। आप अभी भी हर दिशा में घूम सकते हैं, इसलिए मानचित्र जटिल बना रहता है।
नियम: यदि डेटा को सपाट होने के लिए मजबूर किया जाता है, तो AI जटिलता खो देता है। यदि यह घुमावदार है, तो यह इसे बनाए रखता है।

यह शोध पत्र हमें यह मापने के लिए एक सटीक गणितीय पैमाना देता है कि कितनी जटिलता खो गई है, यह सिद्ध करते हुए कि LayerNorm और RMSNorm के बीच का चुनाव केवल एक शैलीगत पसंद नहीं है—यह एक संरचनात्मक निर्णय है जो AI के मस्तिष्क की मौलिक ज्यामिति को बदल देता है।

यहाँ शोध पत्र "The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लेयर नॉर्मलाइजेशन (LayerNorm) और RMS नॉर्मलाइजेशन (RMSNorm) को डीप लर्निंग में व्यापक रूप से परस्पर विनिमेय (interchangeable) वास्तुशिल्प विकल्पों के रूप में माना जाता है। हालाँकि, वे अगले वेट मैट्रिसेस (weight matrices) को दिए जाने वाले डेटा मैनिफोल्ड (data manifold) पर मौलिक रूप से भिन्न ज्यामितीय बाधाएं (geometric constraints) आरोपित करते हैं।

मुख्य प्रश्न: क्या नॉर्मलाइजेशन आउटपुट की विशिष्ट ज्यामिति (जैसे, एक फ्लैट हाइपरप्लेन बनाम एक गोला/sphere) प्रशिक्षण शुरू होने से पहले न्यूरल नेटवर्क की बायेसियन जटिलता (effective parameter count) को संरचनात्मक रूप से बदल देती है?
अंतराल (The Gap): जबकि नॉर्मलाइजेशन को प्रशिक्षण स्थिरता में सहायक माना जाता है, लेकिन लोकल लर्निंग कोएफिशिएंट (LLC)—जो सिंगुलर लर्निंग थ्योरी (SLT) से लिया गया एक माप है और बायेसियन पोस्टीरियर द्वारा देखे गए प्रभावी पैरामीटरों की संख्या को दर्शाता है—पर इसके प्रभाव को अभी तक कठोरता से प्रमाणित या सैद्धांतिक रूप से व्युत्पन्न नहीं किया गया है।

2. कार्यप्रणाली (Methodology)

लेखक नॉर्मलाइजेशन के ज्यामितीय प्रभावों को अलग करने के लिए सिंगुलर लर्निंग थ्योरी (SLT) और नियंत्रित अनुभवजन्य प्रयोगों (empirical experiments) के संयोजन का उपयोग करते हैं।

सैद्धांतिक ढांचा (Theoretical Framework):
- LLC और RLCT: यह शोध पत्र लोकल लर्निंग कोएफिशिएंट ( $\lambda$ ) का उपयोग करता है, जो मॉडल की प्रभावी जटिलता को मापता है। कम $\lambda$ का अर्थ है उच्च डिजनरेसी (degeneracy/समरूपता)।
- होलोनोमिक बाधाएं (Holonomic Constraints): नॉर्मलाइजेशन को एक होलोनोमिक बाधा के रूप में मॉडल किया गया है जो डेटा को एक विशिष्ट सब-मैनिफोल्ड $M \subset \mathbb{R}^d$ तक सीमित करता है।
- सिमेट्री स्पेस (Symmetry Space): लेखक एक सिमेट्री स्पेस $S_M$ को परिभाषित करते हैं जिसमें डेटा मैनिफोल्ड के स्पैन (span) के लंबवत (orthogonal) वेट मैट्रिक्स दिशाएं शामिल हैं। $S_M$ में मौजूद दिशाएं लॉस फंक्शन के लिए "अदृश्य" होती हैं, जिससे निरंतर सिमेट्री (continuous symmetries) उत्पन्न होती हैं जो LLC को कम करती हैं।
- मुख्य मीट्रिक: LLC में कमी ( $\Delta \lambda$ ) को $\Delta \lambda = \frac{m(d - d_s)}{2}$ के रूप में व्युत्पन्न किया गया है, जहाँ $m$ आउटपुट डायमेंशन है, $d$ इनपुट डायमेंशन है, और $d_s$ डेटा मैनिफोल्ड के लीनियर स्पैन का डायमेंशन है।
प्रायोगिक सेटअप (Experimental Setup):
- आर्किटेक्चर: न्यूनतम सिंगल-लेयर टीचर-स्टूडेंट सेटअप ( $W \in \mathbb{R}^{m \times d}$ ) जिसमें मीन स्क्वेर्ड एरर (MSE) लॉस का उपयोग किया गया है। यह मल्टी-लेयर स्केलिंग सिमेट्री ($GL(r)$) जैसे भ्रमित करने वाले कारकों को समाप्त करता है।
- अनुमान (Estimation): LLC का अनुमान लगाने के लिए wrLLC फ्रेमवर्क का उपयोग स्टोकेस्टिक ग्रेडिएंट लेंजियन डायनेमिक्स (SGLD) के माध्यम से किया जाता है।
- चर (Variables): प्रयोगों में $m$ (आउटपुट डायमेंशन), $d$ (इनपुट डायमेंशन), और मैनिफोल्ड ज्यामिति (फ्लैट हाइपरप्लेन, पैराबोलाइड, हाइपरबोलाइड, सैडल, और सिम्प्लेक्स) को बदला गया है।

3. मुख्य योगदान (Key Contributions)

A. LLC कमी के लिए ज्यामितीय थ्रेशोल्ड (The Geometric Threshold for LLC Reduction)

यह शोध पत्र सिद्ध करता है कि LLC में कमी इस बात से निर्धारित होती है कि डेटा मैनिफोल्ड एफाइनली फ्लैट (affinely flat) है या नहीं।

थ्योरम 1: एक लीनियर लेयर $W$ के लिए जो $d_s$ लीनियर स्पैन डायमेंशन वाले डेटा पर कार्य करता है, LLC कमी ठीक $\Delta \lambda = \frac{m(d - d_s)}{2}$ है।
बाइनरी थ्रेशोल्ड (Binary Threshold): यह गिरावट बाइनरी है।
- एफाइनली फ्लैट (Affinely Flat): यदि मैनिफोल्ड एक लीनियर हाइपरप्लेन है (जैसे, $1^\top x = 0$ ), तो $d_s = d-1$ , जिसके परिणामस्वरूप $\Delta \lambda = m/2$ की कमी होती है।
- कर्वेड (Curved): यदि मैनिफोल्ड में कोई भी गैर-शून्य वक्रता (curvature) है (चाहे वह धनात्मक हो या ऋणात्मक), तो यह पूर्ण एम्बिएंट स्पेस को स्पैन करता है ( $d_s = d$ ), जिसके परिणामस्वरूप कोई LLC कमी नहीं होती ( $\Delta \lambda = 0$ )।

B. नॉर्मलाइजेशन लेयर्स के लिए विशिष्ट सीमाएं (Specific Bounds for Normalization Layers)

लेयर नॉर्म (LayerNorm): यह जीरो मीन ( $1^\top x = 0$ $1^{⊤} x = 0$ ) लागू करता है। यह डेटा को एक लीनियर हाइपरप्लेन पर प्रोजेक्ट करता है।
- परिणाम: यह अगले वेट मैट्रिक्स के LLC को ठीक $m/2$ से कम कर देता है।
RMS नॉर्म (RMSNorm): यह मीन-सेंटरिंग के बिना यूनिट RMS लागू करता है। डेटा एक हाइपरस्फीयर (hypersphere) पर स्थित होता है।
- परिणाम: स्फीयर का लीनियर स्पैन पूर्ण ( $d_s = d$ ) है। कोई LLC कमी नहीं होती।

C. सॉफ्टमैक्स में "स्मगलड बायस" (The "Smuggled Bias" in Softmax)

लेखक सिम्प्लेक्स-बायस द्वैतता (Simplex-Bias Duality) का विश्लेषण करते हैं।

तंत्र (Mechanism): सॉफ्टमैक्स आउटपुट एक सिम्प्लेक्स ( $1^\top x = 1$ ) पर होते हैं, जो मूल बिंदु (origin) से होकर न गुजरने वाला एक एफाइन हाइपरप्लेन है।
**स्ट्रिक्टली लीनियर लेयर ($y=Wx $):** लीनियर स्पैन पूर्ण है ($ d_s=d $); कोई सिमेट्री नहीं है;$ \Delta \lambda = 0$।
**एफाइन लेयर ($y=Wx+b $):** स्पष्ट बायस$ b $उस "स्मगलड बायस" ($ b_{smuggled} = \frac{1}{d}W\mathbf{1} $) के समान हो जाता है जो सिम्प्लेक्स ज्यामिति में अंतर्निहित है। यह$ m$-डायमेंशनल सिमेट्री स्पेस बनाता है।
परिणाम: एक स्पष्ट बायस, सॉफ्टमैक्स डेटा के साथ मिलकर, $m/2$ का LLC ड्रॉप प्रेरित करता है।

D. परिमित-नमूना चरण संक्रमण (Finite-Sample Phase Transition)

जबकि बीजगणितीय सिद्धांत एक तीक्ष्ण (sharp) बाइनरी थ्रेशोल्ड की भविष्यवाणी करता है, परिमित नमूना आकार ( $N=2000$ ) के साथ प्रयोग एक सुचारू क्रॉसओवर (smooth crossover) दिखाते हैं।

अवलोकन: SGLD एस्टिमेटर केवल तभी वक्रता (curvature) को "देख" पाता है जब डेटा वितरण मैनिफोल्ड के वक्र क्षेत्र के साथ महत्वपूर्ण ओवरलैप करता है।
निहितार्थ: संकीर्ण, उच्च-आयाम वाली वक्रता को सैंपलर द्वारा मिस किया जा सकता है (जो इसे फ्लैट दिखाता है), जबकि चौड़ी, निम्न-आयाम वाली वक्रता का पता चल जाता है। प्रभावी RLCT डेटा-वक्रता ओवरलैप (data-curvature overlap) पर निर्भर करता है, न कि केवल वक्रता की उपस्थिति पर।

4. प्रायोगिक परिणाम (Experimental Results)

लेयर नॉर्म बनाम RMS नॉर्म:
- $m$ (आउटपुट डायमेंशन) को बदलते हुए प्रयोगों ने पुष्टि की कि लेयर नॉर्म LLC को $\approx m/2$ कम करता है (जैसे, $m=4$ पर, $\Delta \lambda \approx 2.0$ )।
- RMS नॉर्म ने सभी डायमेंशनों में $\Delta \lambda \approx 0$ दिखाया, जो पुष्टि करता है कि यह पूर्ण पैरामीटर काउंट को बनाए रखता है।
- इनपुट डायमेंशन $d$ को बदलने पर दिखा कि यह गिरावट $d$ से स्वतंत्र है, और केवल खोए हुए डायमेंशन ( $d-d_s$ ) पर निर्भर करती है।
वक्रता थ्रेशोल्ड (Curvature Threshold):
- फ्लैट हाइपरप्लेन: $\Delta \lambda \approx 2.0$ (सिद्धांत से मेल खाता है)।
- कर्वेड मैनिफोल्ड्स (पैराबोलाइड, हाइपरबोलाइड, सैडल): $\Delta \lambda \approx 0$ । वक्रता का चिह्न (धनात्मक/ऋणात्मक) अप्रासंगिक था; केवल वक्रता की उपस्थिति मायने रखती थी।
सॉफ्टमैक्स डिजनरेसी (Softmax Degeneracy):
- लीनियर लेयर: $\Delta \lambda \approx 0$ ।
- एफाइन लेयर: $\Delta \lambda \approx 2.26$ (सैद्धांतिक $m/2 = 2.0$ के करीब), जो "स्मगलड बायस" परिकल्पना की पुष्टि करता है।

5. महत्व और निहितार्थ (Significance and Implications)

संरचनात्मक जटिलता में कमी: यह शोध पत्र स्थापित करता है कि लेयर नॉर्म केवल एक स्टेबलाइज़र नहीं है, बल्कि एक स्ट्रक्चरल रिड्यूसर (structural reducer) भी है। यह प्रशिक्षण शुरू होने से पहले ही प्रति लेयर $m/2$ डिग्री ऑफ फ्रीडम को प्रभावी रूप से हटा देता है। RMS नॉर्म इस "लागत" से बचता है, जिससे वेट मैट्रिक्स की पूर्ण अभिव्यक्ति (expressivity) बनी रहती है।
अटेंशन सिंक्स (Attention Sinks): लेखक परिकल्पना करते हैं कि लेयर नॉर्म द्वारा डिग्री ऑफ फ्रीडम में कमी, वेट मैट्रिसेस (जैसे ट्रांसफॉर्मर में $W_V$ ) को लो-रैंक समाधानों की ओर संरचनात्मक रूप से बायस कर सकती है, जो संभावित रूप से "अटेंशन सिंक" घटना की व्याख्या करती है। हालांकि, इस विशिष्ट संदर्भ में इसका अनुभवजन्य सत्यापन अनिर्णायक रहा।
ग्रोकिंग डायनेमिक्स (Grokking Dynamics): डिग्री ऑफ फ्रीडम में कमी लेयर नॉर्म द्वारा 'ग्रोकिंग' ट्रांजिशन (अचानक सामान्यीकरण) को सुगम बना सकती है, क्योंकि यह उन पैरामीटर्स को हटा देता है जो मेमोराइजेशन (याद रखने) से जुड़े होते हैं, जिससे सामान्यीकरण करने वाले सर्किट अधिक सुलभ हो जाते हैं।
सैद्धांतिक कठोरता: यह कार्य नॉर्मलाइजेशन के बायेसियन जटिलता पर प्रभाव का पहला सटीक बीजगणितीय व्युत्पन्न प्रदान करता है, जो अनुमानित अवलोकनों से आगे बढ़कर सटीक ज्यामितीय सीमाओं तक पहुँचता है।

निष्कर्ष (Conclusion)

यह शोध पत्र प्रदर्शित करता है कि लेयर नॉर्म और RMS नॉर्म के बीच का चुनाव बायेसियन जटिलता के लिए एक सटीक, मापने योग्य परिणाम रखता है। लेयर नॉर्म, आउटपुट मैनिफोल्ड की एफाइन फ्लैटनेस के कारण, प्रति लेयर $m/2$ के रूप में प्रभावी पैरामीटर काउंट को कम करता है, जबकि RMS नॉर्म, स्फेरिकल कर्वेचर के कारण, पूर्ण पैरामीटर काउंट को बनाए रखता है। यह ज्यामितीय लागत संरचनात्मक रूप से गारंटीकृत है और प्रशिक्षण डायनेमिक्स से स्वतंत्र है, जो मॉडल क्षमता और सामान्यीकरण को समझने के लिए एक नया दृष्टिकोण प्रदान करती है।