🤖 machine learning

Phasor Attention: Mean Root Square Normalization for Phase Manifold Preservation

यह शोध पत्र मीन रूट स्क्वायर नॉर्मलाइजेशन (MRSNorm) को प्रस्तुत करता है, जो एक नवीन नॉर्मलाइजेशन तकनीक है जो पारंपरिक स्केलिंग प्रतिमान को उलटने के लिए चैनलों को 2D फेज़र्स (phasors) में युग्मित करती है, जिससे पैरामीटर्स को आधा करने के साथ-साथ ज्यामितीय बाधाएं लागू होती हैं जो ग्रेडिएंट होमोजेनिटी (gradient homogeneity) सुनिश्चित करती हैं और संख्यात्मक अस्थिरता को रोकती हैं।

मूल लेखक: Sungwoo Goo, Hwi-yeol Yun, Sangkeun Jung

प्रकाशित 2026-07-21

📖 10 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sungwoo Goo, Hwi-yeol Yun, Sangkeun Jung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अति-बुद्धिमान रोबोट को पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि किसी फोटो में बिल्ली को पहचानना या किसी वाक्य को पूरा करना। इसे करने के लिए, रोबोट गणित की परतों से बने एक विशाल डिजिटल मस्तिष्क का उपयोग करता है। लेकिन यहाँ एक समस्या है: जैसे-जैसे रोबोट गहरा और अधिक स्मार्ट होता जाता है, उसकी आंतरिक गणनाएँ थोड़ी पागल हो सकती हैं। कभी-कभी, एक छोटा सा नंबर बहुत बड़ा हो जाता है, जिससे पूरी गणना एक तंत्रिका तंत्र में शुगर रश (sugar rush) की तरह फट पड़ती है। अन्य समय में, रोबोट उस एक बड़े नंबर पर इतना केंद्रित हो जाता है कि वह अन्य सभी, शांत नंबरों को सुनने की बात भूल जाता है, जिससे वे ध्यान के लिए "भूखे" रह जाते हैं। यह एक कक्षा की तरह है जहाँ एक शोर मचाने वाला छात्र इतना चिल्लाता है कि शिक्षक किसी और को सुन नहीं पाता, या ब्लैकबोर्ड फट जाता है क्योंकि किसी ने उस स्थान के लिए बहुत बड़ा नंबर लिख दिया है।

इसे ठीक करने के लिए, वैज्ञानिक "नियमों" का उपयोग करते हैं जिन्हें नॉर्मलाइजेशन लेयर्स (normalization layers) कहा जाता है। इसे एक शिक्षक के कोमल हाथ के रूप में सोचें, जो संख्याओं को लगातार सुचारू बनाकर उन्हें एक स्वस्थ, प्रबंधनीय सीमा में रखता है। कुछ समय के लिए, सबसे लोकप्रिय नियम RMSNorm था। यह तेज़ और कुशल था, लेकिन इसमें एक गुप्त कमजोरी थी: यह औसत निकालने के लिए संख्याओं को वर्ग (square) करने यानी उन्हें खुद से गुणा करने पर निर्भर था। डिजिटल दुनिया में, एक संख्या जो पहले से ही थोड़ी बड़ी है, उसे वर्ग करने से वह तुरंत विशाल हो जाती है। इससे रोबोट का मस्तिष्क क्रैश हो सकता है या सीखना बंद कर सकता है, खासकर जब रोबोट बहुत तेज़ी से या बहुत छोटे समूहों के साथ सीखने की कोशिश कर रहा हो।

यह शोध पत्र एक नया, चतुर नियम पेश करता है जिसे MRSNorm (मीन रूट स्क्वायर नॉर्मलाइजेशन) कहा जाता है। संख्याओं को वर्ग करने और उम्मीद करने के बजाय, MRSNorm संचालन के क्रम को बदल देता है। यह संख्याओं को नृत्य करने वाले साथियों की तरह जोड़ता है, उन्हें एक एकल इकाई के रूपun रूप में मानता है, और उन्हें इस तरह से औसत निकालता है जो पूरे सिस्टम को संतुलित रखता है। शोधकर्ताओं ने पाया कि ऐसा करने से, वे न केवल रोबोट के मस्तिष्क को फटने से रोक सकते थे, बल्कि उन "नॉब्स" (knobs) की संख्या को भी आधा कर सकते थे जिन्हें रोबोट को ट्यून करने की आवश्यकता होती है, जिससे यह तेज़ और अधिक स्थिर हो जाता है। उन्होंने एक मानक इमेज-रिकग्निशन मॉडल पर इसका परीक्षण किया और पाया कि जबकि अन्य तरीके सीखने की गति बढ़ाने पर क्रैश हो गए, MRSNorm सुचारू रूप से नाचता रहा, जो यह साबित करता है कि कभी-कभी वॉल्यूम बढ़ाने के बजाय ताल बदलना बेहतर होता है।

फेज़र्स का नृत्य (The Dance of the Phasors)

यह समझने के लिए कि MRSNorm कैसे काम करता है, नर्तकों के एक समूह की कल्पना करें। पुराने तरीके (RMSNorm) में, प्रत्येक नर्तक को एक अलग व्यक्ति माना जाता था। यदि एक नर्तक बहुत तेज़ी से घूमने लगता (एक "मैग्निट्यूड आउटलायर"), तो शिक्षक प्रत्येक की गति को वर्ग करके औसत गति की गणना करता। वह एक तेज़ नर्तक औसत गति को आसमान छूने पर मजबूर कर देता, जिससे शिक्षक घबरा जाता और सभी के लिए संगीत रोक देता। अन्य नर्तक, जो सामान्य रूप से घूम रहे थे, उन्हें अनदेखा कर दिया जाता क्योंकि शिक्षक उस अराजकता से निपटने में बहुत व्यस्त था।

MRSNorm कोरियोग्राफी को पूरी तरह से बदल देता है। नर्तकों को व्यक्तियों के रूप में देखने के बजाय, यह उन्हें 2D फेज़र्स (phasors) में जोड़ता है। इसे ऐसे सोचें जैसे आपने दो नर्तकों को एक रस्सी से बांध दिया है, ताकि वे एक एकल इकाई के रूप में चल सकें। अब, यह देखने के बजाय कि प्रत्येक व्यक्ति कितनी तेज़ी से घूम रहा है, शिक्षक जोड़े की गति के "आकार" को देखता है।

यहाँ जादू का मंत्र है: MRSNorm पहले प्रत्येक जोड़े का "आकार" (Root Square) निकालता है, और फिर उन आकारों का औसत (Mean) लेता है। यह पुराने तरीके के विपरीत है, जो पहले वर्गों का औसत निकालता था। ऐसा करके, MRSNorm एक "फेज़र मैनिफोल्ड" (phasor manifold) बनाता है। एक विशेष डांस फ्लोर की कल्पना करें जहाँ नर्तकों को किनारे से बाहर भागने से सख्ती से मना किया गया है। वे चाहे कितनी भी तेज़ी से घूमने की कोशिश करें, डांस फ्लोर के नियम (गणित) यह सुनिश्चित करते हैं कि वे एक सुरक्षित, गोलाकार सीमा के भीतर रहें। यह किसी भी अकेले नर्तक को इतना तेज़ होने से रोकता है कि वह बाकी ऑर्केस्ट्रा को दबा दे।

गुप्त शक्ति: ग्रेडिएंट होमोजेनिटी (Gradient Homogeneity)

शोध पत्र सुझाव देता है कि इस नए डांस फ्लोर में एक छिपी हुई शक्ति है जिसे ग्रेडिएंट होमोजेनिटी कहा जाता है। रोबोट लर्निंग की दुनिया में, "ग्रेडिएंट्स" वे संकेत हैं जो रोबोट को सुधार करने के बारे में बताते हैं। यदि संकेत बहुत कमजोर है, तो रोबोट सीख नहीं पाता (ग्रेडिएंट स्टार्वेशन)। यदि यह बहुत मजबूत है, तो रोबोट पागल हो जाता है (ग्रेडिएंट एक्सप्लोजन)।

लेखक समझाते हैं कि क्योंकि MRSNorm नर्तकों को जोड़ता है और उन्हें एक इकाई के रूप में मानता है, यह स्वाभाविक रूप से एक "ट्रिगोनोमेट्रिक ग्रेडिएंट क्लिपर" बनाता है। यह कहने का एक फैंसी तरीका है कि गणित स्वयं एक सुरक्षा वाल्व की तरह कार्य करता है। क्योंकि पाइथागोरस पहचान (वह नियम जिसमें $a^2 + b^2 = c^2$ होता है) नामक एक प्रसिद्ध गणितीय नियम है, हर जोड़े के लिए सीखने के संकेत की "शक्ति" स्वतः ही समान हो जाती है। इससे कोई फर्क नहीं पड़ता कि एक नर्तक बहुत बड़ा है और दूसरा बहुत छोटा; साथ मिलकर, वे हमेशा एक पूरी तरह से संतुलित संकेत भेजते हैं। यह स्वचालित रूप से होता है, बिना रोबोट को "सावधान रहने" के लिए कहे। यह एक स्व-सुधार करने वाले कंपास की तरह है जो मौसम कितना भी तूफानी क्यों न हो, हमेशा उत्तर की ओर इशारा करता है।

अव्यवस्था को कम करना (Cutting the Clutter)

एक और आश्चर्यजनक खोज यह है कि MRSNorm अविश्वसनीय रूप से कुशल है। पुराने तरीकों में, प्रत्येक नर्तक को अपनी गति को समायोजित करने के लिए एक विशेष "वेट" या "नॉब" की आवश्यकता होती थी। हालाँकि, MRSNorm जोड़े हुए नर्तकों के बीच एक ही नॉब साझा करता है। इसका मतलब है कि रोबोट को आधे "लर्नेबल पैरामीटर्स" की आवश्यकता होती है।

शोध पत्र का तर्क है कि प्रत्येक चैनल के लिए एक अलग नॉब होना वास्तव में एक गलती थी—एक "हानिकारक अतिरेक" (harmful redundancy)। यह प्रत्येक नर्तक के जोड़े को एक अलग वॉल्यूम कंट्रोल देने जैसा था, जिससे संगीत शोर भरा और विकृत हो गया। जोड़े को एक ही नियंत्रण साझा करने के लिए मजबूर करके, MRSNorm शोर को हटा देता है और रोबोट को अनावश्यक समायोजन के बजाय डेटा के वास्तविक आकार पर ध्यान केंद्रित करने देता है।

तनाव परीक्षण: जब चीजें चरम पर हों (The Stress Test)

अपने विचार को सिद्ध करने के लिए, शोधकर्ताओं ने MRSNorm को "तनाव परीक्षणों" की एक श्रृंखला से गुज़ारा। उन्होंने एक मानक इमेज-रिकनिशन मॉडल (ResNet) लिया और इसे 100 अलग-अलग प्रकार की छवियों (CIFAR-100) को पहचानने के लिए प्रशिक्षित करने की कोशिश की। उन्होंने केवल सामान्य परिस्थितियों में इसका परीक्षण नहीं किया; उन्होंने सीखने की गति (learning rate) को बहुत बढ़ा दिया और प्रशिक्षण समूहों (batch sizes) को बहुत छोटा कर दिया। यह एक छात्र को शोर से विचलित होते हुए एक घंटे में पूरी पाठ्यपुस्तक सीखने के लिए कहने जैसा है।

इन चरम स्थितियों के तहत, पुराने तरीके (LayerNorm और RMSNorm) पूरी तरह से विफल रहे। शोधकर्ताओं ने देखा कि जब लर्निंग रेट 0.3 या 0.4 (जो मानक गति से 3 से 4 गुना अधिक है) पर सेट किया गया था, तो पुराने मॉडल "विनाशकारी अनुकूलन पतन" (catastrophic optimization collapse) का शिकार हुए। उनकी सटीकता तुरंत शून्य हो गई, और उनके मस्तिष्क के नंबर त्रुटियों (NaNs) में फट गए।

इसके विपरीत, MRSNorm ने अपनी स्थिति बनाए रखी। 0.4 के चरम लर्निंग रेट पर भी, MRSNorm एकमात्र ऐसा तरीका था जो तुरंत क्रैश नहीं हुआ। हालांकि इसे बहुत छोटे समूहों (बैच साइज 32) के साथ थोड़ा संघर्ष करना पड़ा, इसने 128 के बैच साइज के साथ सफलतापूर्वक प्रशिक्षण किया और वहां स्थिर लर्निंग ट्रेजेक्टरी बनाए रखी जहां अन्य विफल रहे। शोध पत्र नोट करता है कि इन सिमुलेशन में, MRSNorm ने उस "संख्यात्मक विस्फोट" को रोका जो आमतौर पर आउटलेयर्स के हावी होने पर होता है।

2D क्यों जादुई संख्या है?

लेखक यह भी समझाते हैं कि यह युग्मन (pairing) क्यों आवश्यक है। उनका तर्क है कि यदि आप सीखना चाहते हैं कि संकेत स्थिर और आवर्ती (periodic) हों, तो केवल एक संख्या (1D) के साथ ऐसा करना गणितीय रूप से असंभव है। यह एक सीधी रेखा के साथ एक पूर्ण वृत्त बनाने की कोशिश करने जैसा है; आप ऐसा नहीं कर सकते। एक स्थिर, दोहराव वाला पैटर्न बनाने के लिए आपको कम से कम दो आयामों (एक 2D प्लेन) की आवश्यकता है जो टूटे नहीं।

इसके अलावा, वे केवल प्रत्येक जोड़े को बिल्कुल एक ही आकार (unit-norm projection) बनाने के लिए मजबूर करने के खिलाफ चेतावनी देते हैं। वे समझाते हैं कि ऐसा करने से "रेडियल ग्रेडिएंट ब्लॉकेड" (Radial Gradient Blockade) पैदा होता है, जो नर्तकों और शिक्षक के बीच की रस्सी काटने जैसा है। यदि आप आकार को ठीक 1 करने के लिए मजबूर करते हैं, तो रोबोट सूचना के आकार के बारे में सीखने की क्षमता खो देता है, केवल उसकी दिशा को जान पाता है। MRSNorm एक वैश्विक औसत (Mean) का उपयोग करके इससे बचता है, न कि प्रत्येक जोड़े को समान बनाने के लिए मजबूर करके, जिससे रोबोट दिशा और डेटा के महत्व दोनों को सीख पाता है।

सुनने का एक नया तरीका

अंत में, शोध पत्र सुझाव देता है कि यह विधि रोबोट के सूचना पर ध्यान देने के तरीके को बदल सकती है। मानक अटेंशन मैकेनिज्म में, यदि सूचना का एक हिस्सा बहुत बड़ा हो जाता है, तो वह बाकी सब कुछ दबा देता है। MRSNorm एक "सॉफ्ट ज्योमेट्रिक कंस्ट्रेंट" के रूप में कार्य करता है जो रोबोट के ध्यान को "एनर्जी-वेटेड कोसाइन सिमिलैरिटी" (Energy-Weighted Cosine Similarity) में बदल देता है।

एक मतदान प्रणाली की कल्पना करें। पुराने तरीके में, सबसे तेज़ आवाज़ जीतती है, चाहे वह आवाज़ कितनी भी महत्वपूर्ण क्यों न हो। MRSNorm के साथ, वोट विचार की दिशा (क्या यह समझ में आता है?) और विचार की ऊर्जा (क्या यह महत्वपूर्ण है?) दोनों पर आधारित होता है। गणित दिखाता है कि यह नया तरीका इन दोनों कारकों को स्वाभाविक रूप से संतुलित करता है, जिससे रोबोट को सबसे शोर भरे और अराजक नंबरों से अभिभूत हुए बिना, डेटा के सबसे सूचनात्मक हिस्सों पर ध्यान केंद्रित करने की अनुमति मिलती है।

संक्षेप में, शोध पत्र एक मौलिक बदलाव का प्रस्ताव करता है: संख्याओं को वर्ग करने और बेहतर की उम्मीद करने के बजाय, हमें उन्हें जोड़ना चाहिए, उनके ज्यामिति का सम्मान करना चाहिए, और गणित को स्वाभाविक रूप से शांति बनाए रखने देना चाहिए। परिणाम बताते हैं कि यह दृष्टिकोण अगली पीढ़ी के डीप लर्निंग मॉडल बनाने के लिए एक अधिक स्थिर, कुशल और मजबूत तरीका प्रदान करता है।

तकनीकी सारांश: फेज़र अटेंशन: फेज मैनिफोल्ड संरक्षण के लिए मीन रूट स्क्वायर नॉर्मलाइज़ेशन

समस्या विवरण
जबकि रूट मीन स्क्वायर नॉर्मलाइज़ेशन (RMSNorm), लेयर नॉर्मलाइज़ेशन (LN) की तुलना में अपनी गणनात्मक दक्षता के कारण आधुनिक अनुक्रम मॉडल (sequence models) को गति देने के लिए एक मानक बन गया है, इसमें एक महत्वपूर्ण संरचनात्मक भेद्यता (vulnerability) है। RMSNorm स्वतंत्र स्केलर वेरिएंस ( $\sum x^2$ ) के द्विघाती संचय (quadratic accumulation) पर निर्भर करता है। मिश्रित-परिशुद्धता (mixed-precision) वातावरण या चरम अनुकूलन स्थितियों में, यह तंत्र एक एकल परिमाण आउटलायर (magnitude outlier) को अनुपातहीन रूप से विभाजक (denominator) पर हावी होने की अनुमति देता है। यह विनाशकारी संख्यात्मक विस्फोट (NaNs), कम-परिमाण वाले चैनलों के लिए ग्रेडिएंट स्टार्वेशन (gradient starvation), और एनिसोट्रोपिक फेज डिस्टॉर्शन (anisotropic phase distortion) का कारण बनता है। इसके अतिरिक्त, पारंपरिक नॉर्मलाइज़ेशन विधियाँ अक्सर अनियंत्रित स्थानिक स्केलिंग (unconstrained spatial scaling) के माध्यम से अनावश्यक स्वतंत्रता की डिग्री (degrees of freedom) पेश करती हैं, जो आवश्यक ज्यामितीय फेज जानकारी को विकृत कर सकती है।

कार्यप्रणाली: मीन रूट स्क्वायर नॉर्मलाइज़ेशन (MRSNorm)
लेखक मीन रूट स्क्वायर नॉर्मलाइज़ेशन (MRSINorm) प्रस्तावित करते हैं, जो फेज मैनिफोल्ड को संरक्षित करने के लिए पारंपरिक स्केलिंग प्रतिमान को गणितीय रूप से उलट देता है। मुख्य कार्यप्रणाली में तीन संरचनात्मक परिवर्तन शामिल हैं:

2D फेज़र पेयरिंग (2D Phasor Pairing): चैनलों को स्वतंत्र 1D स्केलर के रूप में मानने के बजाय, MRSNorm प्रत्येक आसन्न चैनल को 2D फेज़र्स ( $z_i = [x_i, y_i]^T$ ) में युग्मित करके फीचर स्पेस को पुनर्गठित करता है।
परिचालन व्युत्क्रमण (Mean of Roots): स्केलर के वैश्विक द्विघाती माध्य (global quadratic mean) की गणना करने के बजाय, MRSNorm पहले प्रत्येक 2D फेज़र के लिए स्थानीयकृत $L_2$ परिमाण (Root Square) की गणना करता है, और उसके बाद इन परिमाणों को एक वैश्विक $L_1$ औसत (Mean) के माध्यम से एकत्रित करता है। स्केलिंग फैक्टर $S_{MRS}$ को इस प्रकार परिभाषित किया गया है:
$S_{MRS} = \frac{1}{P} \sum_{i=1}^{P} \sqrt{x_i^2 + y_i^2 + \epsilon}$
जहाँ $P$ फेज़र जोड़ों की संख्या है।
कॉन्फॉर्मल इनवेरिएंस और पैरामीटर शेयरिंग: सामान्यीकृत आउटपुट को आइसोट्रोपिक वेक्टर स्केलिंग के माध्यम से प्राप्त किया जाता है जहाँ एक एकल एफ़ाइन वेट ( $\gamma_i$ ) प्रत्येक 2D फेज़र के घटकों के बीच साझा किया जाता है। यह सुनिश्चित करता है कि मूल फेज़र का फेज कोण ( $\theta_i$ ) सख्ती से संरक्षित रहता है ( $\theta(\hat{z}_i) = \theta_i$ )। प्रत्येक 2D प्लेन में वेट साझा करके, MRSNorm मानक नॉर्म्स की तुलना में कुल सीखने योग्य एफ़ाइन पैरामीटर्स की संख्या को आधा कर देता है, जिससे वह रेडंडेंसी समाप्त हो जाती है जो फेज को विकृत करती है।

प्रमुख योगदान और सैद्धांतिक अंतर्दृष्टि
पेपर विश्लेषणात्मक प्रमाण प्रदान करता है कि MRSNorm मौजूदा विधियों की तुलना में संरचनात्मक लाभ प्रदान करता है:

पाइथागोरियन पहचान के माध्यम से अंतर्निहित ग्रेडिएंट क्लिपिंग: लेखक प्रदर्शित करते हैं कि 2D फेज़र मैनिफोल्ड का ज्यामितीय प्रतिबंध एक अंतर्निहित, त्रिकोणमितीय ग्रेडिएंट क्लिपर प्रदान करता है। क्योंकि यूनिट दिशा वेक्टर $u_i$ संतुष्ट करता है $\|u_i\|_2 = \sqrt{\cos^2 \theta_i + \sin^2 \theta_i} \equiv 1$ , प्रत्येक फेज़र के लिए स्थानीय ग्रेडिएंट अपडेट का परिमाण अनन्य रूप से समान होता है। यह ग्रेडिएंट होमोजेनिटी (Gradient Homogeneity) को लागू करता है, जो दिशात्मक अनुकूलन प्रक्षेपवक्र (directional optimization trajectory) को विकृत किए बिना ग्रेडिएंट स्टार्वेशन को रोकता है।
1D आवधिकता विरोधाभास (1D Periodicity Paradox) का समाधान: पेपर तर्क देता है कि निरंतरतः अवकलनीय फलनों (continuously differentiable functions) के लिए स्थिर आवधिक ग्रेडिएंट प्रसार 1D वास्तविक विश्लेषण में संरचनात्मक रूप से असंभव है। MRSNorm इसे 2D फेज़र स्पेस में ऊपर उठकर हल करता है, जहाँ पाइथागोरियन पहचान घटकों को एक स्थिर अपडेट नॉर्म बनाए रखते हुए सुचारू, आवधिक फलनों के रूप में व्यवहार करने की अनुमति देती है।
रेडियल ग्रेडिएंट ब्लॉकेड से बचाव: इंस्टेंस-वाइज एम्प्लीट्यूड नॉर्मलाइज़ेशन (जैसे स्क्वैशिंग फंक्शन) के विपरीत, जो वेक्टर के परिमाण की दिशा में जैकोबियन को सिंगुलर बनाकर "रेडियल ग्रेडिएंट ब्लॉकेड" बनाता है, MRSNorm एन्सेम्बल-आधारित स्केलिंग (ग्लोबल $L_1$ औसत) का उपयोग करता है। यह रेडियल ग्रेडिएंट प्रवाह को अनब्लॉक और स्थिर रखता है।
लॉगिट असंतुलन का ज्यामितीय समाधान: अटेंशन मैकेनिज्म के संदर्भ में, पेपर सुझाव देता है कि MRSNorm को एकीकृत करने से मानक डॉट प्रोडक्ट एक एनर्जी-वेटेड कोसाइन सिमिलैरिटी ऑपरेटर में बदल जाता है। यह नेटवर्क को सूचनात्मक फेज़र ब्लॉक्स को परिमाण आवंटित करने और अप्रासंगिक फीचर्स को दबाने की अनुमति देता है, जो संभावित रूप से परिमाण आउटलायर्स के कारण होने वाले "सॉफ्टमैक्स कोलैप्स" को कम कर सकता है।

प्रायोगिक परिणाम
कठोर स्ट्रेस टेस्ट के तहत CIFAR-100 डेटासेट पर प्रशिक्षित ResNet आर्किटेक्चर का उपयोग करके अनुभवजन्य मूल्यांकन किया गया था, जिसमें अत्यधिक हाइपरपैरामीटर सेटिंग्स (उच्च लर्निंग रेट $lr \in \{0.1, 0.3, 0.4\}$ और छोटा बैच साइज $bs \in \{32, 64, 128\}$ ) शामिल थे।

मानक शासन (Standard Regimes): मानक लर्निंग रेट ($lr=0.1$) के तहत, MRSNorm ने LayerNorm और RMSNorm के तुलनीय या बेहतर प्रदर्शन किया, विशेष रूप से जब बैच साइज को 32 तक कम किया गया था, जहाँ RMSNorm उच्च विचरण और अस्थिरता प्रदर्शित कर रहा था।
चरम शासन (Extreme Regimes): चरम स्थितियों ( $lr \ge 0.3$ ) के तहत, मानक LayerNorm और RMSNorm ने विनाशकारी अनुकूलन पतन (optimization collapse) का अनुभव किया, जहाँ प्रशिक्षण सटीकता शून्य के पास स्थिर हो गई। इसके विपरीत, MRSNorm ने स्थिर ग्रेडिएंट प्रवाह बनाए रखा। विशेष रूप से, $lr=0.4$ पर, MRSNorm एकमात्र ऐसा तरीका था जिसने तत्काल संख्यात्मक विचलन (numerical divergence) को रोका, और बैच साइज 128 के साथ भी सफलतापूर्वक अभिसरण (convergence) प्राप्त किया।
पैरामीटर दक्षता: आधे सीखने योग्य एफ़ाइन पैरामीटर्स होने के बावजूद, MRSNorm ने प्रतिनिधित्व क्षमता (representational capacity) से समझौता नहीं किया, जो इस दावे की पुष्टि करता है कि मानक नॉर्म्स में अनियंत्रित स्थानिक स्केलिंग एक हानिकारक रेडंडेंसी है।

महत्व और दावे
लेखक MRSNorm को फेज़र-आधारित डीप रिप्रेजेंटेशन लर्निंग की ओर एक मौलिक प्रतिमान परिवर्तन के रूप में स्थापित करते हैं। पेपर का दावा है कि क्रियाओं (activations) को सख्ती से एक फेज़र मैनिफोल्ड तक सीमित करके और कॉन्फॉर्मल इनवेरिएंस को लागू करके, MRSNorm द्विघाती संचय नॉर्म्स की अंतर्निहित संख्यात्मक अस्थिरता और ग्रेडिएंट स्टार्वेशन समस्याओं को हल करता है। विधि सिद्ध करती है कि ज्यामितीय प्रतिबंध, ह्यूरिस्टिक ग्रेडिएंट क्लिपिंग के लिए एक अधिक मजबूत विकल्प के रूप में कार्य कर सकते हैं, जो उन स्थितियों में भी स्थिर अनुकूलन प्रक्षेपवक्र सुनिश्चित करते हैं जहाँ मानक नॉर्मलाइज़ेशन विफल हो जाते हैं। इसका कार्यान्वयन पेपर के परिशिष्ट (appendix) में दिया गया है।