🤖 machine learning

Dead-Direction Conditioners: Gauge-Equivariant Preconditioning for Deep Networks

यह शोध पत्र डेड-डायरेक्शन कंडीशनर्स (DDC) को प्रस्तुत करता है, जो एक गेज-इक्विवेरिएंट प्रीकंडीशनिंग फ्रेमवर्क है जो ऑप्टिमाइज़र प्रक्षेप पथों (trajectories) को डीप नेटवर्क पैरामीटर स्पेस के सिमेट्री कोशेंट (symmetry quotient) के साथ संरेखित करता है, जिससे अनुकूलन बहाव (optimization drift) को रोका जा सके, सामान्यीकरण (generalization) में सुधार किया जा सके और AdamW एवं Muon जैसे मानक तरीकों की तुलना में गहरे मिनिमा की खोज को सक्षम बनाया जा सके।

मूल लेखक: Tejas Pradeep Shirodkar

प्रकाशित 2026-06-30

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tejas Pradeep Shirodkar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Dead-Direction Conditioners: Gauge-Equivariant Preconditioning for Deep Networks" पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी तस्वीर: "फ्लैट वैली" (सपाट घाटी) की समस्या

कल्पना कीजिए कि आप एक विशाल, धुंधले परिदृश्य में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (यह AI मॉडल है जो सीखने की कोशिश कर रहा है)। आमतौर पर, आप बस ढलान की ओर नीचे चलते हैं। लेकिन डीप लर्निंग में, परिदृश्य में एक अजीब सा चाल होता है: इसमें अदृश्य, सपाट सुरंगें (flat tunnels) होती हैं जो इसके बीच से गुजरती हैं।

इन सुरंगों को सिमेट्री (Symmetries) कहा जाता है।

लॉगिट शिफ्ट (The Logit Shift): कल्पना कीजिए कि आपके पास वजन मापने वाला एक तराजू है। यदि आप तराजू के "जीरो पॉइंट" में 5 पाउंड जोड़ देते हैं और रीडिंग से 5 पाउंड घटा देते हैं, तो वस्तु का वास्तविक वजन नहीं बदलता है। गणित समान रूप से काम करता है, लेकिन नंबर अलग दिखते हैं।
रीस्केलिंग (The Rescaling): कल्पना कीजिए कि गियर की एक जोड़ी है। यदि आप पहले गियर को दोगुना बड़ा और दूसरे गियर को आधा छोटा कर देते हैं, तो भी वे एक साथ पूरी तरह से घूमते हैं। मशीन समान रूप से काम करती है, लेकिन हिस्से अलग आकार के होते हैं।
रोटेशन (The Rotation): कल्पना कीजिए कि एक घूमता हुआ टॉप (spinning top) है। यदि आप टॉप को घुमाते हैं, तो वह अभी भी वही घूमता हुआ टॉप रहता है।

इन "सुरंगों" में, AI का प्रदर्शन (loss) बिल्कुल नहीं बदलता है। यह एक सपाट फर्श (flat floor) है।

समस्या: भटकने वाला हाइकर (Adam)

AI को प्रशिक्षित करने का सबसे लोकप्रिय तरीका, जिसे Adam कहा जाता है, एक हाइकर (पहाड़ी चढ़ने वाले) की तरह है जो घाटी के सबसे निचले बिंदु को खोजने की कोशिश कर रहा है।

समस्या: क्योंकि सुरंग सपाट है, Adam भ्रमित हो जाता है। उसे लगता है कि वह प्रगति कर रहा है, जबकि वास्तव में वह केवल सपाट सुरंग के साथ तिरछा (sideways) चल रहा है।
भटकाव (The Drift): सीधे घाटी के असली तल की ओर चलने के बजाय, Adam सुरंग के साथ बिना किसी दिशा के भटकता रहता है। वह "शोर" (noise) जमा करता है और सिमेट्री में खो जाता है।
परिणाम: क्योंकि वह भटक रहा है, वह घाटी के असली आकार को देख नहीं पाता। वह एक ऐसे "अव्यवस्थित" स्थान पर पहुँच जाता है जो न्यूनतम (minimum) जैसा दिखता है, लेकिन वह सबसे अच्छा नहीं होता। यह यह मापने के लिए भी असंभव बना देता है कि समाधान कितना "सिंगुलर" या जटिल है, क्योंकि रास्ता बहुत धुंधला है।

समाधान: DDC गाइड (Dead-Direction Conditioner)

लेखकों ने एक नया टूल बनाया है जिसे DDC (Dead-Direction Conditioner) कहा जाता है। DDC को हाइकर के लिए एक विशेष GPS और हार्नेस सिस्टम के रूप में समझें।

हार्नेस (The Split): DDC हाइकर की गति को देखता है और उसे दो भागों में विभाजित करता है:
- "उपयोगी" कदम (The "Useful" Step): घाटी में नीचे जाना (एक बेहतर उत्तर की ओर)।
- "डेड" कदम (The "Dead" Step): सपाट सुरंग के साथ तिरछा चलना (जिससे कुछ भी नहीं बदलता)।
हार्नेस लॉक (The Harness Lock): DDC हाइकर की गति को लॉक कर देता है ताकि वे तिरछा न भटक सकें। यह उन्हें घाटी के फर्श की ओर एक सीधे, ऊर्ध्वाधर (vertical) पथ पर रहने के लिए मजबूर करता है।
परिणाम: हाइकर सीधे तल की ओर चलता है। क्योंकि रास्ता साफ और सीधा है, हाइकर अब घाटी के फर्श के आकार को स्पष्ट रूप से देख सकता है। वे ठीक से माप सकते हैं कि गड्ढा कितना गहरा है और समाधान कितना जटिल है।

चार प्रकार की सुरंगें जिन्हें DDC संभालता है

पेपर आधुनिक AI मॉडल में "सपाट सुरंगों" के चार विशिष्ट प्रकारों की पहचान करता है और दिखाता है कि DDC उन्हें कैसे लॉक करता है:

लॉगिट शिफ्ट (The Logit Shift - स्केल ऑफसेट): तराजू के जीरो पॉइंट को एडजस्ट करने जैसा। DDC यह सुनिश्चित करता है कि AI केवल "जीरो पॉइंट" बदलकर न भटक जाए।
रीस्केलिंग (The Rescaling - गियर रेश्यो): बड़े/छोटे गियर के जोड़े जैसा। DDC यह सुनिश्चित करता है कि AI परतों के बीच आकार बदलकर न भटक जाए।
लेयरनॉर्म स्केल (The LayerNorm Scale - वॉल्यूम नॉब): एक स्पीकर पर वॉल्यूम नॉब को ऊपर करने और दूसरे पर नीचे करने जैसा ताकि कुल ध्वनि समान रहे। DDC इस संतुलन को लॉक करता है।
रोटेशन (The Rotation - घूमता हुआ टॉप): यह सबसे कठिन है। यह एक 3D वस्तु को घुमाने जैसा है। मानक AI उपकरण भ्रमित हो जाते हैं क्योंकि वस्तु को घुमाने से नंबर जटिल तरीके से बदल जाते हैं। DDC रोटेशन को लॉक रखने के लिए एक विशेष "बॉडी-फ्रेम" मैप का उपयोग करता है, जिससे यह सुनिश्चित होता है कि AI बेकार में न घूमे।

जब आप DDC का उपयोग करते हैं तो क्या होता है?

पेपर ने वास्तविक AI मॉडल (भाषा मॉडल और विजन मॉडल) पर इसका परीक्षण किया और तीन प्रमुख लाभ पाए:

1. यह "ओवर-ट्रेनिंग कोलैप्स" को रोकता है

DDC के बिना: कल्पना कीजिए कि एक छात्र इतनी मेहनत से पढ़ता है कि वह परीक्षा के उत्तर रट लेता है लेकिन सोचना भूल जाता है। जब उसे एक नया टेस्ट दिया जाता है, तो वह बुरी तरह विफल हो जाता है। यह "ओवर-ट्रेनिंग कोलैप्स" है।
DDC के साथ: छात्र संख्याओं को रटने के बजाय अवधारणाओं (concepts) को सीखता है। लंबे समय तक अध्ययन करने के बाद भी, वह तेज रहता है और टेस्ट कठिन होने पर क्रैश नहीं होता।

2. यह एक "साफ" न्यूनतम (Minimum) पाता है

DDC के बिना: AI घाटी में एक अव्यवस्थित, बिखरे हुए स्थान पर बस जाता है।
DDC के साथ: AI एक ऐसा स्थान पाता है जो गणितीय रूप से "साफ" और कम डिजेनरेट (degenerate) है। यह एक व्यवस्थित कमरे के बजाय एक अस्त-व्यस्त अटारी खोजने जैसा है। यह AI को अधिक विश्वसनीय और मजबूत बनाता है।

3. यह "ग्रोकिंग" (Grokking) को संभव बनाता है

ग्रोकिंग एक ऐसी घटना है जहाँ एक AI लंबे समय तक विफल होने के बाद अचानक "समझ" जाता है।
DDC के बिना: AI अक्सर कभी ग्रो नहीं कर पाता, या यह केवल कुछ रैंडम प्रयासों में ही होता है।
DDC के साथ: AI विश्वसनीय रूप से ग्रो करता है। एक प्रयोग में, एक मानक AI एक गणितीय पहेली को 11 में से 11 बार हल करने में विफल रहा। DDC वाला संस्करण इसे 11 में से 10 बार हल करता है। इसने "अहा!" (aha!) मोमेंट को बहुत अधिक सुसंगत बना दिया।

निचोड़ (The Bottom Line)

डीप लर्निंग मॉडल में छिपी हुई सिमेट्री (सपाट सुरंगें) होती हैं जो मानक प्रशिक्षण उपकरणों को भ्रमित करती हैं। DDC एक नए तरीके के रूप में कार्य करता है, जो एक गाइड की तरह काम करता है, जो प्रशिक्षण प्रक्रिया को बेकार पार्श्व (sideways) गतिविधियों को अनदेखा करने और पूरी तरह से उपयोगी नीचे की ओर की गति पर ध्यान केंद्रित करने के लिए मजबूर करता है।

ऐसा करके, यह न केवल AI को तेजी से सीखने में मदद करता है; यह AI को बेहतर, अधिक स्थिर समाधान खोजने में मदद करता है और शोधकर्ताओं को सीखने की प्रक्रिया की ज्यामिति (geometry) को वास्तव में मापने की अनुमति देता है, जो पहले असंभव था क्योंकि रास्ता बहुत धुंधला था।

तकनीकी सारांश: डेड-डायरेक्शन कंडिशनर्स (DDC)

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क के लॉस (loss) उनके पैरामीटर स्पेस में निरंतर समरूपता (continuous symmetries या gauge symmetries) प्रदर्शित करते हैं। इनमें लॉजिट शिफ्ट्स (logit shifts), ReLU/SwiGLU रीस्केलिंग्स (rescalings), लेयरनॉर्म स्केल इनवेरिएंस (LayerNorm scale invariances), और अटेंशन हेड रोटेशन (attention head rotations) शामिल हैं। इन सिमेट्रियों के ऑर्बिट्स (orbits) के अनुदिश, लॉस लैंडस्केप फ्लैट (dead directions) होता है, जिसका अर्थ है कि फिशर इंफॉर्मेशन मेट्रिक (Fisher information metric) शून्य हो जाता है।

स्टैंडर्ड एडेप्टिव ऑप्टिमाइजर्स जैसे Adam इन सिमेट्रियों का सम्मान करने में विफल रहते हैं। Adam का प्रति-कोऑर्डिनेट प्रीकंडिशनरनेचर ( $1/\sqrt{\hat{v}}$ ) केवल कोऑर्डिनेट परम्यूटेशन के तहत ही इक्विवेरिएंट (equivariant) है। जब आर्किटेक्चरल ग्रुप्स कोऑर्डिनेट्स को मिक्स करते हैं (जैसे कि एक जोड़ी वेट्स को विपरीत रूप से स्केल करना या एक वेक्टर स्पेस को रोटेट करना), तो Adam का अपडेट गेज ऑर्बिट (gauge orbit) में "लीक" हो जाता है। यह लीकेज दो प्राथमिक समस्याएं पैदा करता है:

ड्रिफ्ट (Drift): ऑप्टिमाइजर का प्रक्षेपवक्र (trajectory) फिक्स्ड सेक्शन के बजाय फ्लैट ऑर्बिट के साथ ड्रिफ्ट करता है, जिससे वह सिमेट्री क्वोटिएंट $\bar{\Theta} = \Theta/G$ के एक अलग मिनिमम तक पहुँच जाता है।
ब्लर्ड रेट रीडेबिलिटी (Blurred Rate Readability): सैद्धांतिक परिणाम (Shirodkar, 2026) स्थापित करते हैं कि सिंगुलर लर्निंग रेट (सबसे छोटे फिशर आइजनवैल्यू का क्षय) केवल तभी प्रक्षेपवक्र से पढ़ा जा सकता है जब ऑप्टिमाइजर क्वोटिएंट पर स्पष्ट रूप से नीचे उतरे। Adam का लीकेज शोर और बायस पेश करता है, जिससे यह दर धुंधली हो जाती है और मिनिमम की ज्योमेट्री अपठनीय हो जाती है।

2. कार्यप्रणाली: डेड-डायरेक्शन कंडिशनर्स (DDC)

यह पेपर DDC पेश करता है, जो एक बेस ऑप्टिमाइज़र (जैसे Adam या Muon) को एक $G$ -इक्विवेरिएंट (G-equivariant) में ऊपर उठाने (lift) वाला एक प्रीकंडिशनिंग फ्रेमवर्क है। मुख्य तंत्र एक $G$ -इनवेरिएंट रिमानियन मेट्रिक $\rho$ का उपयोग करके पैरामीटर स्पेस और ग्रेडिएंट अपडेट को वर्टिकल (ऑर्बिट-टैंजेंट) और हॉरिजॉन्टल (क्वोटिएंट) घटकों में विभाजित करना है।

अपडेट नियम (The Update Rule)

एक ग्रेडिएंट $g_t$ के लिए, DDC इसे $g_t = \Pi_V g_t + \Pi_H g_t$ में विभाजित करता है। यह अलग-अलग सेकंड-मोमेंट एस्टिमेटर्स बनाए रखता है:

वर्टिकल कंपोनेंट ( $\hat{v}_V$ ): वर्टिकल ग्रेडिएंट को प्रति ऑर्बिट डायमेंशन के लिए एक सिंगल स्केलर में कोलैप्स किया जाता है (उदाहरण के लिए, CE शिफ्ट्स के लिए रो-मीन के माध्यम से)। इस स्केलर का उपयोग वर्टिकल अपडेट को नॉर्मलाइज़ करने के लिए किया जाता है, जो प्रभावी रूप से पूरे ऑर्बिट डायमेंशन को एक एकल इकाई के रूप में मानता है।
हॉरिजॉन्टल कंपोनेंट ( $\hat{v}_H$ ): हॉरिजॉन्टल ग्रेडिएंट को प्रति-कोऑर्डिनेट प्रीकंडीशन किया जाता है लेकिन सख्ती से एक $G$ -इक्विवेरिएंट हॉरिजॉन्टल फ्रेम के भीतर। महत्वपूर्ण बात यह है कि प्रति-कोऑर्डिनेट डिवीजन के बाद, अपडेट को री-प्रोजेक्ट ( $\Pi_H$ ) किया जाता है ताकि यह सुनिश्चित हो सके कि प्रक्षेपवक्र हॉरिजॉन्टल बना रहे।

अपडेट स्टेप है:
$\theta_{t+1} = \theta_t - \eta \left[ \Pi_H \left( \frac{\Pi_H \hat{m}_t}{\sqrt{\hat{v}_H} + \epsilon} \right) + \text{lift}_V \left( \frac{\text{vert-to-scalar}(\Pi_V \hat{m}_t)}{\sqrt{\hat{v}_V} + \epsilon} \right) \right]$

हैंडल किए गए आर्किटेक्चरल गेजेस (Architectural Gauges Handled)

DDC चार आर्किटेक्चरल गेजेस के लिए विशिष्ट प्रोजेक्टर्स और रिडक्शन बनाता है:

क्रॉस-एन्ट्रॉपी शिफ्ट (Cross-Entropy Shift): लॉजिट्स (बायस या अनएम्बेडेड वेट्स) में एडिटिव शिफ्ट्स।
ReLU/SwiGLU रीस्केलिंग (ReLU/SwiGLU Rescaling): आस-पास के वेट पेयर्स ( $W_\ell, W_{\ell+1} \to cW_\ell, c^{-1}W_{\ell+1}$ ) की मल्टीप्लिकेटिव स्केलिंग।
लेयरनॉर्म/RMSNorm स्केल (LayerNorm/RMSNorm Scale): नॉर्मलाइजेशन पैरामीटर्स और डाउनस्ट्रीम वेट्स की प्रति-चैनल स्केलिंग।
अटेंशन हेड रोटेशन (Attention Head Rotation): QK और VO वेट्स के नॉन-अबेलियन $O(d_{head})$ रोटेशन।

नॉन-अबेलियन रोटेशन गेज के लिए, स्टैंडर्ड प्रति-कोऑर्डिनेट $\hat{v}$ विफल हो जाता है। DDC चार $O(d_{head})$ -जागरूक निर्माण प्रस्तावित करता है, जिसमें तैनात डिफॉल्ट body_frame_topk है। यह ग्राम मैट्रिक्स $M = W_Q^T W_Q + W_K^T W_K$ के आइजनबेसिस में प्रति-कोऑर्डिनेट एडेप्टिविटी बनाए रखता है, लेकिन केवल "लाइव" आइजनडायरेक्शन्स (वे जिनके आइजनवैल्यूज एक थ्रेशोल्ड से ऊपर हैं) पर, जबकि डेड डायरेक्शन्स को केवल मोमेंटम के साथ मानता है।

बेस ऑप्टिमाइज़र कंपोजिशन (Base Optimizer Composition)

DDCAdam: Adam पर पूर्ण DDC निर्माण लागू करता है। यह सभी चार गेजेस को सटीक रूप से (या रोटेशन गेजेस के लिए लीडिंग-ऑर्डर में) हैंडल करता है।
DDCMuon: Muon ऑप्टिमाइज़र (जो अपडेट्स को ऑर्थोगोनलाइज करता है) पर DDC लागू करता है। Muon का ऑर्थोगोनलाइजेशन रोटेशन गेजेस के साथ सटीक रूप से कम्यूट करता है, जिससे DDCMuon रोटेशन के लिए सटीक बनता है। हालांकि, Muon का ऑर्थोगोनलाइजेशन प्रति-चैनल स्केल फ्रीडम को हटा देता है, जिसका अर्थ है कि DDCMuon रीस्केलिंग गेजेस (ReLU/LN स्केल) को कंडीशन नहीं कर सकता है और उन घटकों के लिए Adam पर डिफॉल्ट करता है।

3. प्रमुख योगदान (Key Contributions)

इक्विवेरिएंट प्रीकंडिशनिंग (Equivariant Preconditioning): एक सामान्य निर्माण जो एडेप्टिव ऑप्टिमाइजर्स को निरंतर आर्किटेक्चरल सिमेट्रियों का सम्मान करने के लिए ऊपर उठाता है, यह सुनिश्चित करता है कि प्रक्षेपवक्र सिमेट्री क्वोटिएंट $\bar{\Theta}$ पर एक प्रीकंडीशन्ड ग्रेडिएंट फ्लो बना रहे।
रेट रीडेबिलिटी (Rate Readability): सैद्धांतिक प्रमाण (थ्योरम 1) कि DDC "ट्रैजेक्टरी-रेट रीडेबिलिटी" गुण को बहाल करता है। क्वोटिएंट पर, सबसे छोटा फिशर आइजनवैल्यू $\bar{t}^{2(k-1)}$ के रूप में क्षय होता है, जिससे सिंगुलर ऑर्डर $k$ को प्रक्षेपवक्य से सीधे पढ़ा जा सकता है, एक ऐसी संपत्ति जिसे मानक Adam धुंधला कर देता है।
गेज कंटेनमेंट (Gauge Containment): प्रयोगात्मक प्रदर्शन कि DDC उन गेज मोड्स के ड्रिफ्ट को रोकता है (जैसे लॉजिट शिफ्ट्स, वेट रीस्केलिंग्स) जो Adam में होता है, इन मोड्स को उनके प्रारंभिक मानों या फिक्स्ड पॉइंट्स पर बनाए रखता है।
बेहतर ऑप्टिमाइजेशन परिणाम (Improved Optimization Outcomes):
- ओवर-ट्रेनिंग रेजिस्टेंस (Over-training Resistance): उन लैंग्वेज मॉडल्स पर जो फिट होने के बिंदु के बाद प्रशिक्षित होते हैं, DDCAdam "ओवर-ट्रेनिंग कोलैप्स" का विरोध करता है जहाँ वैलिडेशन लॉस ट्रेनिंग लॉस से विचलित हो जाता है।
- ग्रोकिंग रिलायबिलिटी (Grokking Reliability): डीप ट्रांसफॉर्मर्स (डेप्थ 24) पर, DDCMuon 10/11 सीड्स पर "ग्रोकिंग" (अचानक सामान्यीकरण) सक्षम करता है जहाँ वेनिला Muon पूरी तरह से विफल (0/11) रहता है।
- कंप्रेशन (Compression): विजन ट्रांसफॉर्मर्स पर, DDCAdam AdamW की तुलना में वेट डिके के तहत स्पेयर फीड-फॉरवर्ड कैपेसिटी को अधिक आक्रामक रूप से कंप्रेस करता है, जिससे कम वैलिडेशन लॉस प्राप्त होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लैंग्वेज मॉडल्स (डेप्थ-12, ओवर-ट्रेनिंग):
- रेट रीडेबिलिटी: DDCAdam 65 लेयर-ऑब्जर्वेबल सेल्स में से 32 में सिंगुलर रेट को पढ़ता है, जबकि AdamW केवल 7 में पढ़ पाता है। AdamW में, फिशर आइजनवैल्यूज मिनिमम से दूर बढ़ते हैं; DDCAdam में, वे फ्लोर की ओर गिरते हैं।
- ओवर-ट्रेनिंग: DDCAdam 0.67 का वैलिडेशन-ट्रेन लॉस गैप बनाए रखता है, जबकि AdamW के लिए यह 5.88 है।
ग्रोकिंग ट्रांसफॉर्मर्स:
- डेप्थ-24: DDCMuon 10/11 ग्रोकिंग सीड्स पर सटीकता >0.9 प्राप्त करता है, जबकि वेनिला Muon 0/11 प्राप्त करता है।
- डेप्थ-8 (RoPE): रोटरी पोजीशन एम्बेडिंग्स ( $SO(2)^{d/2}$ ) की विशिष्ट टॉरस सिमेट्री के साथ रोटेशन गेज को मैच करने से जेनेरिक $O(d_{head})$ गेजेस (0.955) की तुलना में उच्च सटीकता (0.977) और कम वेरिएंस मिलता है।
विजन ट्रांसफॉर्मर्स (ViT):
- ImageNet-100 पर स्क्रैच से प्रशिक्षित होने पर, DDCAdam समान वेट डिके पर AdamW की तुलना में कम वैलिडेशन लॉस (1.71 बनाम 2.12 नैट्स) प्राप्त करता है और नेटवर्क को कंप्रेस करता है (एक्टिवेशन सिंगुलर वैल्यूज 4x छोटी हैं)।
गेज कंटेनमेंट (Gauge Containment):
- सिंथेटिक टास्क पर, DDCAdam AdamW की तुलना में गेज मोड्स के क्रॉस-सीड ड्रिफ्ट को ReLU रिसकेल के लिए 14x और लेयरनॉर्म स्केल के लिए 65x कम करता है, जबकि अंतिम टास्क लॉस के बराबर रहता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ऑप्टिमाइज़र में सिमेट्री बनाना मौलिक रूप से खोजे गए समाधान की ज्योमेट्री को बदल देता है। गेज सिमेट्री का सम्मान करके:

मिनिमम अधिक शार्प है: ऑप्टिमाइज़र एक कम डिजेनरेट मिनिमम (सिंगुलर फ्लोर से ऊपर उच्च फिशर आइजनवैल्यूज) में स्थिर होता है।
ज्योमेट्री मापने योग्य है: प्रक्षेपवक्य अंतर्निहित सिंगुलर लर्निंग कोएफिशिएंट का एक पठनीय सिग्नल बन जाता है, जिससे मॉडल कॉम्प्लेक्सिटी का सीधा निदान संभव होता है।
विश्वसनीयता बढ़ती है: ऑप्टिमाइज़र उस "ड्रिफ्ट" के प्रति मजबूत हो जाता है जो गहरे या ओवर-ट्रेन्ड रिजीम्स में विफलता का कारण बनता है, विशेष रूप से उन कार्यों में जिनमें "ग्रोकिंग" की आवश्यकता होती है।

लेखक जोर देते हैं कि यह निर्माण प्रीकंडिशनर के लिए जेनेरिक है, जो Adam, Muon और Shampoo को ऊपर उठाता है, और इसके लाभ केवल वेट डिके के कारण नहीं बल्कि क्वोटिएंट पर रहने के ज्योमेट्रिक कंस्ट्रेंट के कारण हैं। पेपर निष्कर्ष निकालता है कि जब एक नेटवर्क की गेज सिमेट्री को ऑप्टिमाइज़र द्वारा सम्मान दिया जाता है, तो वह "उस मिनिमम को शार्प करता है जिसे वह पाता है और उस मिनिमम की ज्योमेट्री को कुछ ऐसा बना देता है जिसे उसका प्रक्षेपवक्य माप सके।"

नोट किए गए सीमाएँ (Limitations Noted):

ग्रोकिंग में Muon-आधारित स्पीड-अप आंशिक रूप से इक्विवेरिएंट अपडेट में निहित बंडल्ड वेट डिके के कारण है, हालांकि प्रोजेक्शन स्वयं विश्वसनीयता और स्वच्छ संरचना प्रदान करता है।
बॉडी-फ्रेम रोटेशन निर्माण के लिए सटीक इक्विवेरिएंटनेस आइजनवेक्टर साइन एम्बिग्युटी के कारण अनुमानित (लीडिंग-ऑर्डर) है, हालांकि यह ड्रिफ्ट छोटा ( $\sim 10^{-3}$ 20 स्टेप्स में) है।
कैनोनिकल एलाइनमेंट से पूर्ण सिंगुलर स्ट्रक्चर (ऑर्डर और मल्टीप्लिसिटी) को पढ़ने के लिए ऐसी मशीनरी की आवश्यकता है जो इस कार्य में पूरी तरह से विकसित नहीं हुई है।