🤖 machine learning

Geometric--Nongeometric Optimizer Calculus: A Modular Language for Reachable Gradient Methods

यह शोध पत्र एक मॉड्यूलर "ज्यामितीय-गैरज्यामितीय ऑप्टिमाइज़र कैलकुलस" प्रस्तुत करता है जो अनुकूलित (adaptive) ऑप्टिमाइज़र्स को विशिष्ट घटकों में विभाजित करता है ताकि उनके सुलभ ग्रेडिएंट दिशाओं का औपचारिक रूप से विश्लेषण किया जा सके, विभिन्न मेट्रिक परिवारों के लिए अभिव्यंजना (expressivity) प्रमेय स्थापित किए जा सकें, और ऑप्टिमाइज़र डिज़ाइन को एक एकल सार्वभौमिक समाधान की खोज के बजाय एक पारेटो अनुकूलन समस्या के रूप में फ्रेम किया जा सके।

मूल लेखक: Zavier Li

प्रकाशित 2026-07-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zavier Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक पर्वतारोही को पहाड़ से नीचे घाटी (सबसे अच्छे समाधान) तक पहुँचने के लिए मार्गदर्शन करने की कोशिश कर रहे हैं। कंप्यूटर विज्ञान की दुनिया में, यह "पर्वतारोही" एक एल्गोरिदम है जो किसी समस्या को हल करने की कोशिश कर रहा है, और "पहाड़" एक जटिल गणितीय परिदृश्य (landscape) है।

वर्षों से, शोधकर्ताओं ने अलग-अलग नियमों के सेट (ऑप्टिमाइज़र) बनाए हैं जो पर्वतारोही को यह बताने के लिए हैं कि उसे किस दिशा में कदम रखना चाहिए। कुछ कहते हैं, "तेज़ दौड़ो!" (मोमेंटम)। अन्य कहते हैं, "कदम रखने से पहले ज़मीन की सावधानी से जाँच करो!" (एडम)। लेकिन ये नियम अक्सर एक भ्रमित करने वाले मिश्रण में मिले होते हैं, जिससे यह जानना कठिन हो जाता है कि एक विशिष्ट कदम क्यों लिया गया या क्या वह वास्तव में एक अच्छा विचार था।

यह शोध पत्र, "जियोमेट्रिक-नॉनजियोमेट्रिक ऑप्टिमाइज़र कैलकुलस" (Geometric–Nongeometric Optimizer Calculus), इन नियमों को व्यवस्थित करने और ऑडिट करने का एक नया तरीका प्रस्तावित करता है। इसे एक मॉड्यूलर भाषा या रेसिपी बुक के रूप में सोचें जो "सामग्री बनाने" (cooking) को "सामग्रियों" (ingredients) से अलग करती है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. दो मुख्य सामग्रियाँ: मानचित्र और अतिरिक्त चीज़ें

लेखक प्रत्येक अनुकूलन विधि (optimization method) को दो अलग-अलग भागों में विभाजित करते हैं:

जियोमेट्रिक मॉड्यूल (मानचित्र - The Map): यह मूल "कम्पास" है। यह वर्तमान ढलान (ग्रेडिएंट) को देखता है और नीचे की ओर इशारा करने वाली एक सीधी रेखा खींचता है। यदि मानचित्र पूर्ण और विस्तृत है, तो यह नीचे की ओर जाने वाली किसी भी दिशा में संकेत दे सकता है।
- उपमा: एक GPS की कल्पना करें जो आपको पहाड़ी से नीचे जाने का सटीक और सीधा रास्ता देता है।
नॉनजियोमेट्रिक मॉड्यूल्स (बैकपैक और क्रू - The Backpack & The Crew): ये सात अन्य चीजें हैं जो पर्वतारोही को प्रभावित करती हैं लेकिन मानचित्र का हिस्सा नहीं हैं:
1. सूचना (Information): हमारे पास क्या डेटा है? (क्या हम पूरे पहाड़ को देख रहे हैं या केवल एक धुंधली तस्वीर को?)
2. स्मृति (Memory): क्या हमें याद है कि हमने पिछली बार कहाँ कदम रखा था? (मोमेंटम)।
3. नियंत्रण (Control): हमें कितना बड़ा कदम उठाना चाहिए? (लर्निंग रेट)।
4. ऑपरेटर (Operator): क्या हम किसी दीवार से टकरा रहे हैं और हमें उससे टकराकर वापस मुड़ने की ज़रूरत है? (बाधाएं/प्रोजेक्शन)।
5. शोर (Noise): क्या हवा के झोंके ने हमें बगल में धकेल दिया? (रैंडमनेस/यादृच्छिकता)।
6. लक्ष्य (Target): क्या हम वास्तव में उस घाटी तक पहुँचने की कोशिश कर रहे हैं जो शुरुआती बिंदु से थोड़ी अलग है? (बदलते लक्ष्य)।
7. विविक्तकरण (Discretization): क्या हम बड़े, भद्दे कदम उठा रहे हैं क्योंकि हम सुचारू रूप से नहीं चल सकते? (कंप्यूटर की सीमाएं)।

2. "ऑडिट" प्रश्न

यह शोध पत्र एक विशिष्ट प्रश्न पूछता है: "क्या हम पर्वतारोही द्वारा लिया गया यह विशिष्ट कदम केवल 'मानचित्र' को देखकर समझा सकते हैं?"

यदि हाँ: तो कदम एक शुद्ध "जियोमेट्रिक" चाल थी। मानचित्र ने पर्वतारोही को ठीक वही बताया कि कहाँ जाना है।
यदि नहीं: तो एक "रेसिडुअल" (residual) है। इसका मतलब है कि कदम बैकपैक (स्मृति), हवा (शोर), या लक्ष्य में बदलाव (टारगेट) से प्रभावित था।

लेखक एक दिलचस्प गणितीय तथ्य सिद्ध करते हैं: यदि आपके पास एक पूर्ण, विस्तृत मानचित्र है, तो आप नीचे की ओर जाने वाले किसी भी कदम को समझा सकते हैं। लेकिन यदि आपके पास एक सीमित मानचित्र है (जैसे कि एक ऐसा मानचित्र जो केवल उत्तर-दक्षिण और पूर्व-पश्चिम रेखाएं दिखाता है, लेकिन तिरछी रेखाएं नहीं), तो आप केवल उन्हीं कदमों को समझा सकते हैं जो उन रेखाओं के अनुरूप हैं। यदि पर्वतारोही तिरछा (diagonally) जाने की कोशिश करता है, तो मानचित्र विफल हो जाता है, और आपको उस अतिरिक्त गति के लिए "बैकपैक" या "हवा" को जिम्मेदार ठहराना पड़ता है।

3. "बजट" की अवधारणा

यह शोध पत्र तर्क देता है कि आप केवल यह नहीं कह सकते कि "सर्वश्रेष्ठ ऑप्टिमाइज़र वह है जिसके पास पूर्ण मानचित्र है।" क्यों? क्योंकि एक पूर्ण मानचित्र बनाना और ले जाना महंगा है।

समझौता (Trade-off): आपके पास स्मृति, कंप्यूटिंग शक्ति और समय के लिए एक सीमित बजट होता है।
लक्ष्य: आप शून्य में "सर्वश्रेष्ठ" ऑप्टिमाइज़र नहीं चाहते; आप एक बेहतर पारेटो (Pareto) ऑप्टिमाइज़र चाहते हैं। इसका अर्थ है वह सही संतुलन (sweet spot) ढूंढना जहाँ आप अपने बजट के बिना सर्वोत्तम परिणाम प्राप्त कर सकें।
- उपमा: एक फेरारी साइकिल से तेज़ है, लेकिन यदि आपके पास केवल $5 है और आपको 1 मील जाना है, तो आपके बजट के लिए साइकिल ही बेहतर "ऑप्टिमाइज़र" है।

4. उन्होंने वास्तव में क्या परीक्षण किया (द "प्रोटोटाइप्स")

लेखकों ने यह दावा नहीं किया कि उन्होंने दुनिया का सबसे तेज़ AI बनाया है। इसके बजाय, उन्होंने यह देखने के लिए नैदानिक उपकरण (जैसे कारों के लिए मैकेनिक का स्कैनर) बनाए कि ये नियम छोटे, नियंत्रित परिवेश में कैसे काम करते हैं:

"परफेक्ट मैप" परीक्षण: सरल, चिकनी पहाड़ियों (गणितीय क्वाड्रैटिक्स) पर, उन्होंने दिखाया कि यदि आप एल्गोरिदम को एक पूर्ण मानचित्र बनाने के लिए पर्याप्त डेटा देते हैं, तो वह समस्या को तुरंत हल कर देता है।
"वास्तविक दुनिया" परीक्षण: उन्होंने एक छोटा, मानक AI कार्य (हाथ से लिखे अंकों को पहचानना) देखा। उन्होंने अपनी नई भाषा का उपयोग करके Adam और एक नए प्रयोगात्मक तरीके "Muon" जैसे लोकप्रिय तरीकों का "ऑडिट" किया।
- उन्होंने पाया कि इन तरीकों द्वारा लिए गए कुछ कदमों को केवल मानचित्र द्वारा नहीं समझाया जा सकता था। इससे यह सिद्ध हुआ कि वे आगे बढ़ने के लिए "स्मृति" या "शोर" पर बहुत अधिक निर्भर थे।
- उन्होंने दिखाया कि उनकी नई भाषा यह सटीक रूप से बता सकती है कि किसी एल्गोरिदम का व्यवहार कितना "स्मार्ट जियोमेट्री" है और कितना केवल "मेमोरी ट्रिक्स" है।

सारांश

यह शोध पत्र एक सैद्धांतिक ढांचा (theoretical framework) है, न कि कोई नया सुपर-ऑप्टिमाइज़र। यह एक नई शब्दावली और गणितीय उपकरण प्रदान करता है ताकि:

"जियोमेट्री" (मानचित्र) को "ट्रिक्स" (स्मृति, शोर, आदि) से अलग किया जा सके।
यह मापा जा सके कि किसी एल्गोरिदम की सफलता में मानचित्र का कितना योगदान है बनाम अन्य कारकों का।
मानचित्र की लागत और स्मृति एवं समय के बजट के बीच संतुलन बनाकर बेहतर एल्गोरिदम को डिज़ाइन किया जा सके।

लेखक बहुत स्पष्ट हैं: वे यह दावा नहीं कर रहे हैं कि उनकी विधि विशाल AI मॉडल को प्रशिक्षित करने के लिए नया स्टेट-ऑफ-द-आर्ट है। इसके बजाय, वे एक "रूलर" (पैमाना) प्रदान कर रहे हैं जिससे हम उन उपकरणों को माप और समझ सकें जिनका हम पहले से उपयोग कर रहे हैं, जिससे भविष्य में शोधकर्ताओं को बेहतर उपकरण डिज़ाइन करने में मदद मिले क्योंकि उन्हें पता होगा कि उनके उपकरण का प्रत्येक भाग वास्तव में क्या कर रहा है।

तकनीकी सारांश: ज्यामितीय-गैरज्यामितीय ऑप्टिमाइज़र कैलकुलस (Geometric–Nongeometric Optimizer Calculus)

समस्या विवरण

ग्रेडिएंट-आधारित ऑप्टिमाइज़र्स (जैसे Adam, Shampoo, K-FAC) के वर्तमान विवरण अक्सर अलग-अलग एल्गोरिद्मिक भूमिकाओं को मिला देते हैं। वे एक 'डिसेंट ज्योमेट्री' (डेसेंट दिशाओं के लिए ग्रेडिएंट्स को मैप करना) की परिभाषा को सूचना एकत्र करने, मेमोरी, स्टेप-साइज़ नियंत्रण, नॉइज़ इंजेक्शन, लक्ष्य संशोधन और विवक्तीकरण (discretization) के तंत्रों के साथ मिला देते हैं। यह घालमेल यह ऑडिट करने में कठिन बना देता है कि क्या कोई विशिष्ट अपडेट दिशा वास्तव में एक ज्यामितीय प्रीकंडीशनर द्वारा समझाई जा सकती है या वह मोमेंटम, प्रोजेक्शन या स्टोकेस्टिसिटी जैसे अवशिष्ट (residual) तंत्रों पर निर्भर करती है। इसके अलावा, ऑरेकल एक्सेस, मेमोरी बजट और स्टेट क्लासेस के संबंध में स्पष्ट बाधाओं के तहत "पहुंच योग्य" (reachable) ग्रेडिएंट विधियों को विघटित करने के लिए एक औपचारिक भाषा का अभाव है।

यह शोध पत्र इस प्रश्न को संबोधित करता है: एक ऑरेकल क्लास, एक बजट, एक स्टेट क्लास और स्वीकार्य नियमों को देखते हुए, क्या पहुंच योग्य ग्रेडिएंट विधियों को एक सकारात्मक ज्यामितीय मॉड्यूल और संरचित गैर-ज्यामितीय मॉड्यूल में इस तरह विभाजित किया जा सकता है जो एक्सप्रेशन गैप्स, मैकेनिज्म बजट और ऑप्टिमाइज़र-डिज़ाइन ट्रेडऑफ़्स को उजागर करे?

कार्यप्रणाली: ज्यामितीय–गैरज्यामितीय ऑप्टिमाइज़र कैलकुलस

लेखक एक मॉड्यूलर भाषा प्रस्तावित करते हैं, जिसे ज्यामितीय–गैरज्यामितीय ऑप्टिमाइज़र कैलकुलस कहा जाता है, जो ऑप्टिमाइज़र घटकों को दो अलग-अलग श्रेणियों में विभाजित करता है:

1. ज्यामितीय मॉड्यूल (The Geometric Module)

इस मॉड्यूल में एक पॉजिटिव कोमेट्रिक फैमिली $\mathcal{P}_F(\theta)$ शामिल है। यह कोवेक्टर्स (ग्रेडिएंट्स) को पैरामीटर-स्पेस डिसेंट दिशाओं में मैप करता है।

औपचारिकता: एक कोवेक्टर $\alpha_\theta = df_\theta$ के लिए, ज्यामितीय डिसेंट दिशा $u_{geo} = -P_\theta \alpha_\theta$ है, जहाँ $P_\theta \succ 0$ ।
फैमिलीज़: इसमें फुल SPD मैट्रिसेस, डायगोनल मैट्रिसेस, ब्लॉक-डायगोनल, क्रोनेकर-फैक्टर्ड, लो-रैंक, या प्रॉक्सी कर्वेचर फैमिलीज़ शामिल हैं।

2. गैर-ज्यामितीय मॉड्यूल (The Nongeometric Modules)

शेष तंत्रों को सात स्पष्ट मॉड्यूल में विभाजित किया गया है:

सूचना (Information): ग्रेडिएंट अनुमान, मिनी-बैचेस, कर्वेचर प्रॉक्सीज़, और हेसियन-वेक्टर प्रोब्स।
मेमोरी (Memory): मोमेंटम, नेस्टरोव लुकअहेड, सेकेंट पेयर्स, और ऐतिहासिक सबस्पेस।
नियंत्रण (Control): लर्निंग रेट्स, डैम्पिंग, ट्रस्ट रीजन्स, लाइन सर्च, और शेड्यूल्स।
ऑपरेटर (Operator): प्रोजेक्शंस, प्रॉक्सिमल मैप्स, क्लिपिंग, नॉर्मलाइजेशन, और डिकपल्ड वेट डिके।
नॉइज़ (Noise): स्पष्ट सैंपलिंग नॉइज़, लैंग्विन पर्टर्बेशन्स, और ड्रॉपआउट-प्रेरित नॉइज़।
लक्ष्य (Target): मूल $f$ से भिन्न रेगुलराइज्ड, स्मूथ या सरोगेट ऑब्जेक्टिव्स।
विवक्तीकरण (Discretization): यूलर/इम्प्लिसिट स्टेप्स, फाइनाइट प्रिसिजन, और एप्रोक्सिमेट मैट्रिक्स रूट्स।

3. ऑडिट और अपघटन (Audit and Decomposition)

कैलकुलस एक वास्तविक ऑप्टिमाइज़र को विघटित करने के लिए एक कैनोनिकल ऑडिट ऑर्डर का उपयोग करता है:

लक्षित ऑब्जेक्टिव $f_k$ और दृश्य कोवेक्टर $\tilde{g}_k$ को स्थिर करें।
घोषित फैमिली $\mathcal{F}$ के भीतर, धनात्मक ज्यामिति के माध्यम से देखे गए दिशा को सर्वोत्तम रूप से समझाने के लिए $P_k$ चुनें।
स्केल और डैम्पिंग को नियंत्रण (Control) को सौंपें।
शेष अवशिष्ट (residual) को मेमोरी, ऑपरेटर, नॉइज़, लक्ष्य, या विवक्तीकरण को सौंपें।

मुख्य योगदान

1. दिशा-अभिव्यक्ति प्रमेय (Direction-Expressivity Theorems)

पेपर सिद्ध करता है कि पूर्ण धनात्मक-निश्चित (positive-definite) ज्यामिति सटीक रूप से क्रिटिकल पॉइंट्स से दूर स्ट्रिक्ट डिसेंट दिशाओं को व्यक्त करती है।

प्रमेय: एक गैर-शून्य ग्रेडिएंट $g$ और दिशा $u$ के लिए, एक धनात्मक निश्चित $P$ मौजूद है जिससे $u = -Pg $होता है यदि और केवल यदि$ g^\top u < 0$।
निहितार्थ: कोई भी अपडेट जो स्ट्रिक्ट डिसेंट दिशा नहीं है (जैसे मोमेंटम के कारण न्यूट्रल या आरोही स्टेप्स) या क्रिटिकल पॉइंट ( $g=0$ ) पर कोई भी गति अनिवार्य रूप से एक गैर-ज्यामितीय मॉड्यूल से उत्पन्न होती है।

2. प्रतिबंधित दिशा अवशिष्ट (Restricted Direction Residuals)

प्रतिबंधित फैमिलीज़ (जैसे डायगोनल या ब्लॉक) का उपयोग करने वाले कार्यान्वयन योग्य ऑप्टिमाइज़र्स के लिए, लेखक एक प्रतिबंधित दिशा अवशिष्ट को परिभाषित करते हैं:
$\rho_{\mathcal{F},h}(u; \alpha) = \inf_{P \in \mathcal{F}(\theta)} \|u + P\alpha\|_h$

यह मापता है कि एक अपडेट कितना अस्पष्ट (unexplained) है जो चुने गए ज्यामिति द्वारा समझाया नहीं जा सकता।
पेपर डायगोनल और ब्लॉक ज्योमेट्री के लिए सटीक अभिव्यक्ति शर्तें निकालता है, यह दिखाते हुए कि डायगोनल ज्योमेट्री कोऑर्डिनेट-डिपेंडेंट है और उन दिशाओं को समझाने में विफल रहती है जहाँ $g_i$ और $u_i$ के चिन्ह संरेखित नहीं होते हैं।

3. डायग्नोस्टिक फ्रेमवर्क (चार चतुर्थांश)

लेखक दो डायग्नोस्टिक्स को अलग करते हैं:

कर्वेचर रीचेबिलिटी (Curvature Reachability): यह मापता है कि एक फैमिली हेसियन के कंडीशन नंबर को कितनी अच्छी तरह संभाल सकती है।
दिशा अवशिष्ट (Direction Residual): यह मापता है कि फैमिली वास्तविक अपडेट दिशा को कितनी अच्छी तरह समझाती है।
ये एक चार-चतुर्थांश डायग्नोस्टिक टूल बनाते हैं जो ज्यामितीय प्रीकंडीशनिंग, मेमोरी प्रभाव, नॉइज़ और लक्ष्य संशोधनों के बीच अंतर करने में मदद करता है।

4. ट्रजेक्टरी-लेवल रेसिडुअल कॉम्प्लेक्सिटी (Trajectory-Level Residual Complexity)

पॉइंटवाइज विश्लेषण से आगे बढ़ते हुए, पेपर ट्रजेक्टरी-लेवल रेसिडुअल कॉम्प्लेक्सिटी को परिभाषित करता है। यह पूछता है कि क्या एक संपूर्ण ट्रेनिंग ट्रेस को सीमित ज्यामितीय भिन्नता वाले प्रीकंडीशनर्स के एक सुसंगत पथ द्वारा समझाया जा सकता है।

यह एक कोहेरेंस गैप (coherence gap) पेश करता है जो ज्यामितीय स्पष्टीकरण में टेम्पोरल कंसिस्टेंसी बनाए रखने की लागत को मापता है।
यह समृद्ध फैमिलीज़ को हर स्टेप को असंबंधित मैट्रिसेस के माध्यम से समझाने से रोकता है।

5. पारेटो ऑप्टिमाइजेशन फॉर्मूलेशन (Pareto Optimization Formulation)

ऑप्टिमाइज़र डिज़ाइन को एक एकल "सर्वश्रेष्ठ" क्रम खोजने के बजाय, मॉड्यूल बजट पर एक प्रतिबंधित पारेटो ऑप्टिमाइजेशन के रूप में पुनर्गठित किया गया है।

डिजाइनरों को ज्यामिति (जैसे एफाइन-इनवेरिएंट मेट्रिक लेंथ), सूचना (ग्रेडिएंट कॉल्स), मेमोरी और कम्युनिकेशन के लिए बजट के विरुद्ध प्रदर्शन को संतुलित करना चाहिए।
पेपर एक बजेटेड क्लास मोनोटोनिसिटी (budgeted class monotonicity) सिद्ध करता है: जबकि फुल-SPD ज्योमेट्री, प्रतिबंधित ज्योमेट्री का एक एक्सप्रेशन सुपरसेट है, बजट-व्यवहार्य इष्टतम (optimum) एक सस्ते, प्रतिबंधित परिवार के पक्ष में हो सकता है।

परिणाम और प्रोटोटाइप

पेपर इस भाषा के उपयोग को प्रदर्शित करने के लिए डायग्नोस्टिक प्रोटोटाइप शामिल करता है, यह स्पष्ट रूप से कहते हुए कि ये बड़े पैमाने के बेंचमार्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन के दावे नहीं हैं।

फुल-मेट्रिक प्रोब (डिटरमिनिस्टिक क्वाड्रेटिक्स): एक प्रोटोटाइप जो फुल SPD इनवर्स मेट्रिक्स (कोऑर्डिनेट प्रोब्स के माध्यम से पुनर्निर्मित) का उपयोग करके डिटरमिनिस्टिक क्वाड्रेटिक बेंचमार्क को संख्यात्मक सटीकता तक हल करता है, जो फुल ज्योमेट्री के 'एक्सप्रेशन एनवेलप' को मान्य करता है।
क्रायलोव और हाइब्रिड वेरिएंट: एक क्रायलोव-सबस्पेस वेरिएंट और एक रेसिड्यूल-सिलेक्टेड BFGS हाइब्रिड का परीक्षण किया गया। परिणामों ने दिखाया कि सीमित सूचना बजट और रेसिड्यूल सिलेक्शन नियम प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करते हैं, जो अक्सर प्रतिबंधित ज्योमेट्री को फुल-ज्योमेट्री क्षमताओं से मेल खाने से रोकते हैं।
Muon-स्टाइल कैंडिडेट: एक प्रोटोटाइप जिसमें मैट्रिक्स-ऑर्थोगोनलाइज्ड मोमेंटम (टेन्सर्स के लिए) और AdamW (वेक्टर्स के लिए) का संयोजन है, उसका ऑडिट किया गया।
- एक छोटे MNIST सबसेट पर, इसने ~72.6% AdamW के मुकाबले ~77.0% सटीकता प्राप्त की।
- ऑडिट ने खुलासा किया कि मैट्रिक्स-ऑर्थोगोनलाइजेशन एक शुद्ध पॉजिटिव कोमेट्रिक के बजाय एक मैट्रिक्स-ऑपरेटर/मेमोरी मैकेनिज्म के रूप में कार्य करता है।
ट्रेस ऑडिट्स: कैलकुलस को AdamW, SGD/Nesterov, और Muon-स्टाइल कैंडिडेट के छोटे ट्रेनिंग ट्रेसेस पर लागू किया गया।
- निष्कर्ष: SGD/Nesterov ने मजबूत पॉइंटवाइज डायगोनल ज्यामितीय स्पष्टीकरण दिखाया लेकिन एक बड़ा "कोहेरेंस गैप" (तेजी से बदलते मेट्रिक्स की आवश्यकता) प्रदर्शित किया। AdamW और Muon कैंडिडेट ने कम रॉ रेसिड्यूल्स और छोटे कोहेरेंस गैप दिखाए, जो अधिक स्थिर ज्यामितीय शैडो का सुझाव देते हैं।

महत्व और दावे

यह पेपर इसे एक सिद्धांत और बेंचमार्क-भाषा पांडुलिपि के रूप में स्थापित करता है। इसका प्राथमिक महत्व है:

एक औपचारिक ऑडिट भाषा प्रदान करना: यह शोधकर्ताओं को यह मापने की अनुमति देता है कि ऑप्टिमाइज़र्स में "ज्यामिति" को "इंजीनियरिंग" से अलग करने के लिए एक कठोर ढांचा प्रदान करता है, जिससे यह पता चलता है कि अपडेट का कितना हिस्सा ज्यामितीय रूप से व्याख्या योग्य है बनाम कितना मेमोरी, नॉइज़ या लक्ष्य रूपांतरणों पर निर्भर है।
ऑप्टिमाइज़र डिज़ाइन को फिर से परिभाषित करना: यह ध्यान को एक सार्वभौमिक ऑप्टिमाइज़र खोजने से हटाकर स्पष्ट संसाधन बजट (कंप्यूट, मेमोरी, ऑरेकल कॉल्स) पर एक पारेटो ऑप्टिमाइजेशन समस्या को हल करने की ओर ले जाता है।
सीमाओं को स्पष्ट करना: यह स्थापित करता है कि फुल पॉजिटिव-डेफिनिट ज्योमेट्री एक "एक्सप्रेशन एनवेलप" है जो स्ट्रिक्ट डिसेंट दिशाओं को कैप्चर करती है, जबकि अन्य सभी व्यवहार (मोमेंटम, प्रोजेक्शन, आदि) संरचनात्मक रूप से भिन्न गैर-ज्यामितीय तंत्र हैं।

लेखक स्पष्ट रूप से कहते हैं कि यह पेपर बड़े पैमाने के स्टेट-ऑफ-द-आर्ट प्रदर्शन का दावा नहीं करता है। प्रायोगिक परिणाम छोटे पैमाने के और डायग्नोस्टिक हैं, जिनका उद्देश्य आधुनिक विजन या लैंग्वेज बेंचमार्क पर ट्यून्ड बेसलाइन्स जैसे AdamW, Lion, या Shampoo के साथ प्रतिस्पर्धा करने के बजाय ऑप्टिमाइज़र व्यवहार को समझाने के लिए उपयोग किया जाना है।