🤖 machine learning

Spectral Asymptotics of Neural Network Loss Landscapes: An Exact Decomposition of the Curvature Exponent

यह शोध पत्र एक ज्यामितीय स्पेक्ट्रल अलाइनमेंट डिकंपोजिशन (Spectral Alignment Decomposition) स्थापित करता है जो विभिन्न लेयर प्रकारों में न्यूरल नेटवर्क कर्वेचर एक्सपोनेंट्स (curvature exponents) के व्यवस्थित परिवर्तन की व्याख्या करता है, एक पैरामीटर-मुक्त स्पेक्ट्रल ट्रांसफर आइडेंटिटी (spectral transfer identity) व्युत्पन्न करता है जो कर्वेचर, ग्रेडिएंट रैंक डिके (gradient rank decay), और हेसियन डिके (Hessian decay) को जोड़ता है, और यह प्रदर्शित करता है कि एक आर्किटेक्चर-एडेप्टिव स्पेक्ट्रल न्यूटन प्रीकंडीशनर (Spectral Newton preconditioner) विजन बेंचमार्क पर AdamW से बेहतर प्रदर्शन करता है।

मूल लेखक: Anherutowa Calvo

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anherutowa Calvo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक न्यूरल नेटवर्क (एक प्रकार का AI) को प्रशिक्षित करना एक जटिल पहाड़ से एक विशाल, ऊबड़-खाबड़ गेंद को सबसे निचले हिस्से (सबसे अच्छे समाधान) की ओर लुढ़काने की कोशिश करने जैसा है। इस पेपर में उल्लेखित "हेसियन" (Hessian) वास्तव में इस बात का एक मानचित्र है कि किसी भी स्थान पर वह पहाड़ कितना ढालू और ऊबड़-खाबड़ है।

लंबे समय से, शोधकर्ता जानते थे कि वे उभार एक विशिष्ट पैटर्न (एक "पावर लॉ") का पालन करते हैं, लेकिन उन्हें यह नहीं पता था कि यह पैटर्न अलग क्यों दिखता है जब वे पहाड़ के किसी विशेष हिस्से पर होते हैं। यह पेपर एक नए चश्मे की तरह है जो सटीक रूप से समझाता है कि वे उभार क्यों बदलते हैं और उस ज्ञान का उपयोग करके गेंद को तेज़ी से कैसे लुढ़काया जा सकता है।

यहाँ उनकी खोज का सरल शब्दों में विवरण दिया गया है:

1. "ऊबड़-खाबड़पन" का रहस्य (वक्रता घातांक $\alpha$ )

जब आप पहाड़ की सतह को देखते हैं, तो आप माप सकते हैं कि वह कितनी "घुमावदार" है। लेखकों ने पाया कि यह घुमावदार होना यादृच्छिक (random) नहीं है। यह एक नियम का पालन करता है जो एक विशिष्ट दिशा में "धक्के" (ग्रेडिएंट) की ताकत पर आधारित है।

नियम: यदि आप किसी दिशा में अधिक ज़ोर लगाते हैं, तो पहाड़ अधिक ढालू हो जाता है।
आश्चर्य: ढलान के बढ़ने की दर AI के अलग-अलग प्रकार के लेयर्स (layers) के आधार पर बदल जाती है।
- कन्वोल्यूशनल लेयर्स (छवियों के लिए उपयोग किया जाता है): पहाड़ बहुत ही अनुमानित तरीके से ढालू होता है (जैसे एक आदर्श शंकु)। "ढलान कारक" लगभग 2 है।
- ट्रांसफॉर्मर लेयर्स (टेक्स्ट के लिए उपयोग किया जाता है): पहाड़ समतल होता है और अलग तरह से व्यवहार करता है। यह कारक लगभग 1 है।
- आउटपुट हेड्स: कभी-कभी पहाड़ अविश्वसनीय रूप से ढालू हो जाता है, जहाँ कारक 4 से अधिक होता है।

बड़ा सवाल यह था: यह ढलान क्यों बदलती है?

2. "स्पेक्ट्रल अलाइनमेंट" (Spectral Alignment) की खोज

लेखकों ने इस समस्या को हल किया कि कैसे पहाड़ के दो अलग-अलग मानचित्र आपस में संरेखित (align) होते हैं।

मानचित्र A: आपके धक्के की दिशा (ग्रेडिएंट) दिखाता है।
मानचित्र B: पहाड़ के प्राकृतिक आकार (हेसियन) को दिखाता है।

उन्होंने सिद्ध किया कि "ढलान कारक" ( $\alpha$ ) इस बात से निर्धारित होता है कि ये दोनों मानचित्र एक-दूसरे के साथ कितनी अच्छी तरह संरेखित हैं।

उपमा: कल्पना कीजिए कि आप एक गलियारे में चलने की कोशिश कर रहे हैं।
- यदि गलियारा पूरी तरह से सीधा है और आप सीधे बीच में चलते हैं, तो रास्ता आसान और अनुमानित होता है (कारक $\approx$ 2)।
- यदि गलियारे की दीवारें आपके पथ से दूर मुड़ती हैं, या यदि आप अनाज के विपरीत तिरछा चलते हैं, तो रास्ता अलग और समतल महसूस होता है (कारक $\approx$ 1)।
- यदि आप सीधे एक बंद दीवार की ओर बढ़ रहे हैं, तो रास्ता अविश्वसनीय रूप से ढालू महसूस होता है (कारक $> 2$ )।

पेपर एक गणितीय सूत्र प्रदान करता है जो यह गणना करता है कि "धक्के की दिशा" और "पहाड़ के आकार" के बीच कितना मिसअलाइनमेंट (misalignment) है।

3. "जादुई लिंक" ( $s = \alpha\gamma$ )

शोधकर्ताओं ने तीन चीजों को जोड़ने वाला एक सरल बीजगणितीय लिंक खोजा:

$\alpha$ (ढलान): पहाड़ कैसे मुड़ता है।
$\gamma$ (रैंक डिके/Rank Decay): जैसे-जैसे आप कम महत्वपूर्ण दिशाओं को देखते हैं, "धक्के" कितनी तेज़ी से कमज़ोर होते हैं।
$s$ (अंतिम पैटर्न): पहाड़ के उभारों का समग्र पैटर्न।

उन्होंने दिखाया कि यदि आप ढलान ( $\alpha$ ) और धक्कों के कम होने की दर ( $\gamma$ ) को जानते हैं, तो आप पहाड़ के समग्र आकार ( $s$ ) की सटीक भविष्यवाणी कर सकते हैं। उन्होंने 5 अलग-अलग AI मॉडल और 3 अलग-अलग डेटासेट के माध्यम से 93 विभिन्न लेयर्स पर इसका परीक्षण किया। भविष्यवाणी बिना किसी एडजस्टेबल सेटिंग के, 2% की सटीकता के साथ सटीक थी। यह मौसम की भविष्यवाणी करने जैसा है—हवा की गति और आर्द्रता जानकर, बिना किसी सुपरकंप्यूटर के।

4. यह क्यों मायने रखता है: "स्पेक्ट्रल न्यूटन" ऑप्टिमाइज़र

अधिकांश AI प्रशिक्षण एक मानक "जूते" (AdamW जैसा ऑप्टिमाइज़र) का उपयोग करते हैं जो पहाड़ पर हर जगह एक ही तरह से चलने की कोशिश करता है। लेकिन यह पेपर दिखाता है कि पहाड़ के अलग-अलग हिस्सों को अलग-अलग जूतों की आवश्यकता होती है।

अंतर्दृष्टि: यदि आप जानते हैं कि किसी विशिष्ट लेयर के लिए "ढलान कारक" ( $\alpha$ ) क्या है, तो आप उस लेयर के लिए बिल्कुल सही फिट होने वाला कस्टम "जूता" (प्रीकंडीशनर) बना सकते हैं।
परिणाम: उन्होंने एक नई विधि बनाई जिसे स्पेक्ट्रल न्यूटन (Spectral Newton) कहा जाता है।
- इमेज कार्यों (जहाँ ढलान कारक आमतौर पर 2 होता है) पर, यह नई विधि मानक विधि की तुलना में तेज़ी से नीचे पहुंची और बेहतर स्थान पाया।
- यह पूरे लेयर के लिए केवल एक औसत स्टेप साइज का उपयोग करने के बजाय, धक्के के प्रत्येक विशिष्ट दिशा के लिए स्टेप साइज को समायोजित करके काम करता है।

5. "वन-डायमेंशनल" (एक-आयामी) रहस्य

अंत में, पेपर ने खोजा कि भले ही ये पहाड़ सैकड़ों आयामों (dimensions) वाले दिखते हैं, लेकिन वास्तविक "एक्शन" वास्तव में लगभग केवल एक दिशा में हो रहा है।

उपमा: एक विशाल, बहु-लेन हाईवे की कल्पना करें। भले ही इसमें 100 लेन हों, 99% ट्रैफिक वास्तव में केवल एक या दो लेन में फंसा हुआ है। बाकी सड़क खाली है।
इसका मतलब है कि AI बहुत केंद्रित, संकीर्ण तरीके से सीख रहा है, जो बताता है कि यह सामान्यीकरण (generalize/सामान्य नियम सीखना) इतनी अच्छी तरह से क्यों कर पाता है।

सारांश

इस पेपर ने केवल यह नहीं देखा कि AI के पहाड़ अलग-अलग जगहों पर अलग दिखते हैं; इसने हमें यह भी बताया कि वे वैसे क्यों हैं।

कारण: यह सब "धक्के" के "आकार" के साथ संरेखण (alignment) के बारे में है।
सूत्र: एक सरल गणितीय लिंक आकार, धक्के और समग्र पैटर्न को जोड़ता है।
अनुप्रयोग: इस सूत्र का उपयोग करके, हम स्मार्ट प्रशिक्षण उपकरण (स्पेक्ट्रल न्यूटन) बना सकते हैं जो AI की विशिष्ट ज्यामिति के अनुकूल होते हैं, जिससे यह इमेज कार्यों पर तेज़ी से और बेहतर सीख पाता है।

लेखक सावधानीपूर्वक कहते हैं कि यह छवियों के लिए एक "प्रूफ ऑफ कॉन्सेप्ट" है और उन्होंने अभी तक बड़े भाषा मॉडलों (जैसे चैट के लिए उपयोग किए जाने वाले) पर इसका परीक्षण नहीं किया है, लेकिन गणित बताता है कि यह वहां भी काम करेगा।

तकनीकी सारांश: न्यूरल नेटवर्क लॉस लैंडस्केप का स्पेक्ट्रल एसिम्प्टोटिक्स (Spectral Asymptotics of Neural Network Loss Landscapes)

1. समस्या विवरण (Problem Statement)

न्यूरल नेटवर्क लॉस हेसियन (Hessian) का आइजनवैल्यू स्पेक्ट्रम यह दर्शाता है कि अनुकूलन (optimization) पैरामीटर स्पेस में कैसे आगे बढ़ता है। जबकि हालिया कार्यों ने यह स्थापित किया है कि हेसियन आइजनवैल्यूज पावर लॉ ( $h_k \propto k^{-s}$ ) के अनुसार घटते हैं और वेट मैट्रिसेस भारी-पूंछ वाले (heavy-tailed) स्पेक्ट्रल डेंसिटी प्रदर्शित करते हैं, इन एक्सपोनेंट्स (exponents) का यांत्रिक मूल अभी भी अस्पष्ट है। विशेष रूप से, कर्वेचर एक्सपोनेंट $\alpha$ —जो $h_k \propto \sigma_k^\alpha$ के संबंध में है (जहाँ $h_k$ $k$ -वें ग्रेडिएंट सिंगुलर दिशा के साथ हेसियन आइजनवैल्यू है और $\sigma_k$ संगत ग्रेडिएंट सिंगुलर वैल्यू है)—विभिन्न लेयर प्रकारों में व्यवस्थित रूप से बदलता है:

कन्वोल्यूशनल लेयर्स (Convolutional layers): $\alpha \approx 2$
ट्रांसफॉर्मर अटेंशन/MLP लेयर्स (Transformer attention/MLP layers): $\alpha \approx 1$ (या अप-प्रोजेक्शन के लिए $<1$ )
आउटपुट हेड्स (Output heads - Softmax): $\alpha > 2$ (लगभग $\approx 4.5$ तक)

केंद्रीय प्रश्न जिसका समाधान किया जा रहा है, वह यह है: $\alpha$ क्यों बदलता है, और यह अंतर्निहित ग्रेडिएंट संरचना और आर्किटेक्चर से कैसे जुड़ा है?

2. कार्यप्रणाली और सेटअप (Methodology and Setup)

लेखक ग्रेडिएंट सिंगुलर दिशाओं के साथ कर्वेचर का विश्लेषण करने के लिए सटीक हेसियन-वेक्टर प्रोडक्ट्स (HVPs) का उपयोग करते हैं, न कि फाईनाइट-डिफरेंस एप्रोक्सिमेशन का, जिन्हें खराब फिट ( $R^2 \approx 0.17$ ) और स्प्यूरियस (spurious) नकारात्मक कर्वेचर देने वाला पाया गया था।

मापन प्रोटोकॉल (Measurement Protocol):

मॉडल्स (ResNet, VGG, GPT-2) को CIFAR-10, Tiny-ImageNet-200, और ImageNet-1K पर प्रशिक्षित किया गया।
एक निश्चित बैच के लिए, SVD के माध्यम से टॉप- $k$ ग्रेडिएंट सिंगुलर दिशाएं ( $u_k, v_k$ ) कंप्यूट की जाती हैं।
डबल बैकप्रोपैगेशन के माध्यम से सटीक हेसियन आइजनवैल्यूज $h_k = v_k^\top H v_k$ मापे जाते हैं।
$(\sigma_k, h_k)$ पर लॉग-लॉग रिग्रेशन के माध्यम से एक्सपोनेंट $\alpha$ को फिट किया जाता है।
एक प्रभावी ग्रेडिएंट रैंक-डिके एक्सपोनेंट $\gamma$ को रैंक-ऑर्डर्ड $\sigma_k$ के नेगेटिव लॉग-लॉग स्लोप के रूप में परिभाषित किया गया है।

3. मुख्य योगदान (Key Contributions)

A. स्पेक्ट्रल एलाइनमेंट डीकंपोजिशन (Spectral Alignment Decomposition - Theorem 1)

पेपर गौस-न्यूटन एप्रोक्सिमेशन ( $H \approx C_\delta \otimes C_A$ ) के तहत हेसियन आइजनवैल्यू $h_k$ का एक सटीक डीकंपोजिशन व्युत्पन्न करता है:
$h_k = \rho_k^{(\delta)} \cdot \rho_k^{(A)} \cdot [\Lambda_\delta]_{kk} \cdot [\Lambda_A]_{kk}$
जहाँ $\rho$ एरर/एक्टिवेशन कोवेरिएंस मैट्रिसेस ( $C_\delta, C_A$ ) और ग्रेडिएंट सिंगुलर वेक्टर्स के बीच स्पेक्ट्रल एलाइनमेंट रेश्यो को दर्शाता है।

यह इस केंद्रीय पहचान (identity) की ओर ले जाता है:
$\alpha = \frac{d \log \Lambda_k}{d \log \sigma_k} + \frac{d \log \Phi_k}{d \log \sigma_k}$
जहाँ $\Lambda_k$ क्रोनेकर फैक्टर आइजनवैल्यूज का उत्पाद है और $\Phi_k$ एलाइनमेंट रेश्यो का उत्पाद है।

कैनोनिकल फॉर्म (Canonical Form): जब एलाइनमेंट परफेक्ट होता है, तो $\alpha = 2 + \frac{d \log \Phi_k}{d \log \sigma_k} - \frac{d \log \cos^2 \theta_k}{d \log \sigma_k}$ ।
निहितार्थ (Implication): $\alpha$ , 2 से तब विचलित होता है जब एलाइनमेंट रेश्यो ( $\Phi_k$ ) या सटीक और क्रोनेकर कर्वेचर के बीच का अंतर ( $\cos^2 \theta_k$ ), ग्रेडिएंट सिंगुलर वैल्यूज $\sigma_k$ के साथ सह-संबंधित (correlate) होता है।

B. आर्किटेक्चरल वेरिएंस के लिए यांत्रिक स्पष्टीकरण (Mechanistic Explanations for Architectural Variance - Section 6)

डीकंपोजिशन विशिष्ट आर्किटेक्चरल तंत्रों के माध्यम से देखे गए $\alpha$ मानों की व्याख्या करता है:

लेयरनॉर्म (LayerNorm): एक्टिवेशन एलाइनमेंट को फ्लैट करता है, जिससे $\rho_k^{(A)}$ को $\sigma_k$ -स्वतंत्र बैंड तक सीमित कर दिया जाता है। यह स्लोप टर्म को कम करता है, जिससे $\alpha$ , 1 की ओर जाता है।
रेसिड्यूअल कनेक्शंस (Residual Connections): स्किप-डोमिनेटेड रेजिम्स में, एरर कोवेरिएंस $C_\delta$ , वर्तमान लेयर के सिंगुलर वेक्टर्स से डिकोरिलेट हो जाता है, जिससे $\rho_k^{(\delta)}$ , $\sigma_k$ से स्वतंत्र हो जाता है। लेयरनॉर्म के साथ मिलकर, यह MLP अप-प्रोजेक्शन में $\alpha \approx 0.8$ की व्याख्या करता है।
सॉफ्टमैक्स हेड्स (Softmax Heads): $C_\delta$ की रैंक बाधा (rank constraint) $k > c$ के लिए एलाइनमेंट में तीव्र गिरावट का कारण बनती है, जिससे $\log \Phi_k$ में पॉजिटिव स्लोप आता है और $\alpha > 2$ हो जाता है।
कन्वोल्यूशनल लेयर्स (Convolutional Layers): सटीक और क्रोनेकर कर्वेचर के परिमाण के बीच बड़े अंतर के बावजूद, $\sigma_k$ के सापेक्ष गैप का स्लोप शून्य के करीब है, जो $\alpha \approx 2$ को बनाए रखता है।

C. स्पेक्ट्रल ट्रांसफर आइडेंटिटी (Spectral Transfer Identity - Theorem 7)

पेपर तीन एक्सपोनेंट्स के बीच एक बीजगणितीय लिंक स्थापित करता है:
$s = \alpha \gamma$

$s$ : हेसियन डिके एक्सपोनेंट ( $\lambda_k \sim k^{-s}$ )।
$\alpha$ : कर्वेचर-ग्रेडिएंट एलाइनमेंट एक्सपोनेंट।
$\gamma$ : प्रभावी ग्रेडिएंट रैंक-डिके एक्सपोनेंट।

वैलिडेशन (Validation): यह आइडेंटिटी 93 लेयर्स, पांच आर्किटेक्चर और तीन डेटासेट्स में काम करती है, जिसमें मीडियन रिलेटिव एरर $\approx 1.6\%$ है। महत्वपूर्ण रूप से, $\alpha$ और $\gamma$ स्वतंत्र डेटा (HVPs बनाम SVD) पर फिट किए गए हैं, फिर भी उनका गुणनफल बिना किसी फ्री पैरामीटर के $s$ को रिकवर करता है। पेपर नोट करता है कि हालांकि ग्लोबल पावर लॉ को अक्सर BIC द्वारा लॉग-नॉर्मल डिस्ट्रीब्यूशन के पक्ष में खारिज कर दिया जाता है, लेकिन टॉप- $k$ विंडो के लिए प्रभावी एक्सपोनेंट $\gamma$ एक मजबूत भविष्यवक्ता (predictor) बना रहता है।

D. इंट्रिंसिक डायमेंशन और पार्टिसिपेशन रेशियो (Intrinsic Dimension and Participation Ratio)

रीमैन ज़ेटा-फंक्शन बाउंड का उपयोग करते हुए, लेखक दिखाते हैं कि कर्वेचर पार्टिसिपेशन रेशियो ( $PR_h \lesssim 2.5$ फॉर $\alpha\gamma=2$ ) सीमित है। इसका तात्पर्य यह है कि उच्च-आयामी पैरामीटर स्पेस के बावजूद, कर्वेचर प्रति लेयर प्रभावी रूप से एक दिशा पर केंद्रित होता है।

E. स्पेक्ट्रल न्यूटन ऑप्टिमाइज़र (Spectral Newton Optimizer)

इस डीकंपोजिशन के आधार पर, लेखक प्रीकंडीशनिंग के लिए एक आर्किटेक्चर-एडाप्टिव ट्रांसफर फंक्शन प्रस्तावित करते हैं:
$T(\sigma; \alpha) = \frac{\sigma}{\sigma^\alpha + d}$
वे इसे स्पेक्ट्रल न्यूटन (SN) के रूप में कार्यान्वित करते हैं, जो ग्रेडिएंट सिंगुलर बेसिस में इस स्केलिंग को लागू करता है।

परिणाम: विजन बेंचमार्क्स (CIFAR-10/100 पर ResNet-18/50) पर, जहाँ $\alpha \approx 2$ है, SN मैचड एपोक बजट पर AdamW की तुलना में +1.1% से +3.5% सटीकता बेहतर प्रदर्शन करता है।
चेतावनी (Caveat): ये परिणाम सिंगल-सीड रन हैं जो "दिशात्मक साक्ष्य" के रूप में प्रस्तुत किए गए हैं, न कि एक व्यापक बेंचमार्क के रूप में।

4. परिणामों का सारांश (Results Summary)

अनुभवजन्य परिदृश्य (Empirical Landscape): कन्वोल्यूशनल लेयर्स लगातार $\alpha \approx 2$ प्रदर्शित करती हैं; ट्रांसफॉर्मर अटेंशन लेयर्स $\alpha \approx 1$ के पास क्लस्टर होती हैं; आउटपुट हेड्स $\alpha > 4$ से अधिक हो सकते हैं।
भविष्यवाणी शक्ति (Predictive Power): स्पेक्ट्रल ट्रांसफर आइडेंटिटी $s = \alpha \gamma$ , विविध आर्किटेक्चर में हेसियन डिके एक्सपोनेंट्स को उच्च सटीकता के साथ प्रेडिक्ट करती है।
अनुकूलन (Optimization): स्पेक्ट्रल न्यूटन, जो सैद्धांतिक डीकंपोजिशन से प्राप्त है, उन कार्यों पर AdamW की तुलना में बेहतर प्रदर्शन करता है जहाँ कर्वेचर एक्सपोनेंट सैद्धांतिक धारणाओं ( $\alpha \approx 2$ ) के साथ संरेखित होता है।

5. महत्व और दावे (Significance and Claims)

पेपर अपने योगदान को न्यूरल नेटवर्क लॉस लैंडस्केप के लिए एक वेइल-लॉ एनालॉग (Weyl-law analog) के रूप में फ्रेम करता है। जिस तरह वेइल का नियम मैनिफोल्ड डायमेंशन से आइजनवैल्यू डिके को जोड़ता है, यह कार्य दिखाता है कि कर्वेचर डिके एक्सपोनेंट $\alpha$ , क्रोनेकर फैक्टर आइजनबेसिस और ग्रेडिएंट सिंगुलर दिशाओं के बीच ज्यामितीय एलाइनमेंट (geometric alignment) को एनकोड करता है।

मुख्य दावे:

यांत्रिक स्पष्टीकरण (Mechanistic Explanation): $\alpha$ में भिन्नता यादृच्छिक शोर (random noise) नहीं है, बल्कि आर्किटेक्चरल कंपोनेंट्स (LayerNorm, residuals, softmax) द्वारा एलाइनमेंट ज्योमेट्री को बदलने का एक नियत परिणाम (deterministic consequence) है।
बीजगणितीय पहचान (Algebraic Identity): $s = \alpha \gamma$ के बीच का संबंध स्थानीय पावर-लॉ धारणाओं का एक बीजगणितीय परिणाम है, लेकिन विभिन्न स्वतंत्र डेटासेट्स और आर्किटेक्चर में इसकी अनुभवजन्य वैधता न्यूरल नेटवर्क कर्वेचर के बारे में एक गहरे संरचनात्मक सत्य का सुझाव देती है।
अनुकूलन निहितार्थ (Optimization Implications): सिद्धांत यह निर्धारित करता है कि कर्वेचर सुधार दिशात्मक (directional) होना चाहिए (प्रति सिंगुलर दिशा), न कि प्रति लेयर एक स्केलर। यह सुझाव देता है कि क्रोनेकर-फैक्टर्ड मेथड्स (जैसे K-FAC) तब उचित हैं जब $|\alpha - 2|$ छोटा हो, जबकि अत्यधिक $\alpha$ मानों वाली लेयर्स को समृद्ध स्पेक्ट्रल संरचनाओं की आवश्यकता होती है।

स्वीकृत सीमाएँ (Limitations Acknowledged):

परीक्षण किए गए सबसे बड़े मॉडल्स GPT-2 (6-लेयर) और ResNet-50 हैं; 1–10B पैरामीटर रिजीम (जैसे LLaMA-7B) में वैलिडेशन को स्थगित कर दिया गया है।
स्पेक्ट्रल न्यूटन के परिणाम सिंगल-सीड हैं और एक प्रूफ-ऑफ-कॉन्सेप्ट के रूप में कार्य करते हैं, न कि एक निर्णायक ऑप्टिमाइज़र तुलना के रूप में।
ग्रेडिएंट्स के लिए ग्लोबल पावर-लॉ धारणा को अक्सर सांख्यिकीय रूप से खारिज कर दिया जाता है (लॉग-नॉर्मल बेहतर फिट होता है), हालांकि स्थानीय प्रभावी एक्सपोनेंट उपयोगी बना रहता है।

1. "ऊबड़-खाबड़पन" का रहस्य (वक्रता घातांक α\alphaα)