🤖 machine learning

Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima

यह शोध पत्र फिशर इंफॉर्मेशन मैट्रिक्स (Fisher Information Matrix) के माध्यम से रिमानियन शार्पनेस (Riemannian sharpness) को परिभाषित करके फ्लैट मिनिमा (flat minima) की रीपैरामीट्राइजेशन इनवेरियन्स (reparametrization invariance) आलोचना का समाधान करता है, यह सिद्ध करता है कि SGD का ग्रेडिएंट नॉइज़ (gradient noise) इन इनवेरिएंट फ्लैट मिनिमा (invariant flat minima) का पक्ष लेने वाले एक स्टेशनरी डिस्ट्रीब्यूशन (stationary distribution) को प्रेरित करता है, और इस ज्यामितीय पूर्वाग्रह (geometric bias) को PAC-Bayes बाउंड के माध्यम से बेहतर सामान्यीकरण (generalization) से जोड़ता है।

मूल लेखक: Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

प्रकाशित 2026-06-19

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "मानचित्र" बनाम "क्षेत्र" (The "Map" vs. The "Territory")

कल्पना कीजिए कि आप एक विशाल, धुंधले पर्वत श्रृंखला में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (यह एक न्यूरल नेटवर्क के "लॉस लैंडस्केप" का प्रतिनिधित्व करता है)। आप एक ऐसी जगह खोजना चाहते हैं जो न केवल नीची हो, बल्कि समतल (flat) भी हो। क्यों? क्योंकि लेखक तर्क देते हैं कि यदि आप एक चौड़ी, समतल घाटी में उतरते हैं, तो आपका मॉडल नए, अनदेखे डेटा पर बेहतर काम करेगा (यह "जनरलाइज़" करेगा)।

हालाँकि, अब तक वैज्ञानिकों के लिए "समतलता" (flatness) को मापने के तरीके में एक बड़ी समस्या थी। वे घाटी के आकार को मापने के लिए एक मानक पैमाने (यूक्लिडियन ज्योमेट्री) का उपयोग करते थे।

उपमा (Analogy): कल्पना कीजिए कि आपके पास एक घाटी का मानचित्र है।

पुराना तरीका: आप मानचित्र को रबर के एक टुकड़े पर खींचते हैं। यदि आप रबर को क्षैतिज (horizontally) रूप से खींचते हैं, तो घाटी अविश्वसनीय रूप से चौड़ी और समतल दिखाई देती है। यदि आप इसे लंबवत (vertically) रूप से दबाते हैं, तो घाटी एक गहरी, नुकीली चोटी जैसी दिखती है।
आलोचना: डिन्ह (Dinh) और अन्य के एक प्रसिद्ध शोध पत्र ने बताया कि यह "पैमाना" बेईमानी कर रहा है। आप मानचित्र को खींच सकते हैं या दबा सकते हैं (न्यूरल नेटवर्क को रीपैरामीटराइज़ कर सकते हैं) बिना वास्तव में घाटी को बदले। आप जो "समतलता" मापते हैं, वह पूरी तरह से इस बात पर निर्भर करती है कि आपने मानचित्र कैसे बनाया है, न कि वास्तविक इलाके पर। इसने "समतल अच्छा है" वाले सिद्धांत को संदिग्ध बना दिया क्योंकि माप वास्तविक नहीं था।

समाधान: "प्राकृतिक" दिशा-सूचक यंत्र (The "Natural" Compass)

यह शोध पत्र "समतलता" को मापने का एक नया तरीका प्रस्तावित करता है जिसे इस बात से फर्क नहीं पड़ता कि आप मानचित्र को कैसे खींचते हैं। वे फिशर इंफॉर्मेशन मैट्रिक्स (FIM) नामक चीज़ का उपयोग करते हैं।

उपमा: रबर के पैमाने का उपयोग करने के बजाय, कल्पना कीजिए कि आपके पास एक दिशा-सूचक यंत्र (compass) है जो स्वयं इलाके के भीतर बना हुआ है। यह दिशा-सूचक यंत्र जमीन के "प्राकृतिक" आकार को जानता है।

यदि आप रबर के मानचित्र को खींचते हैं, तो दिशा-सूचक यंत्र इलाके के साथ चलता है। यह अभी भी उसी "प्राकृतिक" समतलता की ओर संकेत करता है।
लेखक एक नया माप परिभाषित करते हैं जिसे रीमानियन शार्पनेस ( $S_R$ ) कहा जाता है। यह मापता है कि घाटी कितनी घुमावदार है, लेकिन यह किसी मनमाने ग्रिड के सापेक्ष नहीं, बल्कि डेटा की "प्राकृतिक" ज्यामिति के सापेक्ष है।

वे गणितीय रूप से सिद्ध करते हैं कि यह नया माप इनवेरिएंट (invariant) है। चाहे आप मानचित्र को खींचें या दबाएं, "प्राकृतिक समतलता" समान रहती है। यह पुराने सिद्धांत की मौलिक खामी को ठीक करता है।

SGD इन समतल घाटियों को कैसे खोजता है

यह शोध पत्र यह भी समझाता है कि स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD)—जो AI को प्रशिक्षित करने के लिए उपयोग किया जाने वाला एल्गोरिदम है—इन समतल घाटियों को क्यों खोजता है।

उपमा: कल्पना कीजिए कि आप कोहरे में पहाड़ से नीचे उतर रहे हैं।

मानक ग्रेडिएंट डिसेंट (Standard Gradient Descent): आप ढलान के सबसे तीव्र हिस्से से बिल्कुल सीधा नीचे चलते हैं। आप नीचे एक छोटी, तीखी दरार में फंस सकते हैं।
SGD (Stochastic): आप लोगों की भीड़ (डेटा के छोटे बैचों से उत्पन्न "शोर/noise") द्वारा धीरे से धक्के दिए जाते हुए नीचे उतर रहे हैं।
खोज: लेखक दिखाते हैं कि ये "धक्के" यादृच्छिक अराजकता (random chaos) नहीं हैं। वे स्वयं इलाके के आकार के अनुरूप होते हैं (FIM द्वारा निर्देशित)।
- यदि आप एक तीखी, संकीर्ण घाटी में हैं, तो धक्के बहुत अधिक उग्र होंगे; वे आपको घाटी से बाहर धकेल देंगे।
- यदि आप एक चौड़ी, समतल घाटी में हैं, तो धक्के इतने सौम्य होंगे कि आप वहीं बने रह सकते हैं।

गणितीय रूप से, वे सिद्ध करते हैं कि SGD का "शोर" एक चुंबक की तरह कार्य करता है जो मॉडल को सबसे चौड़ी, सबसे समतल घाटियों की ओर खींचता है। घाटी जितनी चौड़ी होगी, मॉडल के वहां ठहरने की संभावना उतनी ही अधिक होगी।

प्रमाण: क्यों समतलता बेहतर प्रदर्शन का अर्थ है

लेखक इस ज्यामिति को PAC-Bayes बाउंड नामक एक गणितीय सुरक्षा जाल का उपयोग करके वास्तविक दुनिया के प्रदर्शन से जोड़ते हैं।

उपमा: एक रस्सी पर चलने वाले (tightrope walker) के नीचे लगे सुरक्षा जाल (safety net) के बारे में सोचें।

यदि रस्सी एक तीखी, पतली तार है (एक तीक्ष्ण न्यूनतम/sharp minimum), तो एक मामूली डगमगाहट (नया डेटा पॉइंट) भी वॉकर को नीचे गिरा सकती है।
यदि रस्सी एक चौड़ा, समतल मंच है (एक समतल न्यूनतम/flat minimum), तो वॉकर काफी डगमगा सकता है और फिर भी सुरक्षित रह सकता है।

शोध पत्र सिद्ध करता है कि इस मंच की "चौड़ाई" (जिसे उनके नए रीमानियन शार्पनेस द्वारा मापा जाता है) सीधे तौर पर भविष्यवाणी करती है कि मॉडल नए डेटा पर कैसा प्रदर्शन करेगा। मंच जितना समतल होगा, सुरक्षा जाल उतना ही मजबूत होगा, और जनरलाइजेशन (generalization) उतना ही बेहतर होगा।

प्रयोगों ने क्या दिखाया

लेखकों ने दो प्रसिद्ध डेटासेट्स (MNIST और CIFAR-10) पर विभिन्न सेटिंग्स का उपयोग करके इसका परीक्षण किया:

बैच साइज (Batch Size): जब उन्होंने डेटा के छोटे समूहों (छोटे बैच) का उपयोग किया, तो "धक्के" बड़े थे, और मॉडल ने अधिक समतल घाटियाँ खोजीं और बेहतर प्रदर्शन किया।
लर्निंग रेट (Learning Rate): जब उन्होंने बड़े कदम (उच्च लर्निंग रेट) लिए, तो वे भी समतल घाटियों को खोजने की ओर झुके।
मेट्रिक (The Metric): उनके नए "प्राकृतिक समतलता" ( $S_R$ ) ने सफलतापूर्वक भविष्यवाणी की कि कौन से मॉडल सबसे अच्छा काम करेंगे। पुराने "रबर रूलर" वाली समतलता ( $S_E$ ) ने यह भविष्यवाणी करने में विफल रहा, विशेष रूप से जब नेटवर्क को पुनर्गठित किया गया था।

महत्वपूर्ण सावधानियां (बारीक विवरण)

लेखक अपनी सीमाओं के बारे में ईमानदार हैं:

"परफेक्ट" बनाम "वास्तविक" दिशा-सूचर: गणित सिद्ध करता है कि वास्तविक फिशर इंफॉर्मेशन मैट्रिक्स पूरी तरह से इनवेरिएंट है। हालांकि, वास्तविक कंप्यूटरों में, गणना को तेज़ बनाने के लिए उन्हें एक अनुमान (एक "डायगोनल" संस्करण) का उपयोग करना पड़ता है। यह अनुमान लगभग इनवेरिएंट है, लेकिन 100% सटीक नहीं है।
"धक्के" हमेशा परफेक्ट नहीं होते: सिद्धांत यह मानता है कि "धक्के" (शोर) एक विशिष्ट पैटर्न का पालन करते हैं। वास्तविक दुनिया में, यह पैटर्न सिद्धांत के बहुत करीब है लेकिन बिल्कुल सटीक नहीं है। हालांकि, लेखक दिखाते हैं कि इन छोटी खामियों के बावजूद, मुख्य निष्कर्ष (कि SGD समतल घाटियों को पसंद करता है) सही रहता है।

सारांश

यह शोध पत्र इस बात को ठीक करता है कि AI मॉडल क्यों जनरलाइज़ करते हैं।

समस्या: समतलता को मापने के पुराने तरीके बेईमानी कर रहे थे क्योंकि वे इस पर निर्भर थे कि आपने मानचित्र कैसे बनाया है।
सुधार: उन्होंने एक "प्राकृतिक" माप (रीमानियन शार्पनेस) पेश किया जो इस बात से नहीं बदलता कि आप मानचित्र को कैसे खींचते हैं।
प्रक्रिया: उन्होंने सिद्ध किया कि प्रशिक्षण में मौजूद यादृच्छिक शोर (SGD) स्वाभाविक रूप से मॉडल को इन समतल, सुरक्षित घाटियों की ओर धकेलता है।
परिणाम: समतल घाटियाँ (इस नए तरीके द्वारा मापी गई) नए डेटा पर बेहतर प्रदर्शन का संकेत देती हैं।

संक्षेप में: केवल सबसे निचले बिंदु की तलाश न करें; सबसे चौड़ी, सबसे समतल घाटी की तलाश करें, और एक ऐसे दिशा-सूचक यंत्र का उपयोग करें जो मानचित्र का नहीं, बल्कि इलाके का सम्मान करता हो।

तकनीकी सारांश: फिशर-जियोमेट्रिक शार्पनेस और फ्लैट मिनिमा की ओर SGD का इम्प्लिसिट बायस (Implicit Bias)

1. समस्या विवरण (Problem Statement)

डीप लर्निंग में प्रचलित अंतर्ज्ञान यह मानता है कि स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) अंतर्निहित रूप से "फ्लैट मिनिमा" (flat minima) को प्राथमिकता देता है, और ये फ्लैट मिनिमा "शार्प" (sharp) मिनिमा की तुलना में बेहतर सामान्यीकरण (generalization) करते हैं। हालाँकि, इस विमर्श के सैद्धांतिक आधार को Dinh et al. [2017] द्वारा गंभीर रूप से चुनौती दी गई थी, जिन्होंने प्रदर्शित किया कि लॉस हेसियन (loss Hessian) के मानक यूक्लिडियन माप (जैसे ट्रेस या अधिकतम आइगेनवैल्यू) पुनः पैरामीट्राइजेशन (reparametrization) के तहत अपरिवर्तनीय नहीं हैं।

विशेष रूप से, एक न्यूरल नेटवर्क के लिए, आप वेट्स को पुनर्गठित कर सकते हैं (जैसे, $W_1 \to \alpha W_1, W_2 \to \alpha^{-1} W_2$ ) जो नेटवर्क के इनपुट-आउटपुट फंक्शन को सटीक रूप से सुरक्षित रखते हुए यूक्लिडियन शार्पनेस को मनमाने ढंग से बदल सकता है। चूँकि सामान्यीकरण (generalization) एक फंक्शन का गुण है, न कि विशिष्ट पैरामीट्राइजेशन का, इसलिए एक गैर-इनवेरिएंट शार्पनेस माप सार्थक रूप से सामान्यीकरण की व्याख्या नहीं कर सकता। हालांकि इनवेरिएंट मापों की ओर कुछ आंशिक कदम उठाए गए हैं (जैसे, Jang et al. [2022]; Kristiadi et al. [2023]), लेकिन इनवेरिएंट शार्पनेस, SGD के इम्प्लिसिट बायस, और जनरलाइजेशन बाउंड्स को जोड़ने वाला एक एकीकृत ढांचा अब तक अनुपस्थित रहा है।

2. कार्यप्रणाली (Methodology)

2.1 रिमानियन शार्पनेस ( $S_R$ )

लेखक पैरामीटर स्पेस पर यूक्लिडियन मेट्रिक के स्थान पर फिशर इंफॉर्मेशन मैट्रिक्स (FIM), $G(\theta)$ का उपयोग करते हैं, जो मॉडल के प्रेडिक्टिव डिस्ट्रीब्यूशन के प्रति आंतरिक रूप से एक रिमानियन संरचना (Riemannian structure) प्रेरित करता है। वे एक मिनिमम $\theta^*$ पर रिमानियन शार्पनेस को इस प्रकार परिभाषित करते हैं:
$S_R(\theta^*) = \text{tr}\left( G(\theta^*)^{-1} \nabla^2 L(\theta^*) \right)$
जहाँ $\nabla^2 L$ ट्रेनिंग लॉस का हेसियन है। यूक्लिडियन शार्पनेस के विपरीत, $S_R$ सांख्यिकीय मैनिफोल्ड (statistical manifold) की प्राकृतिक ज्यामिति के सापेक्ष वक्रता (curvature) को मापता है।

2.2 सैद्धांतिक ढांचा: एक स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) के रूप में SGD

लेखक मिनी-बैच SGD को एक निरंतर-समय SDE के रूप में औपचारिक रूप देते हैं। वे Assumption 3 पेश करते हैं, जो यह प्रस्ताव देता है कि ग्रेडिएंट नॉइज़ का कोवेरिएंस (covariance) FIM के समानुपाती है:
$\text{Cov}[\nabla \tilde{L}(\theta^*)] = \frac{\eta}{B} G(\theta^*)$
जहाँ $\eta$ लर्निंग रेट है और $B$ बैच साइज है। इस धारणा के तहत, वे SGD प्रक्रिया के स्टेशनरी डिस्ट्रीब्यूशन $\pi^*$ को व्युत्पन्न करते हैं।

2.3 जनरलाइजेशन बाउंड्स (Generalization Bounds)

लेखक ज्योमेट्रिक बायस को टेस्ट परफॉरमेंस से जोड़ने के लिए एक PAC-Bayes फ्रेमवर्क का उपयोग करते हैं। वे प्रशिक्षित मिनिमम के केंद्र में एक पोस्टीरियर डिस्ट्रीब्यूशन का निर्माण करते हैं और स्पष्ट रूप से $S_R$ द्वारा नियंत्रित एक जनरलाइजेशन बाउंड प्राप्त करते हैं।

2.4 अनुभवजन्य अनुमान (Empirical Estimation)

चूँकि पूर्ण FIM की गणना करना कठिन है, लेखक एक डायगोनल एम्पिरिकल FIM एस्टीमेटर (मॉडल के अपने डिस्ट्रीब्यूशन से भविष्यवाणियों का नमूना लेकर) और हेसियन के लिए हचिन्सन के स्टोकेस्टिक ट्रेस एस्टीमेटर का उपयोग करते हैं। वे स्वीकार करते हैं कि जबकि वास्तविक FIM इनवेरिएंस की गारंटी देता है, प्रयोगों में उपयोग किया गया डायगोनल एम्पिरिकल एस्टीमेटर केवल लगभग इनवेरिएंट ही रहता है।

3. मुख्य योगदान (Key Contributions)

पुनः पैरामीट्राइजेशन-इनवेरिएंट शार्पनेस की परिभाषा: यह पेपर $S_R$ को परिभाषित करता है और सिद्ध करता है (लेम्मा 1) कि यह स्मूथ, फंक्शन-प्रिजर्विंग रीपैरामीट्राइजेशन के तहत इनवेरिएंट है, जो सीधे तौर पर Dinh et al. [2017] की आलोचना का समाधान करता है।
स्टेशनरी डिस्ट्रीब्यूशन विश्लेषण: लेखक मिनी-बैच SGD के स्टेशनरी डिस्ट्रीब्यूशन को व्युत्पन्न करते हैं (थ्योरम 1) और सिद्ध करते हैं कि प्रोबेबिलिटी मास कम रिमानियन शार्पनेस वाले मिनिमा पर एक्सपोनेंशियल रूप से केंद्रित (exponentially concentrated) होता है (कोरोलरी 1)। यह लो-रिमानियन शार्पनेस मिनिमा की ओर एक कठोर इम्प्लिसिट बायस स्थापित करता है।
PAC-Bayes जनरलाइजेशन बाउंड: एक जनरलाइजेशन बाउंड (कोरोलरी 2) स्थापित किया गया है जहाँ जनरलाइजेशन गैप को स्पष्ट रूप से $S_R$ द्वारा नियंत्रित किया जाता है, जो रिमानियन फ्लैटनेस और टेस्ट परफॉरमेंस के बीच एक सैद्धांतिक संबंध प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): MNIST और CIFAR-10 पर प्रयोग पुष्टि करते हैं कि $S_R$ , विभिन्न ऑप्टिमाइज़र (SGD, Adam), बैच साइज और लर्निंग रेट के तहत जनरलाइजेशन को ट्रैक करता है, जैसा कि यूक्लिडियन शार्पनेस ( $S_E$ ) नहीं कर पाता। $S_R$ का $\eta/B$ के साथ स्केलिंग भी सैद्धांतिक भविष्यवाणियों के अनुरूप है।

4. परिणाम (Results)

4.1 इनवेरिएंस और अलाइनमेंट

इनवेरिएंस: जबकि वास्तविक FIM सख्त रूप से इनवेरिएंट है, डायगोनल एम्पिरिकल एस्टीमेटर मनमाने ढंग से वेट स्केलिंग के तहत पूरी तरह इनवेरिएंट नहीं है। हालाँकि, यह यूक्लिडियन शार्पनेस की तुलना में काफी अधिक स्थिर रहता है।
नॉइज़ स्ट्रक्चर: अनुभवजन्य परीक्षण (सेक्शन 5) दिखाते हैं कि ग्रेडिएंट नॉइज़ कोवेरिएंस और FIM विभिन्न कॉन्फ़िगरेशन में दिशात्मक रूप से संरेखित (directionally aligned) हैं (कोसाइन सिमिलरिटी $\approx 1.0$ )। हालाँकि, स्केलर प्रोपोर्शनलिटी कांस्टेंट सभी रेजीम्स में सटीक रूप से $\eta/B$ नहीं है, विशेष रूप से छोटे-बैच, उच्च-नॉइज़ सेटिंग्स में। लेखक अपने अनुमान को एक स्केलर फैक्टर $\alpha(\theta)$ की अनुमति देने के लिए परिष्कृत करते हैं, जिससे यह सिद्ध होता है कि मुख्य सैद्धांतिक निष्कर्ष (फ्लैट मिनिमा की ओर बायस) मजबूत रहते हैं।

4.2 स्केलिंग लॉ और जनरलाइजेशन

बैच साइज ( $B$ ): MNIST पर, $B$ बढ़ाने से $S_R$ में महत्वपूर्ण वृद्धि होती है और टेस्ट सटीकता में कमी आती है, जो $S_R \propto B/\eta$ के पूर्वानुमान के अनुरूप है। CIFAR-10 पर, छोटे-बैच रेजीम में ऑप्टिमाइजेशन कठिनाइयों के कारण संबंध अधिक जटिल है, लेकिन उच्च $B$ के कारण उच्च $S_R$ का रुझान बना रहता है।
लर्निंग रेट ( $\eta$ ): $\eta$ बढ़ाने से आम तौर पर $S_R$ कम होता है और जनरलाइजेशन में सुधार होता है (उस बिंदु तक जहाँ ट्रेनिंग अस्थिर हो जाती है)।
ऑप्टिमाइज़र:
- SGD: लगातार कम $S_R$ और उच्च सटीकता वाले मिनिमा पाता है।
- Adam: MNIST पर कम $S_R$ और उच्च सटीकता प्राप्त करता है। CIFAR-10 पर, Adam, SGD की तुलना में कम $S_R$ वाला मिनिमम पाता है लेकिन सटीकता थोड़ी कम होती है। लेखक सुझाव देते हैं कि यह इसलिए है क्योंकि एडम का एडेप्टिव प्रीकंडीशनिंग प्रभावी मेट्रिक को बदल देता है; प्रीकंडीशनड ऑप्टिमाइज़र का इम्प्लिसिट बायस अपने स्वयं के मेट्रिक टेन्सर के सापेक्ष फ्लैटनेस की ओर होता है।

4.3 ट्रेनिंग डायनेमिक्स

ट्रेनिंग ट्रेजेक्टरीज दिखाती हैं कि छोटा-बैच SGD धीरे-धीरे शार्प बेसिन से बाहर निकलता है और जैसे-जैसे ट्रेनिंग जारी रहती है, फ्लैट क्षेत्रों में स्थिर होता है (घटता हुआ $S_R$ )। बड़ा-बैच SGD उच्च $S_R$ मानों पर स्थिर होता है, जो शार्प मिनिमा से बचने के लिए अपर्याप्त नॉइज़ के अनुरूप है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह पहला कठोर, पुनः पैरामीट्राइजेशन-इनवेरिएंट विवरण प्रदान करता है कि फ्लैट मिनिमा क्यों बेहतर सामान्यीकरण करते हैं। सांख्यिकीय मैनिफोल्ड की रिमानियन ज्यामिति (FIM के माध्यम से) में शार्पनेस को स्थापित करके, लेखक उस मौलिक आपत्ति का समाधान करते हैं कि फ्लैटनेस केवल पैरामीट्राइजेशन का एक आर्टिफैक्ट है।

इस कार्य का महत्व निम्नलिखित में निहित है:

सैद्धांतिक समाधान: यह "फ्लैटनेस-जनरलाइजेशन" अंतर्ज्ञान और "रीपैरामीट्राइजेशन क्रिटिक" के बीच के अंतर को पाटता है।
इम्प्लिसिट बायस का तंत्र: यह एक गणितीय व्युत्पत्ति प्रदान करता है कि SGD की नॉइज़ संरचना (जो FIM के समानुपाती है) स्वाभाविक रूप से ऑप्टिमाइज़र को कम रिमानियन शार्पनेस वाले मिनिमा की ओर ले जाती है।
व्यावहारिक मीट्रिक: यह प्रदर्शित करता है कि $S_R$ , यूक्लिडियन शार्पनेस की तुलना में जनरलाइजेशन का अधिक विश्वसनीय भविष्यवक्ता है।

लेखकों द्वारा स्वीकार की गई सीमाएँ:

डायगोनल एम्पिरिकल FIM एस्टीमेटर पूरी तरह से रीपैरामीट्राइजेशन-इनवेरिएंट नहीं है; पूर्ण इनवेरिएंस के लिए K-FAC जैसे स्ट्रक्चर्ड एस्टीमेटर्स की आवश्यकता होगी।
नॉइज़ कोवेरिएंस का स्केलर दावा ( $\alpha = \eta/B$ ) एक अनुमान है जो दिशात्मक रूप से तो सही है लेकिन डेटासेट और आर्किटेक्चर के आधार पर परिमाण में भिन्न होता है।
$S_R$ और जनरलाइजेशन के बीच का संबंध सबसे अधिक सूचनात्मक तब होता है जब ऑप्टिमाइज़र अभिसरित (converge) हो जाता है।