🤖 AI

Quotient Dynamics, Effective Curvature, and Implicit Bias in Positive Quadratic Networks

यह शोध पत्र रैंक-r PSD मैनिफोल्ड पर उनके कोटिएंट स्ट्रक्चर का लाभ उठाते हुए पॉजिटिव क्वाड्रेटिक नेटवर्क्स की ट्रेनिंग डायनेमिक्स, कर्वेचर और इम्पलिसिट बायस का विश्लेषण करता है ताकि यह प्रदर्शित किया जा सके कि कैसे फैक्टर ग्रेडिएंट फ्लो और डिसेंट, रिमानियन फ्लो और एंट्रॉपी-आधारित मिरर डायनेमिक्स के सटीक प्रोजेक्शन के माध्यम से विशिष्ट इंटरपोलेट्स, जैसे कि मिनिमम-ट्रेस सॉल्यूशंस तक अभिसरित होते हैं।

मूल लेखक: Pengcheng Cheng

प्रकाशित 2026-07-29

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pengcheng Cheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पहेली को हल करने की कोशिश कर रहे हैं, लेकिन आपके पास एक गुप्त शॉर्टकट है: अंतिम चित्र को हिलाने के बजाय, आपको केवल उन टुकड़ों को हिलाने की अनुमति है जो उस चित्र को बनाते हैं। मशीन लर्निंग की दुनिया में, यह बिल्कुल वही होता है जो "ओवरपैरामीटराइज्ड" (overparameterized) मॉडल्स को प्रशिक्षित करते समय होता है। ये स्मार्ट एल्गोरिदम हैं जिनमें वास्तव में अंतिम उत्तर का वर्णन करने के लिए आवश्यक भागों से कहीं अधिक चलते-फिरते हिस्से (पैरामीटर्स) होते हैं। यह एक पूर्ण वृत्त (circle) का वर्णन करने के लिए एक हजार अदृश्य धागों के साथ करतब दिखाने जैसा है; धागों को पकड़ने के कई अलग-अलग तरीके हो सकते हैं जो बिल्कुल एक ही वृत्त का परिणाम दे सकते। बड़ा सवाल यह है कि जब कंप्यूटर इन धागों को समायोजित करके सीखता है, तो वह वास्तव में कौन सा विशिष्ट वृत्त चुनता है? क्या वह सबसे सरल वाला चुनता है? सबसे संतुलित वाला? या क्या वह बस एक यादृच्छिक आकार में ठोकर खाता है?

यह शोध पत्र "पॉजिटिव क्वाड्रेटिक नेटवर्क" (positive quadratic networks) नामक पहेली के एक विशिष्ट प्रकार में गहराई तक जाता है। इन्हें एक विशेष प्रकार की गणितीय मशीन के रूप में सोचें जो एक इनपुट (जैसे एक संख्या या संख्याओं की सूची) लेती है और भविष्यवाणी करने के लिए उसे एक फैंसी तरीके से वर्ग (square) करती है। शोधकर्ताओं ने महसूस किया कि इस मशीन को थामे रखने वाले "धागे" में एक छिपा हुआ ज्यामितीय ढांचा है, जैसे कि एक घूमता हुआ लट्टू जो हर बार घूमने पर भी एक जैसा दिखता है। वे जानना चाहते थे कि जब इस मशीन को इस घूमते हुए, अनावश्यक परिदृश्य में नेविगेट करने के लिए मजबूर किया जाता है, तो इसकी सीखने की प्रक्रिया (ग्रेडिएंट डिसेंट) कैसा व्यवहार करती है। इस समस्या को एक घुमावदार सतह पर एक यात्रा के रूप में मानकर, जहाँ अनावश्यक चालों को अनदेखा कर दिया जाता है, उन्होंने खोजा कि मशीन केवल बिना किसी उद्देश्य के नहीं भटकती है। इसके बजाय, यह एक बहुत ही विशिष्ट, अनुमानित पथ का अनुसरण करती है जो एक छिपे हुए पूर्वाग्रह (bias) को प्रकट करता है: एक बहुत ही विशिष्ट गणितीय अर्थ में "छोटे" समाधानों को चुनने की प्रवृत्ति, जो अक्सर सबसे छोटे कुल आकार (trace) वाले समाधान या एक अनूठे तरीके से एंट्रॉपी (entropy) को संतुलित करने वाले समाधान को चुनता है।

अनावश्यक धागों का गुप्त नृत्य

आइए मुख्य रहस्य से शुरुआत करें। कल्पना कीजिए कि आपके पास एक मशीन है जो तापमान और आर्द्रता के आधार पर मौसम की भविष्यवाणी करती है। इस मशीन को बनाने के लिए, आप एक कारक $U$ का उपयोग करते हैं, जो डायल (dials) के एक सेट की तरह है। मशीन की वास्तविक भविष्यवाणी, $Q$ , इन डायलों को एक साथ वर्ग करके बनाई जाती है ( $Q = UU^\top$ )। यहाँ पेच यह है कि इन डायलों को सेट करने के अनंत तरीके हैं जिससे बिल्कुल वही भविष्यवाणी प्राप्त की जा सकती है। यदि आप डायल को एक विशिष्ट तरीके से घुमाते हैं (एक ऑर्थोगोनल मैट्रिक्स से गुणा करके), तो भविष्यवाणी $Q$ में कोई बदलाव नहीं आता है। यह एक रूबिक क्यूब की तरह है जहाँ आप केंद्र के टुकड़े का रंग बदले बिना उसके एक पूरे चेहरे को घुमा सकते हैं।

शोध पत्र सिद्ध करता है कि यह केवल एक संयोग नहीं है; यह एक मौलिक ज्यामितीय नियम है। सभी संभावित डायलों का स्थान विशाल है, लेकिन वास्तविक भविष्यवाणियों का स्थान एक छोटा, चिकना सतह है जिसे "क्वोटिएंट मैनिफोल्ड" (quotient manifold) कहा जाता है। शोधकर्ताओं ने दिखाया कि जब आप मानक तरीकों (यूक्लिडियन ग्रेडिएंट फ्लो) का उपयोग करके मशीन को प्रशिक्षित करते हैं, तो डायल इस भविष्यवाणी सतह की ज्यामिति के साथ पूरी तरह से संरेखित होकर चलते हैं। "अनावश्यक" घूमने वाली गति को स्वाभाविक रूप से फ़िल्टर कर दिया जाता है। ऐसा है जैसे कि लर्निंग एल्गोरिदम के पास एक आंतरिक दिशा-सूचक यंत्र (compass) है जो केवल भविष्यवाणी को आगे बढ़ाने की परवाह करता है, डायल के बेकार घूमने को अनदेखा करता है।

अदृश्य मानचित्र और सीखने की गति

सबसे रोमांचक खोजों में से एक यह है कि मशीन कितनी तेजी से सीखती है। आमतौर पर, जब हम देखते हैं कि एक एल्गोरिदम कितनी तेजी से अभिसरण (converge) करता है, तो हम परिदृश्य के "वक्रता" (curvature) को देखते हैं—कि पहाड़ियाँ कितनी खड़ी हैं। लेकिन अनावश्यक डायल के कारण, परिदृश्य कुछ दिशाओं में अजीब तरह से सपाट दिखता है। लेखकों ने एक नया प्रकार का मानचित्र बनाया जिसे "प्रभावी वक्रता" (effective curvature) कहा जाता है। यह मानचित्र सपाट, बेकार दिशाओं को अनदेखा करता है और केवल उन दिशाओं की ढलान को मापता है जो वास्तवчески भविष्यवाणी को बदलते हैं।

उन्होंने पाया कि यह प्रभावी वक्रता पूरी तरह से भविष्यवाणी करती है कि मशीन कितनी तेजी से सीखती है। अपने प्रयोगों में, उन्होंने समस्या की "ढलान" को बदला और सीखने की गति को देखा। परिणाम सटीक थे: मशीन ठीक उतनी ही धीमी हुई जितनी नए मानचित्र ने भविष्यवाणी की थी। यह सड़क की सतह पर कार चलाने जैसा है; शोध पत्र ने पता लगाया कि कार की गति सड़क की सतह से नहीं, बल्कि गड्ढों के एक छिपे हुए मानचित्र द्वारा निर्धारित होती है जो स्टीयरिंग व्हील को प्रभावित करता है, न कि इंजन को।

"छोटे" आरंभ का जादू और एंट्रॉपी का निर्णायक नियम

अब, आइए बात करते हैं कि क्या होता है जब पहेली पूरी तरह से हल नहीं होती है। कल्पना कीजिए कि आपके पास मौसम के बारे में कुछ सुराग हैं, लेकिन सटीक तापमान जानने के लिए पर्याप्त नहीं हैं। सुरागों के फिट होने वाले अनंत संभावित उत्तर हो सकते हैं। मशीन किसे चुनती है?

शोध पत्र एक दिलचस्प नियम प्रकट करता है: आप कैसे शुरू करते हैं, यह मायने रखता है। यदि आप मशीन को डायलों को एक बहुत ही छोटे, समान मान (एक "छोटा इनिशियलाइजेशन") पर सेट करके शुरू करते हैं, तो मशीन का झुकाव न्यूनतम ट्रेस (minimum trace) वाले समाधान को चुनने की ओर होता है। सरल शब्दों में, "ट्रेस" भविष्यवाणी के कुल "आकार" या "ऊर्जा" को मापने का एक तरीका है। मशीन स्वाभाविक रूप से सबसे छोटे, सबसे सघन समाधान की ओर आकर्षित होती है जो डेटा के अनुकूल होता है।

लेकिन क्या होगा यदि कई समाधान ऐसे हैं जो सभी समान रूप से छोटे हैं? मशीन केवल एक को यादृच्छिक रूप से नहीं चुनती है। यह एंट्रॉपी (entropy) के आधार पर एक निर्णायक नियम (tie-breaker) का उपयोग करती है, जो विकार या यादृच्छिकता का एक माप है। शोध पत्र दिखाता है कि मशीन सबसे छोटे विकल्पों में से सबसे "संतुलित" या "फैला हुआ" समाधान चुनती है। यह रेत के ढेर जैसा है जिसे आप यथासंभव छोटा करना चाहते हैं; यदि आप इसे और छोटा नहीं कर सकते, तो आप इसे जितना संभव हो सके उतना समान रूप से फैला देते हैं ताकि कोई भी एकल कण बहुत भारी न हो।

शोधकर्ताओं ने विशेष रूप से उस प्रकार की समस्या के लिए इसे गणितीय रूप से सिद्ध किया है जहाँ सुराग (माप) सभी "कम्यूट" (commute) करते हैं, जिसका अर्थ है कि उन्हें एक-दूसरे से लड़े बिना एक साथ हल किया जा सकता है। इस परिदृश्य में, सीखने की प्रक्रिया बिल्कुल एक "मिरर फ्लो" (mirror flow) के समान है, जो शुरुआती बिंदु से एक विशिष्ट प्रकार की दूरी (ब्रेगमैन डाइवर्जेंस) को कम करने वाला एक शानदार गणितीय नृत्य है।

सिद्धांत और वास्तविकता के बीच का अंतर

हालाँकि गणित सुंदर है, लेकिन शोध पत्र अपनी सीमाओं के बारे में भी बहुत ईमानदार है। लेखकों ने एक सूत्र निकाला है कि मशीन को सही उत्तर खोजने की गारंटी देने के लिए कितने डेटा बिंदुओं की आवश्यकता है। हालाँकि, वे स्वीकार करते हैं कि यह सूत्र अत्यधिक रूढ़िवादी (conservative) है। यह एक सुरक्षा नियमावली की तरह है जो कहती है, "इस पुल को पार करने के लिए, आपको एक लाख लोगों को हाथ पकड़ने की आवश्यकता है," जबकि वास्तव में, पुल केवल दस लोगों के साथ भी टिक सकता है।

अपने प्रयोगों में, मशीन ने आवश्यक डेटा बिंदुओं की तुलना में बहुत कम डेटा के साथ सही समाधान सफलतापूर्वक सीख लिया और पा लिया। सिद्धांत एक "पर्याप्त" गारंटी है (यदि आपके पास इतना है तो यह काम करेगा), लेकिन यह "आवश्यक" (जरूरी) नहीं है (आप इससे कम में भी काम चला सकते हैं)। शोध पत्र स्पष्ट रूप से कहता है कि उनकी नमूना आकार की आवश्यकता सर्वोत्तम संभव नहीं है और यह एक "सबसे खराब स्थिति" (worst-case scenario) विश्लेषण पर आधारित है। वे यह भी नोट करते हैं कि उनका व्यवस्थित एंट्रॉपी निर्णायक नियम केवल तभी काम करता है जब सुराग कम्यूट करते हैं; अधिक अराजक, गैर-कम्यूटिंग समस्याओं के लिए, यह नियम लागू नहीं हो सकता है।

सीमित चरण: जब नृत्य लड़खड़ाने लगता है

अंत में, शोध पत्र ने देखा कि क्या होता है जब मशीन निरंतर प्रवाह (continuous flow) में नहीं सीखती है बल्कि छोटे, असतत कदम (discrete steps) लेती है (जैसे एक वीडियो गेम चरित्र फ्रेम-दर-फ्रेम चलता है)। उन्होंने पाया कि मशीन जो अंतिम उत्तर चुनती है वह सुचारू, निरंतर उत्तर के बहुत करीब होता है, लेकिन एक छोटी त्रुटि के साथ। यह त्रुटि चरण आकार ( $\eta$ ) के समानुपाती होती है। यदि आप छोटे कदम लेते हैं, तो उत्तर "परफेक्ट" निरंतर समाधान के अधिक करीब आता है। यह लक्ष्य की ओर चलने जैसा है; यदि आप बड़े कदम उठाते हैं, तो आप लक्ष्य से आगे निकल सकते हैं या थोड़ा भटक सकते हैं, लेकिन यदि आप छोटे कदम लेते हैं, तो आप लगभग ठीक वहीं पहुँचते हैं जहाँ सुचारू पथ आपको ले जाता।

निष्कर्ष

यह शोध पत्र केवल यह नहीं कहता कि "मशीन लर्निंग काम करती है"; यह समझाता है कि यह क्यों काम करती है। यह दिखाता है कि समस्या का प्रतिनिधित्व करने का तरीका (डायल) और उसे प्रशिक्षित करने का तरीका (ग्रेडिएंट फ्लो) गहराई से जुड़े हुए हैं। मशीन केवल त्रुटि को कम नहीं कर रही है; वह एक घुमावदार, अनावश्यक परिदृश्य में नेविएट कर रही है जो स्वाभाविक रूप से उसे सरल, संतुलित समाधानों की ओर निर्देशित करता है। जबकि गणित इस यात्रा के लिए एक कठोर मानचित्र प्रदान करता है, वास्तविक दुनिया के प्रयोग दिखाते हैं कि मशीन "सुरक्षा नियमावली" के सुझावों की तुलना में बहुत अधिक सक्षम है, जो कम डेटा और कम चरणों के साथ सही उत्तर खोज लेती है। यह छिपी हुई ज्यामिति, प्राकृतिक पूर्वाग्रहों और मशीनें कैसे सीखती हैं, इसकी आश्चर्यजनक सुंदरता की कहानी है।

तकनीकी सारांश: कोटिएंट डायनेमिक्स, प्रभावी वक्रता (Effective Curvature), और पॉजिटिव क्वाड्रेटिक नेटवर्क में निहित पूर्वाग्रह (Implicit Bias)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र पॉजिटिव क्वाड्रेटिक नेटवर्क्स के प्रशिक्षण गतिकी (training dynamics) और निहित पूर्वाग्रह (implicit bias) की जांच करता है, जो कि एक विशिष्ट वर्ग है जिसे निम्नलिखित गुणनखंड (factorization) द्वारा परिभाषित किया गया है:
$f_U(x) = \sum_{j=1}^r (u_j^\top x)^2 = x^\top UU^\top x$
जहाँ $U \in \mathbb{R}^{d \times r}$ पैरामीटर मैट्रिक्स है और प्राप्त प्रेडिक्टर (realized predictor) रैंक- $r$ पॉजिटिव सेमीडेफिनिट (PSD) मैट्रिक्स $Q = UU^\top$ है।

मुख्य चुनौती $U$ की नॉन-आइडेंटिफिएबिलिटी (non-identifiability) है। कारक $U$ का राइट मल्टीप्लिकेशन द्वारा किसी भी ऑर्थोगोनल मैट्रिक्स $R \in O(r)$ से अपरिवर्तनीयता ( $U$ और $UR$ समान प्रेडिक्टर देते हैं) एक "गेज" (gauge) रेडंडेंसी पैदा करती है, जहाँ एम्बिएंट पैरामीटर स्पेस $\mathbb{R}^{d \times r}$ आंतरिक प्रेडिक्टर स्पेस से काफी बड़ा है। यह शोध निम्नलिखित प्रश्नों का उत्तर खोजने का प्रयास करता है:

यह कोटिएंट संरचना (quotient structure) मानक यूक्लिडियन ग्रेडिएंट विधियों की गतिशीलता को कैसे नियंत्रित करती है?
गेज दिशाओं को हटाने के बाद स्थानीय अभिसरण (local convergence) को नियंत्रित करने वाली प्रभावी वक्रता (effective curvature) क्या है?
अनडिटरमिनिस्टिक सेटिंग्स में, कारक गतिकी (factor dynamics) किस विशिष्ट इंटरपोलेंट (interpolant) का चयन करती है (निहित पूर्वाग्रह)?

2. कार्यप्रणाली (Methodology)

लेखक कोटिएंट मैनिफोल्ड और रिमानियन ऑप्टिमाइज़ेशन पर आधारित एक कठोर ज्यामितीय ढांचे का उपयोग करते हैं, जिसे सीधे कारक $U$ के साधारण यूक्लिडियन प्रशिक्षण पर लागू किया गया है।

A. सटीक कोटिएंट ज्यामिति (Exact Quotient Geometry)

अध्ययन फुल-कॉलम-रैंक स्ट्रैटम $\mathcal{F}_{d,r} = \{U \in \mathbb{R}^{d \times r} : \text{rank}(U)=r\}$ पर ध्यान केंद्रित करता है।

फाइबर पहचान (Fiber Identification): यह सिद्ध किया गया है कि $UU^\top = VV^\top$ यदि और केवल यदि $V = UR $हो, जहाँ$ R \in O(r) $एक अद्वितीय मैट्रिक्स है। इस प्रकार, प्रेडिक्टर स्पेस$ \mathcal{M}_r^+ $रैंक-$ r$ PSD मैट्रिसेस का डाइफ़ोमोर्फिक (diffeomorphic) कोटिएंट मैनिफोल्ड $\mathcal{F}_{d,r} / O(r)$ है।
होरिज़ोंटल/वर्टिकल अपघटन (Horizontal/Vertical Decomposition): कारक के स्पर्शज्या स्थान (tangent space) को वर्टिकल दिशाओं (ऑर्थोगोनल ऑर्बिट के स्पर्शज्या, जो गेज परिवर्तनों का प्रतिनिधित्व करती हैं) और होरिज़ोंटल दिशाओं (फ्रोबेनिअस मेट्रिक के तहत ऑर्बिट के लंबवत) में विभाजित किया गया है।
मुख्य अंतर्दृष्टि: किसी भी ऑब्जेक्टिव $L(U) = \ell(UU^\top)$ का यूक्लिडियन ग्रेडिएंट होरिज़ोंटल होता है। फलस्वरूप, कारक स्पेस में यूक्लिडियन ग्रेडिएंट फ्लो, कोटिएंट मैनिफोल्ड $\mathcal{M}_r^+$ पर रिमानियन ग्रेडिएंट फ्लो पर सटीक रूप से प्रोजेक्ट होता है।

B. प्रभावी वक्रता और रिकवरी (Effective Curvature and Recovery)

गौसियन रैंक-वन मेजरमेंट्स के लिए क्वाड्रेटिक रिग्रेशन हेतु, लेखक निम्नानुसार व्युत्पन्न करते हैं:

प्रभावी हेसियन (Effective Hessian): कोटिएंट मेट्रिक के सापेक्ष प्रेडिक्टर के स्पर्शज्या पर प्रतिबंधित लॉस का हेसियन। यह गेज रेडंडेंसी को हटा देता है जबकि वास्तविक सैंपल-स्तरीय नॉन-आइडेंटिफिएबिलिटी को सुरक्षित रखता है।
पॉपुलेशन ऑपरेटर: जनसंख्या सामान्य ऑपरेटर (population normal operator) को स्पष्ट रूप से $T(H) = 2H + \text{tr}(H)I$ के रूप में कंप्यूट किया गया है।
कंसंट्रेशन (Concentration): पूरे एम्बिएंट स्पेस $S_d$ पर एम्पिरिकल ऑपरेटर के लिए एक यूनिफॉर्म डेविएशन बाउंड (द्वितीय-मोमेंट तर्क का उपयोग करके) स्थापित किया गया है।
इनिशियलाइजेशन: एक मोमेंट-आधारित स्पेक्ट्रल इनिशियलाइज़र बनाया गया है जो अपने $r$ सबसे बड़े धनात्मक आइगेनवैल्यूज़ तक मोमेंट मैट्रिक्स को ट्रंकेट करता है।

C. कम्यूटिंग रिजीम में निहित पूर्वाग्रह (Implicit Bias in Commuting Regimes)

एक अनडिटरमिनिस्टिक रिजीम में जहाँ मेजरमेंट मैट्रिसेस कम्यूट करते हैं (साझा जॉइंट स्पेक्ट्रल डीकंपोजिशन रखते हैं), गतिकी को जॉइंट स्पेक्ट्रल बीजगणित (joint spectral algebra) तक सीमित कर दिया जाता है।

मिरर फ्लो: यह दिखाया गया है कि फैक्टर ग्रेडिएंट फ्लो स्पेक्ट्रल कोऑर्डिनेट्स में एक सटीक एन्ट्रॉपी मिरर फ्लो है।
सिलेक्शन लॉज़ (Selection Laws): फ्लो का लिमिट, फेज़िबल सेट पर इनिशियलाइजेशन का ब्रेगमैन प्रोजेक्शन (Bregman projection) है।
- छोटा इनिशियलाइजेशन: जैसे-जैसे इनिशियलाइजेशन स्केल $\epsilon \to 0$ होता है, चयनित प्रेडिक्टर मिनिमम-ट्रेस समाधान की ओर बढ़ता है।
- एन्ट्रॉपी टाई-ब्रेकिंग: यदि मिनिमम-ट्रेस समाधान अद्वितीय नहीं है, तो लिमिट इनवेरिएंट बीजगणित के भीतर एक भारित एन्ट्रॉपी फंक्शनल (weighted entropy functional) के अद्वितीय मिनिमाइज़र को चुनता है।
डिस्क्रीट बनाम कंटीन्यूअस: परिमित-चरण ग्रेडिएंट डिसेंट के लिए, चयनित इंटरपोलेंट निरंतर ब्रेगमन प्रोजेक्शन से $O(\eta)$ भिन्न होता है।

3. मुख्य योगदान (Key Contributions)

यूक्लिडियन डायनेमिक्स का सटीक प्रोजेक्शन: यह शोध पत्र स्थापित करता है कि कारक $U$ पर साधारण यूक्लिडियन ग्रेडिएंट फ्लो सटीक रूप से हॉरिजोंटल है और रैंक- $r$ PSD मैट्रिसेस के रिमानियन ग्रेडिएंट फ्लो पर प्रोजेक्ट होता है। यह प्रेडिक्टर $Q_k$ के लिए एक सटीक कॉंग्रुएंस रिकर्सन (exact congruence recursion) भी व्युत्पन्न करता है, जो सटीक डिस्क्रीटाइजेशन एरर टर्म की पहचान करता है।
प्रभावी वक्रता और स्थानीय दरें: यह कोटिएंट मेट्रिक के सापेक्ष एक प्रभावी हेसियन को परिभाषित करता है। इस हेसियन के सामान्यीकृत आइगेनवैल्यू (generalized eigenvalues) आंतरिक रैखिक गतिकी का वर्णन करते हैं। सबसे छोटा प्रभावी आइगेनवैल्यू कारक प्रक्षेपवक्र (trajectory) की सबसे धीमी स्थानीय अभिसरण दर को नियंत्रित करता है।
स्पष्ट (रूढ़िवादी) रिकवरी गारंटी: गौसियन रैंक-वन मेजरमेंट्स के तहत, यह पेपर लोकल रिकवरी के लिए एक एंड-टू-एंड पर्याप्त स्थिति प्रदान करता है। इसमें एक स्पेक्ट्रल इनिशियलाइज़र, फुल-स्पेस कंसंट्रेशन बाउंड और ग्रेडिएंट फ्लो के लिए स्थानीय घातांकीय अभिसरण (exponential convergence) तथा ग्रेडिएंट डिसेंट के लिए लीनियर अभिसरण (ओरकल स्टेप साइज के साथ) शामिल है।
स्पष्ट इंटरपोलेशन सिद्धांत: कम्यूटिंग अनडिटरमिनिस्टिक रिजीम में, यह स्पष्ट सिलेक्शन लॉज़ व्युत्पन्न करता है:
- परिमित धनात्मक इनिशियलाइजेशन $\implies$ ब्रेगमन प्रोजेक्शन।
- आइसोट्रोपिक छोटा इनिशियलाइजेशन $\implies$ मिनिमम-ट्रेस समाधान।
- गैर-अद्वितीय मिनिमम-ट्रेस फेस $\implies$ भारित एन्ट्रॉपी टाई-ब्रेकिंग।
- परिमित स्टेप साइज $\implies$ निरंतर सीमा से $O(\eta)$ विचलन।

4. परिणाम और संख्यात्मक सत्यापन (Results and Numerical Verification)

शोध पत्र अपने सैद्धांतिक तंत्रों को संख्यात्मक प्रयोगों के माध्यम से सत्यापित करता है:

कोटिएंट आइडेंटिटीज: सत्यापित किया गया कि ऑर्थोगोनली इक्विवेलेंट इनिशियलाइजेशन समान प्रेडिक्टर प्रक्षेपवक्र (फ्लोटिंग-पॉइंट प्रिसिजन तक) प्रदान करते हैं और सटीक प्रेडिक्टर रिकर्सन बना रहता है।
वक्रता भविष्यवाणी: मापा गया स्थानीय क्षय दर (decay rate) न्यूनतम प्रभावी आइगेनवैल्यू के साथ $< 2.4 \times 10^{-4}$ के सापेक्ष त्रुटि के साथ मेल खाता है।
रिकवरी कंजर्वेटिज्म: जबकि सैद्धांतिक सैंपल कॉम्प्लेक्सिटी बाउंड (फुल-स्पेस कंसंट्रेशन के कारण $O(r^2 d^8)$ के रूप में स्केल होता है) अत्यंत रूढ़िवादी है, एम्पिरिकल रिकवरी कई ऑर्डर कम सैंपल साइज पर भी सफल होती है। यह गुणात्मक तंत्र की पुष्टि करता है लेकिन मात्रात्मक स्थिरांकों की ढीलेपन (looseness) को भी उजागर करता है।
सिलेक्शन लॉज़: प्रयोग पुष्टि करते हैं कि ग्रेडिएंट फ्लो ब्रेगमन प्रोजेक्शन की ओर अभिसरित होता है, छोटा इनिशियलाइजेशन मिनिमम-ट्रेस समाधानों की ओर ले जाता है, और परिमित-चरण डिसेंट $O(\eta)$ विचलन पेश करता है जो सिद्धांत के अनुरूप है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह बिना किसी अनुमानित धारणा (heuristic assumptions) पर निर्भर रहे, सटीक कोटिएंट ज्यामिति से लेकर ठोस प्रशिक्षण गतिकी और निहित पूर्वाग्रह तक एक बंद तर्क श्रृंखला (closed chain of reasoning) प्रदान करता है।

दावों में विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि उनके रिकवरी बाउंड्स जानबूझकर रूढ़िवादी हैं। वे यह दावा नहीं करते कि सांख्यिकीय अनुकूलता (statistical optimality) प्राप्त है या सैंपल कॉम्प्लेक्सिटी मैनिफोल्ड के आंतरिक आयाम के साथ स्केल होती है। बाउंड्स रेस्ट्रिक्टेड आइसोमेट्री प्रॉपर्टीज के बजाय फुल-स्पेस कंसंट्रेशन पर निर्भर करते हैं।
दायरा सीमाएँ (Scope Limitations):
- स्मूथ कोटिएंट विश्लेषण फुल-कॉलम-रैंक स्ट्रैटम तक ही सीमित है; सिंगुलर बाउंड्रीज़ (रैंक-डेफिशिएंट फैक्टर्स) को शामिल नहीं किया गया है।
- स्पष्ट ब्रेगमन और एन्ट्रॉपी सिलेक्शन थ्योरम्स के लिए एक कम्यूटिंग मेजरमेंट बीजगणित की आवश्यकता है। किसी भी मनमाने नॉन-कम्यूटिंग मैट्रिक्स सेंसिंग के लिए कोई दावा नहीं किया गया है।
- ग्रेडिएंट फ्लो और ग्रेडिएंट डिसेंट के बीच छोटे-इनिशियलाइजेशन लिमिट की समानता केवल क्रमिक रूप से ( $\eta \to 0$ फिर $\epsilon \to 0$ ) स्थापित की गई है, न कि साथ में।
मुख्य योगदान: प्राथमिक महत्व इस बात में है कि यह प्रदर्शित करना है कि कोटिएंट ज्यामिति केवल एक सैद्धांतिक अमूर्तता नहीं है, बल्कि सीधे तौर पर मानक यूक्लिडियन ऑप्टिमाइज़र की प्रक्षेपवक्र (trajectory) को निर्देशित करती है। यह एक सटीक भाषा प्रदान करता है जिससे यह बताया जा सके कि पैरामीटर रेडंडेंसी को गतिकी द्वारा कैसे हटाया जाता है और कैसे विशिष्ट संरचनात्मक पूर्वाग्रह (ट्रेस, एन्ट्रॉपी) इनिशियलाइजेशन, स्टेप साइज और प्रेडिक्टर स्पेस की ज्यामिति के बीच परस्पर क्रिया से उभरते हैं।