📊 statistics

Inversion-Free Natural Gradient Descent on Riemannian Manifolds

यह शोध पत्र रिमानियन मैनिफोल्ड्स के लिए एक इनवर्जन-फ्री स्टोकेस्टिक नेचुरल ग्रेडिएंट विधि प्रस्तावित करता है जो स्पर्शरेखा स्थान (टैंजेंट स्पेस) के अंतरों को संभालने के लिए ट्रांसपोर्ट ऑपरेशन्स का उपयोग करके फिशर इंफॉर्मेशन मैट्रिक्स के व्युत्क्रम का एक ऑनलाइन सन्निकटन बनाए रखता है, ज्यामितीय बाधाओं को लागू करते हुए लगभग-निश्चित अभिसरण दर प्राप्त करता है और यूक्लिडियन समकक्षों की तुलना में वेरिएशनल बायेस और नॉर्मलाइजिंग फ्लो में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Dario Draca, Takuo Matsubara, Minh-Ngoc Tran

प्रकाशित 2026-04-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dario Draca, Takuo Matsubara, Minh-Ngoc Tran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधली घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं ताकि वहां एक कैंप लगा सकें। यह अनिवार्य रूप से वही करता है जो मशीन लर्निंग एल्गोरिदम करते हैं: वे एक बेहतर मॉडल खोजने के लिए "त्रुटि" (error) को कम करने का प्रयास करते हैं।

पुराने दिनों में, अधिकांश एल्गोरिदम यह मान लेते थे कि ज़मीन एक कागज़ की शीट की तरह सपाट है (यूक्लिडियन स्पेस - Euclidean space)। वे बस ढलान की ओर एक कदम चलते, ढलान की जांच करते और फिर एक और कदम चलते। समतल ज़मीन पर यह काम ठीक चलता है।

लेकिन वास्तविक दुनिया की कई समस्याओं में, "ज़मीन" सपाट नहीं होती। यह पृथ्वी की सतह की तरह घुमावदार हो सकती है, या इसमें सख्त नियम हो सकते हैं, जैसे कि "आपको एक गोले की सतह पर ही रहना होगा" या "आप किसी चट्टान के किनारे से नीचे नहीं गिर सकते।" गणित में, इन घुमावदार, नियमों से बंधी परिदृश्यों को रीमानियन मैनिफोल्ड (Riemannian Manifolds) कहा जाता है।

समस्या: "सपाट पृथ्वी" वाली गलती

यदि आप फ्लैट-अर्थ लॉजिक (flat-Earth logic) का उपयोग करके एक घुमावदार पहाड़ से नीचे उतरने की कोशिश करते हैं, तो आप ऐसा कदम उठा सकते हैं जो मानचित्र पर तो ढलान वाला दिखता है, लेकिन वास्तव में आपको किसी खाई में गिरा सकता है या गोल-गोल चक्कर में फंसा सकता है।

इसके अलावा, मानक तरीके अक्सर इसलिए फंस जाते हैं क्योंकि वे डेटा के आकार (shape) को नहीं समझते। कल्पना कीजिए कि आप एक भूलभुलैया में नेविगेट कर रहे हैं जहाँ कुछ रास्ते चौड़े और आसान हैं, जबकि अन्य संकीर्ण और फिसलन भरे हैं। एक मानक यात्री हर जगह एक ही आकार का कदम लेता है। एक स्मार्ट यात्री (नेचुरल ग्रेडिएंट डिसेंट - Natural Gradient Descent का उपयोग करने वाला) फिसलन भरे रास्तों पर छोटे, सावधानी भरे कदम उठाता है और चौड़े रास्तों पर बड़े, आत्मविश्वास भरे कदम।

हालाँकि, इन "स्मार्ट कदमों" की गणना करने के लिए एक भारी, धीमी गणना की आवश्यकता होती है जिसे मैट्रिक्स इनवर्जन (matrix inversion) कहा जाता है। यह एक जटिल पहेली को हल करने जैसा है जिसे आपको हर कदम लेने पर बार-बार हल करना पड़ता है। विशाल समस्याओं के लिए, यह बहुत धीमा और गणनात्मक रूप से महंगा है।

समाधान: वक्रों पर "इनवर्जन-फ्री" चलना

यह शोध पत्र इन घुमावदार परिदृश्यों पर बिना उस भारी पहेली को हर बार हल किए चलने का एक नया, चतुर तरीका पेश करता है।

यहाँ उपमा (analogy) दी गई है:

मानचित्र (द मैनिफोल्ड - The Manifold): पैरामीटर स्पेस को एक घुमावदार सतह के रूप में सोचें, जैसे कि एक गुब्बारे की त्वचा। आप सीधे रेखा नहीं खींच सकते; आपको घुमावों (जियोडेसिक्स - geodesics) का पालन करना होगा।
कुतुबनुमा/कंपास (फिशर इंफॉर्मेशन - The Fisher Information): यह एक विशेष कंपास है जो न केवल यह बताता है कि "नीचे" की दिशा कौन सी है, बल्कि यह भी कि डेटा के प्रति संवेदनशीलता के सापेक्ष "नीचे" की दिशा कौन सी है। यह वक्रता (curvature) को ध्यान में रखता है।
भारी पहेली (मैट्रिक्स इनवर्जन - The Heavy Puzzle): आमतौर पर, इस कंपास को सही ढंग से पढ़ने के लिए, आपको मानचित्र को "इनवर्ट" करने वाली एक विशाल गणना करनी पड़ती है। यह धीमा है।
चालक (इनवर्जन-फ्री - The Trick): लेखकों ने महसूस किया कि आपको एक ही बार में पूरी पहेली को हल करने की आवश्यकता नहीं है। इसके बजाय, आप चलते-चलते कंपास को सीख सकते हैं।
- कल्पना कीजिए कि आप चल रहे हैं और हर कुछ कदमों के बाद इलाके के बारे में छोटी-छोटी नोट्स ले रहे हैं।
- पूरे मानचित्र को फिर से बनाने के बजाय, आप बस नई जानकारी के साथ अपने नोट्स को अपडेट करते हैं।
- यह अपडेट तेज़ है (जैसे नोटबुक में एक नई लाइन जोड़ना) न कि धीमा (जैसे पूरा नक्शा फिर से बनाना)।

"ट्रांसपोर्ट" की चुनौती

यहाँ पेचीदा हिस्सा है: क्योंकि ज़मीन घुमावदार है, इसलिए एक स्थान पर (टैंजेंट स्पेस A) आपके द्वारा ली गई "नोट्स" दूसरे स्थान (टैंजेंट स्पेस B) की नोट्स से अलग "भाषा" में लिखी गई हैं।

उपमा: कल्पना कीजिए कि आप पृथ्वी के चारों ओर घूम रहे हैं। उत्तरी ध्रुव पर, "उत्तर" एक दिशा है। भूमध्य रेखा पर, "उत्तर" आपके पैरों के सापेक्ष एक अलग दिशा है। यदि आप ध्रुव की अपनी नोट्स की तुलना भूमध्य रेखा की नोट्स से करना चाहते हैं, तो आपको उन्हें रोटेट (rotate) करना होगा ताकि वे मेल खा सकें।
शोध पत्र में, इसे वेक्टर ट्रांसपोर्ट (Vector Transport) कहा जाता है। लेखकों ने इन "नोट्स" (स्कोर वेक्टर्स) को घुमाने का एक तरीका विकसित किया है ताकि उन्हें घुमावदार सतह पर चलते समय भी सही ढंग से जोड़ा जा सके।

यह क्यों महत्वपूर्ण है

लेखकों ने सिद्ध किया है कि यह विधि:

अभिसरण (Converges): यह वास्तव में घाटी के निचले हिस्से (इष्टतम समाधान) को विश्वसनीय रूप से खोज लेती है।
तेज़ है: यह त्वरित, वृद्धिशील अपडेट (incremental update) का उपयोग करके धीमी "पहेली सुलझाने" (इनवर्जन) से बचता है।
बाधाओं को संभालता है (Handles Constraints): यह स्वाभाविक रूप से आपको सही रास्ते पर रखता है (उदाहरण के लिए, यह सुनिश्चित करना कि एक मैट्रिक्स "पॉजिटिव" या "ऑर्थोगोनल" बना रहे) बिना आपके इसे मैन्युअल रूप से मजबूर किए।

वास्तविक दुनिया के उदाहरण

उन्होंने दो विशिष्ट प्रकार के "घुमावदार परिदृश्यों" पर इसका परीक्षण किया:

गौसियन डिस्ट्रीब्यूशन (द ब्यूरेस-वासरस्टीन मैनिफोल्ड - The Bures-Wasserstein Manifold): जटिल डेटा वितरण (जैसे शेयर की कीमतों या मौसम की भविष्यवाणी करना) का अनुमान लगाने के लिए उपयोग किया जाता है। उन्होंने दिखाया कि उनका तरीका मानक तरीकों की तुलना में बेहतर उत्तर तेज़ी से खोजता है।
स्टीफेल मैनिफोल्ड (ऑर्थोगोनल मैट्रिसेस - Stiefel Manifold): न्यूरल नेटवर्क में उपयोग किया जाता है जहाँ वेट्स (weights) को पूरी तरह से लंबवत (perpendicular) होना चाहिए (जैसे कि पूरी तरह से संरेखित कंपास सुइयों का एक सेट)। उनकी विधि ने सुइयों को संरेखित रखते हुए सीखा, जबकि मानक तरीके अक्सर उन्हें उनके संरेखण से बाहर कर देते हैं।

निचोड़ (The Bottom Line)

यह शोध पत्र मशीन लर्निंग को घुमावदार इलाके के लिए स्मार्ट, अडैप्टिव हाइकिंग बूट्स प्रदान करता है। भारी गणनाओं से जूझने या चट्टानों से गिरने के बजाय, एल्गोरिदम चलते समय दुनिया के आकार को सीखता है, हर बार सटीक कदम का आकार और दिशा लेता है, और यह सब करते हुए गणित को हल्का और तेज़ रखता है।

यहाँ डॉराका, मत्सुबारा और ट्रान के शोध पत्र "Inversion-Free Natural Gradient Descent on Riemannian Manifolds" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र उन ऑब्जेक्टिव फंक्शन्स $L(\theta)$ के अनुकूलन (optimization) को संबोधित करता है जो पैरामीट्रिक संभाव्यता वितरणों (parametric probability distributions) के एक परिवार $Q = \{q_\theta : \theta \in \mathcal{M}\}$ पर परिभाषित हैं, जहाँ पैरामीटर स्पेस $\mathcal{M}$ एक रीमानियन मैनिफोल्ड (Riemannian manifold) है, न कि एक यूक्लिडियन स्पेस।

मुख्य चुनौतियाँ:

प्रतिबंध (Constraints): कई सांख्यिकीय मॉडलों के लिए पैरामीटर्स को सख्त प्रतिबंधों को पूरा करने की आवश्यकता होती है (जैसे, कोवेरिएंस मैट्रिसेस को सिमेट्रिक पॉजिटिव डेफिनिट (SPD) होना चाहिए, रोटेशन मैट्रिसेस को ऑर्थोगोनल होना चाहिए)। मानक यूक्लिडियन अनुकूलन अक्सर इन प्रतिबंधों का उल्लंघन करता है या जटिल प्रोजेक्शन चरणों की आवश्यकता होती है।
पहचान योग्यता (Identifiability): रेडंडेंट पैरामीट्रिज़ेशन वाले मॉडलों में (जैसे, लो-रैंक मैट्रिक्स फैक्टराइजेशन), फिशर इंफॉर्मेशन मैट्रिक्स (FIM) यूक्लिडियन स्पेस में सिंगुलर हो सकता है। मैनिफोल्ड फॉर्मुलेशन स्वाभाविक रूप से गैर-पहचान योग्य दिशाओं को समाप्त कर देता है।
ज्यामिति (Geometry): जो ऑब्जेक्टिव फंक्शन्स यूक्लिडियन स्पेस में गैर-उत्तल (non-convex) प्रतीत होते हैं, वे विशिष्ट मैनिफोल्ड्स पर जियोडेसिक उत्तलता (geodesic convexity) प्रदर्शित कर सकते हैं (जैसे, गाऊसी वितरणों के लिए बयर्स-वॉसरस्टीन मैनिफोल्ड), जो बेहतर अभिसरण (convergence) गुण प्रदान करते हैं।
कम्प्यूटेशनल बाधा (Computational Bottleneck): मानक नेचुरल ग्रेडिएंट डिसेंट (NGD) के लिए FIM ( $I_F^{-1}$ ) की गणना और व्युत्क्रमण (inversion) की आवश्यकता होती है। उच्च-आयामी सेटिंग्स में, यह व्युत्क्रमण $O(d^3)$ होता है, जो इसे कम्प्यूटेशनल रूप से अत्यधिक महंगा बना देता है। जबकि यूक्लिडियन स्पेस के लिए "इनवर्जन-फ्री" विधियाँ मौजूद हैं (शेरमैन-मोरिसन अपडेट का उपयोग करके), उन्हें रीमानियन मैनिफोल्ड्स तक विस्तारित करना गैर-तुच्छ है क्योंकि अलग-अलग इटरेशन के स्कोर वेक्टर्स अलग-अलग टेंजेंट स्पेस से संबंधित होते हैं।

2. कार्यप्रणाली (Methodology)

लेखक रीमानियन मैनिफोल्ड्स के लिए विशेष रूप से तैयार किया गया एक स्टोकेस्टिक इनवर्जन-फ्री नेचुरल ग्रेडिएंट डिसेंट एल्गोरिदम प्रस्तावित करते हैं। मुख्य विचार यह है कि बिना कभी पूर्ण मैट्रिक्स व्युत्क्रमण किए, इनवर्स FIM का एक ऑनलाइन, लो-रैंक सन्निकटन (approximation) बनाए रखना।

मुख्य एल्गोरिथमिक घटक:

इंट्रिन्सिक फॉर्मुलेशन (Intrinsic Formulation): यह विधि FIM को टेंजेंट स्पेस $T_\theta \mathcal{M}$ पर एक द्विपक्षीय रूप (bilinear form) के रूप में मानती है। यह स्कोर वेक्टर्स (लॉग-लाइक्लीहुड के ग्रेडिएंट) को परिभाषित करने के लिए एक बेसलाइन रीमानियन मेट्रिक $\langle \cdot, \cdot \rangle_\theta$ का उपयोग करती है।
इनवर्स FIM का ऑनलाइन सन्निकटन:
- FIM को इनवर्ट करने के बजाय, एल्गोरिदम शेरमैन-मोरिसन (Sherman-Morrison) रैंक-1 अपडेट का उपयोग करके FIM (या सीधे इसके इनवर्स) का एक रनिंग एस्टीमेट $H_s$ बनाए रखता है।
- प्रत्येक इटरेशन $s$ पर, एक स्कोर वेक्टर $\phi_{s+1}$ सैंपल किया जाता है। इनवर्स सन्निकटन को इस प्रकार अपडेट किया जाता है:
  $H_{s+1}^{-1} = H_{s+1/2}^{-1} - \frac{H_{s+1/2}^{-1} \phi_{s+1} \phi_{s+1}^\top H_{s+1/2}^{-1}}{1 + \langle \phi_{s+1}, H_{s+1/2}^{-1} \phi_{s+1} \rangle}$
- इस अपडेट की जटिलता क्वाड्रेटिक (quadratic complexity) $O(d^2)$ है, जो क्यूबिक व्युत्क्रमण की तुलना में काफी सस्ती है।
वेक्टर ट्रांसपोर्ट (Vector Transport):
- चूंकि टेंजेंट स्पेस $T_{\theta(s)}\mathcal{M}$ और $T_{\theta(s+1)}\mathcal{M}$ भिन्न होते हैं, इसलिए पिछले टेंजेंट स्पेस से वर्तमान टेंजेंट स्पेस में पिछले इनवर्स FIM सन्निकटन $H_s^{-1}$ को सीधे नहीं जोड़ा जा सकता है।
- एल्गोरिदम एक वेक्टर ट्रांसपोर्ट ऑपरेशन $T$ (जो रिट्रैक्शन $R$ से जुड़ा है) का उपयोग पिछले टेंजेंट स्पेस से वर्तमान टेंजेंट स्पेस में सन्निकटन $H_s^{-1}$ को ले जाने के लिए करता है:
  $H_{s+1/2}^{-1} = T_{s, s-1}^* \circ H_s^{-1} \circ T_{s, s-1}$
- यह सुनिश्चित करता है कि सन्निकटन स्व-एडजॉइंट (self-adjoint) और वर्तमान ज्यामिति में वैध बना रहे।
लिमिटेड-मेमोरी वेरिएंट (Limited-Memory Variant):
- उन उच्च आयामों को संभालने के लिए जहाँ $d \times d$ मैट्रिक्स को स्टोर करना अव्यावहारिक है, लेखक एक स्लाइडिंग विंडो दृष्टिकोण प्रस्तावित करते हैं।
- पूर्ण मैट्रिक्स स्टोर करने के बजाय, वे $K$ सबसे हाल के स्कोर वेक्टर्स को स्टोर करते हैं और गुणांकों (coefficients) को अपडेट करते हैं। यह स्टोरेज जटिलता को सब-क्वाड्रेटिक (sub-quadratic) ($O(dK)$) तक कम कर देता है।

3. मुख्य योगदान (Key Contributions)

शुद्ध इंट्रिन्सिक दृष्टिकोण (Purely Intrinsic Approach): पिछले कार्यों (जैसे, Hu et al., 2024) के विपरीत, जो मैनिफोल्ड्स को उच्च-आयामी यूक्लिडियन स्पेस में एम्बेड करने पर निर्भर करते हैं, यह विधि पूरी तरह से इंट्रिन्सिक है। इसके लिए किसी एम्बिएंट स्पेस की आवश्यकता नहीं है, जिससे यह सामान्य मैनिफोल्ड्स (SPD, Stiefel, Grassmann) के लिए लागू करने योग्य हो जाता है।
इनवर्जन-फ्री स्टोकेस्टिक ऑप्टिमाइजेशन: यह यूक्लिडियन इनवर्जन-फ्री NGD (Godichon-Baggioni et al., 2024) को रीमानियन मैनिफोल्ड्स तक विस्तारित करता है, जो वेक्टर ट्रांसपोर्ट और कर्वेचर की ज्यामितीय जटिलताओं को संभालता है।
सैद्धांतिक अभिसरण दरें (Theoretical Convergence Rates):
- इटरेट्स के स्टेशनरी पॉइंट तक लगभग-निश्चित अभिसरण (almost-sure convergence) को सिद्ध करता है।
- मिनिमाइज़र के वर्ग अंतर (squared distance) के लिए अभिसरण दर स्थापित करता है: $O(\frac{\log s}{s^\alpha})$ जब स्टेप साइज एक्सपोनेंट $\alpha > 2/3$ हो।
- वेक्टर ट्रांसपोर्ट (होलोनोमी) द्वारा उत्पन्न त्रुटियों को ध्यान में रखते हुए, अनुमानित FIM की एसिम्प्टोटिक कंसिस्टेंसी (asymptotic consistency) को सिद्ध करता है।
लिमिटेड-मेमोरी विस्तार: मेमोरी-कुशल वेरिएंट पेश करता है जो उच्च-आयामी समस्याओं के लिए उपयुक्त है, जिससे स्टोरेज को $O(d^2)$ से घटाकर $O(dK)$ कर दिया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक दो अलग-अलग मैनिफोल्ड सेटिंग्स पर अपने तरीके को सत्यापित करते हैं:

गाऊसी वेरिएशनल इन्फरेंस (बयर्स-वॉसरस्टीन मैनिफोल्ड):
- कार्य: गाऊसी वेरिएशनल एप्रोक्सिमेशन का उपयोग करके बेयसियन लॉजिस्टिक रिग्रेशन।
- मैनिफोल्ड: 2-वॉसरस्टीन मेट्रिक ( $BW(\mathbb{R}^d)$ ) के साथ युक्त गाऊसी वितरणों का स्थान।
- निष्कर्ष: रीमानियन इनवर्जन-फ्री NGD (BW-NGD Approx) ने अपने यूक्लिडियन समकक्ष (Euc-NGD Approx) की तुलना में तेजी से अभिसरण किया और कम नेगेटिव ELBO (NELBO) प्राप्त किया। महत्वपूर्ण रूप से, रीमानियन विधि बड़े स्टेप साइज़ के साथ स्थिर रही, जबकि यूक्लिडियन सन्निकटन बड़े डेटासेट (जैसे, Adult, Mushrooms) पर डाइवर्ज (diverge) हो गया। यह BW स्पेस में जियोडेसिक उत्तलता के लाभ को उजागर करता है।
नॉर्मलाइजिंग फ्लो (स्टिफ़ल मैनिफोल्ड):
- कार्य: सिल्वेस्टर नॉर्मलाइजिंग फ्लो का उपयोग करके बेयसियन न्यूरल नेटवर्क के लिए वेरिएशनल इन्फरेंस, जहाँ वेट मैट्रिसेस को ऑर्थोगोनल (Stiefel manifold) होने के लिए प्रतिबंधित किया गया है।
- मैनिफोल्ड: स्टिफ़ल मैनिफोल्ड $St(d, d)$।
- निष्कर्ष: रीमानियन नेचुरल ग्रेडिएंट पद्धति ने मानक रीमानियन स्टोकेस्टिक ग्रेडिएंट डिसेंट (RSGD) और एक "एक्सट्रिन्सिक" NGD (जो यूक्लिडियन अपडेट को मैनिफोल्ड पर प्रोजेक्ट करता है) दोनों को काफी पीछे छोड़ दिया। इंट्रिन्सिक दृष्टिकोण ने कई डेटासेट्स (German Credit, Census, आदि) में सबसे कम NELBO प्राप्त किया।

5. महत्व और प्रभाव (Significance and Impact)

ज्यामिति और दक्षता को जोड़ना: यह शोध पत्र रीमानियन अनुकूलन (प्रतिबंध, उत्तलता, पहचान योग्यता) के सैद्धांतिक लाभों और स्केलेबल, इनवर्जन-फ्री एल्गोरिदम की व्यावहारिक आवश्यकता के बीच के अंतर को सफलतापूर्वक पाटता है।
मजबूती (Robustness): इसकी इंट्रिन्सिक ज्यामिति का लाभ उठाकर, यह विधि उन संख्यात्मक अस्थिरता और डाइवर्जेंस से बचता है जो अक्सर प्रतिबंधित समस्याओं पर यूक्लिडियन सन्निकटन लागू करने पर देखे जाते हैं।
स्केलेबिलिटी (Scalability): लिमिटेड-मेमोरी वेरिएंट नेचुरल ग्रेडिएंट विधियों को उच्च-आयामी सांख्यिकीय मॉडलों के लिए व्यवहार्य बनाता है, जहाँ पूर्ण फिशर मैट्रिक्स को स्टोर करना असंभव है।
भविष्य की दिशाएं: लेखक इस फ्रेमवर्क को अनंत-आयामी सेटिंग्स, जैसे कि संभाव्यता मापों के वॉसरस्टीन स्पेस तक विस्तारित करने का सुझाव देते हैं, जो संभवतः स्टाइन वेरिएशनल ग्रेडिएंट डिसेंट (SVGD) जैसे पार्टिकल-आधारित इन्फरेंस विधियों को लाभान्वित कर सकता है।

संक्षेप में, यह कार्य जटिल संभाव्यता मॉडलों को मैनिफोल्ड्स पर अनुकूलित करने के लिए एक कठोर, कुशल और ज्यामितीय रूप से सुदृढ़ ढांचा प्रदान करता है, जो पारंपरिक नेचुरल ग्रेडिएंट विधियों की कम्प्यूटेशनल बाधाओं को दूर करते हुए उनके सांख्यिकीय लाभों को सुरक्षित रखता है।