🔢 mathematics

Spectral conjugate gradient projection methods for large-scale monotone equations without Lipschitz continuity

यह शोध पत्र उत्तल बाधाओं (convex constraints) के अंतर्गत बड़े पैमाने के मोनोटोन समीकरणों को हल करने के लिए दो डेरिवेटिव-मुक्त स्पेक्ट्रल कंजुगेट ग्रेडिएंट प्रोजेक्शन विधियों को प्रस्तुत करता है, जिसमें पहली विधि बिना लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) की आवश्यकता के वैश्विक अभिसरण (global convergence) प्राप्त करती है और दोनों ही व्यापक संख्यात्मक प्रयोगों और वास्तविक दुनिया के अनुप्रयोगों के माध्यम से प्रभावशीलता प्रदर्शित करते हैं।

मूल लेखक: Kabenge Hamiss, Mohammed Alshahrani, Mujahid N. Syed

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kabenge Hamiss, Mohammed Alshahrani, Mujahid N. Syed

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले परिदृश्य में छिपे हुए खजाने (समाधान) को खोजने की कोशिश कर रहे हैं। आपके पास जो मानचित्र है वह नियमों (समीकरणों) का एक समूह है जो बताते हैं कि वह भूभाग कैसा व्यवहार करता है। आपका लक्ष्य ठीक वहीं खड़ा होना है जहाँ नियम कहते हैं "शून्य" (खजाने का स्थान)।

समस्या यह है कि यह परिदृश्य विशाल है (लाखों आयाम, जैसे लाखों सड़कों वाला एक शहर) और नियम अजीब हैं (गैर-रैखिक और मोनोटोन)। आप पूरे मानचित्र को एक साथ नहीं देख सकते, और आपके पास ऐसा दिशा-सूचक यंत्र (कम्पास) नहीं है जो सीधे खजाने की ओर इशारा करे (डेरिवेटिव्स का अभाव)। आप केवल छोटे कदम उठा सकते हैं, अपने पैरों के नीचे की जमीन की जांच कर सकते हैं, और अनुमान लगा सकते हैं कि आगे किस दिशा में जाना है।

यह शोध पत्र इन कदमों को उठाने के दो नए, स्मार्ट तरीके पेश करता है। यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. पुराना तरीका बनाम नया तरीका

पुराना तरीका (न्यूटन की विधि - Newton's Method): कल्पना कीजिए कि आप एक भी कदम उठाने से पहले अपने आस-पास की हर पहाड़ी और घाटी के सटीक ढलान की गणना करके खजाना खोजने की कोशिश कर रहे हैं। यह बहुत सटीक है, लेकिन यह इतना धीमा है और इसमें इतनी अधिक मेमोरी की आवश्यकता होती है कि एक विशाल शहर के आकार के मानचित्र के लिए, आप अपना पहला कदम उठाने से पहले ही बैटरी खत्म होने की स्थिति में पहुँच जाएंगे।

मानक "कंजुगेट ग्रेडिएंट" (Conjugate Gradient) तरीका: यह एक ऐसे पदयात्री की तरह है जो उस दिशा को याद रखता है जहाँ से वह अभी आया था और उस स्मृति का उपयोग करके अगले सबसे अच्छे दिशा का अनुमान लगाता है। यह तेज़ और हल्का है, लेकिन कभी-कभी पदयात्री एक लूप (चक्कर) में फंस जाता है या बहुत अक्षम रास्ता ले लेता है।

नई विधियाँ (GMOPCGM और GCGPM): लेखकों ने इन "स्मार्ट पदयात्रियों" के दो विशिष्ट संस्करण बनाए हैं। उन्होंने मानक पदयात्री की स्मृति ली और उसमें एक स्मार्ट, अनुकूलन योग्य दिशा-सूचक यंत्र (जिसे "स्पेक्ट्रल पैरामीटर" कहा जाता है) जोड़ दिया।

अनुकूलन योग्य दिशा-सूचक यंत्र (The Adaptive Compass): एक निश्चित नियम के बजाय कि कदम कितना बड़ा होना चाहिए, यह दिशा-सूचक यंत्र अभी के अभी के भूभाग को देखता है। यदि जमीन ढलान वाली है, तो यह कदम के आकार को समायोजित करता है। यदि जमीन समतल है, तो यह फिर से समायोजित करता है। यह एक ऐसे पदयात्री की तरह है जो लगातार मौसम और ढलान की जांच करता है ताकि यह तय किया जा सके, "ठीक है, आज मैं एक लंबी छलांग लगाऊंगा," या "आज, मैं एक छोटा सा कदम लूंगा।"

2. दो नए मार्गदर्शक

शोध पत्र इन स्मार्ट पदयात्रियों के दो विशिष्ट संस्करण प्रस्तुत करता है:

मार्गदर्शक 1 (GMOPCGM): यह मार्गदर्शक "मॉडिफाइड ऑप्टिमल पेरी" (Modified Optimal Perry) नामक एक विधि पर आधारित है। लेखकों ने इसे थोड़ा बदला है ताकि दिशा-सूचक यंत्र और भी स्मार्ट हो सके।
- बड़ा दावा: यह मार्गदर्शक इतना मजबूत है कि यह खजाना तब भी खोज सकता है जब मानचित्र ऊबड़-खाबड़ और अप्रत्याशित हो (गणितीय रूप से, बिना "लिप्सचिट्ज़ निरंतरता" के)। आमतौर पर, आपको यह गारंटी देने के लिए कि आप खजाना खोज लेंगे, एक चिकने, अनुमानित मानचित्र की आवश्यकता होती है। यह मार्गदर्शक कहता है, "मुझे परवाह नहीं है कि मानचित्र ऊबड़-खाबड़ है; मैं फिर भी वहां पहुँच जाऊंगा।"
मार्गदर्शक 2 (GCGPM): यह मार्गदर्शक "हेगर-झांग" (Hager–Zhang) विधि पर आधारित है। यह एक अलग प्रकार के दिशा-सूचक यंत्र का उपयोग करता है (जो "दाई-लियाओ" (Dai–Liao) तर्क पर आधारित है)।
- बड़ा दावा: यह अविश्वसनीय रूप से तेज़ और कुशल है, लेकिन यह मानता है कि मानचित्र कम से कम कुछ हद तक चिकना (लिप्सचिट्ज़ निरंतर) है। इस धारणा के तहत, यह दौड़ में सबसे तेज़ धावक है।

3. "प्रोजेक्शन" (Projection) का कमाल

चूंकि खजाना एक दीवार (एक "कॉन्वेक्स बाधा") के पीछे छिपा हो सकता है, इसलिए पदयात्री कहीं भी नहीं चल सकते।

उपमा: कल्पना कीजिए कि खजाना एक घेरे वाले बगीचे के अंदर है। यदि आपका कदम दीवार के बाहर जाता है, तो आप रुकते नहीं हैं; आप बस दीवार के निकटतम बिंदु पर वापस उछल (bounce back) आते हैं।
दोनों नए मार्गदर्शक इस "वापस उछलने" की तकनीक का उपयोग करते हैं। वे एक कदम की गणना करते हैं, जांचते हैं कि क्या वह दीवार से टकराता है, और यदि ऐसा होता है, तो वे अगला कदम उठाने से पहले स्थिति को वापस अंदर की ओर प्रोजेक्ट (बाउंस) करते हैं। यह सुनिश्चित करता है कि वे वैध क्षेत्र को कभी न छोड़ें।

4. दौड़ के परिणाम

लेखकों ने इन दो नए मार्गदर्शियों को पुराने मार्गदर्शियों और कुछ अन्य प्रसिद्ध पदयात्रियों के खिलाफ एक बड़ी दौड़ में उतारा:

ट्रैक: उन्होंने इन्हें 18 अलग-अलग प्रकार के भूभागों पर परखा, जिसमें छोटी पहाड़ियों से लेकर 1,20,000 आयामों वाले पहाड़ तक शामिल थे (कल्पना कीजिए कि 1,20,000 गलियारों वाला एक भूलभुलैया है)।
विजेता:
- GCGPM समग्र चैंपियन था। इसने लगभग हर परिदृश्य में सबसे कम कदमों और सबसे कम समय में खजाना खोजा।
- GMOPCGM दूसरे स्थान पर रहा। यह GCGPM की तुलना में थोड़ा धीमा था लेकिन इसने साबित किया कि यह उन "ऊबड़-खाबड़" मानचित्रों को संभाल सकता है जिनसे अन्य संघर्ष कर रहे थे।
- दोनों नए मार्गदर्शक अपने "जनक" तरीकों (जिन पर वे आधारित हैं) की तुलना में काफी तेज़ थे।

5. वास्तविक दुनिया के अनुप्रयोग

शोध पत्र ने केवल नकली गणितीय समस्याओं का परीक्षण नहीं किया; उन्होंने इनका उपयोग दो वास्तविक कार्यों के लिए किया:

कंप्रेस्ड सेंसिंग (सिग्नल रिकवरी): कल्पना कीजिए कि बहुत कम पिक्सल से एक धुंधली, टूटी हुई फोटो को फिर से बनाने की कोशिश करना। नए मार्गदर्शक पुराने तरीकों की तुलना में अधिक तेज़ी से और अधिक विश्वसनीयता के साथ छवि (सिग्नल) को जोड़ने में सक्षम थे।
लॉजिस्टिक्स रिग्रेशन (मशीन लर्निंग): इसका उपयोग ईमेल को "स्पैम" या "स्पैम नहीं" में वर्गीकृत करने के लिए किया जाता है। नए मार्गदर्शियों ने कंप्यूटर को, विशेष रूप से भारी मात्रा में डेटा के साथ, नियमों को सीखने में बहुत तेज़ी से मदद की।

सारांश

संक्षेप में, यह शोध पत्र कहता है: "हमने विशाल, जटिल समस्याओं में समाधान खोजने के लिए दो नए, सुपर-स्मार्ट नेविगेशन टूल बनाए हैं। एक अविश्वसनीय रूप से कठिन है और ऊबड़-खाबड़ इलाके में भी काम करता है; दूसरा वह स्पीड डेमन है जो चिकने इलाके में जीतता है। दोनों उन उपकरणों की तुलना में अधिक तेज़ और अधिक विश्वसनीय हैं जिनका हम पहले उपयोग करते थे, और वे टूटी हुई छवियों को ठीक करने और AI को प्रशिक्षित करने जैसे कार्यों के लिए बहुत अच्छा काम करते हैं।"

तकनीकी सारांश: बड़े पैमाने की मोनोटोन समीकरणों के लिए स्पेक्ट्रल कंजुगेट ग्रेडिएंट प्रोजेक्शन विधियाँ

समस्या विवरण
यह शोध पत्र एक ऐसे वेक्टर $x \in \Gamma$ को खोजने की समस्या को संबोधित करता है जहाँ $G(x) = 0$ हो, जहाँ $G: \mathbb{R}^n \to \mathbb{R}^n$ एक निरंतर मोनोटोन मैपिंग है और $\Gamma \subset \mathbb{R}^n$ एक गैर-रिक्त, बंद और उत्तल (convex) सेट है। यह सूत्रीकरण वेरिएशनल इनइक्वेलिटी समस्याओं, कॉम्प्लीमेंटैरिटी समस्याओं, रासायनिक संतुलन गणनाओं, कंप्रेस्ड सेंसिंग और नियमितकृत लॉजिस्टिक रिग्रेशन को समाहित करता है। न्यूटन-टाइप विधियाँ अवकलनीय (differentiable) $G$ के लिए तीव्र स्थानीय अभिसरण (convergence) प्रदान करती हैं, लेकिन $O(n^2)$ स्टोरेज आवश्यकताओं और जैकोबियन (Jacobian) की गणना की आवश्यकता के कारण वे बड़े पैमाने की समस्याओं के लिए अव्यवहारिक हैं। बड़े पैमाने की सेटिंग्स के लिए कंजुगेट ग्रेडिएंट (CG) विधियाँ पसंद की जाती हैं क्योंकि उनमें केवल फंक्शन इवैल्यूएशन और $O(n)$ स्टोरेज की आवश्यकता होती है। हालाँकि, CG विधियों को बाधित (constrained) सेटिंग्स में विस्तारित करने के लिए आमतौर पर प्रोजेक्शन तकनीकों पर निर्भर रहना पड़ता है, और मौजूदा विधियों को अक्सर $G$ की लिप्सचिट्ज निरंतरता (Lipschitz continuity) की आवश्यकता होती है या वे उप-इष्टतम अभिसरण दरों से ग्रस्त होती हैं।

कार्यप्रणाली
लेखक दो डेरिवेटिव-मुक्त प्रोजेक्शन विधियाँ प्रस्तावित करते हैं जो स्थापित कंजुगेट ग्रेडिएंट फ्रेमवर्क में एक अनुकूली स्पेक्ट्रल पैरामीटर $\lambda_k$ को एकीकृत करती हैं। दोनों विधियाँ सोलोडोव-स्वेटर (Solodov–Svaiter) प्रोजेक्शन तकनीक का उपयोग करती हैं, जिसमें एक डिसेंट दिशा (descent direction) की गणना करना, एक ट्रायल पॉइंट उत्पन्न करने के लिए लाइन सर्च करना, $G$ की मोनोटोनिटी के आधार पर एक पृथक हाइपरप्लेन (separating hyperplane) का निर्माण करना और वर्तमान इटरैट को उस हाइपरप्लेन पर प्रोजेक्ट करना शामिल है।

GMOPCGM (जेनेरालाइज्ड मॉडिफाइड ऑप्टिमल पेरी कंजुगेट ग्रेडिएंट मेथड):
यह विधि साबीउ एट अल. द्वारा विकसित मॉडिफाइड ऑप्टिमल पेरी कंजुगेट ग्रेडिएंट मेथड (MOPCGM) का सामान्यीकरण करती है। खोज दिशा (search direction) एक संशोधित ऑप्टिमल पेरी मैट्रिक्स से प्राप्त की जाती है जहाँ स्केलिंग पैरामीटर को एक अनुकूली स्पेक्ट्रल पैरामीटर $\lambda_k$ द्वारा प्रतिस्थापित किया जाता है। पैरामीटर $\lambda_k$ को $[\alpha_{\min}, \alpha_{\max}]$ के भीतर सीमित किया गया है और इसे स्थानीय वक्रता (local curvature) ( $s_{k-1}$ और $v_{k-1}$ ) के आधार पर बारज़ैला-बोर्ज़ीन (Barzilai–Borwein) प्रकार के स्पेक्ट्रल रेश्यो का उपयोग करके अपडेट किया जाता है। परिणामी खोज दिशा एक पर्याप्त डिसेंट स्थिति (sufficient descent condition) को संतुष्ट करती है जो लाइन सर्च से स्वतंत्र है।
GCGPM (जेनेरालाइज्ड कंजुगेट ग्रेडिएंट प्रोजेक्शन मेथड):
यह विधि झेंग एट अल. की CGPM का सामान्यीकरण करती है, जो हेगर-झांग (Hager–Zhang) पैरामीटर पर आधारित है। लेखक फॉर्मूला में एक स्पेक्ट्रल दाई-लियाओ (Dai–Liao) पैरामीटर $\lambda_k$ पेश करते हैं। GMOPCGM की तरह, स्पेक्ट्रल पैरामीटर समस्या की स्थानीय ज्यामिति के अनुकूल होता है। खोज दिशा को पर्याप्त डिसेंट सुनिश्चित करने के लिए निर्मित किया गया है।

मुख्य योगदान

नई खोज दिशाओं का व्युत्पन्न: शोध पत्र दो नई खोज दिशाएँ व्युत्पन्न करता है जो एक स्पेक्ट्रल पैरामीटर $\lambda_k$ के माध्यम से मौजूदा MOPCGM और CGPM फ्रेमवर्क का सामान्यीकरण करती हैं।
पर्याप्त डिसेंट स्वतंत्रता: यह सिद्ध किया गया है कि दोनों प्रस्तावित विधियाँ एक पर्याप्त डिसेंट स्थिति ( $G_k^T p_k \leq -c \|G_k\|^2$ ) को संतुष्ट करती हैं जो लाइन सर्च रणनीति से स्वतंत्र है।
कमजोर धारणाओं के तहत वैश्विक अभिसरण (Global Convergence):
- GMOPCGM के लिए, वैश्विक अभिसरण केवल धारणा A1 (गैर-रिक्त समाधान सेट) और A2 (मोनोटोनिटी) के तहत स्थापित किया गया है। महत्वपूर्ण रूप से, यह परिणाम $G$ की लिप्सचिट्ज निरंतरता की आवश्यकता नहीं रखता है।
- GCGPM के लिए, वैश्विक अभिसरण मानक धारणाओं A1–A3 के तहत सिद्ध किया गया है, जिसमें लिप्सचिट्ज निरंतरता शामिल है।
व्यावहारिक प्रभावशीलता: प्रस्तावित विधियों का परीक्षण 120,000 तक के आयामों वाली 18 बेंचमार्क समस्याओं के साथ-साथ कंप्रेस्ड सेंसिंग और नियमितकृत लॉजिस्टिक रिग्रेशन में अनुप्रयोगों पर किया गया है।

संख्यात्मक परिणाम
लेखकों ने GMOPCGM और GCGPM की तुलना तीन मौजूदा विधियों: MOPCGM, CGPM, और STTDFPM के विरुद्ध व्यापक संख्यात्मक प्रयोगों के माध्यम से की।

बेंचमार्क समस्याएं: 5,400 रन (18 समस्याएं, 6 आयाम, 10 प्रारंभिक बिंदु) के माध्यम से, GCGPM ने उच्चतम अभिसरण दर (96.9%) और सबसे कम मीडियन इटरेशन काउंट (10) और फंक्शन इवैल्यूएशन (52) प्राप्त किया। GMOPCGM 93.0% मामलों में अभिसरण हुआ, जिसमें 28 इटरेशन का मीडियन था, जो इसके पूर्ववर्ती MOPCGM (160 इटरेशन) की तुलना में एक महत्वपूर्ण सुधार है।
कंप्रेस्ड सेंसिंग: $\ell_1$ -नियमित सिग्नल रिकवरी कार्यों में, दोनों प्रस्तावित विधियाँ सभी 240 टेस्ट इंस्टेंस पर अभिसरित हुईं। GCGPM और GMOPCGM को MOPCGM की तुलना में काफी कम इटरेशन और CPU समय की आवश्यकता हुई, जो 20 इंस्टेंस पर विफल रहा था। सिग्नल रिकवरी में सभी विधियों ने तुलनीय मीन स्क्वायर एरर (MSE) प्राप्त किया।
नियमितकृत लॉजिस्टिक रिग्रेशन: वास्तविक दुनिया के बाइनरी क्लासिफिकेशन डेटासेट्स पर, दोनों प्रस्तावित विधियाँ सभी 60 मामलों में अभिसरित हुईं। GMOPCGM ने मीडियन इटरेशन काउंट को 2,447 (MOPCGM) से घटाकर 313 कर दिया, जो नॉनलीनियर मोनोटोन समीकरणों के लिए स्पेक्ट्रल सामान्यीकरण के लाभ को प्रदर्शित करता है। GCGPM सबसे कुशल था, जिसे 184 मीडियन इटरेशन की आवश्यकता थी।

महत्व और दावे
शोध पत्र का दावा है कि कंजुगेट ग्रेडिएंट प्रोजेक्शन फ्रेमवर्क में अनुकूली स्पेक्ट्रल पैरामीटर्स का एकीकरण बड़े पैमाने की मोनोटोन समीकरणों को हल करने के लिए एक मजबूत दृष्टिकोण प्रदान करता है। इसका प्राथमिक सैद्धांतिक महत्व GMOPCGM के लिए अभिसरण प्रमाण में निहित है, जो लिप्सचिट्ज निरंतरता की आवश्यकता को हटा देता है—जो मोनोटोन समीकरणों के लिए डेरिवेटिव-मुक्त विधियों के विश्लेषण में एक सामान्य बाधा है। व्यावहारिक रूप से, परिणाम दर्शाते हैं कि स्पेक्ट्रल सामान्यीकरण बेस विधियों की तुलना में अभिसरण गति और कम्प्यूटेशनल लागत के मामले में लगातार बेहतर प्रदर्शन करता है, जिससे प्रस्तावित एल्गोरिदम सिग्नल प्रोसेसिंग और मशीन लर्निंग में उच्च-आयामी अनुप्रयोगों के लिए उपयुक्त बनते हैं। लेखक नोट करते हैं कि भविष्य के कार्य GCGPM के अभिसरण विश्लेषण को स्यूडोमोनोटोन (pseudomonotone) सेटिंग तक विस्तारित कर सकते हैं और इनर्शियल एक्सेलेरेशन (inertial acceleration) तकनीकों का पता लगा सकते हैं।