A residual-iteration framework for alternating projections between affine subspaces

तकनीकी सारांश: एफाइन उप-स्थानों (Affine Subspaces) के बीच वैकल्पिक प्रक्षेपों (Alternating Projections) के लिए एक अवशिष्ट-पुनरावृत्ति ढांचा (Residual-Iteration Framework)

समस्या विवरण
यह शोध पत्र एक हिल्बर्ट स्पेस $(H, \|\cdot\|)$ के भीतर दो बंद एफाइन उप-स्थानों, $U$ और $W$, के प्रतिच्छेदन (intersection) में एक तत्व खोजने की समस्या को संबोधित करता है। जब प्रतिच्छेदन गैर-रिक्त (non-empty) होता है, तो शास्त्रीय एल्गोरिदम में वैकल्पिक लंबवत प्रक्षेप (alternating orthogonal projections) शामिल होते हैं ($u^{(n+1)} = P_U P_W u^{(n)}$)। जब प्रतिच्छेदन रिक्त होता है (असंगत मामला/inconsistent case), तो मानक पुनरावृत्ति (iteration) एक ऐसे बिंदु की ओर अभिसरित (converge) होती है जो $W$ के सबसे निकट $U$ में स्थित हो, बशर्ते कि ऐसा कोई बिंदु अस्तित्व में हो। इस कार्य का प्राथमिक उद्देश्य इस समस्या को पुनर्गठित करना है ताकि दोनों सुसंगत (consistent) और असंगत (inconsistent) सेटिंग्स में कठोर अभिसरण गारंटी (convergence guarantees) के साथ त्वरित वैकल्पिक प्रक्षेप एल्गोरिदम के विकास को सक्षम बनाया जा सके।

कार्यप्रणाली (Methodology)
मुख्य पद्धतिगत योगदान वैकल्पिक प्रक्षेपों को एक परिबद्ध रैखिक ऑपरेटर (bounded linear operator) से जुड़े न्यूनतम वर्ग फलन (least-squares functional) के न्यूनीकरण (minimization) के रूप में पुनर्गठित करना है।

1. न्यूनतम वर्ग पुनर्गठन (Least-Squares Reformulation): लेखक यह प्रदर्शित करते हैं कि वैकल्पिक प्रक्षेप पुनरावृत्ति, फलन $\Phi_{U,W}(u) = \frac{1}{2}\|u - P_W u\|^2$ के लिए इकाई चरण आकार (unit step size) के साथ ग्रेडिएंट डिसेंट पुनरावृत्ति के समकक्ष है। एक ऑपरेटर $Q: U \to V^\perp$ (जहाँ $V$, $W$ का दिशा उप-स्थान है) और एक वेक्टर $w = P_W 0$ को परिभाषित करके, समस्या को $\Phi_{Q,w}(u) = \frac{1}{2}\|Qu - w\|^2$ के न्यूनीकरण में परिवर्तित किया जाता है।
2. अवशिष्ट-अवस्था पुनरावृत्ति ढांचा (Residual-State Iteration Framework): एक सामान्य "सक्षम अवशिष्ट-अवस्था पुनरावृत्ति" (admissible residual-state iterations) ढांचे को पेश किया गया है। यह ढांचा विभिन्न अनुकूलन एल्गोरिदम (लैंडवेबर, स्टीपेस्ट डिसेंट, कंजुगेट ग्रेडिएंट) को अवशिष्टों $r^{(n)} = Q^*(Qu^{(n)} - w)$ और एक अवस्था चर (state variable) $s^{(n)}$ के विकास के आधार पर परिभाषित करके उन्हें समाहित करता है।
3. अमूर्त अभिसरण सिद्धांत (Abstract Convergence Principles): यह दो प्रमुख अमूर्त गुणों को स्थापित करता है जो दृढ़ अभिसरण (strong convergence - नॉर्म में अभिसरण) की गारंटी देते हैं:
   • अवशिष्ट विलुप्ति (Residual Extinction): यह स्थिति कि अवशिष्ट अनुक्रम $r^{(n)}$ शून्य की ओर अभिसरित होता है।
   • अनुवाद समरूपता (Translation Equivariance): एक गुण जो यह सुनिश्चित करता है कि पुनरावृत्ति का व्यवहार प्रारंभिक पुनरावृत्ति और लक्ष्य वेक्टर के विशिष्ट अनुवादों के तहत अपरिवर्तित रहता है। यह शून्य-प्रारंभिक-पुनरावृत्ति मामले के लिए प्राप्त अभिसरण परिणामों को किसी भी प्रारंभिक पुनरावृत्ति पर स्थानांतरित करने की अनुमति देता है।

प्रमुख योगदान और परिणाम

• विधियों का एकीकरण (Unification of Methods): शोध पत्र सिद्ध करता है कि शास्त्रीय वैकल्पिक प्रक्षेप ठीक लैंडवेबर की इकाई-चरण पुनरावृत्ति हैं। यह इसे स्टीपेस्ट-डिसेंट और कंजुगेट-ग्रेडिएंट (CG) वेरिएंट को एक ही ढांचे के भीतर प्राकृतिक त्वरण के रूप में शामिल करने के लिए विस्तारित करता है।
• दृढ़ अभिसरण गारंटी (Strong Convergence Guarantees):
  • लैंडवेबर पुनरावृत्ति: विशिष्ट योग शर्तों (summability conditions) को संतुष्ट करने वाले किसी भी विश्राम गुणांकों (relaxation coefficients) के अनुक्रम के लिए दृढ़ अभिसरण स्थापित किया गया है, जो सुसंगत ($M_{Q,w} \neq \emptyset$) और असंगत ($M_{Q,w} = \emptyset$) दोनों मामलों को कवर करता है। असंगत मामले में, पुनरावृत्तियाँ नॉर्म में अपसरित (diverge) होती हैं, जो उस अंतर्निहित व्यवहार को दर्शाती हैं जब कोई न्यूनतम वर्ग समाधान मौजूद नहीं होता है।
  • स्टीपेस्ट डिसेंट: यह आंशिक दृढ़ अभिसरण परिणाम प्रदान करता है, यह नोट करते हुए कि केवल $M_{Q,w} \neq \emptyset$ की शर्त के तहत पूर्ण अभिसरण साहित्य में एक अनुमान (conjecture) बना हुआ है, हालांकि यह मजबूत स्थितियों (जैसे, जब $Q$ का रेंज क्लोज्ड हो) के तहत सिद्ध है।
  • कंजुगेट ग्रेडिएंट: $M_{Q,w} \neq \emptyset$ की स्थिति के तहत CG विधि के लिए दृढ़ अभिसरण स्थापित किया गया है, जो विस्तारवादी क्रायलोव उप-स्थानों (expanding Krylov subspaces) पर फलन के न्यूनीकरण के तथ्य का उपयोग करता है।
• रैखिक अभिसरण और दरें (Linear Convergence and Rates): इस धारणा के तहत कि $Q$ का रेंज क्लोज्ड है (जो उप-स्थानों के बीच फ्रिड्रिक्स कोण $\theta_f$ के सकारात्मक होने के समतुल्य है), यह पत्र स्पष्ट रैखिक अभिसरण दरों को व्युत्पन्न करता है।
  • अभिसरण दरें स्थिति संख्या (condition number) $\kappa = \|Q\|/\gamma(Q)$ के संदर्भ में व्यक्त की जाती हैं, जहाँ $\gamma(Q)$ रिड्यूस्ड मिनिमम मोडुलस है।
  • ज्यामितीय रूप से, $\|Q\|$ सबसे बड़े मुख्य कोण $\theta_p$ से संबंधित है ($\|Q\| = \sin \theta_p$), और $\gamma(Q)$ फ्रिड्रिक्स कोण से संबंधित है ($\gamma(Q) = \sin \theta_f$)।
  • यह पत्र त्रुटि क्षय (error decay) के लिए स्पष्ट सीमाएँ प्रदान करता है:
    • लैंडवेबर: $\|e^{(n)}\| \leq (1 - \epsilon/\kappa^2)^n \|e^{(0)}\|$।
    • स्टीपेस्ट डिसेंट: $\|e^{(n)}\| \leq \kappa (1 - \frac{2}{\kappa^2+1})^n \|e^{(0)}\|$।
    • कंजुगेट ग्रेडिएंट: $\|e^{(n)}\| \leq 2\kappa (1 - \frac{2}{\kappa+1})^n \|e^{(0)}\|$।
• दरों की तुलना: विश्लेषण पुष्टि करता है कि CG का सैद्धांतिक लाभ स्टीपेस्ट डिसेंट पर है, जो बदले में मूल लैंडवेबर पुनरावृत्ति (शास्त्रीय वैकल्पिक प्रक्षेप) से बेहतर प्रदर्शन करता है, विशेष रूप से जब $\kappa > 1$ हो।

महत्व और दावे
शोध पत्र यह दावा करता है कि यह अनुकूलन एल्गोरिदम के उनके ज्यामितीय व्याख्या (प्रक्षेप के रूप में) से विश्लेषण को अलग करने वाला एक एकीकृत सैद्धांतिक ढांचा प्रदान करता है। यह स्थापित करके कि वैकल्पिक प्रक्षेप न्यूनतम वर्ग न्यूनीकरण का एक विशिष्ट उदाहरण हैं, लेखक सुव्यवस्थित अनुकूलन विधियों के अभिसरण गुणों को सीधे प्रक्षेप एल्गोरिदम में स्थानांतरित करने में सक्षम बनाते हैं।

इसका महत्व निम्नलिखित में निहित है:

1. सामान्यीकरण (Generalization): स्थिर विश्राम मापदंडों से आगे बढ़कर विविध विश्राम गुणांकों और विभिन्न अनुकूलन रणनीतियों (स्टीपेस्ट डिसेंट, CG) को शामिल करना, जबकि कठोर अभिसरण प्रमाण बनाए रखना।
2. असंगति को संभालना (Handling Inconsistency): उप-स्थानों के प्रतिच्छेदन के खाली होने पर एल्गोरिदम के व्यवहार का स्पष्ट लक्षण वर्णन करना, सर्वोत्तम सन्निकटन (best approximation) और अपसरण (divergence) के बीच अंतर करना।
3. मात्रात्मक विश्लेषण (Quantitative Analysis): अनंत-आयामी सेटिंग्स में उप-स्थानों के बीच ज्यामितीय कोणों पर आधारित स्पष्ट रैखिक अभिसरण दरें प्रदान करना, जो विवरण का एक ऐसा स्तर है जिसे केवल संख्यात्मक प्रयोग द्वारा प्राप्त नहीं किया जा सकता है।
4. बीजगणितीय अंतर्दृष्टि (Algebraic Insight): शोध पत्र इस बात पर प्रकाश डालता है कि प्रारंभिक पुनरावृत्ति को उप-स्थान $U$ तक सीमित करने से एक स्व-संयोजक (self-adjoint) सूत्रीकरण ($L_\alpha$) प्राप्त होता है जो गैर-स्व-संयोजक ऑपरेटरों ($F_\alpha$) वाले सामान्य मामले की तुलना में अभिसरण दरों के विश्लेषण को सरल बनाता है।

यह कार्य निष्कर्ष निकालता है कि यह अनुकूलन-आधारित दृष्टिकोण वैकल्पिक प्रक्षेप विधियों के निर्माण और विश्लेषण के लिए एक सामान्य कार्यप्रणाली प्रदान करता है, जो क्वाजी-न्यूटन विधियों और नियमितीकरण रणनीतियों जैसे अन्य अनुकूलन तकनीकों के लिए भविष्य के अनुप्रयोगों का सुझाव देता है।