Data-informed posterior approximation for Bayesian linear inverse problems

तकनीकी सारांश: बेयसियन रैखिक व्युत्क्रम समस्याओं के लिए डेटा-सूचित पश्च वितरण सन्निकटन (Data-informed posterior approximation)

समस्या विवरण
यह शोध पत्र बड़े पैमाने की बेयसियन रैखिक व्युत्क्रम समस्याओं (Bayesian linear inverse problems) से जुड़ी गणनात्मक चुनौतियों को संबोधित करता है, जिन्हें $y = Gx + \eta$ के रूप में तैयार किया गया है, जहाँ $x \in \mathbb{R}^n$ अज्ञात पैरामीटर है, $y \in \mathbb{R}^m$ प्रेक्षण (observation) है, और $\eta$ गाऊसी शोर (Gaussian noise) है। प्राथमिक कठिनाई तब उत्पन्न होती है जब पैरामीटर आयाम $n$ अत्यंत बड़ा होता है ($n \gg m$), जिससे पश्च वितरण (posterior distribution) के माध्य और सहप्रसरण (covariance) की प्रत्यक्ष गणना अव्यवहार्य हो जाती है। विशेष रूप से, आव्यूह (matrix) $G^\top \Gamma^{-1} G + \lambda \Sigma^{-1}$ का व्युत्क्रमण (inversion) अत्यधिक निषेधात्मक है (जहाँ $\Sigma$ पूर्व सहप्रसरण है और $\lambda$ एक हाइपरपैरामीटर है)। मौजूदा आयाम न्यूनीकरण तकनीकें, जैसे कि कार्लन-लव (Karhunen–Loève) विस्तार या संभावना-सूचित उपस्थान (likelihood-informed subspaces - LIS) पर आधारित तकनीकें, अक्सर पूर्व सहप्रसरण के स्पष्ट गुणनखंडों (explicit factorizations) पर निर्भर करती हैं या पूरी तरह से उच्च-आयामी पैरामीटर स्थान के भीतर कार्य करती हैं, जिससे वे फॉरवर्ड ऑपरेटर और प्रेक्षण डेटा के बीच की अंतःक्रिया का पूर्ण उपयोग करने में विफल रहती हैं। इसके अतिरिक्त, हाइपरपैरामीटर $\lambda$ का चयन करने के लिए आमतौर पर पैरामीटर स्थान में बार-बार बड़े पैमाने की गणनाओं की आवश्यकता होती है।

कार्यप्रणाली (Methodology)
लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो गणनात्मक ध्यान को पैरामीटर स्थान से हटाकर डेटा स्थान (data space) पर केंद्रित करता है। इस कार्यप्रणाली के मुख्य घटकों में शामिल हैं:

1. डेटा-स्थान ज्यामितीय ढांचा (Data-Space Geometric Framework):
   पत्र एक कोटिएंट हिल्बर्ट स्पेस (quotient Hilbert space) $(\mathbb{R}^m/\mathcal{N}(M), \langle \cdot, \cdot \rangle_M)$ को परिभाषित करता है, जहाँ $M = G\Sigma G^\top$ है और $\mathcal{N}(M)$ उसका नुल स्पेस (null space) है। इस स्थान को एक आंतरिक गुणन (inner product) $\langle [u], [v] \rangle_M = u^\top M v$ प्रदान किया गया है। लेखक इस डेटा स्थान से पैरामीटर स्पेस $(\mathbb{R}^n, \langle \cdot, \cdot \rangle_{\Sigma^{-1}})$ में एक सममितीय एम्बेडिंग (isometric embedding) $\iota$ स्थापित करते हैं। वे सिद्ध करते हैं कि पूर्व-से-पश्च (prior-to-posterior) अपडेट पूरी तरह से इस एम्बेडिंग के प्रतिबिंब (image), $\text{Im}(\iota) = \mathcal{R}(\Sigma G^\top)$ तक सीमित है, जिसका आयाम $\text{rank}(G)$ के बराबर है। यह प्रकट करता है कि पश्च वितरण के सूचनात्मक दिशाएं स्वाभाविक रूप से निम्न-आयामी हैं और परिवेशी पैरामीटर आयाम $n$ से स्वतंत्र हैं।

2. कोटिएंट-स्पेस गोलब-काहन बिडायगोनलाइजेशन (Q-GKB):
   डेटा-सूचित क्रायलोव उपस्थानों (Krylov subspaces) का निर्माण करने के लिए, जो $M$ के स्पष्ट गुणनखंडों या उसके रेंज पर ऑर्थोगोनल प्रोजेक्शन की गणना पर निर्भर न हों, लेखक एक नवीन पुनरावृत्ति एल्गोरिदम विकसित करते हैं जिसे Q-GKB कहा जाता है। यह विधि कोटिएंट स्पेस पर परिभाषित ऑपरेटरों पर सीधे गोलब-काहन बिडायगोनलाइजेशन प्रक्रिया लागू करती है। एल्गोरिदम दो वेक्टरों के अनुक्रम, $\{u_i\}$ और $\{v_i\}$, उत्पन्न करता है, जो डेटा स्पेस में युग्मित क्रायलोव उपस्थानों के लिए ऑर्थोनॉर्मल आधार (orthonormal bases) बनाते हैं। महत्वपूर्ण रूप से, Q-GKB एक मैट्रिक्स-मुक्त (matrix-free) विधि है जो केवल $M$ और $\Gamma^{-1}$ के साथ मैट्रिक्स-वेक्टर गुणन पर निर्भर करती है, जिससे बड़े सघन आव्यूMatrices के भंडारण और गुणनखंडन से बचा जा सकता है।

3. एकीकृत अनुभवजन्य बेयसियन अनुमान (Integrated Empirical Bayesian Inference):
   यह ढांचा हाइपरपैरामीटर $\lambda$ का अनुमान लगाने और पश्च वितरण के सन्निकटन के लिए एक साथ अनुभवजन्य बेयसियन अनुमान को एकीकृत करता है। मार्जिनल लाइकलीहुड अनुकूलन समस्या को Q-GKB द्वारा उत्पन्न निम्न-आयामी क्रायलोव उपस्थानों पर प्रोजेक्ट करके, यह विधि पुनरावृत्ति से प्राप्त छोटे पैमाने के आव्यूMatrices का उपयोग करके एक अनुमानित नकारात्मक लॉग-मार्जिनल लाइकलीहुड $L^{(k)}(\lambda)$ की गणना करती है। यह प्रत्येक चरण में उच्च-आयामी पैरामीटर स्थान में वापस जाए बिना $\lambda_k$ के कुशल निर्धारण की अनुमति देता है।

4. पश्च वितरण सन्निकटन (Posterior Approximation):
   अनुमानित पश्च माध्य (posterior mean) और सहप्रसरण (covariance) का निर्माण डेटा-सूचित क्रायलोव उपस्थान के भीतर किया जाता है। अनुमानित माध्य, पुनरावृत्ति द्वारा नियमितकृत समाधान (iteratively regularized solution) के अनुरूप होता है, और अनुमानित सहप्रसरण छोटे पैमाने के आव्यूMatrices के व्युत्क्रमण के माध्यम से संगणना किया जाता है। शोध पत्र फ़ोर्स्टनर दूरी (Förstner distance) और कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करके इन सन्निकटन के लिए सैद्धांतिक त्रुटि सीमाएं प्रदान करता है, जो यह दर्शाता है कि त्रुटि $(M, \Gamma)$ आव्यू मैट्रिक्स युग्म के सामान्यीकृत आइगनमानों (generalized eigenvalues) के क्षय द्वारा नियंत्रित होती है।

प्रमुख योगदान (Key Contributions)

• ज्यामितीय लक्षण वर्णन (Geometric Characterization): शोध पत्र डेटा स्थान की कोटिएंट-स्पेस ज्यामिति के माध्यम से निम्न-आयामी प्रकृति का एक कठोर गणितीय लक्षण वर्णन प्रदान करता है, जो डेटा और पैरामीटर स्थानों के बीच एक सममितीय पत्राचार (isometric correspondence) स्थापित करता है।
• Q-GKB एल्गोरिदम: एक नया कोटिएंट-स्पेस गोलब-काहन बिडायगोनलाइजेशन प्रक्रिया विकसित किया गया है, जो पूरी तरह से मैट्रिक्स-मुक्त तरीके से डेटा-सूचित क्रायलोव उपस्थानों के निर्माण को सक्षम बनाता है।
• Simultaneous Estimation (एक साथ अनुमान): Q-GKB पुनरावृत्ति में अनुभवजन्य बेयसियन अनुमान का एकीकरण हाइपरपैरामीटर अनुमान और पश्च सन्निकटन को एक साथ सक्षम करता है, जिससे बार-बार होने वाली उच्च-आयामी गणनाओं की आवश्यकता समाप्त हो जाती है।
• सैद्धांतिक गारंटी (Theoretical Guarantees): लेखक अनुमानित पश्च माध्य और सहप्रसरण के लिए स्पष्ट त्रुटि सीमाएं प्राप्त करते हैं, जो उनके अभिसरण दर (convergence rate) को डेटा स्पेस के स्पेक्ट्रल गुणों से जोड़ते हैं।

संख्यात्मक परिणाम (Numerical Results)
विधि को तीन प्रतिनिधि समस्याओं पर मान्य किया गया है:

1. एक-आयामी फ्रेडहोम इंटीग्रल इक्वेशन (One-dimensional Fredholm integral equation): हाइपरपैरामीटर और समाधान पुनर्निर्माण के तीव्र अभिसरण को प्रदर्शित करता है, जहाँ प्रभावी डेटा-स्पेस आयाम पैरामीटर आयाम की तुलना में काफी छोटा है।
2. दो-आयामी इमेज डिब्लरिंग (Two-dimensional image deblurness): मध्यम रूप से दुर्बल (ill-posed) समस्याओं को संभालने की विधि की क्षमता को दर्शाता है। Q-GKB दृष्टिकोण पश्च माध्य के लिए प्रत्यक्ष LIS विधि की तुलना में तेजी से अभिसरित होता है और सहप्रसरण के लिए तुलनीय सटीकता प्राप्त करता है, जबकि यह मानक हार्डवेयर पर भी गणनात्मक रूप से व्यवहार्य है जहाँ LIS नहीं है।
3. एक्स-रे कंप्यूटेड टोमोग्राफी (CT): एक बड़े पैमाने का अनुप्रयोग ($n=65,536$) जहाँ पूर्व सहप्रसरण को मैट्रिक्स-मुक्त FFT-आधारित दृष्टिकोण के माध्यम से संभाला जाता है। परिणाम दर्शाते हैं कि विधि पश्च माध्य और अनिश्चितता (विचरण) को प्रभावी ढंग से पकड़ती है, जहाँ पश्च माध्य तेजी से अभिसरित होता है और उपस्थान आयाम बढ़ने के साथ सहप्रसरण स्थिर होता जाता है।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि डेटा-स्पेस सूत्रीकरण बेयसियन व्युत्क्रम समस्याओं के लिए मौलिक रूप से भिन्न गणनात्मक प्रतिमान (computational paradigm) प्रदान करता है। डेटा स्थान पर ध्यान केंद्रित करके, विधि उच्च-आयामी पैरामीटर स्थानों और स्पष्ट पूर्व सहप्रसरण गुणनखंडों से जुड़ी गणनात्मक बाधाओं को दरकिनार करती है। लेखक तर्क देते हैं कि उनका ढांचा डेटा-सूचित उपस्थानों की एक कठोर ज्यामितीय समझ प्रदान करता है और एक स्केलेबल, मैट्रिक्स-मुक्त एल्गोरिदम प्रदान करता है जो हाइपरपैरामीटर अनुमान और पश्च सन्निकटन को एक साथ सक्षम करता है। उनके संख्यात्मक प्रयोग सैद्धांतिक निष्कर्षों का समर्थन करते हैं, यह दर्शाते हुए कि विधि प्रभावी, स्थिर है और उन बड़े पैमाने की समस्याओं को संभालने में सक्षम है जहाँ पश्च वितरण तक प्रत्यक्ष पहुँच गणनात्मक रूप से असंभव है। शोध पत्र निष्कर्ष निकालता है कि यह परिप्रेक्ष्य पश्च अनुमान के लिए नए मार्ग खोलता है और अनंत-आयामी (infinite-dimensional) और गैर-रैखिक व्युत्क्रम समस्याओं तक ढांचे के विस्तार जैसे भविष्य के दिशा-निर्देशों का सुझाव देता है।