Efficient sampling approaches based on generalized Golub-Kahan methods for large-scale hierarchical Bayesian inverse problems

तकनीकी सारांश: बड़े पैमाने की पदानुक्रमित बेयसियन व्युत्क्रम समस्याओं के लिए सामान्यीकृत गोलुब-काहन विधियों पर आधारित कुशल नमूनाकरण दृष्टिकोण

समस्या विवरण
बड़े पैमाने की व्युत्क्रम समस्याओं (inverse problems) के लिए अनिश्चितता परिमाणीकरण (uncertainty quantification - UQ) एक महत्वपूर्ण कम्प्यूटेशनल चुनौती बनी हुई है, विशेष रूप से पदानुक्रमित बेयसियन ढांचों (hierarchical Bayesian frameworks) के भीतर। योगात्मक गाऊसी शोर (additive Gaussian noise) और गाऊसी प्रायर (Gaussian priors) वाले रैखिक व्युत्क्रम समस्याओं में, पश्च वितरण (posterior distribution) गाऊसी होता है; हालाँकि, जब अज्ञात मापदंडों की संख्या बहुत अधिक हो जाती है (जैसे, गतिशील व्युत्क्रम समस्याओं में लाखों), तो इससे नमूने लेना (sampling) कठिन हो जाता है, या जब प्रायर कोवेरियन्स मैट्रिक्स के वर्गमूल और व्युत्क्रम (inverse) की गणना करना कम्प्यूटेशनल रूप से निषेधजनक हो जाता है। पदानुक्रमित सेटिंग्स में जहाँ हाइपरपैरामीटर (जो प्रायर और शोर मॉडल को परिभाषित करते हैं) को डेटा से अनुमानित किया जाना होता है, वहाँ यह चुनौती और भी तीव्र हो जाती है। इन मामलों में, संयुक्त पश्च वितरण गैर-गाऊसी होता है, और मानक मार्कोव चेन मोंटे कार्लो (MCMC) विधियाँ, जैसे कि ब्लॉक गिब्स सैंपलिंग (block Gibbs sampling), गंभीर बाधाओं का सामना करती हैं। विशेष रूप से, सशर्त गाऊसी वितरण से नमूने लेने के लिए बड़े रैखिक सिस्टम को हल करने या घने कोवेरियन्स मैट्रिक्स के गुणनखंड (factorization) की आवश्यकता होती है, जो उन बड़े पैमाने की समस्याओं के लिए अक्सर अव्यवहार्य होता है जहाँ फॉरवर्ड ऑपरेटर तक केवल फंक्शन इवैल्यूएशन के माध्यम से पहुँचा जा सकता है।

कार्यप्रणाली
लेखक कम्प्यूटेशनल बाधाओं को दूर करने के लिए गिब्स सैंपलिंग और मेटापोलिस-हेस्टिंग्स (MH) इंडिपेंडेंस सैंपलिंग को संयोजित करने वाला एक ढांचा प्रस्तावित करते हैं। मुख्य नवाचार कुशल प्रस्ताव वितरण (proposal distributions) बनाने के लिए सामान्यीकृत गोलुब-काहन (genGK) बिडायगोनलाइजेशन विधियों का उपयोग करना है।

1. पदानुक्रमित ढांचा (Hierarchical Framework): समस्या को अज्ञात मापदंडों $x$, शोर परिशुद्धता (noise precision) $\lambda$, और प्रायर परिशुद्धता $\delta$ के साथ तैयार किया गया है। $\lambda$ और $\delta$ दोनों को गामा हाइपरप्रायर्स के साथ यादृच्छिक चर (random variables) के रूप में माना गया है। संयुक्त पश्च गैर-गाऊसी है, जिसके लिए MCMC आवश्यक है।
2. MH इंडिपेंडेंस सैंपलिंग के साथ गिब्स (Gibbs with MH Independence Sampling): सशर्त वितरण $\pi(x | b, \lambda, \delta)$ से सीधे नमूना लेने के बजाय (जिसके लिए महंगे रैखिक समाधान की आवश्यकता होती है), लेखक गिब्स सैempler के भीतर एक MH चरण का उपयोग करते हैं। एक प्रस्ताव $x^*$ वितरण $g(x)$ से खींचा जाता है जो लक्षित सशर्त वितरण का सन्निकटन (approximation) करता है, और नमूने को $\min(1, \rho)$ की प्रायिकता के साथ स्वीकार किया जाता है।
3. सामान्यीकृत गोलुब-काहन सन्निकटन (Generalized Golub-Kahan Approximations): प्रस्ताव वितरणों का निर्माण genGK बिडायगोनलाइजेशन का उपयोग करके किया जाता है, जो प्रायर कोवेरियन्स मैट्रिक्स $Q$ के स्पष्ट गुणनखंड या व्युत्क्रम की आवश्यकता के बिना कुशल क्रायलोव सबस्पेस (Krylov subspaces) उत्पन्न करता है। यह उन समस्याओं के लिए महत्वपूर्ण है जहाँ $Q$ जटिल कर्नेल (जैसे, Matérn) द्वारा परिभाषित किया गया है।
   • प्रस्ताव 1 (लो-रैंक कोवेरियन्स सन्निकटन): यह दृष्टिकोण सशर्त कोवेरियन्स मैट्रिक्स $\Gamma_{cond}$ के लो-रैंक सन्निकटन को बनाने के लिए genGK मैट्रिसेस का उपयोग करता है। प्रस्ताव genGK समाधान $x_k$ के केंद्र पर एक गाऊसी वितरण है जिसका सन्निकट कोवेरियन्स $\hat{\Gamma}_{cond}$ है। एक प्रमुख विशेषता यह है कि genGK मैट्रिसेस ($V_k, B_k$) हाइपरपैरामीटर $\lambda$ और $\delta$ से स्वतंत्र हैं, जिससे उन्हें MCMC पुनरावृत्तियों (iterations) में पुन: उपयोग किया जा सकता है।
   • प्रस्ताव 2 (प्रीकंडीशनड लैंकोज़): उन मामलों के लिए जहाँ लो-रैंक सन्निकटन अपर्याप्त हैं (जैसे, धीरे क्षय होने वाले स्पेक्ट्रा), लेखक प्रीकंडीशनड लैंकोज़ पुनरावृत्तियों पर आधारित एक विधि प्रस्तावित करते हैं। यह पद्धति सशर्त कोवेरियन्स मैट्रिक्स के वर्गमूल के सन्निकटन के लिए एक प्रीकंडीशनर $G$ का उपयोग करती है ताकि $GG^\top \approx F^{-1}$ हो सके।

प्रमुख योगदान

• MCMC में genGK का नवीन एकीकरण: यह शोध पत्र पदानुक्रमित बेयसियन व्युत्क्रम समस्याओं के लिए इंडिपेंडेंस प्रपोजल वितरणों को परिभाषित करने के लिए विशेष रूप से genGK बिडायगोनलाइजेशन के उपयोग को पेश करता है। लेखकों के ज्ञान तक, इस विशिष्ट अनुप्रयोग को पहले नहीं खोजा गया है।
• हाइपरपैरामीटर स्वतंत्रता: विधि सामान्यीकृत क्रायलोव सबस्पेस के शिफ्ट-इनवेरिएंट गुण का लाभ उठाती है। genGK प्रक्रिया द्वारा उत्पन्न आधार वेक्टर (basis vectors) हाइपरपैरामीटर $\lambda$ और $\delta$ से स्वतंत्र हैं। यह अनुमति देता है कि कम्प्यूटेशनल रूप से महंगी सबस्पेस संरचना को एक बार (या कम बार) किया जा सके और पूरी MCMC श्रृंखला के दौरान पुन: उपयोग किया जा सके, जिससे प्रति-पुनरावृत्ति लागत काफी कम हो जाती है।
• जटिल प्रायर के लिए मैट्रिक्स-फ्री हैंडलिंग: यह दृष्टिकोण $Q^{-1}$ या इसके वर्गमूल के स्पष्ट गणना से बचता है, और इसके बजाय $Q$ के साथ मैट्रिक्स-वेक्टर उत्पादों पर निर्भर करता है। यह इसे सामान्य स्मूथनेस प्रायर (smoothness priors) को संभालने में सक्षम बनाता है जो कोवेरियन्स कर्नेल द्वारा परिभाषित हैं, जो वायुमंडलीय और भूभौतिकीय मॉडलिंग में सामान्य हैं लेकिन मानक लो-रैंक विधियों (जैसे rSVD) के लिए कठिन हैं जिन्हें स्पष्ट मैट्रिक्स एक्सेस की आवश्यकता होती है।
• स्पष्ट स्वीकृति दर सूत्र (Acceptance Rate Formulas): लेखकों ने दोनों प्रस्ताव रणनीतियों के लिए स्पष्ट स्वीकृति अनुपात सूत्र व्युत्पन्न किए हैं, जिससे परिणामी मार्कोव श्रृंखलाओं की सैद्धांतिक वैधता सुनिश्चित होती है।

संख्यात्मक परिणाम
प्रस्तावित विधियों की प्रभावशीलता को तीन बड़े पैमाने के अनुप्रयोगों के माध्यम से प्रदर्शित किया गया है:

1. सिस्मिक टोमोग्राफी (Seismic Tomography): एक मध्यम-स्तर की समस्या ($n \approx 1,296$) जिसका उपयोग truncated SVD (tSVD) और randomized SVD (rSVD) के विरुद्ध genGK दृष्टिकोण की तुलना करने के लिए किया गया है। परिणाम दिखाते हैं कि genGK उच्च स्वीकृति दर (रैंक $k=1,000$ के साथ 98% तक) और rSVD के बराबर या उससे बेहतर प्रभावी नमूना आकार (ESS) प्राप्त करता है, जबकि रनटाइम काफी कम है।
2. वायुमंडलीय व्युत्क्रम मॉडलिंग (Atmospheric Inverse Modeling): ग्रीनहाउस गैस प्रवाह को मॉडल करने वाली एक बड़े पैमाने की समस्या ($n \approx 3,222$)। फॉरवर्ड मॉडल जटिल है, और मौजूदा विधियों के साथ तुलना संभव नहीं है। genGK दृष्टिकोण ने 86% स्वीकृति दर उत्पन्न की और अच्छा अभिसरण (Gelman-Rubin सांख्यिकी $\approx 1.001$) और संतुलन (Geweke परीक्षण p-मान $> 0.9$) प्रदर्शित किया।
3. डायनेमिक फोटोएकॉस्टिक टोमोग्राफी (Dynamic Photoacoustic Tomography): एक अत्यधिक अंडरडिटरमिन्ड स्पैटियोटेम्पोरल समस्या ($n \approx 81,920$)। उच्च आयामीता और कोवेरियन्स को सटीक रूप से अनुमानित करने के लिए बहुत बड़े रैंक की आवश्यकता के कारण, लो-रैंक प्रस्ताव (प्रस्ताव 1) अपर्याप्त था। प्रीकंडीशनड लैंकोज़ विधि (प्रस्ताव 2) को सफलतापूर्वक लागू किया गया, जिसने 100% स्वीकृति दर प्राप्त की और उच्च ESS के साथ असंरेखीकृत (uncorrelated) श्रृंखलाएं बनाईं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह बड़े पैमाने की पदानुक्रमित बेयसियन व्युत्क्रम समस्याओं के लिए एक कम्प्यूटेशनल रूप से सुविधाजनक और कुशल दृष्टिकोण प्रदान करता है जहाँ मानक MCMC विधियाँ बार-बार रैखिक समाधानों की लागत के कारण विफल हो जाती हैं। genGK सबस्पेस की हाइपरपैरामीटर से स्वतंत्रता का लाभ उठाकर, यह विधि पदानुक्रमित सैंपलिंग की प्राथमिक बाधा को दूर करती है। लेखक अपने कार्य को लाखों अज्ञात चरों और जटिल प्रायर संरचनाओं वाली समस्याओं के लिए एक आवश्यक प्रगति के रूप में प्रस्तुत करते हैं जहाँ पारंपरिक गुणनखंड-आधारित दृष्टिकोण अव्यवहार्य हैं। वे स्वीकार करते हैं कि हालांकि गिब्स और MH-विद-गिब्स के ज्ञात दोष (जैसे, खराब मिक्सिंग) हैं, इस विशिष्ट श्रेणी की पदानुक्रमित, बड़े पैमाने की समस्याओं के लिए बहुत कम विकल्प मौजूद हैं। वर्णित दृष्टिकोण कम्प्यूटेशनल दक्षता और बेयसियन अनिश्चितता परिमाणीकरण की कठोर आवश्यकताओं के बीच एक व्यावहारिक समाधान प्रदान करता है। भविष्य के कार्य में मजबूत सहसंबंधों वाले परिदृश्यों का पता लगाने और उन्नत अभिसरण निदान (convergence diagnostics) को शामिल करने का सुझाव दिया गया है।