Amortized low-rank approximation for hyperparameter marginalization in PDE-governed Bayesian inverse problems

तकनीकी सारांश: PDE-शासित बेयसियन व्युत्क्रम समस्याओं के लिए हाइपरपैरामीटर मार्जिनलाइजेशन हेतु एमोर्टाइज्ड लो-रैंक एप्रोक्सिमेशन

समस्या विवरण
यह शोध पत्र उन पदानुक्रमित (hierarchical) बेयसियन व्युत्क्रम समस्याओं में निहित कम्प्यूटेशनल चुनौतियों का समाधान करता है जहाँ पैरामीटर-टू-ऑब्जर्वेबल मैपिंग एक रैखिक आंशिक अवकल समीकरण (PDE) द्वारा शासित होती है। ऐसे परिवेश में, पैरामीटर क्षेत्र $m$ (जैसे, एक प्रारंभिक स्थिति या स्थानिक गुणांक) उच्च-या अनंत-आयामी होता है, जबकि हाइपरपैरामीटर्स $\theta$ (जैसे, पूर्व सहसंबंध लंबाई या शोर विचरण) मध्यम आयाम के होते हैं।

यद्यपि निश्चित $\theta$ के लिए सशर्त पश्च वितरण (conditional posterior distribution) $P(m|\theta, y)$ गाऊसी (Gaussian) होता है, मुख्य उद्देश्य अक्सर स्वयं हाइपरपैरामीटर्स का अनुमान लगाना या पैरामीटर $m$ के पश्च वितरण को प्राप्त करने के लिए उन्हें मार्जिनलाइज़ करना होता है। इसके लिए हाइपरपैरामीटर मार्जिनल घनत्व $P(\theta|y)$ के बार-बार मूल्यांकन की आवश्यकता होती है। PDE-शासित समस्याओं के लिए $P(\theta|y)$ का सीधा मूल्यांकन कम्प्यूटेशनल रूप से अत्यधिक कठिन है क्योंकि इसके लिए निम्नलिखित की आवश्यकता होती है:

1. प्रत्येक $\theta$ के लिए $m$ के मैक्सिमम ए पोस्टीरियर (MAP) अनुमान को हल करना।
2. प्रायर (prior) और पोस्टीरियर (posterior) प्रिसिजन मैट्रिसेस के डिटर्मिनेंट्स के अनुपात की गणना करना।

दोनों चरणों में महंगे ऑपरेशन शामिल हैं, विशेष रूप से फॉरवर्ड ऑपरेटर $A$ (PDE को हल करना) और उसके एडजॉइंट $A^\sharp$ का बार-बार अनुप्रयोग। मौजूदा लो-रैंक एप्रोक्सिमेशन विधियाँ, जैसे कि प्रायर-प्रीकंडीशन्ड (PP) प्रिसिजन अपडेट, निश्चित प्रायर के लिए कुशल हैं लेकिन वे उन पदानुक्रमित सेटिंग्स में अक्षम हो जाती हैं जहाँ प्रायर प्रिसिजन $Q_{pr}$ गैर-रैखिक रूप से $\theta$ पर निर्भर करता है (जैसे, एक सहसंबंध लंबाई स्केल के माध्यम से)। ऐसे मामलों में, PP विधि को प्रत्येक $\theta$ के मूल्यांकन के लिए लो-रैंक एप्रोक्सिमेशन को पुन: संगणना करने की आवश्यकता होती है, जो एमोर्टाइजेशन (amortization) के लाभों को समाप्त कर देता है।

कार्यप्रणाली (Methodology)
लेखक $\pi(\theta|y)$ के कई मूल्यांकनों के लिए लो-रैंक एप्रोक्सिमेशन की कम्प्यूटेशनल लागत को "एमोर्टाइज" करने के लिए एक ढांचा प्रस्तावित करते हैं। मुख्य विचार यह है कि $\theta$-निर्भर प्रायर प्रीकंडीशनर को एक निश्चित, $\theta$-स्वतंत्र संदर्भ प्रीकंडीशनर से बदलना है। यह एक बार (ऑफलाइन) लो-रैंक अपघटन (decomposition) की गणना करने की अनुमति देता है, न कि बार-बार (ऑनलाइन)।

यह शोध पत्र दो विशिष्ट वेरिएंट्स का परिचय देता है और विश्लेषण करता है:

1. वीकेस्ट प्रायर-प्रीकंडीशन्ड (WP) एप्रोक्सिमेशन:

   • यह विधि एक संदर्भ प्रायर प्रिसिजन $\hat{Q}_{pr}$ चुनती है जो हाइपरप्रायर के सपोर्ट में सभी $\theta$ के लिए वास्तविक प्रायर प्रिसिजन $Q_{pr}(\theta)$ की तुलना में "कमजोर" (अर्थात, छोटे आइगेनवैल्यू वाली) है।
   • गणितीय रूप से, इसके लिए $\hat{R}^\top \hat{R} \preceq R^\top R$ (जहाँ $Q_{pr} = \delta^2 R^\sharp R$) आवश्यक है।
   • $\hat{Q}_{pr}$ द्वारा प्रीकंडीशन्ड अपडेट का एक लो-रंक एप्रोक्सिमेशन एक बार कंप्यूट किया जाता है। किसी भी विशिष्ट $\theta$ के लिए, वास्तविक $Q_{pr}(\theta)$ के साथ इस निश्चित बेसिस को पुन: भारित (re-weighting) करके पोस्टीरियर प्रिसिजन का अनुमान लगाया जाता है।
   • लेखक एक सैद्धांतिक त्रुटि सीमा (थ्योरम 4.1) प्रदान करते हैं, जो दर्शाती है कि ट्रंकेशन एरर (truncation error), संदर्भ प्रीकंडीशन्ड अपडेट के आइगेनवैल्यू और स्केलिंग हाइपरपैरामीटर्स के न्यूनतम मानों द्वारा नियंत्रित होता है।

2. अनप्रीकंडीशन्ड (UP) एप्रोक्सिमेशन:

   • यह WP का एक सीमित मामला है जहाँ प्रायर को पहचान (identity) के रूप में चुना जाता है, जिससे प्रायर प्रीकंडीशनिंग पूरी तरह से हट जाती है।
   • हालाँकि इसके लिए अभिसरण (convergence) के लिए उच्च रैंक की आवश्यकता हो सकती है, लेकिन यह एक विशिष्ट "कमजोर" प्रायर को परिभाषित करने की आवश्यकता को समाप्त करता है और ऑफलाइन चरण के दौरान प्रायर प्रिसिजन के साथ होने वाले ऑपरेशन्स से बचाता है।

दोनों विधियाँ लो-रंक बेसिस की गणना के लिए जनरलाइज्ड आइगेनवैल्यू समस्याओं पर निर्भर करती हैं। ढांचा यह मानता है कि फॉरवर्ड ऑपरेटर $A$ और नॉइज़ प्रिसिजन $\theta$ पर निर्भर नहीं हैं (या केवल गुणात्मक रूप से निर्भर हैं), जबकि प्रायर प्रिसिजन जटिल और गैर-रैखिक तरीके से $\theta$ पर निर्भर हो सकता है।

प्रमुख योगदान

• एमोर्टाइजेशन फ्रेमवर्क: यह शोध पत्र गैर-रैखिक प्रायर हाइपरपैरामीटर्स वाले पदानिर्हित समस्याओं के लिए अत्याधुनिक लो-रैंक एप्रोक्सिमेशन तकनीकों को विस्तारित करता है। बेसिस गणना को विशिष्ट हाइपरपैरामीटर मानों से अलग करके, यह विधि $N$ मूल्यांकनों के लिए $O(N \cdot r)$ लागत को टाल देती है।
• सैद्धांतिक गारंटी: लेखक WP विधि के लिए ट्रंकेशन एरर के कठोर ऊपरी बाउंड (upper bounds) स्थापित करते हैं। ये बाउंड्स संदर्भ प्रीकंडीशन्ड अपडेट के आइगेनवैल्यू क्षय और हाइपरपैरामीटर रेंज के आधार पर ट्रंकेशन रैंक $r$ के चयन का मार्गदर्शन करते हैं।
• जटिलता विश्लेषण: एक विस्तृत कम्प्यूटेशनल जटिलता तुलना (तालिका 4.1) दर्शाती है कि हालांकि WP और UP को समान सटीकता के लिए प्रत्यक्ष PP विधि की तुलना में उच्च रैंक की आवश्यकता हो सकती है, लेकिन ऑनलाइन चरण के दौरान बार-बार PDE समाधानों को समाप्त करने से मार्जिनल डेंसिटी के कई मूल्यांकनों के लिए महत्वपूर्ण गति मिलती है।
• डिटरमिनिस्टिक क्वाड्रचर: MCMC-आधारित दृष्टिकोणों के विपरीत, यह पूर्णतः डिटरमिनिस्टिक ढांचा हाइपरपैरामीटर स्पेस पर कुशल क्वाड्रचर-आधारित एकीकरण (integration) को सक्षम बनाता है, जो एम्पिरिकल बेयस अनुमान (जो एकल बिंदु अनुमान पर निर्भर करता है) की तुलना में सुधार प्रदान करता है।

संख्यात्मक परिणाम
विधियों का मूल्यांकन 2D और 3D स्थानिक डोमेन में एक एडवेक्शन-डिफ्यूजन इनिशियल कंडीशन इनवर्स प्रॉब्लम पर किया गया।

• 2D समस्या: ~4,500 एलिमेंट्स और 32 स्थानिक सेंसर वाले मेश का उपयोग करते हुए, WP और UP विधियों ने मार्जिनल डेंसिटी के 100 मूल्यांकनों के लिए प्रत्यक्ष PP विधि की तुलना में लगभग 11x से 19x की गति प्राप्त की।
• 3D समस्या: ~35,000 एलिमेंट्स और 51 सेंसर वाले मेश का उपयोग करते हुए, कम्प्यूटेशनल लाभ और भी स्पष्ट था। प्रत्यक्ष PP विधि को 100 मूल्यांकनों के लिए ~65 घंटे के अनुमानित समय की आवश्यकता थी, जबकि WP और UP को क्रमशः ~2 और ~3 घंटे लगे। यह 30–45x की गति को दर्शाता है।
• त्रुटि विश्लेषण: संख्यात्मक प्रयोगों ने पुष्टि की कि लॉग-डिटर्मिनेंट टर्म ($e_1$) में त्रुटि आमतौर पर पोस्टीरियर मीन एप्रोक्सिमेशन ($e_2$) में त्रुटि पर हावी होती है। फलस्वरूप, परीक्षण किए गए रैंकों के लिए लो-रंक एप्रोक्सिमेशन अकेले ही अक्सर पर्याप्त था, जिससे मीन को परिष्कृत करने के लिए इटरेटिव सॉल्वर (जैसे कंजुगेट ग्रेडिएंट) की आवश्यकता नहीं पड़ी, जिससे गति और बढ़ गई।
• मार्जिनलाइजेशन: ढांचे ने क्वांटिटी ऑफ इंटरेस्ट (QoI) के मार्जिनल वितरण को $\pi(\theta|y)$ के एमोर्टाइज्ड मूल्यांकनों को गाऊशियन क्वाड्रचर के साथ जोड़कर सफलतापूर्वक कंप्यूट किया, जो हाइपरपैरामीटर में अनिश्चितता को कैप्चर करने और उसे पैरामीटर अनुमान तक प्रसारित करने की क्षमता को प्रदर्शित करता है।

महत्व और दावे
शोध पत्र का दावा है कि बेसिस की इष्टतमता (optimality) का त्याग करना (एक $\theta$-स्वतंत्र प्रीकंडीशनर का उपयोग करके) एक बहुत ही अनुकूल समझौता है जब फॉरवर्ड प्रॉब्लम महंगी हो और मार्जिनल डेंसी के कई मूल्यांकनों की आवश्यकता हो। प्रस्तावित विधियाँ गैर-रैखिक प्रायर हाइपरपैरामीटर्स (जैसे सहसंबंध लंबाई) के साथ पदानिर्हित बेयसियन व्युत्क्रम समस्याओं को MCMC सैंपलिंग या रैखिक हाइपरपैरामीटर निर्भरता के प्रतिबंधात्मक अनुमानों के बिना कुशलतापूर्वक हल करने में सक्षम बनाती हैं।

लेखक नोट करते हैं कि उनका दृष्टिकोण वर्तमान में रैखिक फॉरवर्ड ऑपरेटर्स और उन हाइपरपैरामीटर्स तक सीमित है जो स्वयं फॉरवर्ड मैप $A$ में प्रवेश नहीं करते हैं। वे सुझाव देते हैं कि भविष्य के कार्य इन विचारों को उन समस्याओं तक विस्तारित कर सकते हैं जहाँ $A$, $\theta$ पर निर्भर है, जैसे कि सरोगेट मॉडलिंग तकनीकों को एकीकृत करके, या गैर-गाऊसी सेटिंग्स तक जहाँ रैपलेसियन एप्रोक्सिमेशन (Laplace approximation) के समान लीनियराइजेशन और इंटीग्रेटेड नेस्टेड लाप्लास एप्रोक्सिमेशन (INLA) का उपयोग किया जा सकता है। हालाँकि, वर्तमान योगदान सख्ती से लीनियर गाऊसी कंडीशनल सेटिंग और गैर-रैखिक प्रायर हाइपरपैरामीटर्स पर केंद्रित है।