A computationally-tractable measure of global sensitivity for sampling-based Bayesian inference

तकनीकी सारांश: सैंपलिंग-आधारित बेयसियन इन्फरेंस के लिए एक कम्प्यूटेशनल रूप से सुलभ वैश्विक संवेदनशीलता माप

समस्या विवरण (Problem Statement)

बेयसियन इन्फरेंस (Bayesian inference) अक्सर प्रायर (priors) या लाइक्लीहुड (likelihoods) के हाइपरपैरामीटरों के चयन के प्रति संवेदनशील होता है, यह संवेदनशीलता अनिश्चितता परिमाणीकरण (uncertainty quantification) और भविष्य कहनेवाला प्रदर्शन (predictive performance) को महत्वपूर्ण रूप से प्रभावित कर सकती है। जबकि इस संवेदनशीलता का मूल्यांकन करना बेयसियन वर्कफ़्लो का एक प्रमुख घटक है, मौजूदा ग्लोबल सेंसिटिविटी एनालिसिस (GSA) विधियाँ आधुनिक सेटिंग्स में गंभीर कम्प्यूटेशनल सीमाओं का सामना करती हैं। वर्तमान दृष्टिकोण आमतौर पर निम्नलिखित में से एक या अधिक समस्याओं से ग्रस्त होते हैं:

1. उच्च कम्प्यूटेशनल लागत: कई विधियों के लिए प्रत्येक विक्षोभ (perturbation) के लिए कैंडिडेट पोस्टीरियर्स (candidate posteriors) से बार-बार सैंपलिंग करने की आवश्यकता होती है, या वे डेंसिटी एस्टीमेशन (density estimation) पर निर्भर करती हैं जिसमें "कर्स ऑफ डायमेंशनलिटी" (curse of dimensionality) का सामना करना पड़ता है।
2. स्केलेबिलिटी (Scalability): मौजूदा डाइवर्जेंस-आधारित माप (जैसे Wasserstein, Fisher-Rao, KL) अक्सर पैरामीटर स्पेस की विमा ($d_\Theta$) या नमूनों की संख्या ($m$) के साथ खराब तरीके से स्केल करते हैं।
3. ऑप्टिमाइज़ेशन की कठिनाई: सबसे खराब स्थिति वाले विक्षोभ (worst-case perturbation) को खोजने के लिए ग्लोबल ऑप्टिमाइज़ेशन समस्या को हल करना अक्सर कठिन होता है, जिससे अभ्यासकर्ता अनौपचारिक, असतत (discrete) जाँचों पर निर्भर हो जाते हैं जो महत्वपूर्ण संवेदनशीलता को मिस कर सकते हैं।

परिणामस्वरूप, जटिल, उच्च-आयामी, या दुर्बोध मॉडलों (जैसे कि दोहरी-दुर्बोध मॉडल, टाइम सीरीज़, सिमुलेशन-आधारित इन्फरेंस) के लिए GSA का प्रयोग शायद ही कभी किया जाता है।

कार्यप्रणाली (Methodology)

लेखक फिशर डाइवर्जेंस (Fisher Divergence - FD) पर आधारित ग्लोबल सेंसिटिविटी एनालिसिस के लिए एक नया ढांचा प्रस्तावित करते हैं। मुख्य नवाचार स्कोर फंक्शन (स्कोर फंक्शन - लॉग-डेंसिटी का ग्रेडिएंट) का उपयोग करके एक संवेदनशीलता माप को परिभाषित करना है जो मजबूत और कम्प्यूटेशनल रूप से कुशल है।

1. संवेदनशीलता का माप (The Sensitivity Measure)

यह विधि संदर्भ पोस्टीरियर $\tilde{\Pi}_{\text{ref}}$ के सापेक्ष एक पोस्टीरियर $\tilde{\Pi}_\lambda$ की संवेदनशीलता को फिशर डाइवर्जेंस का उपयोग करके परिभाषित करती है:
$$\rho_{\text{FD}}(\tilde{\Pi}) := \text{FD}(\tilde{\Pi}_{\text{ref}} \| \tilde{\Pi}) = \mathbb{E}_{\theta \sim \tilde{\Pi}_{\text{ref}}} \left[ \| s_{\tilde{\pi}_{\text{ref}}}(\theta) - s_{\tilde{\pi}}(\theta) \|_2^2 \right]$$
जहाँ $s_p = \nabla_\theta \log p$ एक स्कोर फंक्शन है। हाइपरपैरामीटर $\Gamma$ के एक पड़ोस (neighborhood) में वैश्विक संवेदनशीलता $S_{\text{FD}}(\Gamma)$ को इस माप की रेंज के रूप में परिभाषित किया गया है:
$$S_{\text{FD}}(\Gamma) := \sup_{\lambda \in \Gamma} \rho_{\text{FD}}(\tilde{\Pi}_\lambda) - \inf_{\lambda \in \Gamma} \rho_{\text{FD}}(\tilde{\Pi}_\lambda)$$

2. कम्प्यूटेशनल सुलभता (Computational Tractability)

इस दृष्टिकोण का मुख्य लाभ यह है कि इसके लिए कैंडिडेट पोस्टीरियर्स $\tilde{\Pi}_\lambda$ से सैंपलिंग करने की आवश्यकता नहीं होती है।

• एकल सैंपल सेट (Single Sample Set): एस्टीमेटर केवल संदर्भ पोस्टीरियर $\tilde{\Pi}_{\text{ref}}$ से लिए गए नमूनों के एक एकल सेट $\{\theta_i\}_{i=1}^m$ पर निर्भर करता है।
• स्कोर इवैल्यूएशन (Score Evaluation): इसे केवल इन सैंपल पॉइंट्स पर स्कोर फंक्शन $s_{\tilde{\pi}_\lambda}(\theta_i)$ के मूल्यांकन की आवश्यकता होती है। चूंकि कई आधुनिक सैम्पलर (जैसे हैमिल्टोनियन मोंटे कार्लो, लैंग्विन डायनेमिक्स) पहले से ही स्कोर कंप्यूट करते हैं, इसलिए ये मात्राएँ अक्सर उपलब्ध या आसानी से कंप्यूट करने योग्य होती हैं।
• जटिलता (Complexity): इस एस्टीमेटर की कम्प्यूटेशनल जटिलता $O(m d_\Theta)$ है और यह $O(m^{-1/2})$ की दर से अभिसरित (converge) होती है, जो $d_\Theta$ से स्वतंत्र है, जिससे Wasserstein या KL डाइवर्जेंस एस्टीमेटर में निहित "कर्स ऑफ डायमेंशनलिटी" से बचा जा सकता है।

3. कॉनवेक्सिटी (Convexity) के माध्यम से ऑप्टिमाइज़ेशन

एक महत्वपूर्ण सैद्धांतिक योगदान यह प्रदर्शन है कि असेम्पशन 3 (लीनियर लॉस फंक्शन्स और नेचुरल एक्सपोनेंशियल फैमिली प्रायर) के तहत, एम्पिरिकल फिशर डाइवर्जेंस एस्टीमेटर हाइपरपैरामीटर $\lambda$ में एक कॉन्वेक्स क्वाड्रेटिक फॉर्म (convex quadratic form) बन जाता है:
$$\hat{\rho}_{\text{FD}, m}(\tilde{\Pi}_\lambda) = \lambda^\top A \lambda + b^\top \lambda + c$$
जहाँ $A$ पॉजिटिव सेमी-डेफिनिट है। यह कॉनवेक्सिटी ग्लोबल ऑप्टिमाइज़ेशन समस्या ( $\Gamma$ पर सुप्रीমাম और इन्फिममम को खोजने) को कुशलतापूर्वक हल करने की अनुमति देती है:

• बॉक्स-कंस्ट्रेंड (Box-constrained) पड़ोस (हाइपररेक्टेंगल) के लिए, सुप्रीমাম को वर्टिस (vertices) पर ऑब्जेक्टिव को इवैल्यूएट करके (या कुशल ग्रेडिएंट-आधारित विधियों के माध्यम से) पाया जा सकता है, और इन्फिमम एक कॉन्वेक्स क्वाड्रेटिक प्रोग्राम है।
• यह संरचना उच्च-आयामी हाइपरपैरामीटर स्पेस के लिए सटीक या लगभग सटीक समाधान सक्षम करती है, जिससे महंगे ब्लैक-बॉक्स ग्लोबल ऑप्टिमाइज़ेशन से बचा जा सकता है।

4. सैद्धांतिक मजबूती और व्याख्यात्मकता (Theoretical Strength and Interpretability)

पेपर यह स्थापित करता है कि FD संवेदनशीलता का एक "मजबूत" माप है। रेगुलरिटी कंडीशंस (असेम्पशन 4, जिसमें स्ट्रॉन्ग लॉग-कॉन्केविटी शामिल है) के तहत, FD अन्य व्यापक रूप से उपयोग किए जाने वाले डाइवर्जेंस (Wasserstein, Total Variation, KL) को बाउंड करता है, और महत्वपूर्ण रूप से, पोस्टीरियर के पहले दो मोमेंट्स (मीन और कोवेरिएंस) के अंतर को नियंत्रित करता है। यह सुनिश्चित करता है कि एक छोटा FD मान पूरे पोस्टीरियर वितरण में छोटे बदलावों को दर्शाता है, न कि केवल सारांश सांख्यिकी (summary statistics) में।

मुख्य परिणाम और प्रयोग (Key Results and Experiments)

लेखक उन समस्याओं पर इस विधि को मान्य करते हैं जो मौजूदा GSA तकनीकों के लिए पहले पहुंच से बाहर थीं:

1. सिंथेटिक गौसियन मॉडल (Synthetic Gaussian Models):

   • प्रदर्शित किया कि FD प्रायर लोकेशन और स्केल के प्रति संवेदनशीलता को सही ढंग से पहचानता है, जबकि मोमेंट-आधारित माप उन पोस्टीरियर्स के बीच अंतर करने में विफल रहते हैं जिनके मीन समान हैं लेकिन कोवेरिएंस अलग हैं।
   • दिखाया कि नेचुरल एक्सपोनेंशियल फैमिली पैरामीटर्स में रीपैरामीटराइजेशन करने से नॉन-कॉन्वेक्स ऑप्टिमाइज़ेशन लैंडस्केप एक कॉन्वेक्स क्वाड्रेटिक में बदल जाता है, जिससे कुशल ग्लोबल ऑप्टिमाइज़ेशन संभव होता है।
   • Wasserstein-2 और KL डाइवर्जेंस एस्टीमेटर्स के विरुद्ध तुलना की, जिससे दिखाया कि FD ऑर्डर ऑफ मैग्नीट्यूड कम कम्प्यूटेशनल लागत के साथ तुलनीय या बेहतर एस्टीमेशन सटीकता प्राप्त करता है और इसमें डाइमेंशन-डिपेंडेंट कन्वर्जेंस रेट की समस्या नहीं है।

2. आइसिंग मॉडल (Ising Model - Generalized Bayesian Inference):

   • इसे एक दोहरी-दुर्बोध मॉडल (doubly-intractable model) पर लागू किया गया जहाँ लाइक्लीहुड्स अननॉर्मलाइज्ड (unnormalized) हैं।
   • विभिन्न लर्निंग रेट (तापमान) चयन विधियों की तुलना करने के लिए इसका उपयोग किया गया। FD संवेदनशीलता माप ने खुलासा किया कि सिरिंग और मार्टिन (2019) की विधि लर्निंग रेट के चुनाव के प्रति अत्यधिक संवेदनशील थी, जबकि मात्सुबारा एट अल (2024) की विधि मजबूत थी। यह प्रत्येक कैंडिडेट के लिए री-सैंपलिंग किए बिना, केवल संदर्भ पोस्टीरियर सैंपल्स पर निर्भर रहकर हासिल किया गया।

3. किलपिसजर्वी टेम्परेचर टाइम सीरीज़ (Kilpisjärvi Temperature Time Series - AR Model):

   • इसे 7-डायमेंशनल पोस्टीरियर के साथ 14 हाइपरपैरामीटर्स पर लागू किया गया।
   • इंडिपेंडेंट प्रायर के लिए FD के डिकम्पोजिशन प्रॉपर्टी का उपयोग करके ऑप्टिमाइज़ेशन समस्या को डायमेंशन-वाइज हल किया गया, जिससे कम्प्यूटेशनल लागत में भारी कमी आई (ब्लैक-बॉक्स ऑप्टिमाइज़ेशन की तुलना में 1000 गुना सस्ता)।
   • पहचाना कि पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन पहले दो ऑटोरेग्रेसिव गुणांकों ($\beta_1, \beta_2$) के प्रति सबसे अधिक संवेदनशील था, जिसमें वर्स्ट-केस प्रायर अस्थिर, ऑसिलेटरी भविष्यवाणियों की ओर ले जाता है।

4. सिमुलेशन-आधारित इन्फरेंस (Simulation-Based Inference - Turin Radio Propagation Model):

   • एक जटिल समस्या को संबोधित किया जिसमें 4 पैरामीटर्स और एक न्यूरल लाइक्लीहुड एस्टीमेटर था।
   • पैरामीटर्स के बीच प्रायर डिपेंडेंस स्ट्रक्चर (copulas) के प्रति संवेदनशीलता का पता लगाने की क्षमता का प्रदर्शन किया।
   • अनौपचारिक "ग्रिड सर्च" दृष्टिकोण की विफलता को उजागर किया, जिसने नॉन-कॉन्वेक्सिटी के कारण वास्तविक वर्स्ट-केस कैंडिडेट को मिस कर दिया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह उच्च-आयामी, आधुनिक बेयसियन वर्कफ़्लो के लिए लागू होने वाला पहला कम्प्यूटेशनल रूप से सुलभ ग्लोबल सेंसिटिविटी एनालिसिस का तरीका प्रदान करता है। इसकी महत्ता तीन स्तंभों पर टिकी है:

1. व्यवहार्यता (Feasibility): केवल एक एकल संदर्भ सैंपल सेट और स्कोर इवैल्यूएशन की आवश्यकता के साथ, यह प्रत्येक कैंडिडेट मॉडल के लिए री-सैंपलिंग की निषेधात्मक लागत को हटा देता है।
2. स्केलेबिलिटी (Scalability): सैंपल्स और डायमेंशन में लीनियर स्केलिंग, और सामान्य मॉडल क्लास के लिए कॉन्वेक्स क्वाड्रेटिक स्ट्रक्चर के साथ, यह GSA को उन समस्याओं पर करने की अनुमति देता है जहाँ यह पहले असंभव था।
3. मजबूती (Robustness): यह केवल विशिष्ट फंक्शनल्स के बजाय पूरे पोस्टीरियर की स्थिरता पर एक मजबूत गारंटी प्रदान करता है, जो अभ्यासकर्ताओं को मॉडल चेकिंग के लिए एक विश्वसनीय डायग्नोस्टिक टूल प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण जटिल सेटिंग्स, जिसमें पदानुक्रमित मॉडल (hierarchical models), फेडरेटेड लर्निंग और सिमुलेशन-आधारित इन्फरेंस शामिल हैं, में ग्लोबल सेंसिटिविटी एनालिसिस के नियमित अनुप्रयोग को सक्षम बनाता है, जिससे बेयसियन वर्कफ़्लो में एक महत्वपूर्ण अंतराल को भरा जा सके। वे मल्टीमॉडल पोस्टीरियर्स (जहाँ स्कोर-आधारित विधियाँ डिसजॉइंट मोड्स के प्रति ब्लाइंड हो सकती हैं) और डिस्क्रीट पैरामीटर स्पेस के संबंध में सीमाओं को स्वीकार करते हैं, जिन्हें भविष्य के कार्य के रूप में सुझाया गया है।