Nested Sampling with Slice-within-Gibbs: Efficient Evidence Calculation for Hierarchical Bayesian Models

यहाँ डेविड यलुप (David Yallup) के शोध पत्र "Nested Sampling with Slice-within-Gibbs: Efficient Evidence Calculation for Hierarchical Bayesian Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र उच्च-आयामी (high-dimensional) Hierarchical Bayesian Models पर Nested Sampling (NS) करने में आने वाली कम्प्यूटेशनल बाधाओं को संबोधित करता है।

• चुनौती: बेयसियन साक्ष्य (Bayesian evidence, $Z$) का अनुमान लगाने के लिए नेस्टेड सैंपलिंग (NS) एक स्वर्ण मानक (gold standard) है, जो मॉडल तुलना के लिए अत्यंत महत्वपूर्ण है। हालाँकि, उच्च-आयामी सेटिंग्स (जैसे हजारों पैरामीटर्स) में, NS का आंतरिक लूप—लाइकलीहुड थ्रेशोल्ड द्वारा सीमित प्रायर (prior) से सैंपलिंग करना—अत्यधिक खर्चीला हो जाता है।
• विशिष्ट बाधा: पदानुक्रमित मॉडलों (hierarchical models) में, जहाँ $J$ स्थानीय पैरामीटर्स ($\theta_j$) के समूह और साझा हाइपर-पैरामीटर्स ($\psi$) होते हैं, लॉग-लाइकलीहुड खंडित योगदानों का योग होता है: $\ell = \sum \ell_j$। मानक बाधित सैंपलिंग (जैसे joint-space slice sampling) के लिए प्रत्येक एकल स्थानीय पैरामीटर के प्रस्ताव (proposal) के लिए पूरे लॉग-लाइकलीहुड योग ($O(J)$) को पुन: गणना करने की आवश्यकता होती है। चूंकि एक पूर्ण स्वीप (full sweep) सभी $J$ समूहों को अपडेट करता है, इसलिए प्रति प्रतिस्थापन (per replacement) लागत $O(J^2)$ हो जाती है। आवश्यक कणों (particles) की संख्या के साथ मिलकर, कुल जटिलता $O(J^3)$ के रूप में स्केल करती है।
• विकल्पों की सीमाएँ: ग्रेडिएंट-आधारित सैंपलर (जैसे HMC/NUTS) पोस्टीरियर सैंपलिंग के लिए कुशल हैं लेकिन निम्नलिखित में संघर्ष करते हैं:
  1. प्रत्यक्ष साक्ष्य अनुमान (जिसके लिए महंगे पोस्ट-प्रोसेसिंग की आवश्यकता होती है)।
  2. पैथोलॉजिकल ज्योमेट्री (जैसे "फनल" या मल्टीमॉडल पोस्टीरियर्स), जो अक्सर विशिष्ट री-पैरामीट्राइजेशन की मांग करती है।

2. कार्यप्रणाली: NS-SwiG (Methodology: NS-SwiG)

लेखक Nested Sampling with Slice-within-Gibbs (NS-SwiG) का प्रस्ताव करते हैं, जो खंडित लाइकलीहुड (factorized likelihoods) की सशर्त स्वतंत्रता संरचना का लाभ उठाकर कम्प्यूटेशनल जटिलता को कम करता है।

A. लाइकलीहुड-बजट अपघटन (Likelihood-Budget Decomposition)

मुख्य नवाचार वैश्विक लाइकलीहुड बाधा $\ell > \ell^*$ को प्रति-ब्लॉक बजट (per-block budgets) में विभाजित करना है।

• वैश्विक लाइकलीहुड बाधा $\sum_{j=1}^J \ell_j > \ell^*$ की जाँच हर चरण में करने के बजाय, एल्गोरिदम एक कैश किया हुआ कुल लॉग-लाइकलीहुड $S$ और प्रति-समूह योगदान $\{\ell_j\}$ का एक वेक्टर बनाए रखता है।
• जब किसी विशिष्ट समूह $k$ ($\theta'_k$) के लिए नया मान प्रस्तावित किया जाता है, तो वैश्विक बाधा को एक स्थानीय बजट बाधा में पुनर्व्यवस्थित किया जाता है:
  $$\ell_k(\theta'_k, \psi) > B_k \quad \text{जहाँ} \quad B_k = \ell^* - (S - \ell_k)$$
• जटिलता लाभ: इस स्थानीय बाधा की जाँच करने में $O(1)$ समय लगता है। स्वीकृति के बाद कैश को अपडेट करने में भी $O(1)$ समय लगता है। फलस्वरूप, $J$ समूहों पर एक पूर्ण स्वीप की लागत $O(J)$ होती है, न कि $O(J^2)$।

B. बाधित Slice-within-Gibbs कर्नेल (Constrained Slice-within-Gibbs Kernel)

आंतरिक लूप एक Slice-within-Gibbs रणनीति का उपयोग करता है:

1. बाहरी अपडेट (हाइपर-पैरामीटर्स): स्लाइस सैंपलिंग का उपयोग करके $\psi$ को अपडेट करें। इसके लिए सभी $J$ समूह लाइकलीहुड्स का मूल्यांकन करना आवश्यक है (लागत $O(J)$), लेकिन यह प्रति हाइपर-पैरामीटर अपडेट केवल एक बार किया जाता है।
2. आंतरिक स्वीप (स्थानीय पैरामीटर्स): प्रत्येक समूह $j=1 \dots J$ के माध्यम से पुनरावृत्ति करें। $\theta_j$ को उसके स्थानीय बजट $B_j$ द्वारा बाधित सशर्त वितरण से सैंपल करें। चूंकि बजट पहले से ही गणना किया गया है, प्रत्येक चरण $O(1)$ है।

• मार्कोव विस्तार (Markov Extensions): यह विधि मार्कोव-संरचित लेटेंट वेरिएबल्स (जैसे Stochastic Volatility) तक विस्तारित है, जो स्वतंत्र समूहों के बजाय स्थानीय पड़ोस (local neighborhoods) के लिए बजट को कैश करती है।

C. कार्यान्वयन (Implementation)

• इसे BlackJAX फ्रेमवर्क के भीतर JAX में लागू किया गया है।
• कई "लाइव पॉइंट्स" (कणों) को समानांतर में प्रोसेस करने के लिए वेक्टराइजेशन का उपयोग करता है।
• स्लाइस प्रस्तावों (Hit-and-Run) को सूचित करने के लिए ब्लॉक-डायगोनल कोवेरिएंस अनुमान का उपयोग करता है।

3. मुख्य योगदान (Key Contributions)

1. एल्गोरिद्मिक जटिलता में कमी: यह पदानुक्रमित मॉडलों में समूहों की संख्या ($J$) के संदर्भ में नेस्टेड सैंपलिंग की प्रति-प्रतिस्थापन लागत को द्विघाती ($O(J^2)$) से घटाकर रैखिक ($O(J)$) कर देता है। यह समग्र एल्गोरिद्मिक जटिलता को मानक धारणाओं के तहत क्यूबिक से क्वाड्रेटिक में सुधार देता है।
2. बजट अपघटन: एक कैशिंग तंत्र पेश करता है जो वैश्विक बाधा जांच को एक निरंतर-समय (constant-time) स्थानीय जांच में बदल देता है, जो स्वाभाविक रूप से मार्कोवियन संरचनाओं तक विस्तारित होता है।
3. ग्रेडिएंट-मुक्त सुदृढ़ता (Gradient-Free Robustness): यह प्रदर्शित करता है कि NS-SwiG चुनौतीपूर्ण ज्योमेट्री (जैसे फनल, मल्टीमॉडल वितरण) में मजबूत पोस्टीरियर सैंपलिंग और साक्ष्य अनुमान प्रदान करता है, जहाँ ग्रेडिएंट-आधारित सैंपलर (NUTS) अक्सर विफल हो जाते हैं या जिन्हें विशिष्ट री-पैरामीट्राइजेशन की आवश्यकता होती है।
4. स्केलेबिलिटी: यह 2,500 आयामों (विशेष रूप से Stochastic Volatility मॉडल में $J=2516$) तक के बेंचमार्क पर विधि को मान्य करता है, एक ऐसा क्षेत्र जहाँ मानक नेस्टेड सैंपलिंग आमतौर पर अव्यवहार्य होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

शोध पत्र चार बेंचमार्क पर NS-SwiG की तुलना मानक नेस्टेड स्लाइस सैंपलिंग (NSS), NUTS, और HMC के साथ क्रमबद्ध मोंटे कार्लो (SMC-HMC) से करता है:

• Hierarchical Gaussian Model:
  • सैद्धांतिक स्केलिंग की पुष्टि की: NSS की तुलना में NS-SwiG लाइकलीहुड मूल्यांकन में $O(J)$ के रूप में स्केल करता है, जबकि NSS $O(J^2)$ स्केल करता है।
  • $J=1000$ समूहों तक सटीक साक्ष्य अनुमान ($\log Z$) प्राप्त किया, जबकि NSS कम्प्यूटेशनल रूप से अव्यवहार्य हो गया।
• Neal's Funnel:
  • Centered parameterization (जो HMC के लिए ज्ञात रूप से घातक है) में, NUTS ने डाइवर्जेंट ट्रांजिशन (divergent transitions) उत्पन्न किए और ज्योमेट्री को खोजने में विफल रहा। SMC-HMC ने पक्षपाती (biased) साक्ष्य अनुमान दिए।
  • NS-SwiG ने पूरी ज्योमेट्री को सफलतापूर्वक कैप्चर किया और बिना री-पैरामीट्राइजेशन के सटीक साक्ष्य अनुमान प्रदान किए।
• Contextual Effects (Radon Data):
  • NS-SwiG ने सेंटर्ड और नॉन-सेंटर्ड दोनों पैरामीट्राइजेशन में सटीक साक्ष्य अनुमान और पोस्टीरियर मार्जिनल प्रदान किए।
  • SMC-HMC ने सेंटर्ड केस में पार्टिकल डिजनरेसी और बायस के संकेत दिखाए।
• Stochastic Volatility (S&P 500):
  • $J=2516$ (कुल $d=2519$) पर परीक्षण किया गया।
  • NS-SwiG ने सटीक पोस्टीरियर्स और साक्ष्य अनुमान प्राप्त किए, और वॉल-क्लॉक समय तथा मूल्यांकन दक्षता के मामले में NUTS को पीछे छोड़ दिया, वह भी बिना उस नॉन-सेंटर्ड री-पैरामीट्राइजेशन के जो आमतौर पर HMC की सहायता करता है।

5. महत्व और प्रभाव (Significance and Impact)

• अंतराल को पाटना: NS-SwiG ने नेस्टेड सैंपलिंग को बड़े पैमाने के पदानुक्रमित समस्याओं (हजारों आयामों वाले) के लिए व्यवहार्य बना दिया है, जो पहले केवल ग्रेडिएंट-आधारित विधियों या सरलीकृत धारणाओं तक सीमित थे।
• बड़े पैमाने पर मॉडल तुलना: यह विशाल डेटासेट (जैसे खगोलीय कैटलॉग, गुरुत्वाकर्षण तरंग स्रोत) के लिए कठोर बेयसियन मॉडल तुलना (साक्ष्य अनुमान के माध्यम से) को सक्षम बनाता है, जहाँ वर्तमान पाइपलाइनें केवल पोस्टीरियर सैंपलिंग पर निर्भर करती हैं।
• सुदृढ़ता: यह एक "ग्रेडिएंट-फ्री" विकल्प प्रदान करता है जो पोस्टीरियर की विशिष्ट ज्योमेट्री के प्रति कम संवेदनशील है, जिससे विशेषज्ञ-ट्यून किए गए री-पैरामीट्राइजेशन की आवश्यकता कम हो जाती है।
• भविष्य की दिशाएं: शोध पत्र सुझाव देता है कि हालांकि गुणनखंड (factorization) आवश्यक है, यह विधि जटिल भौतिक मॉडलों (जैसे आणविक विन्यास) में कम-आयामी संरचनाओं की पहचान करके या "कोलैप्स्ड" दृष्टिकोणों को खोजने के द्वार खोलती है ताकि स्केलेबिलिटी को और बढ़ाया जा सके।

संक्षेप में, NS-SwiG बेयसियन अनुमान में एक महत्वपूर्ण प्रगति है, जो गिब्स सैंपलिंग की संरचनात्मक दक्षता को नेस्टेड सैंपलिंग के मजबूत साक्ष्य अनुमान के साथ जोड़ता है, जो विशेष रूप से आधुनिक खगोल भौतिकी और ब्रह्मांड विज्ञान में प्रचलित पदानुक्रमित मॉडलों के लिए तैयार किया गया है।