Bayesian Empirical Bayes: Simultaneous Inference from Probabilistic Symmetries

तकनीकी सारांश: बेयसियन एम्पिरिकल बेज (Bayesian Empirical Bayes): संभाव्य समरूपताओं से एक साथ निष्कर्ष (Simultaneous Inference)

1. समस्या विवरण

शास्त्रीय एम्पिरिकल बेज (EB) विधियाँ, जिनका सूत्रपात रॉबिन्स (1956) और एफ्रोन (2012) द्वारा किया गया था, दूसरों के अनुभव से सीखकर एक साथ निष्कर्ष (simultaneous inference) में सुधार करती हैं। ये विधियाँ आमतौर पर यह मानती हैं कि गुप्त चर (latent variables) $z_1, \dots, z_n$ एक अज्ञात पूर्व वितरण (prior) $g$ से स्वतंत्र और समान रूप से वितरित (i.i.d.) नमूने हैं। यह i.i.d. धारणा विनिमयशीलता (exchangeability) द्वारा न्यायसंगत है, जो डी फिनेटी के प्रतिनिधित्व प्रमेय (de Finetti's representation theorem) के माध्यम से अनुक्रम को i.i.d. नियमों के मिश्रण के रूप में देखने की अनुमति देती है।

हालाँकि, आधुनिक डेटा अनुप्रयोग अक्सर i.i.d. धारणा का उल्लंघन करते हैं। डेटा में अक्सर जटिल संरचनाएँ होती हैं, जैसे:

• एरे और ग्राफ (Arrays and Graphs): जीन अभिव्यक्ति मैट्रिक्स या सामाजिक नेटवर्क जहाँ पंक्तियाँ (rows) और कॉलम निर्भरता प्रदर्शित करते हैं।
• स्थानिक और टेम्पोरल प्रक्रियाएँ (Spatial and Temporal Processes): वायु गुणवत्ता माप या समय श्रृंखला (time series) जहाँ अवलोकन स्थान या समय द्वारा सह-संबंधित होते हैं।
• कोवेरिएट-निर्भर डेटा (Covariate-Dependent Data): परिकल्पनाएँ जहाँ पूर्व वितरण ज्ञात कोवेरिएट्स पर निर्भर करता है।

इन परिवेशों में, गुप्त चर शास्त्रीय अर्थों में विनिमय योग्य (exchangeable) नहीं होते हैं, जिससे मानक EB विधियाँ (जो एक एकल वैश्विक पूर्व $g$ पर निर्भर करती हैं) उप-इष्टतम या अप्रयुक्त रह जाती हैं। यह शोध पत्र सरल विनिमयशीलता के अलावा अन्य संभाव्य समरूपताओं (probabilistic symmetries) का लाभ उठाकर EB को इन गैर-i.i.d. परिवेशों में विस्तारित करने की चुनौती का समाधान करता है।

2. कार्यप्रणाली: बेयसियन एम्पिरिकल बेज (BEB)

लेखक बेयसियन एम्पिरिकल बेज (BEB) प्रस्तावित करते हैं, जो एक ढांचा है जो विनिमयशीलता के अनुमान को सामान्य संभाव्य समरूपताओं द्वारा प्रतिस्थापित करके EB का सामान्यीकरण करता है। मुख्य अंतर्दृष्टि यह है कि भले ही गुप्त चर i.i.d. न हों, उनकी संयुक्त वितरण अक्सर विशिष्ट समूह क्रियाओं (group actions) के तहत अपरिवर्तनीयता (invariance) प्रदर्शित करती है (जैसे, पंक्ति/कॉलम क्रमपरिवर्तन, स्थानिक बदलाव)।

सैद्धांतिक आधार

यह कार्यप्रणाली एर्गोडिक अपघटन प्रमेय (Ergodic Decomposition Theorem) (वरदराजन, 1963; कैलनबर्ग, 2005) पर आधारित है, जो डी फिनेटी के प्रमेय का सामान्यीकरण करता है।

• समरूपता धारणा (Symmetry Assumption): मान लीजिए $\Phi$ सूचकांक सेट $\Omega$ पर कार्य करने वाला रूपांतरणों का एक समूह है (जैसे, एरे के लिए क्रमपरिवर्तन, स्थानिक डेटा के लिए शिफ्ट)। पूर्व $p(z)$ को $\Phi$-अपरिवर्तनीय (invariant) माना जाता है।
• एर्गोडिक अपघटन (Ergodic Decomposition): किसी भी $\Phi$-अपरिवर्तनीय वितरण को $\Phi$-एर्गोडिक वितरणों के मिश्रण में अद्वितीय रूप से विघटित किया जा सकता है:
  $$p(z) = \int_{\mathcal{G}} p(z | g) d\mu(g)$$
  यहाँ, $g$ एक अपरिवर्तनीय चर (invariant variable) (या निर्देशित यादृच्छिक माप) है जो एर्गोडिक परिवार $\mathcal{E} = \{p(z|g)\}$ को अनुक्रमित करता है।
• BEB सूत्रीकरण (BEB Formulation):
  1. मॉडल: डेटा $x$ को ज्ञात संभावना (likelihood) $p(x|z)$ के माध्यम से गुप्त चरों $z$ से उत्पन्न किया जाता है। $z$ पर पूर्व $\Phi$-अपरिवर्तनीय है, जो निम्नलिखित पदानुक्रमित संरचना को दर्शाता है:
     $$g \sim \mu, \quad z | g \sim p(z|g), \quad x | z \sim p(x|z)$$
  2. अनुमान (Estimation): मिश्रण वितरण $\mu$ पर एकीकरण करने के बजाय (पूर्ण बेयसियन अनुमान में होता है), BEB मार्जिनल लाइक्लीहुड (Maximum Marginal Likelihood Estimation, MMLE) को अधिकतम करके अपरिवर्तनीय चर $g$ का अनुमान लगाता है:
     $$\hat{g} \in \arg\max_{g} \log \int p(x|z) p(z|g) dz$$
  3. निष्कर्ष (Inference): गुप्त चरों के पश्च वितरण (posterior) को बिंदु अनुमान $\hat{g}$ को प्लग इन करके अनुमानित किया जाता है:
     $$\hat{p}(z|x) \approx p(z | x, \hat{g})$$

एल्गोरिद्मिक कार्यान्वयन

लेखक मार्जिनल लाइक्लीहुड में कठिन इंटीग्रल्स को संभालने के लिए वेरिएशनल इन्फरेंस (VI) और न्यूरल नेटवर्क पर आधारित स्केलेबल एल्गोरिदम विकसित करते हैं:

• मैट्रिक्स रिकवरी (पृथक/संयुक्त विनिमयशीलता): एरे डेटा के लिए, अपरिवर्तनीय चर $[0,1]^3$ पर एक मापने योग्य फलन है (एल्डस-हॉवर प्रमेय के अनुसार)। लेखक इस फलन को न्यूरल नेटवर्क का उपयोग करके पैरामीटराइज़ करते हैं और एक स्ट्रक्चर्ड वेरिएशनल फैमिली का उपयोग करके ELBO को अनुकूलित करते हैं जो पंक्ति और कॉलम गुप्त कारकों को अलग करता है।
• स्थानिक प्रतिगमन (शिफ्ट इनवेरिएंस): स्थानिक डेटा के लिए, अपरिवर्तनीय चर एक स्थिर गाऊसी प्रक्रिया (stationary Gaussian process) का स्पेक्ट्रल घनत्व है। लेखक स्पेक्ट्रल घनत्व को गाऊसियन मिश्रण के रूप में मॉडल करते हैं और बोचन के प्रमेय (Bochner's theorem) का लाभ उठाते हुए स्पेक्ट्रल घनत्व को कोवेरिएंस कर्नेल से जोड़कर इसके मापदंडों का अनुमान लगाते हैं।
• कोवेरिएट-सूचित EB (Covariate-Informed EB): यह ढांचा उन मामलों तक विस्तारित होता है जहाँ अपरिवर्तनीय फलन देखे गए कोवेरिएट्स पर निर्भर करता है, जिससे सशर्त पूर्व (conditional priors) की अनुमति मिलती है।

3. मुख्य योगदान

1. EB का सामान्यीकरण: यह शोध पत्र एक एकीकृत ढांचे के रूप में EB प्रदान करता है जो केवल i.i.d. अनुक्रमों से आगे बढ़कर सामान्य संभाव्य समरूपताओं (एरे, स्थानिक प्रक्रियाएं, कोवेरिएट-निर्भर संरचनाएं) तक जाता है।
2. सैद्धांतिक एकीकरण: यह स्थापित करता है कि शास्त्रीय EB, BEB का एक विशेष मामला है जहाँ समरूपता विनिमयशीलता है और एर्गोडिक अपघटन i.i.d. कानूनों को जन्म देता है। यह एर्गोडिक सिद्धांत और एम्पिरिकल बेज के बीच संबंध को औपचारिक रूप देता है।
3. नई अनुमान प्रक्रियाएं:
   • EBMR (एम्पिरिकल बेज मैट्रिक्स रिकवरी): अलग और संयुक्त विनिमयशीलता के तहत मैट्रिक्स रिकवरी के लिए नई विधियाँ, जिन्हें न्यूरल नेटवर्क द्वारा पैरामीटराइज़ किया गया है।
   • स्पेशियल EB (Spatial EB): स्थानिक प्रतिगमन के लिए एक नया दृष्टिकोण जो सीधे डेटा से गुप्त प्रक्रिया के स्पेक्ट्रल घनत्व को सीखता है।
   • कोवेरिएट-सूचित EB: पूर्व संरचना में साइड इन्फॉर्मेशन को शामिल करने के लिए विधियाँ।
4. स्केलेबल एल्गोरिदम: इन जटिल, उच्च-आयामी मॉडलों के लिए नॉनपैरामेट्रिक मैक्सिमम लाइक्लीहुड का अनुमान लगाने के लिए वेरिएशनल इन्फरेंस एल्गोरिदम का विकास।

4. परिणाम

लेखक सिमुलेशन और वास्तविक डेटासेट के माध्यम से BEB का मूल्यांकन करते हैं:

• सिमुलेशन (मैट्रिक्स रिकवरी): विभिन्न शोर स्तरों और डेटा-जनरेटिंग तंत्रों (रैखिक, साइनुसोइडल, आदि) वाले 60 सिम्युलेटेड सेटिंग्स में, एक पृथक रूप से विनिमय योग्य पूर्व (separately exchangeable prior) के साथ EBMR ने लगातार नॉनपैरामेट्रिक मैक्सिमम लाइक्लीहुड एस्टीमेशन (NPMLE) और एम्पिरिकल बेज मैट्रिक्स फैक्टराइजेशन (EBMF) को पछाड़ दिया। प्रदर्शन का अंतर उच्च शोर स्तरों के साथ बढ़ता गया, जो "शोर के आशीर्वाद" (blessing of noise) को प्रदर्शित करता है जहाँ मैट्रिक्स संरचना के माध्यम से शक्ति उधार लेना अधिक महत्वपूर्ण हो जाता है।
• सिमुलेशन (स्थानिक प्रतिगमन): स्थानिक EB एस्टीमेटर का MSE (Mean Squared Error) शार्प तरीके से कम हुआ, जो दर्शाता है कि स्थानिक डेटा के लिए पूर्ण विनिमयशीलता की तुलना में 'शिफ्ट इनवेरिएंस' एक अधिक सूचनात्मक समरूपता है।
• वास्तविक डेटा अनुप्रयोग:
  • जीन अभिव्यक्ति और ब्रेन कनेक्टोम: कैंसर जीन-अभिव्यक्ति मैट्रिक्स और ब्रेन कनेक्टिविटी मैट्रिक्स पर लागू किया गया। EBMR विधियों ने उच्च शोर स्तरों पर NPMLE, EBMF और सिंगुलर-वैल्यू थ्रेशोल्डिंग बेसलाइनों की तुलना में कम सापेक्ष MSE प्राप्त किया।
  • NYC वायु गुणवत्ता: PM2.5 डेटा पर लागू किया गया। पद्धति ने सफलतापूर्वक डेटा को डीनोइज़ और इंटरपोलेट किया, जो द्वि-मोडल (bimodal) स्थानिक-टेम्पोरल शासन (मैनहट्टन बनाम क्वींस) को पकड़ने में सक्षम रही, जिसे फिक्स्ड कर्नेल वाले मानक गाऊसी प्रक्रिया बेसलाइन विफल रहे।

5. महत्व और दावे

शोध पत्र का दावा है कि बेयसियन एम्पिरिकल बेज संरचित डेटा के लिए एम्पिरिकल बेज की शक्ति का विस्तार करने का एक व्यवस्थित तरीका प्रदान करता है। एक अज्ञात पूर्व को एक अपरिवर्तनीय चर $g$ द्वारा एनकोड किए गए अनुमान के रूप में मानकर, BEB उन सेटिंग्स में एक साथ निष्कर्ष की अनुमति देता है जहाँ शास्त्रीय i.i.d. धारणाएं विफल हो जाती हैं।

• लचीलापन बनाम दक्षता: लेखक एक ट्रेड-ऑफ देखते हैं: कमजोर समरूपता धारणाएं (जैसे, संयुक्त बनाम पृथक विनिमयशीलता) स्वीकार्य प्रायरों के वर्ग को बढ़ाती हैं और लचीलापन बढ़ाती हैं, लेकिन उनके लिए अधिक डेटा और गणना संसाधनों की आवश्यकता होती है।
• मॉडलिंग विकल्प: शोध पत्र इस बात पर जोर देता है कि समरूपता को मानना एक मॉडलिंग विकल्प है न कि डेटा-जनरेटिंग प्रक्रिया की सख्त आवश्यकता। भले ही पूर्व बिल्कुल अपरिवर्तनीय न हो, एक समरूपता को स्थापित करना निष्कर्ष को 'इक्विवैरिएंट डिसीजन रूल्स' (equivariant decision rules) तक सीमित करता है, जो सांख्यिकीय रूप से कुशल हो सकता है।
• भावी दिशाएं: लेखक पहचान क्षमता (identifiability), निरंतरता (consistency), और अधिक जटिल समरूपता समूहों (जैसे, भौतिक बाधाएं, ज्यामितिक डीप लर्निंग) में विस्तार को भविष्य के अनुसंधान के खुले क्षेत्र के रूप में पहचानते हैं।