तकनीकी सारांश: उच्च-आयामी रैखिक मॉडलों के लिए एम्पिरिकल बेज़ियन हेतु ग्रेडिएंट फ्लो (Gradient Flows)

समस्या विवरण (Problem Statement)

यह शोध पत्र उच्च-आयामी रैखिक मॉडलों में एम्पिरिकल बेज़ियन (Empirical Bayes - EB) अनुमान की चुनौती को संबोधित करता है जहाँ विलुप्त पैरामीटर (latent parameters) जटिल डिज़ाइनों के माध्यम से परस्पर क्रिया करते हैं—एक ऐसा परिवेश जहाँ अनुक्रम मॉडल (जैसे, $y_i = \theta_i + \epsilon_i$) की तुलना में सैद्धांतिक और एल्गोरिद्मिक समझ पीछे रह गई है। विशेष रूप से, लेखक इस रैखिक मॉडल पर विचार करते हैं:
$$y = X\theta + \epsilon, \quad \theta_j \overset{iid}{\sim} g^*, \quad \epsilon_i \overset{iid}{\sim} N(0, \sigma^2)$$
जहाँ $n$ (नमूना आकार) और $p$ (आयाम) दोनों बड़े हैं। लक्ष्य प्रतिगमन गुणांकों (regression coefficients) के अज्ञात पूर्व वितरण (prior distribution) $g^*$ का डेटा $(X, y)$ से अनुमान लगाना है।

मुख्य कठिनाइयाँ निम्नलिखित हैं:

1. सांख्यिकीय (Statistical): सामान्य प्रतिगमन डिज़ाइनों (जहाँ $X$ पहचान मैट्रिक्स नहीं है) के लिए नॉनपैरामीट्रिक मैक्सिमम लाइकलीहुड एस्टिमेटर (NPMLE) की निरंतरता (consistency) स्थापित करना, जब $n, p \to \infty$ हो। जबकि हालिया कार्य [MSS23] ने कड़े अनुमानों ($n \ge p$ और सुव्यवस्थित $X$) के तहत निरंतरता स्थापित की थी, सामान्य डिज़ाइनों (जिसमें $n < p$ और यादृच्छिक डिज़ाइन शामिल हैं) के लिए स्थितियाँ खुली रह गई थीं।
2. संगणनात्मक (Computational): मार्जिनल लॉग-लाइक्लीहुड $\bar{F}_n(g)$ में $\theta$ के ऊपर एक दुर्बोध (intractable) पोस्टीरियर इंटीग्रल शामिल है, जिससे प्रत्यक्ष अनुकूलन (optimization) कठिन हो जाता है। मौजूदा अनुमानित विधियाँ (जैसे, मीन-फील्ड वेरिएशनल इन्फरेंस, MCEM) पूर्ण सैद्धांतिक अभिसरण गारंटी (convergence guarantees) की कमी रखती हैं, विशेष रूप से गैर-उत्तल (non-convex) सेटिंग्स या जब $n < p$ हो।

कार्यप्रणाली (Methodology)

लेखक ग्रेडिएंट फ्लो (संभाव्यता मापों पर) और अनुकूली लैंग्विन डायनेमिक्स (adaptive Langevin dynamics) को संयोजित करने वाला एक नया ढांचा प्रस्तावित करते हैं।

1. पुनर्रचना और वेरिएशनल प्रतिनिधित्व (Reparametrization and Variational Representation)

$\theta$ के पोस्टीरियर में नियमितता (regularity) की कमी को दूर करने के लिए (जो विविक्त/discrete हो सकता है), लेखक एक स्मूथड विलुप्त चर $\phi = \theta + z$ पेश करते हैं, जहाँ $z \sim N(0, \tau^2 I)$। यह मॉडल को इस रूप में बदल देता है:
$$y = X\phi + \tilde{\epsilon}, \quad \phi_j \overset{iid}{\sim} N_\tau * g^*$$
जहाँ $N_\tau$ एक गौसियन कर्नेल है। यह पुनर्रचना सुनिश्चित करती है कि $\phi$ का पोस्टीरियर एक सुचारू, धनात्मक घनत्व (density) रखता है, जिससे सैंपलिंग सुगम हो जाती है।

मार्जिनल लॉग-लाइक्लीहुड को गिब्स वेरिएशनल प्रतिनिधित्व के माध्यम से व्यक्त किया जाता है:
$$\bar{F}_n(g) = \min_{q \in \mathcal{P}^*(\mathbb{R}^p)} F_n(q, g)$$
जहाँ $F_n(q, g)$ गिब्स फ्री एनर्जी है। अनुकूलन को $q$ और $g$ के संयुक्त रूप से किया जाता है।

2. द्विविचरित ग्रेडिएंट फ्लो सिस्टम (Bivariate Gradient Flow System)

लेखक $F_n(q, g)$ को न्यूनतम करने के लिए एक समवर्ती ग्रेडिएंट फ्लो समीकरणों का प्रस्ताव करते हैं:
$$\begin{cases} \frac{d}{dt} q_t(\phi) = -p \cdot \text{grad}_{W_2}^q F_n(q_t, g_t)[\phi] \\ \frac{d}{dt} g_t(\theta) = -\alpha \cdot \text{grad}_{FR}^g F_n(q_t, g_t)[\theta] \end{cases}$$

• $q$-flow (Wasserstein-2): $q_t$ का विकास एक फॉकर-प्लैंक समीकरण का अनुसरण करता है जो वर्तमान पूर्व $g_t$ द्वारा निर्धारित समय-निर्भर ड्रिफ्ट वाले लैंग्विन डिफ्यूजन (Langevin diffusion) के अनुरूप है।
• $g$-flow (Fisher-Rao): $g_t$ का विकास फिशर-राओ ग्रेडिएंट फ्लो का अनुसरण करता है, जो स्वाभाविक रूप से पूर्व की धनात्मकता और सीमित सपोर्ट बाधाओं को बनाए रखता है।

3. EBflow एल्गोरिदम

चूंकि ग्रेडिएंट फ्लो का सटीक समाधान दुर्बोध है, लेखक एक असतत-समय (discrete-time) एल्गोरिदम, EBflow व्युत्पन्न करते हैं:

• E-step (अनुमानित): अनएडजस्टेड लैंग्विन एल्गोरिदम (ULA) का एक एकल चरण वर्तमान पूर्व $g_t$ के आधार पर नमूना $\phi_t$ को अपडेट करता है।
• M-step (अनुमानित): पूर्व $g_t$ को फिशर-राओ ग्रेडिएंट डिसेंट के एक एकल चरण का उपयोग करके अपडेट किया जाता है। महत्वपूर्ण रूप से, उच्च-आयामी घनत्व $q_t$ को एकल लैंग्विन ट्रैजेक्टरी $\phi_t$ के निर्देशांकों के एम्पिरिकल वितरण द्वारा अनुमानित किया जाता है, जिससे कई समानांतर चेन्स की आवश्यकता समाप्त हो जाती है।

मुख्य योगदान (Key Contributions)

1. Near-NPMLEs की सांख्यिकीय निरंतरता

लेखक डिज़ाइन मैट्रिक्स $X$ पर नियतात्मक स्थितियों के तहत किसी भी "नियर-NPMLE" (मार्जिनल लॉग-लाइक्लीहुड के एक अनुमानित ऑप्टिमाइज़र) की सांख्यिकीय निरंतरता स्थापित करते हैं।

• मान्यता (Assumption): डिज़ाइन मैट्रिक्स को ऐसे टेस्ट वेक्टर्स $\{z_j\}$ के अस्तित्व की अनुमति देनी चाहिए जो $X$ के कॉलमों को अन्य कॉलमों के विरुद्ध "लगभग ऑर्थोगोनलाइज" (orthogonalize) कर सकें (जो डीबायस्ड लासो की याद दिलाता है)। यह हालिया परिणामों [MSS23] का विस्तार है, जिसमें $n \ge p$ और सुव्यवस्थित $X$ की आवश्यकता थी।
• परिणाम: जैसे-जैसे $n, p \to \infty$, कोई भी पूर्व $\hat{g}_n$ जो $\bar{F}_n(\hat{g}_n) \le \bar{F}_n(g^*) + o(1)$ को संतुष्ट करता है, $g^*$ की ओर दुर्बल रूप से (weakly) अभिसरित होता है। यह अंडरसैम्प्ल्ड रिजीम ($n < p$) और सब-गासियन पंक्तियों वाले रैंडम डिज़ाइनों के लिए भी मान्य है।

2. ग्रेडिएंट फ्लो का अभिसरण

लेखक निरंतर-समय ग्रेडिएंट फ्लो सिस्टम का सैद्धांतिक विश्लेषण प्रदान करते हैं:

• एकचर प्रवाह (Univariate Flows):
  • स्थिर $q$ के लिए, $g$ के लिए फिशर-राओ प्रवाह $O(1/t)$ की दर से अनुक्रम मॉडल NPMLE की ओर वैश्विक रूप से अभिसरित होता है।
  • स्थिर $g$ के लिए, $q$ के लिए वासरस्टीन प्रवाह KL-डाइवर्जेंस में $P_g(\phi|y)$ की ओर तेजी से अभिसरित होता है।
• संयुक्त प्रवाह (Joint Flow): पोस्टीरियर लॉज़ (posterior laws) के लिए एक डायमेंशन-फ्री लॉग-सोबोलेव असमानता (LSI) के तहत, संयुक्त प्रवाह एक नियर-NPMLE की ओर अभिसरित होता है।
• समय जटिलता (Time Complexity): यदि मार्जिनल लॉग-लाइक्लीहुड एक प्रारंभिक स्थिति द्वारा परिभाषित सब-लेवल सेट पर उत्तल (convex) है, तो एल्गोरिदम $(n, p)$ के रैखिक समय में एक नियर-NPMLE तक पहुँच जाता है।

3. एल्गोरिद्मिक कार्यान्वयन

यह शोध पत्र एक व्यावहारिक एल्गोरिदम, EBflow पेश करता है जो:

• उच्च आयामों में "सिंगल-चेन प्रोपेगेशन-ऑफ-केओस" (single-chain propagation-of-chaos) की अंतर्दृष्टि का लाभ उठाते हुए, औसत मार्जिनल वितरण का अनुमान लगाने के लिए एक एकल लैंग्विन चेन का उपयोग करता है।
• लैंग्विन सैंपलिंग के लिए आवश्यक नियमितता सुनिश्चित करने के लिए $\phi$ द्वारा पुनर्रचना का उपयोग करता है, भले ही वास्तविक पूर्व $g^*$ विविक्त (discrete) हो।
• सिमुलेशन में CAVI और वेरिएशनल इन्फरेंस बेसलाइनों के मुकाबले प्रतिस्पर्धी प्रदर्शन प्रदर्शित करता है।

परिणाम (Results)

सैद्धांतिक गारंटी

• निरंतरता (Consistency): प्रमेय 3.2 सिद्ध करता है कि मार्जिनल लाइकलीहुड के नियर-ऑप्टिमाइज़र, डिज़ाइन मैट्रिक्स पर धारणा 3.1 (जो रैंडम डिज़ाइनों और $n < p$ को कवर करती है) के तहत $g^*$ के सुसंगत अनुमानक हैं, जो पूर्व कार्य [MSS23] की तुलना में अधिक उदार है।
• अभिसरण दरें (Convergence Rates): प्रमेय 3.10 स्थापित करता है कि संयुक्त ग्रेडिएंट फ्लो एक समय क्षितिज $T = O(\epsilon^{-3.01}(n+p))$ के भीतर एक घनत्व तक पहुँच जाता है जो प्रथम-क्रम अनुकूलन स्थिति को संतुष्ट करता है।
• LSI: प्रमेय 3.7 सिद्ध करता है कि पर्याप्त बड़े शोर विचरण $\sigma^2$ के लिए $\phi$ के पोस्टीरियर के लिए एक डायमेंशन-फ्री LSI मौजूद है, जो निरंतरता शासन (consistency regime) के अनुकूल है।

अनुभवजन्य प्रदर्शन (Empirical Performance)

Langevin-MCEM, Gibbs-MCEM, और कोऑर्डिनेट एसेंट वेरिएशनल इन्फरेंस (CAVI) के साथ तुलनात्मक प्रयोगों में:

• सटीकता: EBflow, CAVI की तुलना में पूर्व घनत्व के अनुमान में आमतौर पर कम टोटल वेरिएशन (TV) त्रुटि प्राप्त करता है और MCEM विधियों के साथ प्रतिस्पर्धी या उनसे बेहतर प्रदर्शन करता है, विशेष रूप से ब्लॉक-कोरिलेटेड या जीनोटाइप डिज़ाइनों में।
• दक्षता: EBflow, MCEM विधियों की तुलना में तेज़ रनटाइम प्रदर्शित करता है, जिन्हें प्रत्येक M-स्टेप में महंगे उत्तल अनुकूलन (NPMLE) की आवश्यकता होती है।
• मजबूती (Robustness): विधि विभिन्न पूर्व आकारों (Gaussian, skewed, bimodal, scale-mixture) और डिज़ाइन मैट्रिसेस (identity, i.i.d., block-correlated, genetic) में अच्छा प्रदर्शन करती है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र उच्च-आयामी रैखिक मॉडलों के लिए एम्पिरिकल बेज़ियन सिद्धांत के अंतर को पाटने का दावा करता है:

1. NPMLE की निरंतरता गारंटी का विस्तार करना (अनुक्रम मॉडल से परे) उन नियतात्मक डिज़ाइन धारणाओं के तहत जो रैंडम डिज़ाइनों और $n < p$ को शामिल करती हैं, जिससे [MSS23] की सख्त शर्तों ($n \ge p$, सुव्यवस्थित $X$) को शिथिल किया जा सके।
2. द्विचर ग्रेडिएंट फ्लो और अनुदायी लैंग्विन डायनेमिक्स का उपयोग करके एक नया संगणनात्मक प्रतिमान विकसित करना, जो वेरिएशनल इन्फरेंस और MCEM के लिए एक सैद्धांतिक रूप से सुदृढ़ विकल्प प्रदान करता है।
3. उच्च-आयामी पोस्टीरियर लॉज़ के लिए नए लॉग-सोबोलेव असमानताओं के माध्यम से डायमेंशन-फ्री अभिसरण गुणों को स्थापित करना, जो स्वतंत्र रूप से बेयसियन सैंपलिंग के लिए भी महत्वपूर्ण हैं।

लेखक नोट करते हैं कि हालांकि अभिसरण गारंटी निरंतर-समय प्रवाह के लिए दी गई है, वे असतत EBflow एल्गोरिदम के लिए अंतर्दृष्टि प्रदान करते हैं। वे स्वीकार करते हैं कि ऑब्जेक्ट के वैश्विक परिदृश्य (global landscape) गैर-उत्तल हो सकता है, और उनकी गारंटी स्थानीय अभिसरण (local convergence) के लिए विशिष्ट प्रारंभिक स्थितियों से लागू होती है, जिससे वैश्विक ज्यामिति एक खुला प्रश्न बनी हुई है।