When can a posterior predictive check identify the learning rate? Exact degeneracy in Gaussian models and implications for Generalised Bayesian Inerence

तकनीकी सारांश: गॉसियन मॉडलों में सटीक विDegeneracy (Degeneracy) और सामान्यीकृत बेयस अनुमान (Generalised Bayesian Inference) के लिए निहितार्थ

समस्या विवरण
सामान्यीकृत (या गिब्स) बेयस अनुमान, लर्निंग रेट $\eta > 0$ के साथ लाइकलीहुड फंक्शन को टेम्पर (temper) करके मॉडल मिसस्पेसिफिकेशन (misspecification) को संबोधित करता है, जहाँ $p(y|\theta)$ को $p(y|\theta)^\eta$ से प्रतिस्थापित किया जाता है। $\eta$ का चयन महत्वपूर्ण है, फिर भी इसका चयन करना चुनौतीपूर्ण बना हुआ है। ज़ाफ़र और निकोल्स (2024) ने $\eta$ के चयन के लिए एक सरल, खोजपूर्ण विधि प्रस्तावित की: लॉग-लाइकलीहुड पर आधारित एक पोस्टीरियर प्रेडिक्टिव चेक (PPC) का उपयोग करना। विशेष रूप से, एक ग्रिड पर सबसे छोटे $\eta$ को चुना जाता है जिससे परिणामी PPC $p$-वैल्यू अस्वीकृत न हो (अर्थात, $p(\eta) \ge \alpha$)। हालांकि यह दृष्टिकोण जटिल, मिसस्पेसिफाइड मॉडलों में आशाजनक रहा है, लेकिन इसके व्यवहार का कैनोनिकल (canonical) गॉसियन लीनियर मॉडल पर कठोरता से परीक्षण नहीं किया गया था। यह शोध पत्र जांच करता है कि क्या यह PPC सेलेक्टर कैनोनिकल गॉसियन लीनियर मॉडल में विभिन्न लर्निंग रेट्स के बीच अंतर कर सकता है।

कार्यप्रणाली
लेखक गॉसियन लीनियर मॉडल $y = X\beta + \varepsilon$, जहाँ $\varepsilon \sim N(0, \sigma^2 I_n)$, पर PPC $p$-वैल्यू सेलेक्टर का एक सटीक, परिमित-नमूना (finite-sample) विश्लेषण करता है। विश्लेषण दो प्राथमिक परिदृश्यों पर विचार करता है:

1. ज्ञात विचरण (Known Variance): $\sigma^2 = \sigma_0^2$ ज्ञात है, $\beta$ पर एक फ्लैट प्रायर (flat prior) के साथ।
2. अज्ञात विचरण (Unknown Variance): $\beta$ और $\sigma^2$ दोनों अज्ञात हैं, मानक संदर्भ प्रायर (reference prior) $\pi(\beta, \sigma^2) \propto \sigma^{-2}$ का उपयोग करते हुए।

PPC $p$-वैल्यू को $p(\eta) = P(T(y_{rep}, \theta) < T(y, \hat{\theta}_\eta))$ के रूप में परिभाषित किया गया है, जहाँ $T$ लॉग-लाइकलीहुड विसंगति (discrepancy) है, $\hat{\theta}_\eta$ टेम्पर्ड लाइकलीहुड के तहत पोस्टीरियर मीन है, और $y_{rep}$ अनटेम्पर्ड मॉडल से लिया गया है। लेखक इस $p$-वैल्यू के वितरण के लिए क्लोज्ड-फॉर्म एक्सप्रेशन प्राप्त करते हैं ताकि $\eta$, डेटा, और डेटा-जनरेटिंग प्रोसेस (DGP) पर इसकी निर्भरता निर्धारित की जा सके।

प्रमुख योगदान और परिणाम

1. ज्ञात विचरण के तहत सटीक डिजेनेरेसी (Exact Degeneracy) (थ्योरम 1):
   जब $\sigma^2$ ज्ञात होता है और एक फ्लैट प्रायर का उपयोग किया जाता है, तो PPC $p$-वैल्यू $\eta$ के संबंध में इनवेरिएंट (invariant) होता है। किसी भी $\eta > 0$ के लिए, $p$-वैल्यू $P(\chi^2_n > \text{RSS}/\sigma_0^2)$ के बराबर होता है।

• निहितार्थ: सेलेक्टर लर्निंग रेट्स के बीच अंतर नहीं कर सकता है। यह या तो पूरे ग्रिड को स्वीकार करता है (न्यूनतम ग्रिड मान लौटाता है) या पूरे ग्रिड को अस्वीकार करता है, जो पूरी तरह से अनुमानित विचरण के सापेक्ष रेसिडुअल सम ऑफ स्क्वायर्स (RSS) पर निर्भर करता है।
• मिसस्पेसिफिकेशन: सेलेक्टर टू-साइडेड नॉन-आइडेंटिफाइंग (two-sided non-identifying) है। यदि वास्तविक विचरण, अनुमानित विचरण से अधिक है (ओवर-डिस्पर्शन), तो सभी $\eta$ के लिए $p \to 0$ होता है। यदि वास्तविक विचरण कम है (अंडर-डिस्पर्शन), तो सभी $\eta$ के लिए $p \to 1$ होता है। इन दोनों ही मामलों में, सेलेक्टर फिट को ठीक करने के लिए $\eta$ का उपयोग नहीं करता है।

2. अज्ञात विचरण के तहत डेटा-मुक्त नियम (Data-Free Law) (थ्योरम 2):
   जब संदर्भ प्रायर के साथ $\sigma^2$ अज्ञात होता है, तो $p$-वैल्यू एक क्लोज्ड-फॉर्म एक्सप्रेशन को स्वीकार करता है:
   $$p(\eta) = P\left[ W + n \log\left(\frac{\eta n - d - 2}{V}\right) > \frac{\eta n - d - 2}{\eta} \right]$$
   जहाँ $W \sim \chi^2_n$ और $V \sim \chi^2_{\eta n - d}$ स्वतंत्र हैं।

• महत्वपूर्ण निष्कर्ष: यह एक्सप्रेशन केवल नमूना आकार $n$, रैंक $d$, और लर्निंग रेट $\eta$ पर निर्भर करता है। यह वास्तविक डेटा $y$ और डेटा-जनरेटिंग प्रोसेस से पूरी तरह स्वतंत्र है।
• परिणाम: चयनित $\eta$ डेटा देखे जाने से पहले ही निर्धारित हो जाता है। संख्यात्मक विश्लेषण दिखाता है कि विशिष्ट ग्रिडों के लिए, वक्र $p_{n,d}(\eta)$ अस्वीकृति सीमा (जैसे, $\alpha=0.10$) से काफी ऊपर रहता है। फलस्वरूप, सेलेक्टर ग्रिड फ्लोर (न्यूनतम ग्रिड मान) पर गिर जाता है, चाहे डेटा का वास्तविक फिट कुछ भी हो।

3. कैलिब्रेशन लागत (Calibration Costs):
   चूंकि सेलेक्टर इस डेटा-मुक्त पतन के कारण न्यूनतम $\eta$ (ओवर-टेम्परिंग) पर डिफ़ॉल्ट रूप से चला जाता है, इसलिए इसके द्वारा निर्मित प्रेडिक्टिव इंटरवल्स अत्यधिक चौड़े होते हैं। सिमुलेशन दर्शाते हैं कि PPC-चयनित $\eta$ के साथ निर्मित 90% प्रेडिक्टिव इंटरवल्स 0.97–0.99 की कवरेज दर (ओवर-कवरिंग) प्राप्त करते हैं और वे होल्ड-आउट सिलेक्शन या $\eta=1$ से प्राप्त इंटरवल्स की तुलना में 1.5–1.9 गुना अधिक चौड़े होते हैं।

4. प्रायर्स की भूमिका (Role of Priors):
   सटीक डेटा-स्वतंत्रता संदर्भ प्रायर (या ज्ञात विचरण के मामले में फ्लैट प्रायर) के लिए विशिष्ट है। लेख नोट करता है कि एक सूचनात्मक प्रायर (जैसे, एक प्रॉपर रिज प्रायर) पेश करने से यह सटीक डिजेनेरेसी टूट जाती है, जिससे $p$-वैल्यू डेटा पर निर्भर हो जाता है। हालाँकि, डिफ्यूज प्रायर्स के लिए, यह निर्भरता संख्यात्मक रूप से नगण्य बनी रहती है, और सेलेक्टर अभी भी ग्रिड फ्लोर की ओर झुकता है।

महत्व और दायरा
यह शोध पत्र इन निष्कर्षों को एक सामान्य नकारात्मक बयान के बजाय एक "बाउंड्री रिजल्ट" (boundary result) के रूप में प्रस्तुत करता है। इसका महत्व यहाँ है:

• एक कैनोनिकल क्लास की पहचान: यह एक विशिष्ट वर्ग के मॉडलों (गॉसियन स्केल-लोकेशन फैमिली विद रेफरेंस प्रायर्स) को रेखांकित करता है जहाँ PPC सेलेक्टर प्रमाणित रूप से नॉन-आइडेंटिफाइंग है।
• तंत्र की व्याख्या: यह विफलता का श्रेय एक "पिवोटैलिटी प्रॉपर्टी" (pivotality property) को देता है जहाँ विसंगति सांख्यिकी (discrepancy statistics) पिवोटल क्वांटिटीज के फलन होते हैं, जिससे उनकी तुलना की संभावना अज्ञात मापदंडों से मुक्त और अज्ञात विचरण के मामले में डेटा से भी मुक्त हो जाती है।
• व्यावहारिक डायग्नोस्टिक: लेखक एक "सस्ता, डेटा-मुक्त प्री-स्क्रीनिंग डायग्नोस्टिक" प्रस्तावित करते हैं। मॉडल फिट करने से पहले, अभ्यासी अपने $(n, d)$ कॉन्फ़िगरेशन के लिए सैद्धांतिक $p$-वैल्यू वक्र की गणना कर सकते हैं। यदि ग्रिड पर न्यूनतम $p$-वैल्यू महत्व स्तर $\alpha$ से अधिक है, तो यह पहले से ज्ञात होता है कि PPC सेलेक्टर डेटा-मुक्त है और संभवतः ग्रिड फ्लोर पर गिर जाएगा। ऐसे मामलों में, डेटा-संचालित विकल्पों (जैसे, होल्ड-आउट सिलेक्शन या ELPPD) की सिफारिश की जाती है।

शोध पत्र निष्कर्ष निकालता है कि जबकि ज़ाफ़र और निकोल्स (2024) का दृष्टिकोण जटिल, गैर-कंजुगेट सेटिंग्स में काम कर सकता है, यह कैनोनिकल गॉसियन सेटिंग में इन सटीक परिमित-नमूना गुणों के कारण मौलिक रूप से विफल होता है, जो समान संरचनात्मक विशेषताओं वाले मॉडलों को लागू करते समय सावधानी बरतने की आवश्यकता को दर्शाता है।