तकनीकी सारांश: बेयसियन विश्वास संशोधन (Bayesian Belief Revision) में मार्जिनल लाइकलीहुड (Marginal Likelihood) की "फ्रीक्वेंटिस्ट" भूमिका को पुनः प्राप्त करना

1. समस्या विवरण

आधुनिक बेयसियन गणना और पैरामीट्रिक अनुमान में, मार्जिनल लाइकलीहुड $P(D)$, जो बेयज़ प्रमेय (Bayes' Theorem) में हर (denominator) के रूप में कार्य करता है, को नियमित रूप से दरकिनार कर दिया जाता है। कम्प्यूटेशनल सुविधा से प्रेरित होकर, अभ्यासी अन-नॉर्मलाइज्ड प्रोपोर्शनैलिटी संबंधों ($P(\theta|D) \propto P(D|\theta)P(\theta)$) पर भरोसा करते हैं ताकि पोस्टीरियर वितरण (posterior distributions) का अनुमान लगाया जा सके। हालांकि यह दृष्टिकोण सॉफ्टवेयर मैनुअल और एल्गोरिदम (जैसे MCMC, वेरिएशनल इंफरेंस) में मानक है क्योंकि एक स्थिर डेटासेट के लिए $P(D)$, $\theta$ के सापेक्ष एक स्थिरांक (constant) है, यह शोध पत्र तर्क देता है कि यह अभ्यास एक सूक्ष्म विश्लेषणात्मक चूक है।

मूल समस्या यह है कि $P(D)$ को त्यागने से $P(D)$ को केवल एक स्थिर नॉर्मलाइजिंग कांस्टेंट के रूप में माना जाता है, जो प्रभावी रूप से इन्फरेंशियल स्टेट (inferential state) को उसके ऐतिहासिक और भौतिक वास्तविकता से काट देता है। $P(D)$ को अनदेखा करके, एल्गोरिदम यह गणना करते हैं कि एक विशिष्ट डेटा मेनिफेस्टेशन के दिए जाने पर एक पर्यवेक्षक को क्या विश्वास करना चाहिए, लेकिन वे उस डेटा-जनरेटिंग वास्तविकता को मिटा देते है जो यह निर्धारित करती है कि वह इन्फरेंशियल स्टेट प्रकृति में कितनी 'आवृत्ति' (frequency) से घटित होता है। यह एक विशिष्ट डेटा के कारण विश्वास के परिमाण (magnitude of belief update) और एक ऐतिहासिक क्षितिज के माध्यम से उस अपडेट की दीर्घकालिक फ्रीक्वेंटिस्ट कैडेंस (long-run frequentist cadence) के बीच एक विच्छेद पैदा करता है।

2. कार्यप्रणाली

यह शोध पत्र बेयसियन अनुमान के लिए एक "दो-आयामी" ढांचे का प्रस्ताव करता है, जो इन्फरेंशियल स्टेट को एक एकल वेक्टर के बजाय एक पूरक जोड़े के रूप में मानता है: $\{P(H_j|D), P(D)\}$।

सैद्धांतिक ढांचा

लेखक एक संभाव्यता स्थान $(\Omega, \mathcal{F}, P)$ के भीतर बेयज़ प्रमेय को औपचारिक रूप देते हैं, जिसमें सूचना के दो ऑर्थोगोनल आयामों की पहचान की गई है:

1. इन्फरेंशियल आयाम (परिमाण - Magnitude): इसे पोस्टीरियर $P(H_j|D)$ द्वारा मापा जाता है। यह विश्वास संशोधन की आंतरिक शक्ति का प्रतिनिधित्व करता है, जो यह बताता है कि एक विशिष्ट डेटा मेनिफेस्टेशन दिए जाने पर तर्कसंगत अपेक्षाओं को कितना बदलना चाहिए।
2. टेम्पोरल आयाम (कैडेंस - Cadence): इसे मार्जिनल लाइकलीहुड $P(D)$ द्वारा मापा जाता है। यह भौतिक वातावरण की बाहरी आवृत्ति घड़ी का प्रतिनिधित्व करता है, जो यह बताता है कि अनंत समय क्षितिज के दौरान ब्रह्मांड कितनी बार पर्यवेक्षक को इस विशिष्ट इन्फरेंशियल स्टेट में धकेलेगा।

दृष्टांत मॉडल

$P(D)$ को त्यागने की सीमाओं को प्रदर्शित करने के लिए, शोध पत्र एक सरलीकृत अनुक्रमिक "सिक्का-और-अर्न" (coin-and-urn) टॉय मॉडल का उपयोग करता है:

• सेटअप: ब्लैक/व्हाइट बॉल के विभिन्न संयोजनों वाले दो अर्न (urns) एक निष्पक्ष सिक्का उछालने के माध्यम से चुने जाते हैं।
• लोकल अपडेट: एक एकल ड्रॉ (draw) अर्न के स्रोत की पोस्टीरियर संभावना को अपडेट करता है।
• एसिम्प्टोटिक विश्लेषण: अनंत क्षितिज के ऊपर, मार्जिनल प्रोबेबिलिटीज $P(B)$ और $P(W)$ इन अपडेट्स की आवृत्ति निर्धारित करती हैं। शोध पत्र का तर्क है कि जबकि स्थानीय अपडेट व्यक्तिगत ड्रॉ के आधार पर दोलन (oscillate) करते हैं, मार्जिनल लाइकलीहुड इन अपडेट्स के ऐतिहासिक कैडेंस को बायस (bias) करता है। उदाहरण के लिए, यदि वैश्विक स्तर पर ब्लैक बॉल्स अधिक बार आती हैं ($P(B) > P(W)$), तो पर्यवेक्षक ऐतिहासिक रूप से Urn II के लिए विश्वास में कमी को (विश्वास वृद्धि की तुलना में) बहुत अधिक बार देखेगा, एक तथ्य जिसे $P(D)$ को अनदेखा करने पर छिपा दिया जाता है।

प्रस्तावित डायग्नोस्टिक उपाय

इस दोहरे दृष्टिकोण को संचालित करने के लिए, शोध पत्र तीन सांख्यिकीय उपायों का परिचय देता है जो रिकर्सिव ऑनलाइन एस्टीमेशन को विनियमित करने और स्थानीय विसंगतियों (anomalies) के प्रति अति-प्रतिक्रिया को रोकने के लिए डिज़ाइन किए गए हैं:

1. इन्फरेंशियल मोमेंटम ऑपरेटर ($M_j$): इसे संयुक्त संभाव्यता $M_j(D) = P(H_j|D) \times P(D)$ के रूप में परिभाषित किया गया है। यह एक संरचनात्मक बाधा के रूप में कार्य करता है; यदि एक सैंपल एक दुर्लभ विसंगति है ($P(D) \to 0$), तो संयुक्त संभाव्यता अपने निचले स्तर की ओर अभिसरित (converge) होती है, जिससे उन डेटा के आधार पर निर्देशांक बदलने से रोका जाता है जिनमें दीर्घकालिक ऐतिहासिक द्रव्यमान (historical mass) की कमी है।
2. इंफॉर्मेशन कैडेंस स्कोर ($C_j$): इसे $C_j(D) = P(D) \ln\left(\frac{P(H_j|D)}{P(H_j)}\right)$ के रूप में परिभाषित किया गया है। यह स्थानीय लॉग-ऑड्स अपडेट को आसिम्प्टोटिक पर्यावरणीय आवृत्ति के साथ स्केल करता है। यह दुर्लभ, गैर-प्रतिनिधिक विसंगतियों के महत्व को कम करता है, यह सुनिश्चित करता है कि अपडेट केवल उन पैटर्न के लिए हों जिनमें निरंतर भौतिक आवृत्ति हो।
3. कॉम्प्लेक्स-वैल्यूड स्टोकेस्टिक ऑपरेटर ($Z_j$): इसे $Z_j = P(H_j|D) + iP(D)$ के रूप में परिभाषित किया गया है। यह इन्फरेंशियल और टेम्पोरल आयामों को कॉम्प्लेक्स प्लेन पर मैप करता है। फेज एंगल $\phi_j = \arg(Z_j)$ एक ज्यामितिक ट्रैकिंग वेक्टर के रूप में कार्य करता है; शून्य की ओर झुकाव एक कम-संभाव्यता, गैर-प्रतिनिधिक सैंपलिंग डोमेन को इंगित करता है, जो पैरामीट्रिक अस्थिरता होने से पहले अपडेट को निलंबित करने के लिए एक मानदंड प्रदान करता है।

रिकर्सिव एस्टीमेशन में अनुप्रयोग

शोध पत्र रिकर्सिव लीस्ट स्क्वेयर्स (Recursive Least Squares), रॉबिन्स-मोनरो (Robbins-Monro) जैसे रिकर्सिव ऑनलाइन एस्टीमेशन में इन उपायों को एकीकृत करने का प्रस्ताव करता है, जिससे एडेप्टेशन स्टेप-साइज़ $\gamma_t$ को मार्जिनल डेंसिटी का एक फलन बनाया जाता है: $\gamma_t = \gamma_0 g(P(D_t))$।

• ट्रांजिएंट शॉक एब्जॉर्प्शन (Transient Shock Absorption): जब एक आउटलायर (outlier) होता है ($P(D_t) \to 0$), तो स्टेप-साइज़ स्वतः शून्य की ओर अभिसरित हो जाता है, जिससे पैरामीटर प्रक्षेपवक्र (trajectory) को अस्थिर किए बिना झटके को अवशोषित किया जाता है।
• एर्गोडिक रिजीम शिफ्ट ट्रैकिंग (Ergodic Regime Shift Tracking): जैसे ही एक सिस्टम एक नई स्थिति में सेटल होता है, $P(D_t)$ पुन: प्राप्त होता है, जो स्वाभाविक रूप से नए भौतिक वास्तविकता के अनुरूप ट्यूनिंग के लिए स्टेप-साइज़ को फिर से खोल देता है।

एनवायरनमेंटल मिक्सचर प्रोबेबिलिटीज

शोध पत्र प्रायर (prior) और पोस्टीरियर (posterior) को $P(D)$ का उपयोग करके एक डायनेमिक वेट के रूप में मिलाकर वैध संभाव्यता वितरणों का निर्माण करता है:

• सरप्राइज-एक्टिवेटेड लर्निंग ($\tilde{P}_j$): $P(H_j)P(D) + P(H_j|D)(1-P(D))$। यह गेट उच्च-संभाव्यता वाली पुनरावृत्तियों पर लर्निंग को रोकता है (प्रायर की ओर अभिसरण) लेकिन अधिकतम वेट तब आवंटित करता है जब एक आश्चर्यजनक झटका (shock) आता है ($P(D) \to 0$)।
• कंजर्वेटिव लर्निंग ($\hat{P}_j$): $P(H_j)(1-P(D)) + P(H_j|D)P(D)$। यह एक रेगुलराइज़र के रूप में कार्य करता है; एक गंभीर विसंगति की स्थिति में, वेट वापस बेसलाइन प्रायर की ओर स्थानांतरित हो जाता है, जिससे विनाशकारी विस्मृति (catastrophic forgetting) को कम किया जा सके।

3. मुख्य योगदान

• वैचारिक पुनर्गठन (Conceptual Re-framing): शोध पत्र $P(D)$ को केवल एक उपद्रवी पैरामीटर (nuisance parameter) मानने की चुनौती देता है, और इसे एक "सक्रिय, रियल-टाइम रेगुलराइज़र" और "अपडेट-फ्रीक्वेंसी क्लॉक" के रूप में पुन: स्थापित करता है।
• दोहरा-आयामी मीट्रिक: यह स्थापित करता है कि एक इन्फरेंशियल स्टेट का वैश्विक विवरण एक जोड़े $\{P(H_j|D), P(D)\}$ की आवश्यकता होती है, जो व्यक्तिपरक विश्वास अपडेट को वस्तुनिष्ठ फ्रीक्वेंटिस्ट कैडेंस से जोड़ता है।
• रेगुलराइजेशन तंत्र: यह विशिष्ट गणितीय ऑपरेटर्स ($M_j, C_j, Z_j$) और मिक्सचर प्रोबेबिलिटीज ($\tilde{P}_j, \hat{P}_j$) पेश करता है जो गैर-स्थिर (non-stationary) वितरण बदलावों के तहत अनुक्रमिक अनुमान को स्थिर करने के लिए मार्जिनल लाइकलीहुड का उपयोग करते हैं।
• प्रतिमानों का मिलन (Bridging Paradigms): यह तर्क देता है कि फ्रीक्वेंटिज्म और बेयसियनिज़म परस्पर विरोधी दर्शन नहीं हैं बल्कि एक एकीकृत स्टोकेस्टिक स्पेस के पूरक अक्ष हैं, जहाँ फ्रीक्वेंटिज्म टेम्पोरल टाइमलाइन निर्धारित करता है और बेयसियनिज़म स्थानीय स्टेट परिवर्तन का वर्णन करता है।

4. परिणाम और दावे

शोध पत्र कोई अनुभवजन्य प्रायोगिक परिणाम प्रस्तुत नहीं करता है, बल्कि एक अनुक्रमिक टॉय मॉडल का उपयोग करके एक सैद्धांतिक और विश्लेषणात्मक प्रदर्शन प्रस्तुत करता है। "परिणाम" प्रस्तावित ढांचे के लागू होने के तार्किक परिणाम हैं:

• स्थिरता (Stability): प्रस्तावित उपाय ऑनलाइन ऑप्टिमाइज़ेशन रूटीन को उन डेटा अवस्थाओं के आधार पर पैरामीटर बदलने से रोकते हैं जिनमें दीर्घकालिक ऐतिहासिक द्रव्यमान की कमी होती है।
• अनुकूलन (Adaptation): ढांचा रिकर्सिव फिल्टर्स को ट्रैकिंग लैग (tracking lag) और पैरामीट्रिक ओवररिएक्शन के बीच के ट्रेड-ऑफ को पार करने में मदद करता है, जो इनकमिंग डेटा की मार्जिनल डेंसिटी के आधार पर डायनेमिक रूप से स्टेप-साइज़ को स्केल करता है।
• मजबूती (Robustness): गैर-स्थिर शासन (जैसे वित्तीय अस्थिरता) वाले परिदृश्यों में, कंजर्वेटिव मिक्सचर प्रोबेबिलिटी एक तरीका प्रदान करती है जो अन-नॉर्मलाइज्ड इनोवेशन शॉक्स को कम भार देता है, जिससे पोर्टफोलियो वेट्स विसंगतियों के दौरान भी स्थिर प्रायर के साथ संरेखित रहते हैं।

5. महत्व और सीमाएं

शोध पत्र दावा करता है कि जबकि कम्प्यूटेशनल सुविधा ने उन्नत सांख्यिकीय मॉडलिंग का लोकतंत्रीकरण किया है, इसने डेटा जनरेशन के भौतिक संदर्भ को हटाकर एक एपिस्टेमोलॉजिकल समझौता (epistemological compromise) भी किया है। मार्जिनल लाइकलीहुड को पुनः प्राप्त करना अनुक्रमिक अनुमान आर्किटेक्चर और मात्रात्मक जोखिम प्रबंधन के लिए एक मजबूत रेगुलराइजिंग मैकेनिज्म प्रदान करता है।

लेखक एक महत्वपूर्ण परिचालन चुनौती को स्वीकार करते हैं: उच्च-आयामी स्थानों में $P(D)$ का सटीक मूल्यांकन कम्प्यूटेशनल रूप से कठिन हो सकता है। हालांकि, उनका तर्क है कि हार्डवेयर त्वरण और एल्गोरिथमिक इंजीनियरिंग (जैसे हल्के रिकर्सिव डेंसिटी एस्टिमेटर्स) के कारण यह बाधा कम हो रही है। वे तर्क देते हैं कि $P(D)$ को ट्रैक करने का छोटा कम्प्यूटेशनल प्रीमियम, अस्थिर वास्तविक दुनिया के वातावरण में विनाशकारी ओवररिएक्शन के विरुद्ध मिलने वाले "बीमा पॉलिसी" की तुलना में बहुत कम है।

अंततः, शोध पत्र सुझाव देता है कि मार्जनल लाइकलीहुड को एक सक्रिय अपडेट-फ्रीक्वेंसी क्लॉक के रूप में उपयोग करने से भविष्य के स्वचालित लर्निंग मॉडल अपने डेटा-जनरेटिंग वातावरण से अधिक कठोरता से बंधे रह सकते हैं, जिससे तर्कसंगत अनुमान (rational inference) में भौतिक संदर्भ की पुनर्स्थापना होती है।