Merging of Bayes and quasi-Bayes empirical Bayes procedures for Poisson compound decisions

तकनीकी सारांश: पॉइसन कंपाउंड निर्णयों के लिए बेयस और क्वासी-बेयस एम्पेरिकल बेयस प्रक्रियाओं का विलय

समस्या विवरण
यह शोध पत्र पॉइसन कंपाउंड निर्णय समस्या (Poisson compound decision problem) को संबोधित करता है, जहाँ एक अज्ञात माध्य $\theta_1, \dots, \theta_n$ वाले $n$ स्वतंत्र पॉइसन यादृच्छिक चर $Y_1, \dots, Y_n$ देखे जाते हैं। इसका उद्देश्य स्क्वेयर्ड-एरर लॉस (squared-error loss) के तहत वेक्टर $(\theta_1, \dots, \theta_n)$ का अनुमान लगाना है। मानक दृष्टिकोण यह मानता है कि पैरामीटर एक अज्ञात प्रायोर वितरण $G$ (मिक्सिंग डिस्ट्रीब्यूशन) से i.i.d. ड्रॉ हैं। इष्टतम अनुमानक, जिसे रॉबिन्स का फॉर्मूला (Robbins' formula) कहा जाता है, $G$ पर केवल इसकी मार्जिनल प्रोबेबिलिटी मास फंक्शन $p_G$ के माध्यम से निर्भर करता है। चूँकि $G$ अज्ञात है, इसलिए एम्पेरिकल बेयस विधियाँ $p_G$ का अनुमान लगाती हैं (f-मॉडलिंग) या सीधे $G$ का अनुमान लगाती हैं (g-मॉडलिंग)। जबकि f-मॉडलिंग (जैसे रॉबिन्स की मूल विधि) गणनात्मक रूप से सरल है, यह संख्यात्मक अस्थिरता (numerical instability) से ग्रस्त है। नॉनपैरामेट्रिक g-मॉडलिंग अधिक सटीकता और मजबूती प्रदान करती है, लेकिन यह महत्वपूर्ण गणनात्मक चुनौतियों का सामना करती है, विशेष रूप से उच्च-आयामी (high-dimensional) सेटिंग्स में।

कार्यप्रणाली
लेखक मिश्रण वितरण $G$ के अनुमान के लिए दो नॉनपैरामेट्रिक g-मॉडलिंग रणनीतियों की तुलना करते हैं:

1. बेयसियन एम्पेरिकल बेयस (Bayes EB): यह रणनीति $G$ के लिए डिरिचलेट प्रोसेस (Dirichlet process - DP) प्रायोर असाइन करती है। $G$ का पोस्टीरियर वितरण व्युत्पन्न किया जाता है, और अनुमान मिक्सिंग डिस्ट्रीब्यूशन का पोस्टीरियर मीन होता है। $\theta$ के लिए परिणामी प्लग-इन अनुमानक रॉबिन्स के फॉर्मूले में इस पोस्टीरियर मीन को प्रतिस्थापित करके प्राप्त किया जाता है। गणनात्मक रूप से, यह MCMC विधियों (विशेष रूप से नील के एल्गोरिदम 8) पर निर्भर करता है, जो विशेष रूप से बहु-आयामी सेटिंग्स में कठिन हो सकता है।
2. क्वासी-बेयसियन एम्पेरिकल बेयस (Quasi-Bayes EB): यह रणनीति, जिसे फावरो और फोर्टिनी (2026) द्वारा प्रस्तावित किया गया है, न्यूटन के एल्गोरिदम (स्मिथ और माकोव, 1978) का उपयोग करके $G$ का अनुमान लगाती है। यह एक पुनरावर्ती (recursive) प्रक्रिया है जहाँ $G$ का अनुमान प्रत्येक नए डेटा बिंदु को देखते हुए क्रमिक रूप से अपडेट किया जाता है। अपडेट पिछले अनुमान और नए अवलोकन पर आधारित पोस्टीरियर वितरण का एक भारित औसत (weighted average) होता है। यह दृष्टिकोण पूर्ण पोस्टीरियर सैंपलिंग की आवश्यकता के बिना, सरल पुनरावर्ती अपडेट पर निर्भर करता है।

यह शोध पत्र इन दोनों रणनीतियों के बीच एक फ्रीक्वेंटिस्ट मर्जिंग (frequentist merging) परिणाम स्थापित करता है। इस धारणा के तहत कि डेटा एक "वास्तविक" (ओरेकल) पॉइसन मिश्रण मॉडल से उत्पन्न हुआ है जिसका मिक्सिंग डिस्ट्रीब्यूशन $G$ है, लेखक $n \to \infty$ होने पर दोनों अनुमानकों के एसिम्प्टोटिक व्यवहार का विश्लेषण करते हैं। वे मात्रा निर्धारित करते हैं कि बेयस और क्वासी-बेयस अनुमानों द्वारा प्रेरित मार्जिनल प्रोबेबिलिटी मास फंक्शन्स, वास्तविक $p_{G^*}$ की ओर (हेलिंगर दूरी में मापा गया) किस दर से अभिसरित होते हैं, और इसके बाद दोनों विधियों के लिए रिग्रेट (regret) (अतिरिक्त बेयस जोखिम) पर सीमाएँ (bounds) प्राप्त करते हैं।

प्रमुख योगदान और सैद्धांतिक परिणाम
यह शोध पत्र क्वासी-बेयस रणनीति के लिए एक गणनात्मक रूप से कुशल सन्निकटन (approximation) के रूप में बेयस रणनीति के लिए कठोर सैद्धांतिक औचित्य प्रदान करता है:

• कन्सेन्ट्रेशन रेट्स (Concentration Rates):
  • बेयस EB रणनीति (DP प्रायोर का उपयोग करते हुए) के लिए, लेखक 1-आयामी सेटिंग में $p_{\hat{G}_n}$ के $p_{G^*}$ की ओर अभिसरण दर $\epsilon_n^{[B]} \asymp \frac{\log n}{\sqrt{n}}$ स्थापित करते हैं। $d$-आयामी सेटिंग में, यह दर $\epsilon_{n,d}^{[B]} \asymp \frac{(\log n)^{(d+1)/2}}{\sqrt{n}}$ हो जाती है।
  • क्वासी-बेयस EB रणनीति (लर्निंग रेट $\alpha_n \asymp n^{-\gamma}$ के साथ न्यूटन के एल्गोरिदम का उपयोग करते हुए) के लिए, कन्सेन्ट्रेशन दर धीमी है, जो $\gamma \in (2/3, 1]$ के चुनाव पर निर्भर करती है। विशेष रूप से, दर $\epsilon_n^{[Q-B]} \asymp n^{-(1-\gamma)/2}$ है जब $\gamma < 1$ हो, और $\frac{1}{\sqrt{\log n}}$ है जब $\gamma = 1$ हो।
• फ्रीक्वेंटिस्ट मर्जिंग (Frequentist Merging):
  • लेखक सिद्ध करते हैं कि वास्तविक ओरेकल के सापेक्ष क्वासी-बेयस अनुमानक का रिग्रेट, लर्निंग रेट $\gamma$ द्वारा निर्धारित दर पर शून्य की ओर अभिसरित होता है।
  • महत्वपूर्ण रूप से, वे प्रदर्शित करते हैं कि बेयस अनुमानक के स्थान पर क्वासी-बेयस अनुमानक का उपयोग करने से होने वाला रिग्रेट एसिम्प्टोटिक रूप से लुप्त (vanish) हो जाता है। विशेष रूप से, दोनों अनुमानकों के बीच का अंतर (एक के दूसरे के सापेक्ष अतिरिक्त जोखिम द्वारा मापा गया) उसी दर से घटता है जिस दर से ओरेकल के सापेक्ष क्वासी-बेयस अनुमानक का रिग्रेट घटता है। यह पुष्टि करता है कि क्वासी-बेयस रणनीति बेयस रणनीति के एक वैध फ्रीक्वेंटिस्ट सन्निकटन के रूप में कार्य करती है।
• डायमेंशनलिटी (Dimensionality): विश्लेषण को $d$-आयामी पॉइसन कंपाउंड डिसीजन समस्या ($d > 1$) के लिए विस्तारित किया गया है। सैद्धांतिक परिणाम दिखाते हैं कि जबकि बेयस रणनीति उच्च आयामों में गणनात्मक रूप से अधिक गहन हो जाती है, क्वासी-बेयस रणनीति अपनी पुनरावर्ती संरचना को बनाए रखती है, जिससे यह बहु-आयामी सेटिंग्स में विशेष रूप से आकर्षक बन जाती है।

अनुभवजन्य परिणाम (Empirical Results)
लेखक सैद्धांतिक विश्लेषण के पूरक के रूप में सिंथेटिक डेटा पर संख्यात्मक प्रयोग प्रस्तुत करते हैं:

• सेटअप: डेटा वेइबुल प्रायर्स (Weibull priors) (1D और 2D मामले) के साथ पॉइसन मिश्रणों से उत्पन्न किया गया था।
• प्रदर्शन: क्वासी-बेयस अनुमानक का अनुभवजन्य माध्य वर्ग त्रुटि (E-mse) और अनुभवजन्य रिग्रेट (E-regret), विभिन्न नमूना आकारों में बेयस अनुमानक के तुलनीय पाए गए।
• गणना दक्षता: बेयस रणनीति की तुलना में क्वासी-बेयस रणनीति को काफी कम गणनात्मक संसाधनों (कंप्यूटेशनल यूनिट्स और CPU समय द्वारा मापा गया) की आवश्यकता पड़ी। यह लाभ 2-आयामी सेटिंग में अधिक स्पष्ट था, जहाँ MCMC-आधारित बेयस दृष्टिकोण को काफी उच्च गणनात्मक लागतों का सामना करना पड़ा।
• अभिसरण: बेयस और क्वासी-बेयस अनुमानों के बीच अनुभवजन्य रिग्रेट के ग्राफ ने सैद्धांतिक मर्जिंग परिणाम की पुष्टि की, जिससे पता चला कि $n$ बढ़ने के साथ दोनों विधियों के बीच का अंतर कम होता जाता है।

महत्व और दावे
यह शोध पत्र एक कठोर फ्रीक्वेंटिस्ट वैलिडेशन प्रदान करने का दावा करता है, जो पॉइसन कंपाउंड निर्णयों के संदर्भ में क्वासी-बेयस रणनीति (न्यूटन एल्गोरिदम) को बेयस रणनीति (डिरिचलेट प्रोसेस मिश्रण) के एक तेज़ सन्निकटन के रूप में देखने का औचित्य देता है।

• सैद्धांतिक औचित्य: लेखक स्थापित करते हैं कि क्वासी-बेयस दृष्टिकोण बेयस दृष्टिकोण के समान सटीकता प्राप्त करता है जबकि कम गणनात्मक संसाधनों की आवश्यकता होती है। मर्जिंग परिणाम सिद्ध करते हैं कि सटीकता का नुकसान एसिम्प्टोटिक रूप से नगण्य है।
• स्केलेबिलिटी: यह कार्य बहु-आयामी सेटिंग्स में क्वासी-बेयस विधि की व्यावहारिक उपयोगिता को उजागर करता है जहाँ मानक बेयसियन नॉनपैरामेट्रिक अनुमान गणनात्मक रूप से निषेधात्मक (prohibitive) हो जाता है।
• अनुकूलता (Modesty on Optimality): लेखक स्पष्ट रूप से नोट करते हैं कि जबकि बेयस दरें ज्ञात मिनिमैक्स बेंचमार्क के अनुरूप हैं, क्वासी-बेयस दरों को मौजूदा स्टोकेस्टिक-एप्रोक्सिमेशन थ्योरी से प्राप्त किया गया है और उन्हें इष्टतम (optimal) सिद्ध नहीं किया गया है। लर्निंग रेट एक्सपोनेंट $\gamma$ पर निर्भरता पुनरावर्ती अपडेट के विशिष्ट अभिसरण सिद्धांत को दर्शाती है, न कि समस्या के लिए एक मौलिक निचली सीमा (fundamental lower bound) को।

शोध पत्र भविष्य की दिशाओं का सुझाव देते हुए समाप्त होता है, जिसमें गौसियन कंपाउंड निर्णय समस्याओं (Tweedie's formula के माध्यम से) तक इन मर्जिंग परिणामों का विस्तार करना, अभिसरण दरों की तीक्ष्णता (sharpness) की जांच करना, कॉम्पैक्ट सपोर्ट धारणाओं को शिथिल करना, और व्यक्तिगत माध्यों के बजाय माध्यों के फलन (जैसे योग) पर इन विधियों को लागू करना शामिल है।