Improved Distribution Estimation in $\ell_\infty$

तकनीकी सारांश: $\ell_\infty$ में बेहतर वितरण अनुमान (Improved Distribution Estimation in $\ell_\infty$)

समस्या का विवरण
यह शोध पत्र एक गणनीय वर्णमाला (countable alphabet) पर $n$ स्वतंत्र और समान रूप से वितरित (i.i.d.) नमूनों से अज्ञात असतत प्रायिकता वितरण $p$ के अनुमान की शास्त्रीय समस्या को संबोधित करता है। $\ell_1$ और $\ell_2$ नुकसान (losses) के लिए व्यापक सिद्धांत मौजूद हैं, लेकिन लेखक $\ell_\infty$ (सुप-नॉर्म) नुकसान पर ध्यान केंद्रित करते हैं, जिसे $\|\hat{p} - p\|_\infty = \sup_{i \ge 1} |\hat{p}_i - p_i|$ के रूप में परिभाषित किया गया है। यह मीट्रिक आधुनिक अनुप्रयोगों जैसे कि यूनिफॉर्म कैलिब्रेशन, विसंगति का पता लगाने (anomaly detection), और गुडनेस-ऑफ-फिट परीक्षण के लिए महत्वपूर्ण है जहाँ सबसे बड़ा समन्वय-वार विचल (coordinate-wise discrepancy) एक प्रतिक्रिया को ट्रिगर करता है।

मुख्य चुनौती यह है कि जबकि सभी असतत वितरणों के लिए एक समान $O(1/\sqrt{n})$ जोखिम क्षय (risk decay) मान्य है, तीक्ष्ण, वितरण-निर्भर दरों और पूर्णतः अनुभवजन्य सीमाओं (वे सीमाएँ जिन्हें अज्ञात $p$ के फलनों के ज्ञान की आवश्यकता नहीं होती) को प्राप्त करना कठिन बना हुआ है। यह कठिनाई केवल समर्थन आकार (support size) द्वारा नहीं, बल्कि $p$ के अज्ञात पूँछ प्रोफाइल (tail profile) द्वारा नियंत्रित होती है। यह कार्य कॉन्टोरोविच और पेनस्की (2025) द्वारा शुरू किए गए गैर-असाymptotic अध्ययन का विस्तार करता है, विशेष रूप से पूर्णतः अनुभवजन्य विश्वास सीमाओं (fully empirical confidence bounds) और सबसे खराब-मामले (सबसे कम अनुकूल) वितरण की पहचान करने से संबंधित खुले प्रश्नों को संबोधित करता है।

कार्यप्रणाली और ढांचा
लेखक अधिकतम संभावना अनुमानक (Maximum Likelihood Estimator - MLE), जिसे $\hat{p}$ के रूप में दर्शाया गया है, का विश्लेषण करते हैं, जहाँ $\hat{p}_i$ प्रतीक $i$ की अनुभवजन्य आवृत्ति है। विश्लेषण दो प्राथमिक सैद्धांतिक ढाँचों पर निर्भर करता है:

1. जटिलता प्रॉक्सी (Complexity Proxies): यह कार्य कॉन्टोरोविच और पेनस्की (2025) द्वारा प्रस्तुत वितरण-निर्भर जटिलता मापों का उपयोग करता है, विशेष रूप से $v^*(p) = \sup_i p_i(1-p_i)$ और $V^*(p) = \sup_i p^\downarrow_i(1-p^\downarrow_i)\log(i+1)$, जहाँ $p^\downarrow$ $p$ का गैर-बढ़ता क्रमबद्ध रूप है।
2. स्थानीय ग्लिवेन-कैंटली (Local Glivenko–Cantelli - LGC) सिद्धांत: वितरण-निर्भर व्यवहार की समझ को परिष्कृत करने के लिए, शोध पत्र तीक्ष्ण स्थानीय ग्लिवेन-कैंटली सीमाओं को शामिल करता है। इसमें दो नए फलनों, $S(p)$ और $M(p)$, का विश्लेषण शामिल है, जो वितरण के पूँछ व्यवहार और विचरण संरचना के विभिन्न पहलुओं को पकड़ते हैं।
3. डिकपलिंग और रिडक्शन (Decoupling and Reduction): मिनिमैक्स विश्लेषण के लिए, लेखक डिकपलिंग असमानताओं का उपयोग करके आश्रित बहुपद नमूनाकरण मॉडल (dependent multinomial sampling model) को स्वतंत्र बर्नौली मॉडल में कम करते हैं, जिससे स्वतंत्र चरों के लिए उपलब्ध तीक्ष्ण चरित्र चित्रण (Blanchard and Voráček, 2024) को लागू करना संभव हो जाता है।
4. अनुभवजन्य प्लग-इन्स (Empirical Plug-ins): पूर्णतः अनुभवजन्य सीमाओं को प्राप्त करने के लिए, लेखक अज्ञात जनसंख्या फलनों को उनके अनुभवजन्य समकक्षों (जैसे, $\hat{v}^*$ और $\hat{V}^*$) से बदलते हैं और अज्ञात फलनों $\hat{v}^*$ और $\hat{V}^*$ के बीच विचलन को बांधने के लिए एकाग्रता असमानताओं (concentration inequalities) का उपयोग करते हैं।

प्रमुख योगदान और परिणाम

• मिनिमैक्स दर और सबसे कम अनुकूल वितरण:
  शोध पत्र के सबसे खराब मामले के अपेक्षित $\ell_\infty$ जोखिम की संरचना को हल करता है। यह स्थापित करता है कि मिनिमैक्स दर $\Theta(n^{-1/2})$ के रूप में स्केल करती है। महत्वपूर्ण रूप से, यह एक सरल, निश्चित सबसे कम अनुकूल वितरण $p^\star = (1/2, 1/2, 0, \dots)$ की पहचान करता है जो सार्वभौमिक स्थिरांकों तक इस सबसे खराब जोखिम को प्राप्त करता है। यह परिणाम एक खुले प्रश्न का उत्तर देता है, यह प्रदर्शित करते हुए कि $\ell_\infty$ अनुमान के लिए सबसे कठिन मामला एक दो-बिंदु वाली वर्णमाला पर मौजूद है और इसके लिए $n$-निर्भर प्रभावी समर्थन आकार की आवश्यकता नहीं है।

• पूर्णतः अनुभवजन्य उच्च-प्रायिकता सीमा:
  लेखक $\|\hat{p} - p\|_\infty$ के लिए एक उच्च-प्रायिकता विचलन असमानता व्युत्पन्न करते हैं जो पूर्णतः अनुभवजन्य है। यह सीमा केवल अवलोकन योग्य प्लग-इन सांख्यिकी ($\hat{v}^*$ और $\hat{V}^*$) पर निर्भर करती है और इसके लिए अज्ञात फलनों $v^*(p)$ या $V^*(p)$ के ज्ञान की आवश्यकता नहीं होती है। यह सीमा $p$ के अज्ञात पूँछ प्रोफाइल के अनुकूल स्वतः ही ढल जाती है और सबसे खराब स्थिति में सही $\sqrt{\log(1/\delta)/n}$ व्यवहार को बनाए रखती है।

• परिष्कृत वितरण-निर्भर शासन (Regime):
  LGC फलनों का उपयोग करते हुए, शोध पत्र अनुमान त्रुटि का अधिक सूक्ष्म दृश्य प्रदान करता है। यह $S(p) = \sup_j p^\downarrow_j \log(j+1)$ और $M(p) = \sup_j \frac{\log(j+1)}{\log(2 + \frac{\log(j+1)}{n p^\downarrow_j})}$ को पेश करता है।

  • $S(p)$ त्रुटि के "सब-गौसियन" (sub-Gaussian) भाग का प्रतिनिधित्व करता है, जो तब हावी होता है जब निर्देशांकों का एक ब्लॉक पर्याप्त द्रव्यमान (mass) वहन करता है ताकि विचरण उतार-चढ़ाव त्रुटि का प्राथमिक स्रोत बन सकें।
  • $M(p)$ "सब-गामा" (sub-gamma) या पॉइसनियन (Poissonian) भाग का प्रतिनिधित्व करता है, जो नमूना आकार $n$ पर दृश्यमान कई कम-प्रायिकता वाले प्रतीकों के प्रभाव को पकड़ता है।
    शोध पत्र यह सिद्ध करता है कि अनुमान त्रुटि इन दोनों में से किसी एक पद के अधिकतम (स्केल्ड बाय $1/n$) द्वारा शासित होती है, जो तीन गुणात्मक रूप से भिन्न शासनों को दर्शाता है: विचरण प्रभुत्व (variance domination), पूँछ प्रभुत्व (tail domination), और अत्यधिक फैले हुए प्रोफाइल जहाँ दोनों तंत्र छोटी त्रुटियां उत्पन्न करते हैं।

• निम्नतम सीमाएं (Lower Bounds):
  शोध पत्र $V^*(p)$ पर एक प्रतिबंध के तहत एक मिनिमैक्स निम्नतम सीमा प्रदान करता है, जो दिखाता है कि किसी भी अनुमानक के लिए, एक ऐसा वितरण मौजूद है जिसके लिए $V^*(p) \le V'$ है, ताकि अपेक्षित त्रुटि कम से कम $c\sqrt{V'/n}$ हो।

महत्व और दावे
यह शोध पत्र $\ell_\infty$ वितरण अनुमान के मौजूदा सिद्धांत को तीन विशिष्ट दिशाओं में तीक्ष्ण और विस्तारित करने का दावा करता है:

1. सैद्धांतिक समाधान: यह सबसे कम अनुकूल वितरण के प्रश्न को हल करता है, यह दिखाते हुए कि यह एक सरल दो-बिंदु वितरण है जो $n$ से स्वतंत्र है, न कि एक जटिल, $n$-निर्भर संरचना।
2. व्यावहारिक प्रयोज्यता: पूर्णतः अनुभवजन्य विश्वास सीमा प्रदान करके, यह कार्य बिना वितरण के पूँछ प्रोफाइल के पूर्व ज्ञान के डेटा-निर्भर गारंटी के निर्माण को सक्षम बनाता है।
3. सूक्ष्म समझ: $S(p)$ और $M(p)$ फलनों का परिचय एक "शासन चित्र" (regime picture) प्रदान करता है जो यह समझाता है कि कब और क्यों विभिन्न पूँछ व्यवहार अनुमान त्रुटि पर हावी होते हैं, जो वैश्विक मिनिमैक्स दरों से आगे बढ़कर विचरण और पूँछ क्षय के बीच के अंतर्संबंध को पकड़ता है।

लेखक उत्साहजनक अनुभवजन्य परिणाम रिपोर्ट करते हैं जो दर्शाते हैं कि ये सीमाएं सीमित नमूनों (finite samples) में सूचनात्मक हैं, हालांकि प्राथमिक योगदान सीमाओं के सैद्धांतिक परिष्कार और चरम वितरणों की पहचान करना है।