The Binomial Channel: On Capacity, Optimal Inputs, and Beta-Binomial Approximation

तकनीकी सारांश: बाइनोमियल चैनल: क्षमता, इष्टतम इनपुट और बीटा-बाइनोमियल सन्निकटन पर

समस्या विवरण
यह शोध पत्र बाइनोमियल चैनल (binomial channel) की जांच करता है, जो एक संचार मॉडल है जहाँ इनपुट $X$ अंतराल $[0, 1]$ पर एक निरंतर यादृच्छिक चर (continuous random variable) है और आउटपुट $Y$ $\{0, \dots, n\}$ पर एक असतत यादृच्छिक चर (discrete random variable) है, जो बाइनोमियल वितरण $P_{Y|X}(y|x) = \binom{n}{y} x^y (1-x)^{n-y}$ द्वारा नियंत्रित होता है। प्राथमिक उद्देश्य चैनल क्षमता $C(n)$ को निर्धारित करना और क्षमता-प्राप्त करने वाले इनपुट वितरण (capacity-achieving input distribution), जिसे $P_{X^\star}$ द्वारा दर्शाया गया है, की संरचना को लक्षणित करना है। एक महत्वपूर्ण चुनौती जिसका समाधान किया गया है वह यह है कि जबकि आउटपुट वर्णमाला (alphabet) परिमित है, इनपुट वर्णमाला निरंतर है; फलस्वरूप, पारस्परिक सूचना (mutual information) इनपुट वितरण के संबंध में कड़ाई से अवतलता (strictly concave) नहीं है, जिससे अद्वितीयता के प्रमाण और इष्टतम इनपुट के सपोर्ट आकार (support size) के निर्धारण में जटिलता आती है।

कार्यप्रणाली
लेखक सूचना-सैद्धांतिक अनुकूलन (information-theoretic optimization), अनुमान सिद्धांत (estimation theory), और सन्निकटन सिद्धांत (approximation theory) के संयोजन का उपयोग करते हैं:

1. KKT स्थितियाँ: विश्लेषण इष्टतम इनपुट के सपोर्ट को लक्षणित करने के लिए करुश-कुन-टकर (Karush-Kuhn-Tucker - KKT) स्थितियों पर निर्भर करता है। उन बिंदुओं का सेट जहाँ सूचना घनत्व (information density) क्षमता ($A_n$) के बराबर होता है, विच्छिन्नता (discreteness) और अद्वितीयता को सिद्ध करने में केंद्रीय है।
2. अनुमान-सैद्धांतिक पहचान (Estimation-Theoretic Identities): शोध पत्र सूचना घनत्व के व्युत्पन्न सूत्रों और सशर्त माध्य $E[X|Y=y]$ के गुणों का उपयोग करता है, जो इसकी एकदिष्टता (monotonicity) स्थापित करता है।
3. संदर्भ वितरण: एक विशिष्ट संदर्भ इनपुट $X_r \sim \text{Beta}(1/2, 1/2)$ पेश किया गया है। यह वितरण बाइनोमियल चैनल के लिए जेफ्रीज़ प्रायोर (Jeffers prior) है और एक बीटा-बाइनोमियल आउटपुट $Y_r$ को प्रेरित करता है।
4. ऑर्थोगोनल बहुपद और सन्निकटन: सपोर्ट आकार को सीमित करने के लिए, लेखक बीटा(1/2, 1/2) वितरण से जुड़े ऑर्थोगोनल बहुपदों (विशेष रूप से शिफ्टेड चेबीशेव बहुपदों) के सिद्धांत का उपयोग करते हैं। वे एक सामान्य बाइनोमियल मिश्रण आउटपुट और संदर्भ बीटा-बाइनोमियल आउटपुट के बीच $\chi^2$-डाइवर्जेंस (divergence) के लिए एक पार्सवल-प्रकार की पहचान (Parseval-type identity) व्युत्पन्न करते हैं।
5. मिनिमैक्स रिडंडेंसी (Minimax Redundancy): क्षमता पर ऊपरी सीमाएँ ज़ी और बैरन (Xie and Barron) के मिनिमैक्स रिडंडेंसी निर्माण का उपयोग करके प्राप्त की जाती हैं, जबकि निचली सीमाएँ संदर्भ इनपुट $X_r$ पर पारस्परिक सूचना का मूल्यांकन करके प्राप्त की जाती हैं।

मुख्य योगदान और परिणाम

• CAID के संरचनात्मक गुण:

  • विच्छिन्नता और अद्वितीयता: लेखक सिद्ध करते हैं कि सभी क्षमता-प्राप्त करने वाले वितरण विच्छिन्न (discrete) हैं और महत्वपूर्ण रूप से, CAID अद्वितीय है। यह अद्वितीयता इस तथ्य द्वारा स्थापित की जाती है कि पारस्परिक सूचना किसी भी $n+1$ बिंदुओं पर समर्थित वितरणों के सेट पर कड़ाई से अवतल (strictly concave) है, साथ ही यह तथ्य कि $A_n$ का कार्डिनैलिटी (cardinality) $n+1$ से अधिक नहीं है।
  • सममिति और सपोर्ट: इष्टतम इनपुट $1/2$ के चारों ओर सममित (symmetric) है, और इसके सपोर्ट में अनिवार्य रूप से एंडपॉइंट्स $\{0, 1\}$ शामिल हैं।
  • सपोर्ट बाधाएं: $(0, 1/n]$ और $[1-1/n, 1)$ अंतरालों में अधिकतम एक सपोर्ट बिंदु होता है।

• क्षमता सीमाएँ:

  • शोध पत्र $C(n)$ के लिए स्पष्ट गैर-अनुकूलन (non-asymptotic) ऊपरी और निचली सीमाएँ व्युत्पन्न करता है।
  • ये सीमाएँ निम्नलिखित अनंत व्यवहार (asymptotic behavior) को दर्शाती हैं: $C(n) = \frac{1}{2} \log \left( \frac{n\pi}{2e} \right) + o(1)$।
  • निचली सीमा संदर्भ इनपुट $X_r$ द्वारा प्राप्त की जाती है, और ऊपरी और निचली सीमाओं के बीच का अंतर $n \to \infty$ होने पर शून्य हो जाता है।

• सपोर्ट आकार सीमाएँ:

  • ऊपरी सीमा: विट्सेनहौजन-प्रकार (Witsenhausen-type) की क्लासिकल ऑर्डर-$n$ वाली ऊपरी सीमा को सुधारकर ऑर्डर-$n/2$ की ऊपरी सीमा बनाया गया है।
  • निचली सीमा: शोध पत्र सपोर्ट कार्डिनैलिटी पर एक नई निचली सीमा स्थापित करता है। यह सिद्ध करके कि $X_r$ द्वारा प्रेरित बीटा-बाइनोमियल आउटपुट, सापेक्ष एंट्रॉपी और $\chi^2$-डाइवर्जेंस में वास्तव में क्षमता-प्राप्त करने वाले आउटपुट के करीब और अनंत रूप से इष्टतम है, और एक परिमित-मिश्रण सन्निकटन निचली सीमा के साथ संयोजन करके, लेखक सपोर्ट आकार की निचली सीमा $\Omega(\sqrt{n} \log \log n)$ के क्रम में व्युत्पन्न करते हैं।

• संख्यात्मक परिणाम:

  • लेखक $n$ के 350 तक के मानों के लिए CAID और क्षमता के संख्यात्मक अनुमान प्रदान करते हैं।
  • परिणाम बताते हैं कि जब सपोर्ट बिंदुओं को $\text{Beta}(1/2, 1/2)$ इनपुट के संचयी वितरण (cumulative distribution function) द्वारा रूपांतरित किया जाता है, तो वे लगभग समान रूप से वितरित (uniformly spaced) होते हैं।
  • $n \le 350$ के लिए संख्यात्मक डेटा एक अनुमान के साथ सुसंगत प्रतीत होता है कि सपोर्ट आकार $\Theta(n^{3/4})$ के क्रम में स्केल करता है, हालांकि लेखक आगाह करते हैं कि यह रेंज अभी भी एक परिमित-$n$ शासन (finite-$n$ regime) में हो सकती है जहाँ अनंत स्केलिंग अभी पूरी तरह से दिखाई नहीं दे रही है।

महत्व
यह शोध पत्र बाइनोमियल चैनल का अधिक विस्तृत सैद्धांतिक चित्र प्रदान करता है, जो इष्टतम इनपुट वितरण की अद्वितीयता और विशिष्ट संरचनात्मक गुणों के संबंध में अंतराल को भरता है। यह स्थापित करके कि इष्टतम इनपुट अद्वितीय और विच्छिन्न है, और क्षमता तथा सपोर्ट आकार पर सटीक सीमाएँ प्रदान करके, यह कार्य निरंतर इनपुट और परिमित आउटपुट वाले चैनलों की समझ को आगे बढ़ाता है। सपोर्ट आकार पर $\Omega(\sqrt{n} \log \log n)$ की निचली सीमा स्थापित करना, सर्वोत्तम-सन्निकटन सिद्धांत और सूचना-सैद्धांतिक डाइवर्जेंस मापों के एक नवीन संयोजन का उपयोग करते हुए, पिछले ऑर्डर-$\sqrt{n}$ सीमाओं में एक महत्वपूर्ण सुधार है। परिणाम बीटा-बाइनोमियल वितरण की अनंत रूप से इष्टतमता को भी उजागर करते हैं, जो सूचना सिद्धांत को बेयसियन अनुमान (जेफ्रीज़ प्रायर) के साथ जोड़ते हैं।