तकनीकी सारांश: एक्सपेक्टाइल्स (Expectiles) के माध्यम से जोखिम-जागरूक सूचना सिद्धांत

समस्या विवरण

शैनन का शास्त्रीय सूचना सिद्धांत एंट्रॉपी, डाइवर्जेंस और म्यूचुअल इंफॉर्मेशन को मापने के लिए मौलिक रूप से प्रत्याशा ऑपरेटर ($E[\cdot]$) पर निर्भर करता है। यह ढांचा अंतर्निहित रूप से जोखिम-तटस्थता (risk-neutrality) को मानता है, जो बड़े विचलन और दुर्लभ घटनाओं को बिना किसी अतिरिक्त भार के केवल उनकी प्रायिकता के अनुपात में मानता है। यह शोध प्रबंध तर्क देता है कि स्वायत्त प्रणालियों, प्रतिकूल वातावरणों, वित्तीय सिग्नल प्रोसेसिंग और उन्नत मशीन इंटेलिजेंस से जुड़े आधुनिक अनुप्रयोगों के लिए यह धारणा अपर्याप्त है। इन संदर्भों में, सूचना मापों का 'टेल व्यवहार' (tail behavior) प्रदर्शन को नियंत्रित करता है; एक कम-प्रायिकता वाली विनाशकारी विफलता या एक दुर्लभ उच्च-पुरस्कार घटना शास्त्रीय जोखिम-तटस्थ मेट्रिक्स द्वारा अदृश्य या गलत मूल्यांकित हो सकती है। मुख्य समस्या सूचना के मूल्यांकन में असममित जोखिम संवेदनशीलता (जोखिम-विमुखता या जोखिम-लोलुपता) को शामिल करने के लिए एक व्यवस्थित सूचना-सैद्धांतिक ढांचे की कमी है, जो सुसंगत जोखिम मापों (coherent risk measures) को समाहित कर सके।

कार्यप्रणाली

यह शोध पत्र प्रत्याशा ऑपरेटर के व्यवस्थित प्रतिस्थापन के रूप में एक्सस्पेक्टाइल्स (expectiles) का प्रस्ताव करता है, जो कि सुसंगत जोखिम मापों का एक वर्ग है और जो इलिकटेबल (elicitable) एवं गणनात्मक रूप से सुलभ है।

1. एक्सस्पेक्टाइल परिभाषा: एक यादृच्छिक चर $Z$ और एक पैरामीटर $\tau \in (0, 1)$ के लिए, $\tau$-एक्सस्पेक्टाइल $e_\tau(Z)$ एक असममित द्विघातीय हानि फलन (asymmetric quadratic loss function) के मिनिमाइज़र के रूप में परिभाषित है:
   $$e_\tau(Z) \in \arg\min_{c \in \mathbb{R}} \mathbb{E}[\ell_\tau(Z - c)], \quad \text{जहाँ } \ell_\tau(u) = |\tau - \mathbb{1}_{\{u<0\}}| u^2.$$

   • $\tau = 1/2$: यह मानक प्रत्याशा ($E[Z]$) में बदल जाता है।
   • $\tau > 1/2$: जोखिम-विमुख (जो नुकसान के ऊपरी टेल को अधिक भार देता है)।
   • $\tau < 1/2$: जोखिम-लोलुप (risk-seeking)।

2. सूचना मापों का पुनर्गठन: लेखक अंतर्निहित लॉग-प्रायिकता चरों पर एक्सस्पेक्टाइल ऑपरेटर लागू करके नए सूचना-सैद्धांतिक परिमाणों को परिभाषित करते हैं:

   • एक्सस्पेक्टाइल एंट्रॉपी: $H_\tau(X) = e_\tau[-\log f_X(X)]$.
   • एक्सस्पेक्टाइल KL डाइवर्जेंस: $D_\tau(P\|Q) = e_\tau^{(P)}[\log \frac{dP}{dQ}(X)]$.
   • एक्सस्पेक्टाइल म्यूचुअल इंफॉर्मेशन: $I_\tau(X; Y) = D_\tau(P_{XY} \| P_X P_Y)$.
   • एक्सस्पेक्टाइल क्रॉस-एंट्रॉपी: $H_\tau(P, Q) = e_\tau[-\log q(X)]$.

3. सैद्धांतिक विश्लेषण: यह शोध पत्र एक्सस्पेक्टाइल्स के गुणों (अनुवाद अपरिवर्तनीयता, धनात्मक समरूपता, एकदिष्टता, और $\tau \geq 1/2$ के लिए उप-योग्यता) का उपयोग करके सीमाओं (bounds) को व्युत्पन्न करने, शैनन मापों के साथ गैर-तुल्यता को सिद्ध करने और शास्त्रीय योज्यता (additivity) तथा समरूपता गुणों की विफलता का विश्लेषण करने के लिए किया गया है।

4. गेम-थ्योरेटिक विस्तार: मल्टी-यूजर सेटिंग्स में, यह ढांचा एक मीन-फील्ड-टाइप गेम (MFTG) को प्रेरित करता है जहाँ एजेंटों के पास विषम जोखिम-संवेदनशीलता सूचकांक ($\tau_j$) होते हैं, जिससे सूचना विनिमय पर रणनीतिक अंतःक्रियाएं होती हैं।

प्रमुख योगदान और परिणाम

1. मौलिक गैर-तुल्यता

शोध प्रबंध स्थापित करता है कि $\tau \neq 1/2$ के लिए, एक्सस्पेक्टाइल-आधारित सूचना माप शैनन के मापों का केवल पुन: पैरामीट्राइजेशन नहीं हैं।

• प्रमेय 1: ऐसे वितरण मौजूद हैं जहाँ $I_\tau(X; Y) \neq I(X; Y)$।
• डाइवर्जेंस का चिह्न: जबकि $D_\tau(P\|Q) \geq 0$ है $\tau \geq 1/2$ के लिए, यह शोध प्रबंध सिद्ध करता है कि $\tau < 1/2$ (जोखिम-लोलुप) के लिए, एक्सस्पेक्टाइल KL डाइवर्जेंस ऋणात्मक हो सकता है और विशिष्ट वितरणों ($P \neq Q$) के लिए शून्य हो सकता है।
• म्यूचुअल इंफॉर्मेशन का चिह्न: इसी प्रकार, $\tau < 1/2$ के लिए $I_\tau(X; Y)$ ऋणात्मक हो सकता है।

2. शास्त्रीय योज्यता और समरूपता की विफलता

एक केंद्रीय परिणाम (प्रमेय 2) प्रदर्शित करता है कि असममित जोखिम संवेदनशीलता के तहत शास्त्रीय सूचना सिद्धांत के रैखिक सुपरपोजिशन नियम टूट जाते हैं।

• गैर-योज्यता (Non-Additivity): $\tau \neq 1/2$ के लिए $I_\tau(X; Y) \neq H_\tau(X) - H_\tau(X|Y)$।
• दिशात्मक विषमता (Directional Asymmetry): सूचना लाभ स्वाभाविक रूप से दिशात्मक है: $H_\tau(X) - H_\tau(X|Y) \neq H_\tau(Y) - H_\tau(Y|X)$।
• उदाहरण: हेटरोस्केडैस्टिक शोर वाले गौसियन चैनल में, जब $\tau \neq 0.5$ होता है, तो फॉरवर्ड और रिवर्स सूचना प्रवाह महत्वपूर्ण रूप से भिन्न होते हैं, जो सूचना हस्तांतरण का एक असममित वेक्टर फील्ड बनाते हैं।

3. जोखिम-जागरूक चैनल क्षमता

शोध प्रबंध जोखिम-जागरूक मानदंडों के तहत एडिटिव व्हाइट गौसियन नॉइज़ (AWGN) चैनलों की क्षमता का विश्लेषण करता है।

• क्षमता विस्तार: जोखिम-विमुख एजेंटों ($\tau > 1/2$) के लिए, क्षमता क्षेत्र शैनन सीमा की तुलना में बाहर की ओर फैलता है। यह सूचना घनत्व के 'टेल वोलैटिलिटी' से उत्पन्न एक सकारात्मक "जोखिम प्रीमियम" ($e_\tau(Q) > 0$) द्वारा संचालित होता है।
• गैर-विशिष्टता: शैनन सिद्धांत में अद्वितीय गौसियन क्षमता-प्राप्त वितरण के विपरीत, जोखिम-जागरूक क्षमता मैक्सिमाइज़र अद्वितीय नहीं हो सकता है यदि इष्टतम वितरण असममित है, क्योंकि इष्टतम वितरण का प्रतिबिंब भी इष्टतम होता है।
• बहु-उपयोगकर्ता प्रणाली:
  • ब्रॉडकास्ट चैनल (BC): क्षमता क्षेत्र 'सक्सेसिव इंटरफेरेंस कैंसलेशन' (SIC) के माध्यम से परिभाषित किया जाता है, जिसकी सीमाएँ $\tau > 0.5$ के लिए विस्तारित होती हैं।
  • मल्टीपल एक्सेस चैनल (MAC): यह शोध प्रबंध असममित जोखिम-जागरूक MAC पेश करता है जहाँ उपयोगकर्ताओं के अलग-अलग $\tau_j$ होते हैं। क्षमता क्षेत्र जोखिम-लोलुप और जोखिम-विमुख उपयोगकर्ताओं के संयोजन के आधार पर जटिल ज्यामितीय विरूपण (शीयरिंग, संकुचन या विस्तार) प्रदर्शित करता है। संयुक्त योग-दर (sum-rate) गठबंधन के सबसे रूढ़िवादी (जोखिम-विमुख) उपयोगकर्ता द्वारा सीमित होती है।

4. रणनीतिक एक्सस्पेक्टाइल सूचना सिद्धांत

इस ढांचे को मशीन इंटेलिजेंस (MI) एजेंटों के नेटवर्क तक विस्तारित किया गया है।

• गेम फॉर्मूलेशन: विषम $\tau_j$ वाले एजेंट एक गैर-सहकारी खेल (एक्सस्पेक्टाइल इंफॉर्मेशन रेट गेम) में संलग्न होते हैं।
• संतुलन (Equilibrium): शोध प्रबंध ग्लिक्सबर्ग के फैन-डेब्यू प्रमेय के विस्तार का उपयोग करके एक जोखिम-जागरूक सूचनात्मक नैश इक्विलिब्रियम के अस्तित्व को सिद्ध करता है, बशर्ते कि उपयोगिता फलन (utility functionals) अपर अर्ध-सतत (upper semicontinuous) और अर्ध-कन्केव (quasi-concave) हों।
• MIMO सिस्टम: M-यूजर MIMO MAC के लिए, क्षमता क्षेत्र उप-गठबंधन में जोखिम-समायोजित पदों के न्यूनीकरण द्वारा सीमित होता है, जो एजेंटों को टेल-रिस्क वेरिएंस से बचने के लिए स्थानिक आइजनवेक्टर्स (spatial eigenvectors) को गतिशील रूप से झुकाने के लिए मजबूर करता है।

5. मल्टीमॉडल LLMs और सुपरइंटेलिजेंस

शोध प्रबंध लार्ज लैंग्वेज मॉडल्स (LLMs) और मल्टीमॉडल सिस्टम पर इस सिद्धांत को लागू करता है।

• बजट-मोडालिटी सेपरेशन: प्रमेय 6 सिद्ध करता है कि जोखिम-संवेदनशील मानदंडों ($\tau \neq 1/2$) के तहत, एक मल्टीमॉडल सिस्टम की क्षमता उसके यूनिमोडल (जैसे, टेक्स्ट-ओनली) क्षमताओं के योग से स्पष्ट रूप से अधिक होती है। टेक्स्ट-ओनली रिप्रजेंटेशन जोखिम-संवेदनशील मूल्यांकन के तहत मौलिक सूचना हानि का सामना करते हैं।
• शैनन बनाम सुपरइंटेलिजेंस: यह शोध प्रबंध "शैनन इंटेलिजेंस" को $\tau=0.5$ के तहत अनुकूलन के रूप में और "सुपरइंटेलिजेंस" को पूर्ण जोखिम स्पेक्ट्रम $\tau \in (0, 1)$ पर अनुकूलन के रूप में परिभाषित करता है।
• प्रमेय 4: केवल शैनन इंटेलिजेंस के लिए अनुकूलित एजेंट संरचनात्मक रूप से स्थिर और "अंधा" होता है जो टेल-रिस्क वोलैटिलिटी के प्रति संवेदनशील नहीं होता। वह सुपरइंटेलिजेंस के लिए आवश्यक अनुकूलन पथ का पता लगाने में विफल रहता है, क्योंकि वह हानि वितरण के ऊपरी-सशर्त विचरण (upper-conditional variance) को समझने में अक्षम है।

महत्व और दावे

शोध प्रबंध का दावा है कि यह जोखिम-जागरूक संचार, शिक्षण और सामूहिक बुद्धिमत्ता के लिए एक आधार स्थापित करता है। इसका प्राथमिक महत्व यह प्रदर्शित करने में निहित है कि:

1. शैनन सूचना उन्नत मशीन इंटेलिजेंस और सुरक्षा-महत्वपूर्ण स्वायत्त प्रणालियों द्वारा संचालित चरम जोखिमों को मापने के लिए अपर्याप्त है।
2. जोखिम-संवेदनशीलता सूचना ज्यामिति को मौलिक रूप से बदल देती है, शास्त्रीय योज्यता और समरूपता को तोड़ देती है, और बहु-एजेंट प्रणालियों में गैर-रेखीय, रणनीतिक अंतःक्रियाओं को प्रेरित करती है।
3. एक्सस्पेक्टाइल्स सुसंगत जोखिम मापों और सूचना सिद्धांत के बीच एक गणितीय रूप से कठोर सेतु प्रदान करते हैं, जिससे टेल-रिस्क का मात्रात्मक निर्धारण और उन प्रणालियों का डिज़ाइन संभव होता है जो विनाशकारी विफलताओं के प्रति मजबूत हैं या उच्च-पुरस्कार वाली दुर्लभ घटनाओं का लाभ उठाने में सक्षम हैं।

यह कार्य जोखिम-जागरूक सूचना सिद्धांत को केवल मौजूदा मेट्रिक्स के संशोधन के रूप में नहीं, बल्कि उन प्रणालियों के लिए एक आवश्यक विकास के रूप में प्रस्तुत करता है जो गैर-एर्गोडिक, प्रतिकूल या सुरक्षा-महत्वपूर्ण वातावरण में कार्य करती हैं जहाँ "औसत" मामला प्रदर्शन का सटीक भविष्यवक्ता नहीं होता है।