🔬 physics

Accurate Estimation of Mutual Information in High Dimensional Data

यह शोध पत्र एक व्यावहारिक प्रोटोकॉल और संभाव्य क्रिटिक्स (VSIB) का एक नया वर्ग प्रस्तावित करता है जो निम्न-आयामी विलत (latent) निरूपणों का लाभ उठाकर और स्पष्ट सांख्यिकीय निरंतरता जाँच एवं विश्वास अंतराल प्रदान करके उच्च-आयामी, अल्प-नमूनाकृत (undersampled) व्यवस्थाओं में विश्वसनीय, पूर्वाग्रह-सुधारित पारस्परिक सूचना अनुमान को सक्षम बनाता है।

मूल लेखक: Eslam Abdelaleem, K. Michael Martini, Ilya Nemenman

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eslam Abdelaleem, K. Michael Martini, Ilya Nemenman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: शोर के बीच रहस्यों की गिनती

कल्पना कीजिए कि आपके पास एलिस और बॉब हैं, जो एक-दूसरे को फुसफुसाकर कुछ रहस्य बता रहे हैं। आप जानना चाहते हैं कि वे कितना साझा कर रहे हैं। विज्ञान में, इस "साझा करने की मात्रा" को म्युचुअल इंफॉर्मेशन (MI) कहा जाता है।

यदि एलिस और बॉब एक छोटे, शांत कमरे में हैं (कम डेटा), तो उनके शब्दों को गिनना आसान है। लेकिन आधुनिक विज्ञान में, हम अक्सर "हाई-डायमेंशनल" (उच्च-आयामी) डेटा के साथ काम करते हैं। यह ऐसा है जैसे एलिस और बॉब 500 अन्य लोगों के चिल्लाने वाले स्टेडियम में फुसफुसा रहे हों, और आपके पास केवल एक छोटी सी नोटबुक हो जिसमें आप जो सुन रहे हैं उसे लिख सकें।

समस्या यह है कि चिल्लाने वाले लोगों की संख्या (डेटा का आकार) अक्सर उन वेरिएबल्स से कम होती है जिन्हें आप ट्रैक करने की कोशिश कर रहे हैं (जटिलता)। पारंपरिक गणितीय उपकरण यहाँ विफल हो जाते हैं; वे शोर (noise) से भ्रमित हो जाते हैं और आपको गलत उत्तर देते हैं।

हाल ही में, वैज्ञानिकों ने इसे हल करने के लिए न्यूरल नेटवर्क्स (स्मार्ट कंप्यूटर प्रोग्राम) का उपयोग करने की कोशिश की। लेकिन ये प्रोग्राम बहुत उत्साही छात्रों की तरह हैं: यदि आप उन पर करीब से नज़र नहीं रखते हैं, तो वे वास्तविक रहस्यों के बजाय शोर को "याद" करना या "भ्रमित" (hallucinate) होना शुरू कर देते हैं। इससे भी बुरा यह था कि यह बताने का कोई तरीका नहीं था कि कंप्यूटर आपसे झूठ बोल रहा है या नहीं।

समाधान: छिपे हुए धागे को खोजना

इस शोध पत्र के लेखकों ने एक गुप्त नियम खोजा है: भले ही कमरा बहुत बड़ा और शोर भरा हो, एलिस और बॉब के बीच की वास्तविक बातचीत केवल एक छोटे, सरल मंच पर हो सकती है।

कल्पना कीजिए कि भले ही 500 लोग चिल्ला रहे हों, लेकिन एलिस और बॉब वास्तव में केवल ऊन के एक पतले धागे को पकड़े हुए हैं जो उन्हें जोड़ता है। यदि आप उस धागे को खोज लेते हैं, तो आपको पूरे स्टेडियम को सुनने की ज़रूरत नहीं है; आपको बस उस धागे का पीछा करने की ज़रूरत है।

यह पेपर तर्क देता है कि न्यूरल नेटवर्क पूरी तरह से काम कर सकते हैं यदि डेटा में यह "लो-डायमेंशनल" (निम्न-आयामी) छिपी हुई संरचना (धागा) मौजूद हो। यदि डेटा वास्तव में बिना किसी छिपी संरचना वाला यादृच्छिक शोर (random chaos) है, तो कोई भी विधि आपको नहीं बचा सकती।

तीन-चरणीय प्रोटोकॉल: उन्होंने कंप्यूटर को कैसे ठीक किया

इन न्यूरल नेटवर्क्स को विश्वसनीय बनाने के लिए, लेखकों ने तीन मुख्य भागों वाला एक "सेफ्टी हार्नेस" (सुरक्षा कवच) बनाया:

1. "सही होने पर रुकें" का नियम (अर्ली स्टॉपिंग - Early Stopping)
कल्पना कीजिए कि आप एक कुत्ते को चीज़ लाने (fetch) के लिए सिखा रहे हैं। यदि आप बहुत लंबे समय तक अभ्यास करते हैं, तो कुत्ता आपकी बात सुनना बंद कर देता है और अपनी ही पूंछ का पीछा करने लगता है (इसे ओवरफिटिंग कहा जाता है)।

समाधान: लेखकों ने एक नियम बनाया जहाँ कंप्यूटर सीखने के दौरान डेटा के एक "टेस्ट बैच" पर अपने काम की जाँच करता है। यह प्रशिक्षण तब रोकता है जब टेस्ट स्कोर गिरना शुरू होता है। यह कंप्यूटर को शोर को याद करने से रोकता है।

2. "प्रोबेबिलिस्टिक फ़िल्टर" (VSIB)
मानक न्यूरल नेटवर्क कठोर रोबोटों की तरह होते हैं; वे हर एक डेटा पॉइंट को पूरी तरह से फिट करने की कोशिश करते हैं, जिससे वे बहुत अधिक जानकारी होने पर टूट जाते हैं।

समाधान: लेखकों ने एक नए प्रकार का नेटवर्क पेश किया जिसे VSIB कहा जाता है। इसे एक "धुंधले" (fuzzy) फिल्टर के रूप में सोचें। हर सटीक विवरण को पकड़ने की कोशिश करने के बजाय, यह कुछ अनिश्चितता की अनुमति देता है। यह नेटवर्क को बहुत अधिक उत्साहित होने या जटिल डेटा होने पर उच्च संख्याएँ "हैलुसिनेट" करने से रोकता है। यह एक शॉक एब्जॉर्बर की तरह काम करता है, जो उतार-चढ़ाव को सुचारू बनाता है।

3. "सबसैंपलिंग और एक्सट्रपलेशन" का तरीका (Subsampling & Extrapolation)
आप कैसे जानेंगे कि आपका अनुमान सटीक है?

समाधान: लेखक डेटा को लेते हैं और उसे छोटे-छोटे टुकड़ों में काटते हैं (जैसे पिज्जा को 1 स्लाइस, 2 स्लाइस, 4 स्लाइस आदि में काटना)। वे प्रत्येक टुकड़े पर "सीक्रेट शेयरिंग" को मापते हैं।
- यदि परिणाम बहुत अधिक उछल-कूद करते हैं, तो अनुमान अविश्वसनीय है।
- यदि टुकड़े छोटे होने पर परिणाम एक सीधी रेखा का अनुसरण करते हैं, तो वे गणितीय रूप से "एक्सट्रपलेट" (अनुमान लगाना) कर सकते हैं कि अनंत डेटा होने पर उत्तर क्या होगा।
- यह उन्हें एक कॉन्फिडेंस इंटरवल (त्रुटि की सीमा) देता है, जो बताता है, "हम 95% आश्वस्त हैं कि उत्तर X और Y के बीच है।"

उन्होंने क्या परीक्षण किया (परिणाम)

लेखकों ने अपने तरीके को तीन परिदृश्यों में परखा:

नकली डेटा (सिंथेटिक बेंचमार्क): उन्होंने ऐसी गणितीय समस्याएं बनाईं जहाँ उन्हें सटीक उत्तर पता था। उनका तरीका सही रहा, भले ही डेटा में 500 डायमेंशन थे लेकिन केवल 10 "छिपे हुए" डायमेंशन थे।
नॉइज़ी MNIST (हाथ से लिखे अंक): उन्होंने संख्याओं (784 पिक्सेल प्रत्येक) की तस्वीरों का उपयोग किया जो स्टैटिक शोर से ढकी हुई थीं। "रहस्य" केवल संख्या स्वयं थी (0–9)। 784 पिक्सेल के लिए केवल 256 सैंपल होने के बावजूद, उनके तरीके ने सफलतापूर्वक साझा जानकारी का अनुमान लगाया, जबकि पारंपरिक तरीकों को इसके लिए हजारों गुना अधिक डेटा की आवश्यकता होती।
वास्तविक चित्र (CIFAR-10/100): उन्होंने कारों, जानवरों और विमानों की रंगीन तस्वीरों पर इसका परीक्षण किया। उन्होंने पाया कि यदि वे छवियों को समझने के लिए पहले से प्रशिक्षित "दिमाग" (ResNet) का उपयोग करते हैं, तो उनका तरीका बहुत कम सैंपल के साथ साझा जानकारी पा सकता है। यदि वे शुरुआत से सीखना शुरू करते, तो इसमें अधिक समय लगता, लेकिन तरीका फिर भी काम करता।

मुख्य निष्कर्ष

यह पेपर यह दावा नहीं करता कि न्यूरल नेटवर्क जादुई हैं। यह दावा करता है कि यदि आप उन्हें सुरक्षा कवच (सेफ्टी हार्नेस) के साथ उपयोग करते हैं, तो न्यूरल नेटवर्क विश्वसनीय उपकरण हैं।

डेटा में छिपी सरलता की जाँच करके, प्रशिक्षण को सही समय पर रोककर, और त्रुटियों की जाँच के लिए सांख्यिकीय युक्तियों का उपयोग करके, वैज्ञानिक अब उन जटिल, उच्च-आयामी डेटा (जैसे ब्रेन स्कैन या चित्र) में संबंधों को मापने के लिए इन उपकरणों पर भरोसा कर सकते हैं जहाँ वे पहले विफल हो जाते थे।

महत्वपूर्ण बात: यदि डेटा वास्तव में अराजक है और उसमें कोई छिपी संरचना नहीं है, तो यह तरीका आपको बता देगा कि यह उत्तर का अनुमान नहीं लगा सकता; यह एक गलत संख्या देने के बजाय, एक चेतावनी (red flag) देगा। यह इसे विज्ञान के लिए एक भरोसेमंद उपकरण बनाता है।

तकनीकी सारांश: उच्च-आयामी डेटा में पारस्परिक सूचना (Mutual Information) का सटीक अनुमान

समस्या विवरण
पारस्परिक सूचना (MI) सांख्यिकीय निर्भरता का एक मौलिक माप है जिसका उपयोग तंत्रिका विज्ञान (neuroscience) से लेकर कंप्यूटर विज़न तक विभिन्न विषयों में किया जाता है। हालाँकि, सीमित डेटा से सटीक अनुमान लगाना अत्यंत कठिन बना हुआ है, विशेष रूप से उच्च-आयामी व्यवस्थाओं (high-dimensional regimes) में जहाँ नमूनों की संख्या $N$ , डेटा की आयात्मकता $K$ के बराबर या उससे कम होती है। पारंपरिक विधियाँ (जैसे, k-निकटतम पड़ोसी, हिस्टोग्राम-आधारित) आयात्मकता के अभिशाप (curse of dimensionality) से ग्रस्त होती हैं, जिन्हें आयाम के साथ तेजी से बढ़ते नमूनों की आवश्यकता होती है। जबकि न्यूरल नेटवर्क (NN)-आधारित अनुमानक (जैसे, MINE, InfoNCE, SMILE) उच्च-आयामी डेटा के लिए एक संभावित समाधान प्रदान करते हैं, उनकी व्यावहारिक सटीकता अक्सर अस्पष्ट रहती है। वे हाइपरपैरामीटर के प्रति संवेदनशील होते हैं, कम-नमूना (undersampled) व्यवस्थाओं में ओवरफिटिंग के प्रति प्रवृत्त होते हैं, और विफलता का पता लगाने के लिए स्वीकृत आंतरिक स्थिरता जाँचों (internal consistency checks) का अभाव रखते हैं। फलस्वरूप, वे वैज्ञानिक अनुप्रयोगों के लिए अक्सर अविश्वसनीय होते हैं जहाँ गलत सकारात्मक परिणामों (false positives) से बचना अनिवार्य होता है।

कार्यप्रणाली और ढांचा
लेखक न्यूरल MI अनुमानकों को विश्वसनीय बनाने के लिए एक व्यावहारिक प्रोटोकॉल प्रस्तावित करते हैं, जो इस अंतर्दृष्टि पर आधारित है कि उच्च आयामों में सफल अनुमान डेटा के भीतर एक निम्न-आयामी लेटेंट स्ट्रक्चर ( $K_Z \ll K$ ) के अस्तित्व पर निर्भर करता है, न कि परिवेशी आयाम (ambient dimension) पर। यह कार्यप्रणाली तीन मुख्य घटकों से मिलकर बनी है:

सामान्यीकृत क्रिटिक (Generalized Critic) और VSIB परिवार:
यह शोध पत्र एक सामान्यीकृत क्रिटिक $T(x, y) = f(g(x), h(y))$ का उपयोग करके NN-आधारित MI अनुमान को पुनर्गठित करता है। यह प्रोबेबिलिस्टिक क्रिटिक्स का एक नया वर्ग प्रस्तुत करता है जिसे वेरिएशनल सिमेट्रिक इंफॉर्मेशन बॉटलनेक (VSIB) कहा जाता है। नियतात्मक (deterministic) क्रिटिक्स के विपरीत, VSIB स्टोकेस्टिक एनकोडर का उपयोग करता है जिसमें एक लॉस फंक्शन शामिल है जो एम्बेडिंग वितरणों को एक मानक गौसियन प्रायोर (standard Gaussian prior) की ओर नियमित करने के लिए KL-डाइवर्जेंस दंड ( $I_E$ पद) का उपयोग करता है। यह नियमितीकरण नमूना-विशिष्ट, ओवरफिट एम्बेडिंग्स के निर्माण को रोकता है, जिससे पूर्वाग्रह (bias) और विचरण (variance) में काफी कमी आती है, विशेष रूप से उच्च MI मानों पर जहाँ मानक अनुमानक (जैसे SMILE) आमतौर पर विफल हो जाते हैं।
मैक्स-टेस्ट अर्ली स्टॉपिंग ह्यूरिस्टिक (Max-Test Early Stopping Heuristic):
सीमित डेटासेट में ओवरफिटिंग को संबोधित करने के लिए, लेखक प्रशिक्षण के दौरान होल्ड-आउट टेस्ट बैच पर MI अनुमानों की निगरानी करने के आधार पर एक स्टॉपिंग नियम प्रस्तावित करते हैं। प्रोटोकॉल उस युग (epoch) का चयन करता है जहाँ टेस्ट-सेट MI अपने शिखर (peak) पर होता है और संगत प्रशिक्षण MI की रिपोर्ट करता है। यह कर्नेल डेंसिटी एस्टीमेशन में बैंडविड्थ चयन के समान है, जो यह सुनिश्चित करता है कि क्रिटिक सांख्यिकीय निर्भरताओं को हल करे बिना अंडरस्मूथिंग (अंडरएस्टिमेशन) या ओवरस्मूथिंग (ओवरफिटिंग) के।
सबसैंपलिंग और एक्सट्रपलेशन प्रोटोकॉल:
नमूना-आकार-निर्भर पूर्वाग्रह को ठीक करने और विश्वास अंतराल (confidence intervals) प्रदान करने के लिए, लेखक एक वर्कफ़्लो अपनाते हैं जिसमें शामिल हैं:
- सबसैंपलिंग: MI अनुमान $I_\mu(\gamma)$ की गणना करने के लिए डेटा को $\gamma$ उपसमूहों में विभाजित करना।
- आयात्मकता खोज (Dimensionality Search): क्रिटिक की एम्बेडिंग डायमेंशन $k_Z$ को तब तक बढ़ाना जब तक कि अनुमान स्थिर (plateau) न हो जाए, जिससे पर्याप्त अभिव्यंजकता (expressivity) की पहचान हो सके।
- एक्सट्रपलेशन (Extrapolation): अनंत-डेटा सीमा तक एक्सट्रपलेट करने के लिए अनुमानों $I(\gamma)$ को $1/\gamma$ (या $\gamma \to 0$ ) के विरुद्ध फिट करना। यह पूर्वाग्रह को ठीक करता है और एरर बार प्रदान करता है। यदि संबंध गैर-रेखीय है, तो प्रोटोकॉल उस अनुमान को अविश्वसनीय के रूप में चिह्नित करता है।

प्रमुख परिणाम
इस प्रोटोकॉल को सिंथेटिक बेंचमार्क, मानक टेस्ट सूट्स और वास्तविक दुनिया के इमेज डेटा पर सत्यापित किया गया:

सिंथेटिक बेंचमार्क: उच्च-आयामी सेटिंग्स ( $K=500$ ) में निम्न लेटेंट डायमेंशनलिटी ( $K_Z=10$ ) के साथ, प्रोटोकॉल ने केवल $N=256$ नमूनों के साथ विश्वसनीय अनुमान प्राप्त किया। यह दिखाया गया कि नमूना जटिलता (sample complexity) परिवेशी आयाम $K$ के बजाय लेटेंट डायमेंशन $K_Z$ द्वारा नियंत्रित होती है।
मानक बेंचमार्क सूट: Czysz et al. (2023) के 40-डेटासेट सूट पर, प्रोटोकॉल ने मानक स्टैंड-अलोन अनुमानकों (जैसे InfoNCE) की सटीकता के बराबर या उससे अधिक प्रदर्शन किया, जबकि अनूठे रूप से विश्वास अंतराल प्रदान किया और अविश्वसनीय अनुमानों (जैसे, जब क्रिटिक आर्किटेक्चर अपर्याप्त था) को चिह्नित किया।
नॉइजी MNIST ( $K=784$ ): $N=16,384$ के साथ, प्रोटोकॉल ने $3.13 \pm 0.12$ बिट्स का MI अनुमान लगाया, जो $\approx 3.3$ बिट्स (10 क्लास के आधार पर) के ग्राउंड ट्रुथ के करीब है। यह एक ऐसी व्यवस्था में विश्वसनीय अनुमान प्रदर्शित करता है जहाँ पारंपरिक विधियों को लाखों नमूनों की आवश्यकता होगी।
CIFAR-10/100 ( $K=3072$ ): ResNet-20 बैकबोन का उपयोग करते हुए, प्रोटोकॉल प्राकृतिक इमेज डेटा में MI का पता लगाने में सफल रहा। महत्वपूर्ण रूप से, एक फ्रोजन प्री-ट्रेन्ड बैकबोन का उपयोग करने से MI अनुमानों का तेजी से स्थिरीकरण संभव हुआ, जो यह दर्शाता है कि पूर्व ज्ञान विश्वसनीय अनुमान के लिए आवश्यक नमूना जटिलता को काफी कम कर सकता है।

महत्व और दावे
यह शोध पत्र यह स्पष्ट करने का दावा करता है कि न्यूरल MI अनुमान को कब भरोसेमंद माना जा सकता है। लेखक तर्क देते हैं कि उच्च आयामों में सटीक अनुमान संभव है यदि:

डेटा एक निम्न-आयामी लेटेंट प्रतिनिधित्व को स्वीकार करता है।
क्रिटिक इस लेटेंट स्ट्रक्चर को पकड़ने के लिए पर्याप्त अभिव्यंजक (expressive) है।
डेटासेट लेटेंट स्पेस में निर्भरताओं को हल करने के लिए पर्याप्त बड़ा है ( $N \gtrsim K_Z$ ), न कि पूरे परिवेशी स्थान (ambient space) के लिए।

VSIB परिवार, मैक्स-टेस्ट स्टॉपिंग नियम, और सबसैंपलिंग/एक्सट्रपलेशन वर्कफ़्लो को एकीकृत करके, लेखक न्यूरल MI अनुमानकों को "ब्लैक बॉक्स" से व्यावहारिक उपकरणों में बदल देते हैं जो सांख्यिकीय स्थिरता जाँच, पूर्वाग्रह सुधार और विश्वास अंतराल प्रदान करते हैं। प्रोटोकॉल को गलत सकारात्मक परिणामों (ओवरएस्टिमेशन) से बचने के लिए डिज़ाइन किया गया है, जो वैज्ञानिक अनुप्रयोगों के लिए महत्वपूर्ण है, जबकि यह स्वीकार करता है कि कम-नमूना व्यवस्थाओं में मामूली अंडरएस्टिमेशन हो सकता है जो $N$ बढ़ने के साथ समाप्त हो जाता है। यह कार्य सभी वितरणों के लिए MI अनुमान को हल करने का दावा नहीं करता है (एक सार्वभौमिक रूप से निष्पक्ष अनुमानक की असंभवता को स्वीकार करते हुए), लेकिन उच्च-आयामी, कम-नमूना डेटा के लिए इसकी अनुप्रयोग क्षमता को महत्वपूर्ण रूप से बढ़ाता है।