📊 statistics

Neural Parameter Estimation with Incomplete Data

यह शोध पत्र अपूर्ण डेटा वाले न्यूरल पैरामीटर अनुमान के लिए एक लाइकलीहुड-फ्री मोंटे कार्लो एक्सपेक्टेशन-मैक्सिमाइजेशन दृष्टिकोण प्रस्तावित करता है जो मौजूदा मास्किंग विधियों में पाई जाने वाली सांख्यिकीय अक्षमता और मजबूती की कमी को दूर करता है, और सिम्युलेटेड स्थानिक मॉडलों तथा वास्तविक दुनिया के आर्कटिक समुद्री-बर्फ डेटा दोनों पर उत्कृष्ट प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Matthew Sainsbury-Dale, Andrew Zammit-Mangion, Noel Cressie, Raphaël Huser

प्रकाशित 2026-02-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matthew Sainsbury-Dale, Andrew Zammit-Mangion, Noel Cressie, Raphaël Huser

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI को धुंध के पार देखना सिखाना

कल्पना कीजिए कि आप एक रोबोट शेफ को केक के लिए सही रेसिपी पहचानने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। आप उसे अलग-अलग सामग्रियों वाले केक की हजारों तस्वीरें दिखाते हैं। रोबोट जल्दी सीख जाता है। लेकिन क्या होता है जब तस्वीरें अधूरी हों? शायद कुछ तस्वीरों में केक के ऊपर बादल छाए हुए हैं, या लेंस पर कोई धब्बा है, या फोटो का कोई हिस्सा फटा हुआ है।

यही वह समस्या है जिसे लेखक हल कर रहे हैं। वास्तविक दुनिया में, डेटा शायद ही कभी पूर्ण होता है। उपग्रह (Satellites) बादलों से ढके जा सकते हैं, मेडिकल रिकॉर्ड में प्रविष्टियाँ गायब हो सकती हैं, और सेंसर विफल हो सकते हैं। मानक आर्टिफिशियल इंटेलिजेंस (AI) और "डीप लर्निंग" उसी रोबोट शेफ की तरह हैं: वे आमतौर पर तब लड़खड़ा जाते हैं जब तस्वीर पूरी नहीं होती। उन्हें रेसिपी का अनुमान लगाने के लिए पूरे केक की आवश्यकता होती है।

लेखक AI को यह सिखाने का एक नया तरीका प्रस्तावित करते हैं कि जब केक आंशिक रूप से छिपा हुआ हो, तब भी रेसिपी का अनुमान कैसे लगाया जाए, जिसके लिए वे सांख्यिकीय सोच (statistical thinking) और न्यूरल नेटवर्क के एक चतुर मिश्रण का उपयोग करते हैं।

दो प्रतिस्पर्धी रणनीतियाँ

यह शोध पत्र "लापता डेटा" (missing data) की इस समस्या को संभालने के दो तरीकों की तुलना करता है।

1. "मास्किंग" दृष्टिकोण (पुराना तरीका)

उपमा: कल्पना कीजिए कि आप एक दोस्त के साथ "फिल्म पहचानो" खेल खेल रहे हैं, लेकिन आपको फिल्म के पोस्टर के आधे हिस्से को काले टेप से ढकना होगा।

यह कैसे काम करता है: AI उस ढके हुए पोस्टर को देखता है। AI की मदद करने के लिए, आप उसे एक "मास्क" भी देते हैं (एक कागज का टुकड़ा जिसमें छेद कटे हुए हैं) जो ठीक से दिखाता है कि टेप कहाँ लगा है। AI को फिल्म का अनुमान लगाने के लिए दृश्य भागों और छेदों के आकार, दोनों को देखना पड़ता है।
समस्या: AI को एक साथ दो चीजें सीखनी पड़ती हैं: फिल्म कैसी दिखती है, और टेप कैसे लगाया गया था। यदि टेप बेतरतीब ढंग से (जैसे बादलों की तरह) लगाया गया है, तो AI भ्रमित हो सकता है। यदि टेप एक विशिष्ट पैटर्न में लगाया गया है (जैसे कोने में एक बड़ा धब्बा), और AI को केवल रैंडम टेप पर प्रशिक्षित किया गया था, तो वह बुरी तरह विफल हो जाएगा। यह एक शेफ को ऐसे केक पर प्रशिक्षित करने जैसा है जहाँ रैंडम स्प्रिंकल्स (sprinkles) गायब हैं, लेकिन फिर उनसे ऐसे केक को पहचानने के लिए कहा जाता है जहाँ पूरा ऊपरी हिस्सा ही गायब है। वे गलत अनुमान लगा सकते हैं क्योंकि "लापता पैटर्न" उस पैटर्न से बहुत अलग था जो उन्होंने सीखा था।

2. "EM" दृष्टिकोण (नया तरीका)

उपमा: कल्पना कीजिए कि आप एक अपराध को सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन कुछ सबूत गायब हैं। केवल खाली जगहों को देखने के बजाय, आप अपराध के बारे में अपने ज्ञान का उपयोग यह कल्पना करने के लिए करते हैं कि गायब सबूत शायद कैसे दिखते होंगे।

यह कैसे काम करता है:
1. अनुमान लगाना (Guess): AI वहां मौजूद डेटा के आधार पर गायब हिस्सों के बारे में एक त्वरित अनुमान लगाता है। (उदाहरण के लिए: "यदि केक का बायां हिस्सा चॉकलेट है, तो गायब दायां हिस्सा भी शायद चॉकलेट ही होगा।")
2. भरना (Fill In): यह छेदों को इन "कल्पित" टुकड़ों से भर देता है। अब, AI के पास एक पूर्ण तस्वीर है।
3. सीखना (Learn): AI इस पूर्ण तस्वीर को देखता है और रेसिपी सीखता है।
4. दोहराना (Repeat): यह अपने अनुमान को परिष्कृत करता है, छेदों को फिर से भरता है, और फिर से सीखता है। यह तब तक बार-बार करता है जब तक कि अनुमान सटीक न हो जाए।
जादू: AI को कभी भी "टूटी हुई" या "मास्क वाली" तस्वीर को देखने की आवश्यकता नहीं होती है। यह केवल "पूर्ण" तस्वीरों (वास्तविक डेटा प्लस AI की अपनी कल्पना) पर प्रशिक्षित होता है। यह इसे बहुत स्मार्ट बनाता है और अजीब गायब पैटर्न से भ्रमित होने की संभावना को कम करता है।

यह एक बड़ी बात क्यों है?

लेखक इसे "न्यूरल बेयस एस्टिमेटर" (Neural Bayes Estimator) कहते हैं। आइए इसे तोड़कर समझते हैं:

न्यूरल (Neural): यह सीखने के लिए एक कंप्यूटर मस्तिष्क (न्यूरल नेटवर्क) का उपयोग करता है।
बेयस (Bayes): यह एक सांख्यिकीय नियम (बायेसियन सोच) का उपयोग करता है जो कहता है, "यदि मैं कुछ तथ्यों को जानता हूँ, तो मैं बाकी चीजों की संभावना की गणना कर सकता हूँ।"
एस्टिमेटर (Estimator): यह उत्तर का अनुमान लगाने का एक उपकरण है।

लेन-देन (The Trade-off):

मास्किंग विधि एक स्प्रिंट (तेज दौड़) की तरह है। यह अविश्वसनीय रूप से तेज़ है क्योंकि यह केवल एक बार टूटी हुई तस्वीर को देखती है। लेकिन यह नाजुक है; यदि गायब डेटा अजीब है, तो यह गलत उत्तर देगी।
EM विधि एक मैराथन की तरह है। गायब हिस्सों को भरने और उत्तर को परिष्कृत करने के लिए इसे कुछ अधिक चरणों (iterations) की आवश्यकता होती है। यह थोड़ा धीमा है, लेकिन यह बहुत अधिक सटीक और मजबूत है। इसे इस बात से फर्क नहीं पड़ता कि डेटा कैसे गायब हुआ है; यह बस उसे सुलझा लेता है।

वास्तविक दुनिया का परीक्षण: आर्कटिक समुद्री बर्फ (Arctic Sea Ice)

यह साबित करने के लिए कि उनका तरीका काम करता है, लेखकों ने आर्कटिक समुद्री बर्फ पर इसका परीक्षण किया।

समस्या: उपग्रह बर्फ की तस्वीरें लेते हैं, लेकिन बादल अक्सर दृश्य को बाधित करते हैं, और उत्तरी ध्रुव कभी-कभी उपग्रह की दृष्टि से बहुत दूर होता है (एक "पोल होल")। डेटा में कई छेद होते हैं।
चुनौती: वैज्ञानिकों को यह जानने की आवश्यकता है कि वहां कितनी बर्फ है ताकि जलवायु परिवर्तन को ट्रैक किया जा सके। यदि वे केवल दृश्य भागों के आधार पर अनुमान लगाते हैं, तो वे कुल क्षेत्रफल का गलत अनुमान लगा सकते हैं।
परिणाम: नए "EM मेथड" ने गायब बर्फ के डेटा को सफलतापूर्वक भर दिया। यह बर्फ की चादर के आकार की भविष्यवाणी कर सका, यहाँ तक कि उन जगहों पर भी जहाँ उपग्रह देख नहीं पा रहा था। इसने पारंपरिक सांख्यिकीय तरीकों की तुलना में तेजी से और "मास्किंग" AI पद्धति की तुलना में अधिक सटीकता के साथ यह कार्य किया।

निष्कर्ष (The Takeaway)

यह पेपर AI को एक बेहतर जासूस बनना सिखाने के बारे में है। डेटा गायब होने पर हार मान लेने के बजाय, या AI को गायब डेटा के पैटर्न को सीखने के लिए मजबूर करने के बजाय (जो कठिन और त्रुटिपूर्ण है), यह नया तरीका AI को यह सिखाता है कि जो वह पहले से जानता है उसके आधार पर गायब टुकड़ों की कल्पना कैसे की जाए।

यह "यहाँ एक टूटी हुई तस्वीर है, इसका अनुमान लगाओ" से बदलकर "यहाँ एक टूटी हुई तस्वीर है, मुझे आपके लिए खाली स्थान भरने दें, और फिर इसका अनुमान लगाओ" में एक बदलाव है। यह AI को वास्तविक विज्ञान के लिए बहुत अधिक विश्वसनीय बनाता है, जहाँ डेटा शायद ही कभी पूर्ण होता है।

यहाँ पेपर "Neural Parameter Estimation with Incomplete Data" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह पेपर न्यूरल बेयस एस्टीमेशन (NBE) की एक महत्वपूर्ण बाधा को संबोधित करता है: मानक न्यूरल नेटवर्क आर्किटेक्चर की सांख्यिकीय रूप से सुसंगत और कुशल तरीके से अपूर्ण डेटा (लापता मानों) को संभालने में असमर्थता।

संदर्भ: NBEs पैरामीटर्स के पॉइंट एस्टीमेट्स (पोस्टीरियर मीन या मोड का अनुमान लगाने के लिए) के लिए सीधे डेटा को मैप करने हेतु न्यूरल नेटवर्क का उपयोग करते हैं। वे "एमोर्टाइज्ड इन्फरेंस" (amortized inference) प्रदान करते हैं, जिसका अर्थ है कि एक बार प्रशिक्षित होने के बाद, वे नए डेटा के लिए त्वरित अनुमान प्रदान करते हैं, जिससे महंगे पुनरावृत्ति अनुकूलन (iterative optimization) से बचा जा सकता है।
चुनौती: कई वास्तविक दुनिया के अनुप्रयोगों (जैसे क्लाउड कवर के साथ रिमोट सेंसिंग, लापता प्रविष्टियों वाले मेडिकल रिकॉर्ड) में, डेटा अपूर्ण होता है। मानक आर्किटेक्चर जैसे कि कन्वेन्शनल न्यूरल नेटवर्क (CNNs) को निश्चित-आयामी, पूर्ण इनपुट की आवश्यकता होती है।
मौजूदा समाधान और सीमाएँ: एक हालिया दृष्टिकोण, "मास्किंग" (Masking), लापता मानों को एक स्थिरांक (जैसे शून्य) से बदलकर और नेटवर्क में लापतापन दर्शाने वाले एक बाइनरी "मास्क" वेक्टर को फीड करके लापता डेटा को संभालता है।
- दोष: मास्किंग दृष्टिकोण के लिए न्यूरल नेटवर्क को एक उच्च-आयामी स्थान ( $2n$ आयाम: डेटा + मास्क) से पैरामीटर्स तक मैपिंग सीखने की आवश्यकता होती है। महत्वपूर्ण रूप से, इसके लिए मिसिंगनेस मैकेनिज्म (missingness mechanism) के लिए एक स्टोकेस्टिक मॉडल निर्दिष्ट करने की आवश्यकता होती है। यदि यह मॉडल गलत निर्दिष्ट (misspecified) है (उदाहरण के लिए, यह मान लेना कि डेटा 'Missing Completely At Random' है जबकि वास्तव में वह 'Missing In A Contiguous Block' है), तो परिणामी एस्टीमेटर्स पक्षपाती (biased) और सांख्यिकीय रूप से अक्षम हो जाते हैं।

2. कार्यप्रणाली (Methodology)

लेखक मोंटे कार्लो एक्सपेक्टेशन-मैक्सिमाइजेशन (MCEM) एल्गोरिदम पर आधारित एक वैकल्पिक ढांचा प्रस्तावित करते हैं, जो न्यूरल बेयस एस्टीमेटर्स के साथ एकीकृत है।

A. प्रस्तावित EM दृष्टिकोण (एल्गोरिदम 2)

नेटवर्क को सीधे लापता डेटा पैटर्न देने के बजाय, लेखक इसे एक पुनरावृत्ति डेटा-ऑगमेंटेशन लूप के भीतर समाहित करते हैं:

इम्प्यूटेशन (E-step सन्निकटन): वर्तमान पैरामीटर अनुमान $\hat{\theta}^{(l-1)}$ और प्रेक्षित डेटा $Z_1$ को देखते हुए, लापता डेटा $Z_2$ को $m$ बार सशर्त रूप से सिम्युलेट (इम्प्यूट) किया जाता है ताकि $m$ पूर्ण डेटा वेक्टर्स $\{Z^{(j)}\}_{j=1}^m$ बनाए जा सकें।
अनुमान (M-step सन्निकटन): इन पूर्ण डेटासेट्स की लाइक्लीहुड को अधिकतम करने के लिए संख्यात्मक अनुकूलन करने के बजाय, लेखक मैक्सिमम ए पोस्टेरिओरी (MAP) अनुमान को सन्निकट करने के लिए एक पूर्व-प्रशिक्षित न्यूरल बेयस एस्टीमेटर का उपयोग करते हैं।
- NBE को $m$ सशर्त स्वतंत्र पूर्ण डेटा वेक्टर्स को सीधे पैरामीटर अनुमान में मैप करने के लिए प्रशिक्षित किया जाता है: $\hat{\theta}^{(l)} = h(\{Z^{(j)}\}_{j=1}^m; \gamma^*)$ ।
- यह चरण तात्कालिक (एक सेकंड का अंश) होता है क्योंकि यह संख्यात्मक अनुकूलन से बचता है।
पुनरावृत्ति (Iteration): नया अनुमान $\hat{\theta}^{(l)}$ अगले सशर्त सिमुलेशन के लिए उपयोग किया जाता है। प्रक्रिया अभिसरण (convergence) तक दोहराई जाती है, जिसमें अनुक्रम को स्थिर करने के लिए अक्सर एक औसत योजना (burn-in) का उपयोग किया जाता है।

B. प्रमुख तकनीकी नवाचार

लाइक्लीहुड-मुक्त (Likelihood-Free): इस पद्धति के लिए लाइक्लीहुड फंक्शन का मूल्यांकन करने की आवश्यकता नहीं है (जो पॉट्स मॉडल जैसे स्थानिक मॉडलों के लिए अक्सर अगम्य होता है)। इसके लिए केवल पूर्ण डेटा को सिम्युलेट करने और सशर्त रूप से इम्प्यूट करने की क्षमता की आवश्यकता है।
न्यूरल MAP सन्निकटन: इस M-step के लिए NBE को प्रशिक्षित करने हेतु, लेखक 0-1 लॉस फंक्शन (जो MAP एस्टीमेटर देता है) को एक स्मूथ सरोगेट का उपयोग करके सन्निकट करते हैं, विशेष रूप से $L(\theta, \hat{\theta}) = \tanh(\|\hat{\theta} - \theta\|/\kappa)$ ।
रेप्लिकेट्स के लिए आर्किटेक्चर: $m$ इम्प्यूटेड डेटासेट्स को संभालने के लिए, वे एक DeepSets आर्किटेक्चर का उपयोग करते हैं, जो यह सुनिश्चित करता है कि एस्टीमेटर परम्यूटेशन-इनवेरिएंट (permutation-invariant) है (इम्प्यूटेशन का क्रम मायने नहीं रखता) और स्केलेबल है।
मिसिंगनेस मॉडल की आवश्यकता नहीं: मास्किंग दृष्टिकोण के विपरीत, EM दृष्टिकोण के लिए इस बात के मॉडल की आवश्यकता नहीं है कि डेटा कैसे लापता हुआ। इसे केवल सशर्त सिमुलेशन करने के लिए डेटा स्वयं के मॉडल की आवश्यकता है।

3. प्रमुख योगदान

सैद्धांतिक अंतर्दृष्टि: लेखक प्रदर्शित करते हैं कि हालांकि मास्किंग दृष्टिकोण सैद्धांतिक रूप से पर्याप्त (थ्योरम 1) है, लेकिन इसका व्यावहारिक प्रदर्शन लापतापन वितरण के सही विनिर्देश पर निर्भर करता है। गलत विनिर्देश उच्च-आयामी सेटिंग्स में महत्वपूर्ण पूर्वाग्रह (bias) और अक्षमता का कारण बनता है।
एल्गोरिदमिक ढांचा: वे एक अभिनव EM-आधारित न्यूरल बेयस एस्टीमेटर पेश करते हैं जो डेटा ऑगमेंटेशन की गति को डीप लर्निंग के एमोर्टाइज्ड इन्फरेंस के साथ जोड़ता है।
दक्षता ट्रेड-ऑफ विश्लेषण: वे मास्किंग दृष्टिकोण (सबसे तेज़ इन्फरेंस, मिसिंगनेस मॉडल के प्रति संवेदनशील) और EM दृष्टिकोण (धीमा इन्फरेंस, लेकिन मजबूत और सांख्यिकीय रूप से कुशल) के बीच के व्यापार-बंद (trade-off) को मात्रात्मक रूप से निर्धारित करते हैं।
अगम्य मॉडलों पर अनुप्रयोग: वे सफलतापूर्वक इस पद्धति को हिडन पॉट्स मॉडल (Hidden Potts Model) पर लागू करते हैं, जो एक स्थानिक मॉडल है जिसकी लाइक्लीहुड अगम्य (intractable) है (नॉर्मलाइजिंग कांस्टेंट के कारण), जहाँ पारंपरिक लाइक्लीहुड-आधारित इन्फरेंस कम्प्यूटेशनल रूप से अत्यधिक कठिन है।

4. परिणाम

लेखकों ने व्यापक सिमुलेशन अध्ययन और एक वास्तविक दुनिया का अनुप्रयोग किया:

सिमुलेशन अध्ययन

परीक्षण किए गए मॉडल: स्पेशियल गॉसियन प्रोसेस (GP) और हिडन पॉट्स मॉडल।
मिसिंगनेस परिदृश्य: मिसिंग कम्पलीटली एट रैंडम (MCAR) और मिसिंग इन अ कॉन्टिगस ब्लॉक (MICB)।
निष्कर्ष:
- सांख्यिकीय दक्षता: EM NBE ने दोनों MCAR और MICB के तहत गोल्ड-स्टैंडर्ड MAP एस्टीमेटर के तुलनीय रूट मीन स्क्वेयर्ड एरर (RMSE) प्राप्त किया।
- मजबूती (Robustness): मास्किंग NBE ने MCAR (जहाँ इसे प्रशिक्षित किया गया था) के तहत अच्छा प्रदर्शन किया, लेकिन MICB के तहत भारी पूर्वाग्रह (bias) और बढ़े हुए RMSE का सामना किया, जो पुष्टि करता है कि मिसिंगनेस मैकेनिज्म का गलत विनिर्देश प्रदर्शन को खराब कर देता है।
- ABC के साथ तुलना: एक जनरल हाइपरबोलिक डिस्ट्रीब्यूशन अध्ययन में, EM NBE ने एबसी (ABC) को पछाड़ दिया, जो उपयोगकर्ता-निर्धारित समरी स्टैटिस्टिक्स पर निर्भर करता है और कम सांख्यिकीय दक्षता दिखाता है।

वास्तविक दुनिया का अनुप्रयोग: आर्कटिक सी आइस (Arctic Sea Ice)

डेटा: 45 वर्षों का सी-आइस कंसंट्रेशन डेटा (1979–2023) जिसमें जटिल मिसिंगनेस पैटर्न (बादल का आवरण, "आर्कटिक पोल होल") हैं।
मॉडल: बीटा और पॉइंट-मास डिस्ट्रीब्यूशन के साथ 4 अवस्थाओं वाला एक हिडन पॉट्स मॉडल (कोई बर्फ नहीं, कम, मध्यम, पूर्ण बर्फ)।
प्रदर्शन:
- EM NBE ने सभी 45 वर्षों के पैरामीटर्स को कुल 44 सेकंड में अनुमानित किया।
- यह पिछले साहित्य में एक छोटे डेटासेट के लिए उपयोग किए गए पूर्ण बेयसियन MCMC दृष्टिकोण (>1 दिन) की तुलना में कई गुना तेज है।
- परिणामों ने समय के साथ समुद्री बर्फ के क्षेत्र में भारी गिरावट और मजबूत स्थानिक निर्भरता (फेज ट्रांजिशन के लिए पैरामीटर क्रिटिकल वैल्यू से अधिक थे) की पुष्टि की।

5. महत्व और निष्कर्ष

AI और सांख्यिकी का मिलन: यह पेपर कठोर सांख्यिकीय अनुमान उपकरणों (EM एल्गोरिदम, डेटा ऑगमेंटेशन) को डीप लर्निंग वर्कफ़्लो में एकीकृत करके AI को बेहतर बनाने के लिए एक प्रोटोटाइप के रूप में कार्य करता है।
अगम्यता का समाधान: यह जटिल स्थानिक मॉडलों के लिए पैरामीटर अनुमान का समाधान प्रदान करता है जहाँ लाइक्लीहुड अगम्य है, जो भूविज्ञान और महामारी विज्ञान में एक सामान्य परिदृश्य है।
मजबूती: यह स्थापित करता है कि अधूरे डेटा के लिए, कच्ची इन्फरेंस गति के बजाय सांख्यिकीय दक्षता (मिसिंगनेस मैकेनिज्म के प्रति मजबूती) को प्राथमिकता दी जा सकती है, बिना न्यूरल नेटवर्क के "एमोर्टाइज्ड" लाभ से समझौता किए।
सॉफ्टवेयर: इस कार्यप्रणाली को ओपन-सोर्स NeuralEstimators पैकेज (R/Julia) में कार्यान्वित किया गया है, जिससे ये उन्नत तकनीकें चिकित्सकों के लिए सुलभ हो जाती हैं।

संक्षेप में, यह पेपर तर्क देता है कि जबकि "मास्किंग" एक त्वरित ह्यूरिस्टिक है, यह सांख्यिकीय रूप से नाजुक है। प्रस्तावित EM-आधारित न्यूरल बेयस एस्टीमेटर एक मजबूत, लाइक्लीहुड-मुक्त, और कम्प्यूटेशनल रूप से व्यवहार्य विकल्प प्रदान करता है, जो उच्च-आयामी, अधूरे डेटा समस्याओं के लिए, विशेष रूप से स्थानिक सांख्यिकी में, अत्यंत प्रभावी है।