📊 statistics

Deep learning with missing data

यह शोध पत्र पैटर्न एम्बेडेड न्यूरल नेटवर्क्स (PENN) को प्रस्तुत करता है, जो एक ऐसी विधि है जो मनमाने मिसिंगनेस मैकेनिज्म के तहत लुप्त सह-चरों (missing covariates) वाले बहुभिन्नरूपी गैर-पैरामीट्रिक प्रतिगमन (multivariate nonparametric regression) के लिए मिनिमैक्स-इष्टतम अभिसरण दरों (minimax-optimal convergence rates) को प्राप्त करने हेतु एक न्यूरल नेटवर्क आर्किटेक्चर में अवलोकन संकेतकों (observation indicators) को एकीकृत करती है, जबकि विभिन्न डेटासेट्स पर मानक न्यूरल नेटवर्क्स की तुलना में अनुभवजन्य रूप से बेहतर प्रदर्शन करती है।

मूल लेखक: Tianyi Ma, Tengyao Wang, Richard J. Samworth

प्रकाशित 2026-07-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianyi Ma, Tengyao Wang, Richard J. Samworth

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी समस्या: "गायब टुकड़ों" की पहेली

कल्पना कीजिए कि आप एक रोबोट को मौसम का पूर्वानुमान लगाना सिखाने की कोशिश कर रहे हैं। आप उसे तापमान, आर्द्रता (humidity) और हवा की गति जैसे डेटा देते हैं। लेकिन, कभी-कभी सेंसर खराब हो जाते हैं। कुछ दिनों में, रोबोट को केवल तापमान मिलता है। अन्य दिनों में, उसे आर्द्रता और हवा की गति मिलती है, लेकिन तापमान नहीं।

डीप लर्निंग (आधुनिक AI के पीछे का "दिमाग") की दुनिया में, यह एक बुरा सपना है। आमतौर पर, यदि डेटा गायब होता है, तो वैज्ञानिक बस खाली जगहों को एक अनुमान से भर देते हैं (जैसे औसत तापमान)। फिर वे इस "भरे हुए" डेटा पर रोबोट को प्रशिक्षित करते हैं।

यह पेपर तर्क देता है कि यह दृष्टिकोण त्रुटिपूर्ण है।
क्यों? क्योंकि जो चीज़ गायब है, उसका पैटर्न एक कहानी बताता है।

यदि तापमान सेंसर खराब है, तो रोबोट को यह जानने की आवश्यकता है।
यदि आर्द्रता सेंसर खराब है, तो यह एक अलग कहानी है।

लेखक गायब डेटा के इन पैटर्न्स को "रेवलैशन वेक्टर्स" (revelation vectors) कहते हैं। ये एक मानचित्र की तरह हैं जो ठीक से दिखाते हैं कि कौन से पहेली के टुकड़े गायब हैं।

समाधान: पैटर्न एम्बेडेड न्यूरल नेटवर्क (PENN)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे पैटर्न एम्बेडेड न्यूरल नेटवर्क (PENN) कहा जाता है।

एक मानक AI को एक छात्र के रूप में सोचें जो गणित की समस्या हल करने की कोशिश कर रहा है।

पुराना तरीका: शिक्षक छात्र को एक वर्कशीट देता है जिसमें कुछ संख्याएँ गायब हैं। छात्र गायब संख्याओं का अनुमान लगाता है, उन्हें भरता है, और फिर समस्या को हल करने की कोशिश करता है। यदि छात्र गलत अनुमान लगाता है, तो पूरा उत्तर गलत हो जाता है।
PENN वाला तरीका: शिक्षक छात्र को वर्कशीट के साथ एक विशेष नोट भी देता है कि, "हे, कॉलम 3 की संख्याएँ गायब हैं।"

PENN आर्किटेक्चर में तीन भाग मिलकर काम करते हैं:

द फिलर (The Filler): यह गायब स्थानों वाले डेटा को लेता है और उन्हें भर देता है (किसी भी मानक विधि का उपयोग करके)।
द पैटर्न डिटेक्टिव (The Pattern Detective): यह जादुई हिस्सा है। यह केवल "गायब होने के मानचित्र" (रेवलैशन वेक्टर्स) को देखता है। यह इस मानचित्र को एक सरल, संक्षिप्त सारांश में संकुचित (compress) करता है। यह सीखता है कि "तापमान गायब होना" और "आद्रता गायब होना" दो बहुत अलग स्थितियाँ हैं, भले ही वे गणितीय रूप से समान दिखती हों।
द बॉस (The Boss): यह भरे हुए डेटा और 'पैटर्न डिटेक्टिव' से प्राप्त सारांश दोनों को लेता है और अंतिम भविष्यवाणी करने के लिए उन्हें मिला देता है।

यह क्यों महत्वपूर्ण है: "शोर" (Noise) की समस्या

पेपर एक पेचीदा समस्या समझाता है जो केवल "गायब होने के मानचित्र" को अतिरिक्त डेटा के रूप में जोड़ने से उत्पन्न होती है।

कल्पना कीजिए कि आपके पास 20 अलग-अलग सेंसर हैं। उनके खराब होने के तरीके $2^{20}$ (दस लाख से अधिक संयोजन) हो सकते हैं। यदि आप AI को केवल यह बताते हैं कि, "यहाँ 20 शून्य और एकों की एक सूची है जो दिखाती है कि क्या खराब है," तो AI अभिभूत (overwhelmed) हो जाएगा। वह हर एक संयोजन को याद करने की कोशिश करेगा, जैसे कि एक छात्र व्याकरण सीखने के बजाय शब्दकोश रटने की कोशिश कर रहा हो। इसे ओवरफिटिंग (overfitting) कहा जाता है।

PENN इसे 'पैटर्न डिटेक्टिव' का उपयोग करके हल करता है ताकि गायब होने के अर्थ को सीखा जा सके। यह समझ जाता है कि "सेंसर 1 खराब है" का अर्थ मौसम का पूर्वानुमान लगाने के संदर्भ में वही हो सकता है जो "सेंसर 1 और 2 खराब हैं" का होता है। यह गायब पैटर्न्स को एक साथ समूहित करता है, जिससे AI समान मामलों से ज्ञान उधार लेकर दुर्लभ मामलों से भी सीख पाता है।

प्रमाण: सिद्धांत और प्रयोग

लेखकों ने केवल एक शानदार टूल ही नहीं बनाया; उन्होंने गणितीय रूप से सिद्ध किया कि यह काम करता है।

सिद्धांत: उन्होंने दिखाया कि भले ही डेटा जटिल, अजीब कारणों से गायब होता हो (केवल यादृच्छिक संयोग के कारण नहीं), उनका तरीका सीखने का लगभग सबसे अच्छा तरीका है। उन्होंने सिद्ध किया कि PENNs उतनी ही तेज़ी से सीख सकते हैं जैसे कि AI को पहले से पता हो कि गायब पैटर्न्स को कैसे समूहित करना है।
प्रयोग: उन्होंने परीक्षण किया:
- नकली डेटा (Fake Data): उन्होंने ऐसे परिदृश्य बनाए जहाँ डेटा यादृच्छिक रूप से गायब था और ऐसे परिदृश्य जहाँ डेटा जानबूझकर गायब किया गया था (जैसे, जब बहुत गर्मी होती है तो सेंसर अधिक बार खराब होते हैं)। लगभग हर मामले में, PENN मानक AI की तुलना में बहुत अधिक सटीक था।
- वास्तविक डेटा (Real Data): उन्होंने वास्तविक दुनिया के डेटासेट पर इसका परीक्षण किया, जैसे क्रेडिट स्कोर की भविष्यवाणी करना और हस्तलिखित अंकों की पहचान करना (जहाँ छवि के कुछ हिस्से "गायब" या ब्लॉक होते हैं)। फिर से, PENN ने मानक तरीकों और XGBoost जैसे अन्य लोकप्रिय उपकरणों से बेहतर प्रदर्शन किया।

मुख्य निष्कर्ष

जब डेटा गायब होता है, तो उसके गायब होने का तथ्य भी एक जानकारी है।

पुराना AI: गायब होने की अनदेखी करता है या इसे ठीक किए जाने वाले एक साधारण त्रुटि के रूप में मानता है।
PENN: गायब होने को एक सुराग (clue) के रूप में मानता है। यह गायब डेटा के पैटर्न को समझने के लिए एक विशेष "अनुवादक" का उपयोग करता है और उस समझ को सीधे निर्णय लेने की प्रक्रिया में डाल देता है।

परिणामस्वरूप, एक स्मार्ट, अधिक मजबूत AI प्राप्त होता है जो अपने सेंसर के खराब होने पर भी भ्रमित नहीं होता।

तकनीकी सारांश: मिसिंग कोवेरियेट्स के लिए नॉनपैरामीट्रिक रिग्रेशन हेतु पैटर्न एम्बेडेड न्यूरल नेटवर्क

समस्या का परिवेश
यह शोध पत्र बहुभिन्नरूपी (multivariate) नॉनपैरामीट्रिक रिग्रेशन में एक चुनौती को संबोधित करता है जहाँ कोवेरियेट्स (covariates) में लुप्त मान (missing values) होते हैं। पूर्व के कार्य जो अक्सर 'मिसिंग कम्पलीटली एट रैंडम' (MCAR) मानते हैं या विशिष्ट पैरामीट्रिक मिसिंग मॉडल पर निर्भर करते हैं, उनके विपरीत यह अध्ययन एक सामान्य परिवेश पर विचार करता है जहाँ मिसिंगनेस मैकेनिज्म मनमाना (arbitrary) हो सकता है और कोवेरियेट्स पर निर्भर हो सकता है (Missing Not At Random, MNAR)। लक्ष्य भविष्यवाणी करना है: बेयस रिग्रेशन फंक्शन $f^\star(z, \omega) = \mathbb{E}(Y | Z=z, \Omega=\omega)$ का अनुमान लगाना, जहाँ $Z$ इमप्यूटेड (imputed) कोवेरियेट्स को दर्शाता है और $\Omega$ रेवलेशन वेक्टर (observation indicators) को दर्शाता है जो यह बताता है कि कौन सी प्रविष्टियाँ देखी गई हैं।

एक केंद्रीय कठिनाई जो पहचानी गई है वह यह है कि जबकि रेवलेशन वेक्टर्स मिसिंगनेस की संरचना के संबंध में महत्वपूर्ण भविष्य कहनेवाला (predictive) सूचना रखते हैं, इमप्यूटेड कोवेरियेट्स के साथ उन्हें एक न्यूरल नेटवर्क के इनपुट के रूप में सीधे जोड़ने से अक्सर खराब प्रदर्शन होता है। इसका कारण आयाम $d$ के साथ संभावित ऑब्जर्वेशन पैटर्न्स की घातांकीय वृद्धि ( $2^d$ ) है, जिससे ओवरफिटिंग होती है, और हाइपरक्यूब $\{0,1\}^d$ की यूक्लिडियन ज्यामिति और वास्तविक प्रेडिक्टिव संरचना के बीच असंतुलन होता है।

कार्यप्रणाली: पैटर्न एम्बेडेड न्यूरल नेटवर्क (PENNs)
लेखक पैटर्न एम्बेडेड न्यूरल नेटवर्क (PENNs) का प्रस्ताव करते हैं, जो एक नवीन आर्किटेक्चर है जिसे विशिष्ट इमप्यूटेशन तकनीकों पर निर्भर किए बिना ऑब्जर्वेशन पैटर्न्स को डीप लर्निंग फ्रेमवर्क में एकीकृत करने के लिए डिज़ाइन किया गया है। PENN एस्टिमेटर का रूप इस प्रकार है:
$\hat{f}(z, \omega) = f_3(f_1(z), f_2(\omega))$
जहाँ:

$f_1$ : एक न्यूरल नेटवर्क जो इमप्यूटेड कोवेरियेट्स $z$ के लिए एक फीचर मैप के रूप में कार्य करता है।
$f_2$ : एक न्यूरल नेटवर्क जो रेवलेशन वेक्टर्स $\omega$ के लिए एक एम्बेडिंग फंक्शन के रूप में कार्य करता है। यह उच्च-आयामी, असतत (discrete) ऑब्जर्वेशन पैटर्न्स को एक निम्न-आयामी निरंतर स्थान (continuous space) में मैप करता है जहाँ ज्यामितीय निकटता प्रेडिक्टिव व्यवहार में समानता को दर्शाती है।
$f_3$ : एक अंतिम न्यूरल नेटवर्क जो प्रेडिक्शन उत्पन्न करने के लिए सीखे गए कोवेरियेट फीचर्स और पैटर्न एम्बेडिंग्स को जोड़ता है।

यह दृष्टिकोण मॉडल को समान ऑब्जर्वेशन पैटर्न्स के बीच "शक्ति उधार लेने" (borrow strength) की अनुमति देता है, जिससे रेवलेशन वेक्टर्स की जानकारी को प्रभावी ढंग से संकुचित (compress) किया जाता है। यह विधि किसी भी मौजूदा इमप्यूटेशन तकनीक (जैसे Mean Imputation, MissForest, MICE) के साथ संगत है जिसे प्रशिक्षण से पहले लागू किया गया हो।

सैद्धांतिक योगदान
यह शोध पत्र PENN एस्टिमेटर का एक कठोर सैद्धांतिक विश्लेषण प्रदान करता है, जो डेटा जनरेशन और मिसिंगनेस मैकेनिज्म के बीच स्वतंत्रता की धारणा के बिना परिमित-नमूना (finite-sample) अतिरिक्त जोखिम सीमाएं (excess risk bounds) स्थापित करता है।

ओरेकल इनइक्वालिटी (Oracle Inequality): एक सामान्य ओरेकल इनइक्वालिटी व्युत्पन्न की गई है, जो अतिरिक्त जोखिम को ऑप्टिमाइज़ेशन, एप्रोक्सिमेशन और एस्टिमेशन एरर टर्म्स में विभाजित करती है। यह किसी भी न्यूरल नेटवर्क एस्टिमेटर और सब-गौसियन रिस्पॉन्स के लिए मान्य है।
मिनिमैक्स इष्टतमता (Minimax Optimality): एक "पीसवाइज स्मूथनेस" धारणा (Assumption 1) के तहत, बेयस रिग्रेशन फंक्शन को उन सेल्स (cells) में विभाजित किया जाता है जहाँ फंक्शन समान व्यवहार करता है। प्रत्येक सेल के भीतर, फंक्शन एक कंपोजिशनल हॉल्डर क्लास (compositional Hölder class) से संबंधित होता है।
- Theorem 2 अतिरिक्त जोखिम पर एक ऊपरी सीमा स्थापित करता है। यह सीमा प्रत्येक सेल के विभाजन के लिए ज्ञात मिनिमैक्स दरों का एक भारित औसत है, जिसे उस सेल के प्रभावी नमूना आकार द्वारा स्केल किया गया है। महत्वपूर्ण रूप से, यह दर तब प्राप्त की जाती है जैसे कि विभाजन पहले से ज्ञात हो, केवल नमूना आकार के पॉली-लॉगारिदमिक कारक तक।
- Theorem 3 एक मिलान वाली मिनिमैक्स निचली सीमा (lower bound) प्रदान करता है, जो पुष्टि करता है कि PENN एस्टिमेटर इस समस्या सेटिंग के लिए इष्टतम अभिसरण दर (convergence rate) प्राप्त करता है।
नवीनता: सिद्धांत ऑब्जर्वेशन पैटर्न्स के विभाजनों के लिए F-सेपरेबिलिटी (F-separability) की अवधारणा पेश करता है, जो पैटर्न के उन समूहों को सीखने की अनुमति देता जो समान रिग्रेशन फंक्शन साझा करते हैं। यह $2^d$ संभावित मिसिंगनेस पैटर्न्स से जुड़ी "डायमेंशनलिटी का अभिशाप" (curse of dimensionality) को संबोधित करता है।

अनुभवजन्य परिणाम (Empirical Results)
सिम्युलेटेड, सेमी-सिंथेटिक और वास्तविक दुनिया के डेटासेट पर व्यापक संख्यात्मक प्रयोग किए गए:

सिम्युलेटेड डेटा: चार मॉडलों पर, जो विभिन्न सहसंबंधों के साथ MCAR और MNAR परिदृश्यों को कवर करते हैं, PENNs ने मानक न्यूरल नेटवर्क (पैटर्न एम्बेडिंग के बिना इमप्यूटेड डेटा पर प्रशिक्षित) और XGBoost एवं रैंडम फॉरेस्ट की तुलना में लगातार बेहतर प्रदर्शन किया। सुधार विशेष रूप से MNAR सेटिंग्स में नाटकीय था जहाँ मानक तरीके संघर्ष कर रहे थे।
सेमी-सिंथेटिक डेटा: CT रिलेटिव लोकेशन डेटासेट (रिग्रेशन) और MNIST (वर्गीकरण) पर प्रयोगों ने दिखाया कि PENNs ने बेसलाइन्स की तुलना में प्रेडिक्शन एरर (अनुपात में अनस्पलेड वेरिएंस और मिसक्लासिफिकेशन एरर द्वारा मापा गया) को काफी कम कर दिया, विशेष रूपकर MNAR तंत्र के तहत।
वास्तविक डेटा: क्रेडिट स्कोर प्रीडिक्शन डेटासेट पर, जिसमें अंतर्निहित मिसिंगनेस थी, PENNs ने मानक न्यूरल नेटवर्क और ट्री-आधारित विधियों की तुलना में सुसंगत और उल्लेखनीय सुधार दिखाया।
विज़ुअलाइज़ेशन: सीखे गए ऑब्जर्वेशन पैटर्न के एम्बेडिंग्स ने प्रकट किया कि नेटवर्क ने समान प्रेडिक्टिव व्यवहार वाले पैटर्न्स को सफलतापूर्वक क्लस्टर किया, जो इस सैद्धांतिक आधार की पुष्टि करता है कि एम्बेडिंग प्रासंगिक संरचनात्मक जानकारी को कैप्चर करती है।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य सामान्य मिसिंगनेस मैकेनिज्म के तहत मल्टीवेरिएट नॉनपैरामीट्रिक रिग्रेशन के लिए मिनिमैक्स इष्टतमता गारंटी प्रदान करने वाला पहला कार्य है। इस कार्य का महत्व निम्नलिखित में निहित है:

पद्धतिगत नवाचार: डीप लर्निंग में मिसिंगनेस को संभालने के लिए पैटर्न एम्बेडिंग को एक तंत्र के रूप में पेश करना, जो इमप्यूटेशन-आधारित दृष्टिकोणों और मिसिंगनेस इंडिकेटर्स के प्रत्यक्ष मॉडलिंग के बीच के अंतर को पाटता है।
सैद्धांतिक कठोरता: यह सिद्ध करना कि यदि रिग्रेशन फंक्शन पीसवाइज कंपोजिशनल स्मूथनेस प्रदर्शित करता है, तो PENNs इष्टतम अभिसरण दर प्राप्त कर सकते हैं।
व्यावहारिक उपयोगिता: यह प्रदर्शित करना कि यह विधि मानक इमप्यूटेशन टूल्स के साथ सुदृढ़ (robust) है, और सिंथेटिक तथा वास्तविक दुनिया के परिदृश्यों में मौजूदा अत्याधुनिक (state-of-the-art) विधियों पर पर्याप्त अनुभवजन्य लाभ प्रदान करती है।

निष्कर्षतः, PENNs मिसिंग कोवेरियेट्स के साथ डीप लर्निंग के लिए एक सिद्धांतपूर्ण और प्रभावी समाधान प्रदान करते हैं, जो मिसिंगनेस इंडिकेटर्स को केवल अतिरिक्त कच्चे फीचर्स के रूप में मानने की सीमाओं को पार करते हैं।

एक बड़ी समस्या: "गायब टुकड़ों" की पहेली

समाधान: पैटर्न एम्बेडेड न्यूरल नेटवर्क (PENN)

यह क्यों महत्वपूर्ण है: "शोर" (Noise) की समस्या

प्रमाण: सिद्धांत और प्रयोग

मुख्य निष्कर्ष

इसी तरह के और पेपर