📊 statistics

Distributionally Faithful Imputation via Positive Semi-Definite Kernel Density Estimation

यह शोध पत्र PSD Impute को प्रस्तुत करता है, जो एक वितरण-सत्यतापूर्ण (distributionally faithful) प्रतिस्थापन विधि है जो सांख्यिकीय निरंतरता और प्रतिबंधात्मक पैरामीट्रिक धारणाओं के बिना प्रतिस्पर्धी सटीकता प्राप्त करने के लिए धनात्मक अर्ध-निश्चित (positive semi-definite) कर्नेल का उपयोग करके लुप्त मान रिकवरी को एक उत्तल घनत्व अनुमान समस्या के रूप में तैयार करता है।

मूल लेखक: Andrea Basteri, Carlo Ciliberto, Alessandro Rudi

प्रकाशित 2026-07-10

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrea Basteri, Carlo Ciliberto, Alessandro Rudi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को सुलझाने की कोशिश कर रहे हैं, लेकिन किसी ने चित्र के बड़े हिस्से फाड़ दिए हैं। शायद आसमान से कुछ टुकड़े गायब हैं, समुद्र से कुछ और पेड़ों से कुछ। आपका लक्ष्य उन खाली जगहों को भरना है ताकि चित्र फिर से वास्तविक दिखाई दे सके।

दशकों से, वैज्ञानिक इन गायब टुकड़ों को ठीक करने के लिए विभिन्न तरीकों का उपयोग करने की कोशिश कर रहे हैं। कुछ तरीके गायब जगह के लिए केवल एक "औसत" रंग का अनुमान लगाते हैं। यदि पेड़ की एक शाखा गायब है, तो वे वहां एक सामान्य हरा धब्बा बना सकते हैं। समस्या यह है कि वास्तविक जीवन केवल औसतों के बारे में नहीं है। एक पेड़ की शाखा का एक विशिष्ट आकार होता है, और हवा उसे एक तरफ झुका सकती है। यदि आप केवल औसत को पेंट करते हैं, तो आप पूरे चित्र की कहानी खो देते हैं। हो सकता है कि आपको रंग सही मिल जाएं, लेकिन टुकड़ों के बीच के संबंध—जैसे कि बादल पहाड़ों को कैसे छूते हैं—सब गलत हो जाएं।

कंप्यूटर में गायब डेटा के साथ भी यही समस्या है। पुराने तरीके अक्सर गायब संख्या के लिए केवल एक "सर्वश्रेष्ठ अनुमान" प्राप्त करने पर ध्यान केंद्रित करते हैं, और इस बात को नजरअंदाज कर देते हैं कि वह संख्या अन्य चीजों से कैसे जुड़ती है। वे डेटा को एक जीवित, सांस लेते हुए तंत्र के बजाय अलग-थलग तथ्यों की एक सूची की तरह मानते हैं।

नया दृष्टिकोण: एक "आकार बदलने वाला" बादल

इस शोध पत्र के लेखक, एंड्रिया बास्टेरी, कार्लो सिलिबर्टो और अलेस्सांद्रो रूडी, इस पहेली को खेलने का एक अलग तरीका प्रस्तावित करते हैं। एकल संख्याओं का अनुमान लगाने के बजाय, वे गायब चित्र के पूरे आकार को फिर से बनाना चाहते हैं।

वे अपने तरीके को PSD-Impute कहते हैं। यह कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:

कल्पना कीजिए कि आपके पास जो डेटा है (वे टुकड़े जिन्हें आप देख सकते हैं) वे एक रहस्यमय 3D वस्तु द्वारा डाली गई छायाओं का एक सेट हैं। आप वस्तु को स्वयं नहीं देख सकते क्योंकि उसका कुछ हिस्सा पर्दे के पीछे छिपा हुआ है (गायब डेटा)। हालाँकि, आप जानते हैं कि दीवार पर पड़ने वाली छायाएं वस्तु के साथ बिल्कुल मेल खानी चाहिए।

लेखकों की विधि पर्दे के पीछे के पूर्ण रूप से फिट होने वाले संभावनाओं के एक "बादल" को बनाने की कोशिश करती है। यह बादल एक विशेष प्रकार के गणितीय कोहरे से बना है जिसे पॉजिटिव सेमी-डेफिनिट (PSD) कर्नेल डेंसिटी कहा जाता है।

जादुई कोहरा: इस कोहरे को एक लचीली, खिंचने वाली चादर के रूप में सोचें जो किसी भी आकार में ढल सकती है। पुराने तरीकों के विपरीत, जो कोहरे को एक आदर्श गोले (जैसे गेंद) या एक सपाट शीट के रूप में मजबूर करते हैं, यह कोहरा वास्तविक दुनिया के डेटा के अजीब और जटिल आकारों से मेल खाने के लिए मुड़ और घूम सकता है।
एक सटीक फिट: यह विधि इस कोहरे को तब तक समायोजित करती है जब तक कि इसकी "परछाइयाँ" (डेटा के वे हिस्से जिन्हें हम देख सकते हैं) आपके पहेली के वास्तविक सायों से पूरी तरह मेल न खा जाएं। यह केवल एक संख्या का अनुमान नहीं लगाता; यह इस बात के पूरे वितरण (distribution) को सीखता है कि डेटा कैसे व्यवहार करता है।
गणितीय ट्रिक: लेखकों ने इस फिटिंग प्रक्रिया को "कॉन्वेक्स" (convex) बनाने का एक चतुर तरीका खोजा है। सरल शब्दों में, इसका अर्थ है कि पूर्ण समाधान की ओर जाने वाला रास्ता एक चिकने कटोरे में लुढ़कती गेंद की तरह है। आप जहाँ से भी शुरू करें, गेंद हमेशा सबसे निचले बिंदु (सर्वश्रेष्ठ उत्तर) तक ही जाएगी बिना कहीं अटके। यह एक बहुत बड़ी बात है क्योंकि कई अन्य तरीके स्थानीय जाल (local traps) में फंस जाते हैं, यह सोचकर कि उन्होंने सबसे अच्छा उत्तर पा लिया है जबकि वे वास्तव में नहीं पाते।

वे क्या नहीं करते (और क्यों)

यह शोध पत्र स्पष्ट रूप से बताता है कि यह विधि क्या नहीं है।

यह केवल औसत मान की भविष्यवाणी नहीं करती है। यदि आपके पास ऊंचाई और वजन का डेटासेट है, तो यह केवल यह नहीं बताएगी कि "गायब व्यक्ति की ऊंचाई 5'10" है।" बल्कि यह बताएगी कि संभावित ऊंचाइयों और वजनों की रेंज क्या है और वे आपस में कैसे जुड़े हुए हैं।
यह इस धारणा पर निर्भर नहीं करती है कि सब कुछ एक पूर्ण बेल कर्व (एक "नॉर्मल" वितरण) का पालन करता है। वास्तविक जीवन अव्यवत् है, और यह विधि उस अव्यवस्था को स्वीकार करती है।
यह उन डीप न्यूरल नेटवर्क का उपयोग नहीं करती है जिन्हें प्रशिक्षित करना कठिन है और जो हर बार चलाने पर अलग-अलग उत्तर दे सकते हैं। यह विधि स्थिर और नियत (deterministic) है।

वे कितने आश्वस्त हैं?

लेखकों ने अपने दावों को पुख्ता करने के लिए बहुत होमवर्क किया है:

सिद्धांत: उन्होंने गणितीय रूप से सिद्ध किया है कि जैसे-जैसे हमारे पास अधिक डेटा आता है, उनका "कोहरा" गायब चित्र के वास्तविक आकार के और करीब पहुंच जाता है। उन्होंने दिखाया कि त्रुटि (error) एक विशिष्ट, तेज़ दर से घटती है, भले ही डेटा में कई आयाम (कई अलग-अलग चर) हों।
प्रयोग: उन्होंने इसे एक सिंथेटिक डेटासेट (एक बनाया हुआ पहेली) और ग्यारह वास्तविक दुनिया के डेटासेट पर परखा। इन परीक्षणों में, उनकी विधि ने सुझाव दिया कि यह लोकप्रिय मौजूदा उपकरणों की तुलना में "संयुक्त संरचना" (चरों के बीच के संबंध) को बेहतर ढंग से पुनरुत्पादित कर सकती है।
चेतावनी: हालांकि गणित ठोस है, वास्तविक दुनिया के परिणामों को "प्रारंभिक प्रयोग" के रूप में वर्णित किया गया है। लेखक सुझाव देते हैं कि इस विधि में "मजबूत व्यावहारिक क्षमता" है, लेकिन उन्होंने अभी तक यह दावा नहीं किया है कि यह दुनिया की हर समस्या को हल कर देती है। वे अभी भी इसे तेज़ बनाने और और भी जटिल गायब डेटा पैटर्न को संभालने पर काम कर रहे हैं।

परिणाम: एक मॉडल, दो उपयोग

चूंकि यह विधि डेटा के पूर्ण "कोहरे" का निर्माण करती है, इसलिए यह अविश्वसनीय रूप से बहुमुखी है।

सिंगल इम्प्यूटेशन (Single Imputation): यदि आपको केवल एक अंतराल को भरने के लिए एक संख्या की आवश्यकता है, तो आप कोहरे के "केंद्र" को ले सकते हैं।
मल्टीपल इम्प्यूटेशन (Multiple Imputation): यदि आपको अनिश्चितता (आप अंतराल के बारे में कितने निश्चित हैं) को समझने की आवश्यकता है, तो आप कोहरे से विभिन्न बिंदुओं का नमूना (sample) ले सकते हैं। यह आपको गायब चित्र के कई अलग-अलग, यथार्थवादी संस्करण प्रदान करता है, जो उन वैज्ञानिकों के लिए महत्वपूर्ण है जिन्हें यह जानने की आवश्यकता है कि वे अपने परिणामों पर कितना भरोसा कर सकते हैं।

संक्षेप में

यह शोध पत्र सुझाव देता है कि गायब डेटा को "परछाइयों" की एक पहेली के रूप में मानकर और अंतराल को भरने के लिए एक लचीले, गणितीय रूप से स्थिर "कोहरे" का उपयोग करके, हम पहले की तुलना में डेटा के वास्तविक आकार को बहुत बेहतर तरीके से पुनः प्राप्त कर सकते हैं। यह कंप्यूटर विश्लेषण को चीजों के बीच के संबंधों के प्रति अधिक ईमानदार बनाने की दिशा में एक कदम है, न कि केवल औसतों के साथ रिक्त स्थानों को भरने की ओर। गणित सही है, शुरुआती परीक्षण आशाजनक दिखते हैं, और यह विधि गायब जानकारी की जटिल वास्तविकता को संभालने का एक नया, विश्वसनीय तरीका प्रदान करती है।

तकनीकी सारांश: पॉजिटिव सेमी-डेफिनिट कर्नेल डेंसिटी एस्टीमेशन के माध्यम से वितरण संबंधी निष्ठापूर्ण इम्प्यूटेशन (Imputation)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र सांख्यिकीय अनुमान और मशीन लर्निंग में लुप्त डेटा (missing data) की चुनौती को संबोधित करता है। जबकि लुप्त मान (missing values) सर्वव्यापी हैं, मौजूदा इम्प्यूटेशन विधियाँ अक्सर ह्यूरिस्टिक्स या प्रतिबंधात्मक पैरामीट्रिक धारणाओं (जैसे कि मल्टीवेरिएट नॉर्मलिटी) पर निर्भर करती हैं जो वास्तविक संयुक्त डेटा वितरण (joint data distribution) को पकड़ने में विफल रहती हैं। इसके अलावा, लोकप्रिय मेट्रिक्स जैसे कि रूट-मीन-स्क्वायर एरर (RMSE), पॉइंटवाइज भविष्यवाणियों (कंडीशनल मीन्स) को पुरस्कृत करते हैं लेकिन मल्टीवेरिएट डिपेंडेंसी और अनिश्चितता की अनदेखी करते हैं।

लेखक मिसिंग कम्प्लीटली एट रैंडम (MCAR) तंत्र पर ध्यान केंद्रित करते हैं। वे इम्प्यूटेशन समस्या को एक रिग्रेशन कार्य के रूप में नहीं, बल्कि मास्क्ड ऑब्जर्वेशन से डेंसिटी एस्टीमेशन समस्या के रूप में पुनर्गठित करते हैं। मुख्य उद्देश्य एक ऐसे वितरण $p$ का अनुमान लगाना है जिसके अवयव (marginals) डेटा के देखे गए मार्जिनल्स के साथ सटीक रूप से मेल खाते हों। औपचारिक रूप से, दिए गए वास्तविक डेटा-जनरेटिंग डेंसिटी $p^\star$ और मास्क वितरण $\mu$ के लिए, लक्ष्य एक ऐसा $p$ खोजना है कि $\mu$ -लगभग हर मास्क $S$ के लिए $p_S = p^\star_S$ हो।

लर्निंग ऑब्जेक्टिव को मास्क्ड कुलबैक-लीब्लर (KL) रिस्क को कम करने के रूप में परिभाषित किया गया है:
$L(p) := \sum_{S \subseteq [d]} \mu(S) \text{KL}(p^\star_S \parallel p_S)$
यह फॉर्मूलेशन सुनिश्चित करता है कि इम्प्यूटेड डेटा ग्राउंड ट्रुथ की संयुक्त संरचना को पुनरुत्पादित करे, जिससे सिंगल और मल्टीपल दोनों प्रकार के इम्प्यूटेशन संभव हो सकें।

2. कार्यप्रणाली: PSD-Impute

प्रस्तावित समाधान, PSD-Impute, पॉजिटिव सेमी-डेफिनिट (PSD) कर्नेल डेंसिटीज का लाभ उठाता है ताकि नॉन-कॉन्वेक्स डेंसिटी एस्टीमेशन समस्या को एक कॉन्वेक्स ऑप्टिमाइज़ेशन कार्य में बदला जा सके, जिसमें क्लोज्ड-फॉर्म मार्जिनल्स होते हैं।

2.1 मॉडल

यह विधि एक गॉसियन कर्नेल $k_\eta(x, x') = \exp(-\eta \|x - x'\|^2)$ और एंकर पॉइंट्स $W = \{w_1, \dots, w_\ell\}$ से प्राप्त फीचर मैप $\phi(x)$ का उपयोग करके डेंसिटी $p(x)$ का अनुमान लगाती है। डेंसिटी को एक PSD मैट्रिक्स $Q \in \mathbb{S}^d_+$ द्वारा पैरामीटराइज किया जाता है:
$p_Q(x) = \phi(x)^\top Q \phi(x)$
$p_Q$ को एक वैध प्रोबेबिलिटी डेंसिटी सुनिश्चित करने के लिए, इसे मोमेंट मैट्रिक्स $H = \int \phi(x)\phi(x)^\top dx$ के माध्यम से नॉर्मलाइज़ किया जाता है, जो $\text{Tr}(QH) = 1$ का प्रतिबंध लगाता है।

2.2 मुख्य गुण

PSD कर्नेल डेंसिटी का चयन चार गुणों द्वारा प्रेरित है:

यूनिवर्सलिटी (Universality): यदि एंकरों की संख्या $\ell \to \infty$ हो, तो यह मॉडल क्लास किसी भी निरंतर डेंसिटी का अनुमान लगा सकती है।
क्लोज्ड-फॉर्म मार्जिनल्स (Closed-Form Marginals): मानक कर्नेल डेंसिटी एस्टिमेटर्स के विपरीत, PSD डेंसिटीज के मार्जनल्स को विश्लेषणात्मक रूप से (analytically) निकाला जा सकता है। एक सबसेट $S$ के लिए, मार्जिनल है:
$p_{Q,S}(x_S) = c_{2\eta}^{N_S} \text{Tr}(Q (K_S(x_S) \circ H_{N_S}))$
जहाँ $K_S$ एक रैंक-वन कर्नेल मैट्रिक्स है और $H_{N_S}$ केवल अनऑब्जर्व्ड डाइमेंशन्स पर निर्भर एक प्री-कंप्यूटेबल मैट्रिक्स है।
कॉन्वेक्सिटी (Convexity): मास्क्ड ऑब्जर्वेशन का नेगेटिव लॉग-लाइक्लीहुड $Q$ के संबंध में कॉन्वेक्स है।
इष्टतम सन्निकटन (Optimal Approximation): यह फैमिली स्मूथ डेंसिटीज के लिए मिनिमैक्स ऑप्टिमल रेट्स प्राप्त करती है, जो नॉन-नेगेटिव कर्नेल हिस्टोग्राम से जुड़ी 'कर्स ऑफ डाइमेंशनलिटी' की बाधाओं को तोड़ती है।

2.3 ऑप्टिमाइज़ेशन

एम्पिरिकल रिस्क मिनिमाइजेशन समस्या को इस प्रकार तैयार किया गया है:
$\min_{Q \succeq 0, \text{Tr}(QH)=1} \left[ -\frac{1}{N} \sum_{i=1}^N \log \text{Tr}(Q A_i) + \lambda \text{Tr}(Q A_0) \right]$
जहाँ $A_i$ ऑब्जर्व्ड मास्क $S_i$ और एंकर पॉइंट्स से प्राप्त एक डेटा-डिपेंडेंट मैट्रिक्स है। $\lambda \text{Tr}(Q A_0)$ टर्म एक रेगुलराइज़र (जो RKHS नॉर्म को नियंत्रित करता है) के रूप में कार्य करता है, और पॉजिटिव सेमी-डेफिनेटनेस को लागू करने के लिए एक लॉग-डेट (log-det) बैरियर का उपयोग किया जाता है।

लेखक इसे एक डैम्प्ड न्यूटन इंटीरियर-पॉइंट मेथड का उपयोग करके हल करते हैं। शामिल मैट्रिसेस की क्रोनेकर संरचना (Kronecker structure) का लाभ उठाकर, एल्गोरिदम कुशलतापूर्वक स्केल करता है, जिससे स्टोकेस्टिक ट्रिक्स या नॉन-कॉन्वेक्स ट्रेनिंग की आवश्यकता नहीं पड़ती।

3. सैद्धांतिक गारंटी (Theoretical Guarantees)

यह शोध पत्र एस्टिमेटर $\hat{p}$ के लिए सांख्यिकीय स्थिरता (statistical consistency) और कन्वर्जेंस रेट स्थापित करता है:

कंसिस्टेंसी (Consistency): एस्टिमेटर मास्क्ड KL रिस्क के संदर्भ में वास्तविक डेंसिटी $p^\star$ की ओर अभिसरित (converge) होता है।
कन्वर्जेंस रेट (Convergence Rate): हॉल्डर स्मूथनेस ( $s$ ) और कॉम्पैक्ट सपोर्ट के तहत, एक्स्ट्रास रिस्क बाउंड $O(N^{-s/(6s+2d)})$ है।
डाइमेंशनलिटी (Dimensionality): दर (rate) डेटा के वितरण की नियमितता (regularity) के अनुकूल होती है, जो बहुत नियमित प्रोबेबिलिटी के लिए 'कर्स ऑफ डाइमेंशनलिटी' को मात देने का एक तरीका प्रदान करती है।
प्रूफ स्ट्रैटेजी (Proof Strategy): विश्लेषण त्रुटि को एक लर्निंग एरर (सीमित नमूनों से $Q$ का अनुमान लगाना) और एक एप्रोक्सिमेशन एरर (यह कि PSD क्लास $p^\star$ का कितनी अच्छी तरह से सन्निकटन करती है) में विभाजित करता है, और फिर उन्हें अलग-अलग बाउंड करते हुए संयोजित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक एक सिंथेटिक डेटासेट और ग्यारह वास्तविक दुनिया के डेटासेट्स पर प्रारंभिक प्रयोगों की रिपोर्ट करते हैं।

प्रदर्शन (Performance): PSD-Impute लोकप्रिय बेसलाइन्स (MICE, missForest, और डीप जेनेरेटिव मॉडल्स सहित) की तुलना में प्रतिस्पर्धी वितरण सटीकता (distributional accuracy) प्रदर्शित करता है।
मेट्रिक्स (Metrics): मूल्यांकन केवल RMSE के बजाय वितरण संबंधी मेट्रिक्स (एनर्जी डिस्टेंस, ऑप्टिमल ट्रांसपोर्ट) पर केंद्रित है, जो दिखाता है कि PSD-Impute डेटा की संयुक्त संरचना को बेहतर ढंग से संरक्षित करता है।
क्षमताएं (Capabilities): फिट की गई सिंगल डेंसिटी सफलतापूर्वक सिंगल इम्प्यूटेशन (कंडीशनल मीन्स के माध्यम से) और मल्टीपल इम्प्यूटेशन (सैंपलिंग के माध्यम से) दोनों को उत्पन्न करती है, जो इन दोनों दृष्टिकोणों को एकीकृत करती है।

5. महत्व और योगदान (Significance and Contributions)

यह शोध पत्र यह दावा करते हुए साहित्य के एक महत्वपूर्ण अंतर को भरता है कि यह एक ऐसी विधि प्रदान करता है जो एक साथ:

लचीली (Flexible) है: गॉसियन या लो-रैंक धारणाओं से मुक्त।
वितरण संबंधी सिद्धांतों पर आधारित (Distributionally Principled) है: पॉइंटवाइज एरर के बजाय संयुक्त वितरण के लिए ऑप्टिमाइज़ करती है।
कॉन्वेक्स (Convex) है: कॉन्वेक्स ऑप्टिमाइज़ेशन में निहित, जो ग्लोबल ऑप्टिमा की गारंटी देता है।
गणना के अनुकूल (Computationally Feasible) है: स्ट्रक्चर्ड न्यूटन स्टेप्स के माध्यम से मध्यम CPU पर हल करने योग्य।

लेखक इस कार्य को "सिद्धांत-आधारित, वितरण-जागरूक मिसिंग डेटा उपचार" की दिशा में एक कदम के रूप में प्रस्तुत करते हैं। वे उल्लेख करते हैं कि हालांकि वर्तमान कार्य MCAR पर केंद्रित है, लेकिन मैक्सिमम लाइक्लीहुड फ्रेमवर्क स्वाभाविक रूप से MAR सेटिंग्स तक विस्तारित होता है। भविष्य के दिशा-निर्देशों में MAR/MNAR तक विस्तार करना, एंकर सिलेक्शन को तेज करना, और हाई-डायमेंशनल डेटा जैसे इमेज या टेक्स्ट के लिए डीप कर्नेल्स के साथ PSD मॉडल्स को जोड़ना शामिल है।

शोध पत्र निष्कर्ष निकालता है कि हालांकि आगे की इंजीनियरिंग की आवश्यकता है, लेकिन सैद्धांतिक गारंटी और प्रारंभिक अनुभवजन्य परिणाम PSD-Impute के लिए मजबूत व्यावहारिक संभावना का सुझाव देते हैं, विशेष रूप से उन परिदृश्यों में जहाँ डेटा के सांख्यिकीय गुणों को संरक्षित करना सर्वोपरि है।