📊 statistics

Order-Agnostic Autoregressive Modelling with Missing Data

यह शोध पत्र मिसिंगनेस-अवेयर ऑर्डर-एग्नोस्टिक ऑटोरेग्रेसिव मॉडल्स (MO-ARM) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो सामान्य मिसिंगनेस मैकेनिज्म के तहत सुदृढ़ इम्प्यूटेशन (imputation) को सक्षम करने और सक्रिय सूचना प्राप्ति को सुगम बनाने के लिए मिसिंग डेटा के दृष्टिकोण से ऑर्डर-एग्नोस्टिक ऑटोरेग्रेसिव मॉडल्स की पुनर्व्याख्या करता है, और वास्तविक दुनिया के बेंचमार्क पर मौजूदा बेसलाइन्स से लगातार बेहतर प्रदर्शन करता है।

मूल लेखक: Ignacio Peis, Pablo M. Olmos, Jes Frellsen

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ignacio Peis, Pablo M. Olmos, Jes Frellsen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल जिग्सॉ पज़ल (jigsaw puzzle) सुलझाने की कोशिश कर रहे हैं, लेकिन किसी ने उसके आधे टुकड़े निकाल दिए हैं। वास्तविक दुनिया में ऐसा अक्सर होता है: एक सेंसर टूट जाता है, एक मरीज़ फॉर्म भरना भूल जाता है, या एक फ़ाइल करप्ट हो जाती है। आमतौर पर, कंप्यूटर इन "लापता टुकड़ों" के साथ संघर्ष करते हैं। वे या तो अंधे होकर अनुमान लगाते हैं, या अधूरे डेटा को फेंक देते हैं, या इस बात को लेकर भ्रमित हो जाते हैं कि तस्वीर वास्तव में कैसी दिखनी चाहिए।

यह पेपर कंप्यूटरों के लिए इन लापता पज़ल टुकड़ों को संभालने का एक नया तरीका पेश करता है जिसे MO-ARM कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है।

1. पुराना तरीका: "कठोर क्रम" की समस्या

पारंपरिक AI मॉडल जो डेटा को समझने की कोशिश करते हैं, वे एक बहुत ही सख्त शेफ (chef) की तरह होते हैं जो केवल एक विशिष्ट क्रम में सैंडविच बनाने पर अड़ा रहता है: पहले ब्रेड, फिर चीज़, फिर हैम, और फिर ब्रेड। यदि आप शेफ को केवल हैम और दूसरी ब्रेड का टुकड़ा देते हैं, तो शेफ घबरा जाता है। वे सैंडविच नहीं बना सकते क्योंकि "पहले ब्रेड" वाला नियम टूट गया है।

तकनीकी शब्दों में, ये ऑटोरिग्रेसिव मॉडल्स (Autoregressive Models) हैं। वे पिछले डेटा के आधार पर अगले डेटा के टुकड़े की भविष्यवाणी करते हैं, लेकिन वे एक एकल, निश्चित क्रम में बंधे होते हैं। यदि बीच में डेटा गायब हो जाता है, तो वह श्रृंखला टूट जाती है।

2. नया विचार: "क्रम-निरपेक्ष" शेफ

लेखकों ने एक नए प्रकार के मॉडल की ओर देखा जिसे ऑर्डर-एग्नोस्टिक ऑटोरिग्रेसिव मॉडल्स (OA-ARM) कहा जाता है। कल्पना कीजिए कि एक शेफ है जिसे क्रम की परवाह नहीं है। वे हैम से शुरुआत कर सकते हैं, फिर चीज़ डाल सकते हैं, फिर ब्रेड, या ब्रेड से शुरुआत कर सकते हैं, फिर हैम, फिर चीज़, या ब्रेड से शुरुआत कर सकते हैं। वे अपना सैंडविच किसी भी रैंडम क्रम में बना सकते हैं।

इस पेपर में एक शानदार खोज की गई है: जब आप इस "ऑर्डर-एग्नोस्टिक" शेफ को एक पूर्ण सैंडविच (बिना किसी लापता टुकड़े के) पर प्रशिक्षित करते हैं, तो वे गलती से लापता टुकड़ों को भरने में माहिर हो जाते हैं।

क्यों? क्योंकि प्रशिक्षण के दौरान, शेफ को लगातार एक रैंडम टुकड़े (जैसे कि हैम) की भविष्यवाणी करने के लिए कहा जाता है, जो वर्तमान में मेज पर मौजूद अन्य टुकड़ों (शायद सिर्फ ब्रेड) के आधार पर होता है। यह बिल्कुल वैसा ही मानसिक अभ्यास है जैसा कि लापता पज़ल के टुकड़े को भरना। यह पेपर सिद्ध करता है कि यह प्रशिक्षण प्रक्रिया गणितीय रूप से "मिसिंग कम्पलीटली एट रैंडम" (Missing Completely At Random) डेटा के साथ अभ्यास करने के समान है। इसलिए, भले ही आप केवल पूर्ण डेटा पर प्रशिक्षण लें, मॉडल लापता टुकड़ों का अनुमान लगाने में विशेषज्ञ बन जाता है।

3. अपग्रेड: MO-ARM (एक "लापता होने के प्रति जागरूक" शेफ)

लेखक वहीं नहीं रुके। उन्होंने महसूस किया कि वास्तविक दुनिया में, डेटा हमेशा रैंडम तरीके से गायब नहीं होता है। कभी-कभी, डेटा इसलिए गायब होता है क्योंकि वह अपने स्वयं के मान (value) के कारण होता है (उदाहरण के लिए, थर्मामीटर विशेष रूप से तब टूट जाता है जब वह बहुत गर्म हो जाता है)। इसे "मिसिंग नॉट एट रैंडम" (MNAR) कहा जाता है।

उन्होंने MO-ARM बनाया, जो बुद्धि का एक दूसरा स्तर जोड़ता है:

शेफ: अभी भी किसी भी क्रम में सैंडविच बनाता है।
डिटेक्टिव (जासूस): मॉडल का एक नया हिस्सा जो पूछता है, "यह टुकड़ा क्यों गायब है?"

यदि मॉडल सीख जाता है कि टुकड़े "बहुत गर्म" होने के कारण गायब हैं, तो वह अपने अनुमानों को तदनुसार समायोजित करता है। यह MO-RM को जटिल, गैर-रैंडम लापता डेटा को पिछले तरीकों की तुलना में बहुत बेहतर तरीके से संभालने की अनुमति देता है।

4. सुपरपावर: "जिज्ञासु जासूस"

MO-ARM की सबसे दिलचस्प विशेषताओं में से एक इसकी यह क्षमता है कि यह तय कर सके कि आगे क्या पूछना है।

कल्पना कीजिए कि आप एक मरीज का निदान करने की कोशिश कर रहे हैं, लेकिन आप केवल कुछ ही टेस्ट करने का खर्च उठा सकते हैं। आप कोई रैंडम टेस्ट नहीं करना चाहेंगे; आप वह टेस्ट करना चाहेंगे जो आपको सबसे अधिक जानकारी दे।

MO-ARM एक सुपर-जिज्ञासु जासूस की तरह कार्य करता है। यह आपके पास मौजूद डेटा को देखता है और गणना करता है: "यदि मुझे इस एक विशिष्ट लापता वेरिएबल का मान पता चल जाए, तो मेरे अंतिम उत्तर की सटीकता में कितनी वृद्धि होगी?"
इसके बाद, यह उस विशिष्ट वेरिएबल को चुनने के लिए अगला कदम उठाता है जिसे "प्राप्त" किया जाना है।
यह बिना सोचे-समझे अनुमान लगाने के बजाय, जानकारी को कुशलतापूर्वक इकट्ठा करने के लिए चरण-दर-चरण काम करता है।

5. क्या यह काम करता है?

लेखकों ने दो बहुत अलग प्रकार के पज़ल पर इसका परीक्षण किया:

टेबुलर डेटा (Tabular Data): जैसे संख्याओं और श्रेणियों वाली स्प्रेडशीट्स (जैसे क्रेडिट कार्ड डेटा, मेडिकल रिकॉर्ड)। MO-ARM ने अन्य शीर्ष-स्तरीय AI मॉडल्स की तुलना में लापता नंबरों को लगातार बेहतर तरीके से भरा।
इमेज (Images): जैसे चेहरे की फोटो जहाँ उसके आधे पिक्सेल काले कर दिए गए हों। MO-ROM चेहरे के लापता हिस्सों को "इनपेंट" (भरने) में सक्षम था, जिससे व्यक्ति की पहचान और संरचना को अन्य तरीकों की तुलना में बेहतर ढंग से सुरक्षित रखा गया, यहाँ तक कि जब 98% इमेज गायब थी।

सारांश

संक्षेप में, यह पेपर एक लचीले AI मॉडल को लेता है जो किसी भी क्रम में सीख सकता है, यह महसूस करता है कि यह लचीलापन इसे लापता डेटा का अनुमान लगाने में एक स्वाभाविक विशेषज्ञ बनाता है, और फिर इसे यह समझने के लिए अपग्रेड करता है कि डेटा क्यों गायब है। परिणाम एक ऐसा सिस्टम है जो:

अव्यवस्थित, अधूरे डेटासेट में खाली जगहों को किसी भी अन्य की तुलना में बेहतर तरीके से भर सकता है।
सबसे कम प्रयास के साथ सबसे उपयोगी जानकारी प्राप्त करने के लिए यह तय कर सकता है कि आगे कौन सा सवाल पूछना है।

यह एक कठोर, क्रम-निर्भर AI को एक लचीले, जासूसी जैसे उपकरण में बदल देता है जो अनिश्चितता के बीच तर्क करने में सक्षम है।

तकनीकी सारांश: लुप्त डेटा के साथ ऑर्डर-अग्नोस्टिक ऑटोरेग्रेसिव मॉडलिंग (Order-Agnostic Autoregressive Modelling with Missing Data)

समस्या विवरण

वास्तविक दुनिया की लर्निंग सिस्टम अक्सर आंशिक अवलोकन (partial observability) के तहत काम करती हैं, जहाँ सेंसर दोषों, अधिग्रहण लागत, या गोपनीयता बाधाओं के कारण फीचर्स गायब हो जाते हैं। इन डोमेन में प्रभावी प्रणालियों को तीन मुख्य चुनौतियों का समाधान करना चाहिए: (i) अपूर्ण डेटा से सीखना, (ii) इन्फरेंस के समय लुप्त मानों का इम्प्यूटेशन (imputation) करना, और (iii) यह तय करना कि कौन से अनऑब्जर्व्ड वेरिएबल्स को कब प्राप्त किया जाए जब अवलोकन महंगे हों (एक्टिव फीचर एक्विजिशन)।

जबकि डीप जेनरेटिव मॉडल सैद्धांतिक रूप से एक एकीकृत दृष्टिकोण प्रदान करते हैं, मौजूदा विधियाँ महत्वपूर्ण सीमाओं का सामना करती हैं। वेरिएशनल ऑटोएनकोडर्स (VAEs) अनुमानित इन्फरेंस (approximate inference) पर निर्भर करते हैं, जो कंडीशनल सटीकता को सीमित करता है। जेनरेटिव एडवरसैरियल नेटवर्क (GANs) अक्सर ट्रैक्टेबल लाइकलीहुड (tractable likelihoods) और सिद्धांतगत कंडीशनल डेंसिटी की कमी रखते हैं। डिफ्यूजन मॉडल, हालांकि उच्च गुणवत्ता वाले सैंपल उत्पन्न करते हैं, लेकिन उन्हें पुनरावृत्ति सैंपलिंग चेन की आवश्यकता होती है और वे देखे गए वेरिएबल्स के मनमाने उपसमुच्चयों (subsets) पर सटीक रूप से कंडीशन करने में संघर्ष करते हैं। क्लासिकल ऑटोरेग्रेसिव मॉडल्स (ARMs) ट्रैक्टेबल लाइकलीहुड्स प्रदान करते हैं लेकिन एक निश्चित जनरेशन ऑर्डर पर निर्भर करते हैं, जो वेरिएबल्स के मनमाने उपसमुच्चयों पर कंडीशन करने से रोकता है।

कार्यप्रणाली: MO-ARM

लेखक मिसिंगनेस-अवेयर ऑर्डर-अग्नोस्टिक ऑटोरेग्रेसिव मॉडल्स (MO-ARM) पेश करते हैं, जो मिसिंग डेटा के नजरिए से ऑर्डर-अग्नोस्टिक ऑटोरेग्रेसिव मॉडल्स (OA-ARMs) की पुनर्व्याख्या करता है।

1. सैद्धांतिक अंतर्दृष्टि: OA-ARMs और MCAR

पेपर पहले मानक OA-ARM ट्रेनिंग और 'मिसिंग कम्पलीटली एट रैंडम' (MCAR) इम्प्यूटेशन के बीच एक सैद्धांतिक संबंध स्थापित करता है। OA-ARMs को वेरिएबल्स के रैंडम परम्यूटेशन पर प्रशिक्षित किया जाता है, जो प्रभावी रूप से जनरेशन ऑर्डर को एक लेटेंट वेरिएबल के रूप में मानता है। लेखक प्रदर्शित करते हैं कि मानक प्रशिक्षण उद्देश्य, जिसमें पहले से प्रकट किए गए वेरिएबल्स के रैंडम चयनित उपसमुच्चय के आधार पर एक वेरिएबल की भविष्यवाणी की जाती है, अप्रत्यक्ष रूप से एक MCAR करप्शन प्रक्रिया का अनुकरण करता है। फलस्वरूप, केवल पूर्णतः देखे गए डेटा पर प्रशिक्षित OA-ARMs बिना किसी संशोधन के MCAR तंत्र के तहत इम्प्यूटेशन कार्यों के लिए स्वाभाविक रूप से सामान्यीकरण (generalize) करते हैं।

2. MO-ARM फ्रेमवर्क

इस अंतर्दृष्टि के आधार पर, लेखक एक व्यवस्थित फ्रेमवर्क प्रस्तावित करते हैं जो सामान्य मिसिंगनेस मैकेनिज्म (MCAR से लेकर MNAR तक) के तहत सीधे अधूरे डेटासेट पर OA-ARMs को प्रशिक्षित करता है।

प्रोबेबिलिस्टिक फॉर्मूलेशन: मॉडल देखे गए डेटा ( $x_{z_o}$ ), लुप्त डेटा ( $x_{z_m}$ ), और मिसिंगनेस मास्क ( $z_o$ ) के संयुक्त वितरण को इस प्रकार विभाजित करता है:
$p_{\theta, \phi}(x_{z_o}, x_{z_m}, z_o) = p_\theta(x_{z_o}) p_\theta(x_{z_m} | x_{z_o}) p_\phi(z_o | x_{z_o}, x_{z_m})$
यहाँ, $p_\theta$ जेनरेटिव मॉडल (एक OA-ARM) का प्रतिनिधित्व करता है, और $p_\phi$ एक सीखा गया मिसिंगनेस मैकेनिज्म है।
ट्रेनिंग ऑब्जेक्टिव: मॉडल वेरिएशनल लोअर बाउंड (ELBO) का उपयोग करके ऑब्जर्व्ड-डेटा लॉग-लाइकेलीहुड को अधिकतम करता है।
- MCAR के लिए, मिसिंगनेस टर्म डेटा से स्वतंत्र है और इसे हटाया जा सकता है।
- MNAR के लिए, मॉडल स्पष्ट रूप से एक न्यूरल नेटवर्क द्वारा पैरामीटराइज्ड एलिमेंट-वाइज बरनौली मॉडल का उपयोग करके मिसिंगनेस प्रक्रिया $p_\phi$ को सीखता है। यह मॉडल को मिसिंगनेस और अनऑब्जर्व्ड वैल्यूज के बीच निर्भरता को ध्यान में रखने की अनुमति देता है।
इम्प्यूटेशन रणनीति:
- MCAR: इम्प्यूटेशन लुप्त वेरिएबल्स के संभावित अनमास्किंग ट्राजेक्टरीज पर मोंटे कार्लो सैंपलिंग का उपयोग करके किया जाता है।
- MNAR: मॉडल सेल्फ-नॉर्मलाइज्ड इम्पोर्टेंस वेटिंग का उपयोग करता है। पूर्ण किए गए सैंपल्स को सीखे गए मिसिंगनेस मॉडल $p_\phi$ के तहत ऑब्जर्व्ड मास्क की लाइकलीहुड के आधार पर पुन: भारित (reweighted) किया जाता है, जिससे यह सुनिश्चित होता है कि देखे गए मिसिंगनेस पैटर्न के अनुरूप पूर्णता को प्राथमिकता दी जाए।

3. एक्टिव इंफॉर्मेशन एक्विजिशन

MO-ARM एक्टिव फीचर एक्विजिशन (AFA) करने के लिए अपने एम्बॉर्टाइज्ड कंडीशनल डेंसिटी एस्टीमेशन का लाभ उठाता है। वर्तमान अवलोकनों के आधार पर एक लक्ष्य वेरिएबल $x_\Phi$ और एक कैंडिडेट फीचर $x_{z_i}$ के बीच कंडीशनल म्यूचुअल इंफॉर्मेशन $I(x_\Phi; x_{z_i} | x_{z_{<i}})$ का अनुमान लगाकर, मॉडल क्रमवार सबसे अधिक सूचनात्मक लुप्त वेरिएबल्स को प्राप्त कर सकता है, जिससे डाउनस्ट्रीम प्रेडिक्टिव परफॉरमेंस को अधिकतम किया जा सके।

मुख्य योगदान

OA-ARMs की पुनर्व्याख्या: पेपर प्रदर्शित करता है कि मानक OA-ARM ट्रेनिंग अप्रत्यक्ष रूप से MCAR इम्प्यूटेशन करती है, जो मिसिंग-डेटा सेटिंग्स में उनके मजबूत आउट-ऑफ-सैंपल प्रदर्शन की व्याख्या करती है।
अधूरे डेटा पर व्यवस्थित प्रशिक्षण: लेखक सामान्य मिसिंगनेस मैकेनिज्म (MCAR और MNAR) के तहत सीधे अधूरे डेटासेट पर OA-ARMs को प्रशिक्षित करने के लिए पहला फ्रेमवर्क पेश करते हैं, जो सटीक लाइकलीहुड्स को बनाए रखता है और कुशल कंडीशनल सैंपलिंग को सक्षम करता है।
इम्प्यूटेशन और एक्विजिशन के लिए एकीकृत फ्रेमवर्क: मॉडल मिसिंग डेटा इम्प्यूटेशन और एक्टिव इंफॉर्मेशन एक्विजिशन को एकीकृत करता है, जो दोनों कार्यों के लिए समान एम्बॉर्टाइज्ड कंडीशनल डिस्ट्रीब्यूशन का उपयोग करता है।
अनुभवजन्य सत्यापन: प्रस्तावित MO-ARM का वास्तविक दुनिया के बेंचमार्क, जिसमें टैबुलर डेटा (UCI डेटासेट्स) और इमेज इनपेंटिंग (CelebA-HQ) शामिल हैं, पर मूल्यांकन किया गया है।

प्रयोगात्मक परिणाम

लेखक स्थापित बेसलाइन्स, जिनमें MIWAE, not-MIWAE (MNAR के लिए), VAEAC, DiffPuter, और मिसेफोररेस्ट (MissForest) एवं MICE जैसे क्लासिकल मेथड्स शामिल हैं, के विरुद्ध MO-ARM का मूल्यांकन करते हैं।

टैबुलर इम्प्यूटेशन: विभिन्न फीचर प्रकारों (कंटीन्यूअस और कैटेगोरिकल) वाले सात UCI डेटासेट्स में, MO-ARM दोनों MCAR और MNAR मिसिंगनेस मैकेनिज्म के तहत स्थापित जेनरेटिव बेसलाइन्स से लगातार बेहतर प्रदर्शन करता है। विशेष रूप से, MNAR के तहत, MO-ARM not-MIWAE से बेहतर प्रदर्शन करता है, जो इस मैकेनिज्म के लिए डिज़ाइन किया गया एकमात्र अन्य बेसलाइन है।
इमेज इनपेंटिंग: CelebA-HQ डेटासेट पर, MO-ARM RePaint (एक डिफ्यूजन-आधारित बेसलाइन) की तुलना में पहचान और मोटे स्ट्रक्चर को बनाए रखने में श्रेष्ठ प्रदर्शन करता है, जो उच्च PSNR स्कोर प्राप्त करता है, विशेष रूप से जैसे-जैसे मिसिंग प्रतिशत बढ़ता है (98% तक)।
एक्टिव एक्विजिशन: क्रमवार फीचर एक्विजिशन कार्यों में, MO-ARM अधिक फीचर्स प्राप्त करने के साथ प्रेडिक्शन एरर को कम करने में बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन करता है, जो निर्णय लेने के लिए इसके कंडीशनल डिस्ट्रीब्यूशन की उपयोगिता को दर्शाता है।

महत्व और दावे

पेपर का दावा है कि MO-ARM अधूरे डेटा पर तर्क करने के लिए एक शक्तिशाली और पहले से कम समझे गए टूल का निर्माण करता है। लेखक तर्क देते हैं कि ऑर्डर-अग्नोस्टिक ऑटोरेग्रेसिव मॉडल्स मिसिंग-डेटा समस्याओं के लिए लेटेंट-वेरिएबल (VAE) और डिफ्यूजन-आधारित दृष्टिकोणों के मुकाबले एक व्यावहारिक और सिद्धांतगत विकल्प प्रदान करते हैं। हाइलाइट किए गए प्रमुख लाभों में शामिल हैं:

ट्रैक्टेबल लाइकलीहुड्स: GANs या अनुमानित VAEs के विपरीत, MO-ARMs सटीक लाइकलीहुड्स प्रदान करते हैं।
मनमाना कंडीशनिंग: क्लासिकल ARMs के विपरीत, वे देखे गए वेरिएबल्स के मनमाने उपसमुच्चयों पर कंडीशनिंग का समर्थन करते हैं।
दक्षता: उन्हें जैसे-जैसे अवलोकन प्रकट होते हैं, बार-बार क्वेरी किया जा सकता है, जो डिफ्यूजन मॉडल्स द्वारा आवश्यक लंबी पुनरावृत्ति सैंपलिंग चेन के बिना क्रमवार निर्णय लेने का समर्थन करता है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि उच्च-आयामी (high-dimensional) सेटिंग्स में सटीक जनरेशन महंगा रहता है (हालांकि ब्लॉक अनमास्किंग द्वारा कम किया गया है) और प्रदर्शन तब गिर जाता है जब देखा गया संदर्भ अत्यंत विरल (sparse) हो जाता है। वे यह भी नोट करते हैं कि हालांकि फ्रेमवर्क MNAR तक विस्तारित है, फिर भी यह शासन (regime) MCAR की तुलना में अधिक चुनौतीपूर्ण है और आगे के अध्ययन की आवश्यकता है।