One Pipeline, Many Transformers: Pattern-Specific Imputation Specialists for Tabular Missing Data
यह शोध पत्र एक एकीकृत प्री-ट्रेनिंग पाइपलाइन पेश करता है जो टैबुलर डेटा के लिए पैटर्न-विशिष्ट ट्रांसफार्मर-आधारित इम्प्यूटेशन स्पेशलिस्ट जनरेट करती है, जो यह प्रदर्शित करता है कि विशेष रूप से MCAR डेटा पर प्रशिक्षित एक एकल मॉडल (TabImpute) विविध मिसिंगनेस पैटर्न्स पर मजबूत प्रदर्शन प्राप्त करता है और अपने लक्षित परिदृश्यों पर 14 स्थापित बेसलाइन्स को पछाड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डेटा की विशाल दुनिया में, सूचना शायद ही कभी पूर्ण होती है। चाहे वह एक डॉक्टर हो जो रोगी के रिकॉर्ड की समीक्षा कर रहा हो, एक अर्थशास्त्री हो जो बाजार के रुझानों का विश्लेषण कर रहा हो, या एक इंजीनियर हो जो कारखाने के सेंसरों की निगरानी कर रहा हो, वे डेटासेट जिन पर वे भरोसा करते हैं, उनमें अक्सर रिक्त स्थान होते हैं। संख्याएँ गायब होती हैं, माप नहीं लिए जाते, या स्थानांतरण के दौरान प्रविष्टियाँ खो जाती हैं। डेटा की यह अनुपस्थिति एक बड़ी समस्या पैदा करती है: अधिकांश सांख्यिकीय और मशीन लर्निंग उपकरण खाली स्थानों के साथ काम नहीं कर सकते। उन्हें कार्य करने के लिए एक पूर्ण चित्र की आवश्यकता होती है। इसे ठीक करने के लिए, वैज्ञानिक लंबे समय से 'इम्प्यूटेशन' (imputation) नामक प्रक्रिया का उपयोग करते आ रहे हैं, जिसका अर्थ है शिक्षित अनुमानों के साथ खाली स्थानों को भरना। दशकों से, यह क्षेत्र एक कठिन विकल्प में फंसा हुआ है। अभ्यासकर्ता एक सामान्य-उद्देश्य वाले टूल का उपयोग कर सकते हैं जो किसी भी गायब संख्या को भरने की कोशिश करता है लेकिन अक्सर विशिष्ट, जटिल मामलों में खराब प्रदर्शन करता है। या, वे तब तक प्रतीक्षा कर सकते हैं जब तक कि कोई शोधकर्ता उनकी सटीक समस्या के लिए एक अत्यधिक विशिष्ट एल्गोरिदम डिजाइन न कर दे, जो कि गहन विशेषज्ञता और समय की मांग करता है। वास्तविकता यह है कि गायब डेटा शायद ही कभी यादृच्छिक (random) होता है; अक्सर, कोई संख्या क्यों गायब है, इसका कारण स्वयं उस मान (value) से सीधे संबंधित होता है, जिससे अनुमान लगाने का खेल और भी कठिन हो जाता है।
कोलंबिया विश्वविद्यालय और कॉर्नेल विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस गतिरोध को तोड़ने का एक तरीका प्रस्तावित किया है। उन्होंने एक लचीली प्रणाली विकसित की है जो बिना हर बार मशीन को पुनर्गठित किए, कस्टम डेटा-भरने वाले विशेषज्ञों को बनाने वाली एक फैक्ट्री के रूप में कार्य करती है। हर प्रकार के गायब डेटा के लिए नया एल्गोरिदम बनाने के बजाय, उन्होंने एक एकल पाइपलाइन बनाई है जो किसी भी पैटर्न के लिए एक विशिष्ट "इम्प्यूटर" (imputer) तैयार कर सकती है। उनके कार्य का मूल एक ऐसी विधि है जो तालिका के प्रत्येक एकल गायब नंबर को एक अद्वितीय पहेली के टुकड़े के रूप में मानती है, जो उस पंक्ति और कॉलम को देखती है जिससे वह संबंधित है, साथ ही उसके आसपास के मानों को भी देखती है, ताकि एक भविष्यवाणी की जा सके। इस प्रणाली को लाखों सिंथेटिक तालिकाओं—कंप्यूटर-जनित डेटा जो वास्तविक दुनिया के परिदृश्यों की नकल करते हैं—पर प्रशिक्षित करके, उन्होंने एक ऐसा मॉडल बनाया है जो तुरंत अनुकूलित हो सकता है। यदि उपयोगकर्ता को पता है कि उनका डेटा क्यों गायब है, तो सिस्टम उस विशिष्ट पैटर्न के लिए एक विशेषज्ञ बना सकता है। यदि उपयोगकर्ता को पता नहीं है कि डेटा क्यों गायब है, तो सिस्टम एक मजबूत डिफ़ॉल्ट मॉडल प्रदान करता है जो लगभग किसी भी स्थिति में अच्छा काम करता है।
शोधकर्ताओं ने एक नए बेंचमार्क पर इस दृष्टिकोण का परीक्षण किया, जिसे उन्होंने 'मिसबेंच' (MissBench) नाम दिया है, जिसमें चिकित्सा, वित्त और इंजीनियरिंग जैसे क्षेत्रों के 42 वास्तविक दुनिया के डेटासेट शामिल हैं। उन्होंने 11 अलग-अलग तरीकों का अनुकरण किया जिनसे डेटा गायब हो सकता है, सरल यादृच्छिक अंतराल से लेकर जटिल परिदृश्य जहाँ गायब होना स्वयं छिपे हुए मानों पर निर्भर करता है। इन परीक्षणों में, उनके विशिष्ट मॉडलों ने लगातार चौदह स्थापित विधियों को पीछे छोड़ दिया जो पहले विशिष्ट कार्यों के लिए सर्वश्रेष्ठ मानी जाती थीं। उल्लेखनीय रूप से, उनका डिफ़ॉल्ट मॉडल, जिसे केवल सबसे सरल प्रकार के गायब डेटा पर प्रशिक्षित किया गया था, सबसे जटिल पैटर्न को संभालने के लिए भी इतना सक्षम सिद्ध हुआ कि वह उनके लिए डिज़ाइन किए गए कई विशिष्ट उपकरणों से बेहतर प्रदर्शन कर सका। यह सुझाव देता है कि सिस्टम डेटा की अंतर्निहित संरचना को इतनी अच्छी तरह से सीख लेता है कि उसे अच्छा काम करने के लिए डेटा के गायब होने के विशिष्ट नियमों को बताने की आवश्यकता नहीं होती है।
यह प्रक्रिया पहले एक विशाल नकली डेटा तालिकाओं के पुस्तकालय को उत्पन्न करके काम करती है। ये तालिकाएं एक गणितीय ढांचे का उपयोग करके बनाई जाती हैं जो यह मानती है कि वास्तविक दुनिया का डेटा अक्सर छिपे हुए पैटर्न का पालन करता है, जैसे कि कुछ अंतर्निहित कारक कई अलग-अलग मापों को प्रभावित कर सकते हैं। शोधकर्ता फिर इन तालिकाओं पर विभिन्न "मिसिंगनेस मॉड्यूल" (missingness modules) लागू करते हैं ताकि डेटा के गायब होने के विभिन्न तरीकों का अनुकरण किया जा सके। एक मॉड्यूल संख्याओं को पूरी तरह से यादृच्छिक रूप से हटा सकता है, जबकि दूसरा उन मानों को छिपा सकता है जो बहुत अधिक या बहुत कम हैं, या एक ही पंक्ति में अन्य मानों के आधार पर डेटा को छिपा सकता है। सिस्टम फिर एक ट्रांसफार्मर-आधारित मॉडल—एक प्रकार का आर्टिफिशियल इंटेलिजेंस जो पैटर्न पहचानने की अपनी क्षमता के लिए जाना जाता है—को आसपास की संख्याओं के संदर्भ के आधार पर गायब मानों की भविष्यवाणी करने के लिए प्रशिक्षित करता है। महत्वपूर्ण रूप से, मॉडल का आर्किटेक्चर कभी नहीं बदलता है। केवल वही चीज़ बदलती है जो प्रशिक्षण चरण के दौरान उपयोग किया जाने वाला मिसिंगनेस मॉड्यूल है। इसका मतलब है कि एक उपयोगकर्ता नया विशेषज्ञ बनाने के लिए घंटों में प्रशिक्षण स्थितियों को बदल सकता है, बिना कोड को दोबारा लिखे या मॉडल को पुन: इंजीनियर किए।
सबसे आश्चर्यजनक निष्कर्षों में से एक यह है कि सिस्टम को सफल होने के लिए गायब होने के विशिष्ट नियमों को याद करने की आवश्यकता नहीं है। जब शोधकर्ताओं ने मॉडल को केवल यादृच्छिक गायब डेटा पर प्रशिक्षित किया, तो यह एक सार्वभौमिक विशेषज्ञ बन गया जो तब भी अच्छा प्रदर्शन करता है जब गायब डेटा जटिल, गैर-यादृच्छिक नियमों का पालन करता है। यह इस लंबे समय से चली आ रही धारणा को चुनौती देता है कि आपको प्रत्येक विशिष्ट प्रकार के गायब डेटा समस्या के लिए एक अद्वितीय एल्गोरिदम डिजाइन करना चाहिए। सिस्टम डेटा के अपने आप से संबंध को समझने की एक सामान्य समझ विकसित करता प्रतीत होता है, जिससे वह डेटा के गायब होने के कारण की परवाह किए बिना अंतराल को सटीक रूप से भरने में सक्षम होता है। उन दुर्लभ मामलों के लिए जहाँ डेटा के गायब होने का कारण ज्ञात और अत्यधिक विशिष्ट है, यह पाइपलाइन एक अनुकूलित मॉडल तैयार कर सकती है जो सर्वोत्तम मौजूदा विशिष्ट विधियों को भी मात दे देता है।
शोधकर्ताओं ने गति के मुद्दे को भी संबोधित किया। पारंपरिक विधियाँ जो डेटा भरने की कोशिश करती हैं, अक्सर ऐसा एक समय में एक कॉलम के माध्यम से करती हैं, जो धीमा है और तालिका के विभिन्न हिस्सों के बीच संबंधों को मिस कर सकता है। उनका नया दृष्टिकोण तालिका के प्रत्येक प्रविष्टि को एक साथ देखता है, जिससे यह पूरे डेटासेट से जानकारी का उपयोग करके एक एकल, तेज़ भविष्यवाणी करने में सक्षम होता है। यह समानांतर प्रसंस्करण (parallel processing) इस प्रणाली को पिछले तरीकों की तुलना में काफी तेज़ बनाता है, जो पुराने उपकरणों की तुलना में बहुत कम समय में छोटी से मध्यम आकार की तालिकाओं को संभालने में सक्षम है। हालांकि वर्तमान प्रणाली को उन तालिकाओं के लिए डिज़ाइन किया गया है जो मानक कंप्यूटर मेमोरी में फिट होती हैं, शोधकर्ता स्वीकार करते हैं कि विशाल डेटासेट तक इसे स्केल करने के लिए आगे के इंजीनियरिंग की आवश्यकता होगी। फिर भी, विज्ञान और व्यवसाय के अधिकांश व्यावहारिक अनुप्रयोगों के लिए, यह प्रणाली एक शक्तिशाली नया उपकरण प्रदान करती है।
अपनी कोड, मॉडल और बेंचमार्क को सार्वजनिक रूप से उपलब्ध कराकर, टीम उम्मीद करती है कि वे अभ्यासकर्ताओं के दृष्टिकोण को बदल देंगे। एक आदर्श एल्गोरिदम की प्रतीक्षा करने या एक औसत दर्जे के सामान्य विशेषज्ञ के साथ समझौता करने के बजाय, उपयोगकर्ता अब एक ऐसा टूल बना सकते हैं जो उनकी विशिष्ट आवश्यकताओं के अनुकूल हो या एक मजबूत डिफ़ॉल्ट पर भरोसा कर सकते हैं जो लगभग हर जगह काम करता है। यह कार्य प्रदर्शित करता है कि सही प्रशिक्षण रणनीति के साथ, एक एकल प्रणाली रिक्त स्थानों को भरने की कला में महारत हासिल कर सकती है, जिससे गायब डेटा की निराशाजनक समस्या को एक हल होने वाली पहेली में बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।