The Good, the Bad, and the Ugly of Markov Boundary for Tabular Prediction
यद्यपि पूर्वानुमान के लिए सैद्धांतिक रूप से इष्टतम होने के बावजूद, टैबुलर लर्निंग में मार्कोव बाउंड्री (Markov boundary) का उपयोग वर्तमान कॉज़ल डिस्कवरी (causal discovery) विधियों द्वारा कंप्यूट बजट के भीतर इसे सटीक रूप से पुनर्प्राप्त करने में असमर्थता के कारण व्यावहारिक रूप से बाधित है, जो संरचनात्मक पुनर्प्राप्ति और भविष्य कहनेवाला प्रदर्शन के बीच एक महत्वपूर्ण अंतर को प्रकट करता है जिसके लिए पूर्वानुमान लक्ष्यों के अनुरूप नई फीचर चयन रणनीतियों की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डेटा साइंस की दुनिया में, कंप्यूटरों से लगातार सूचनाओं की तालिकाओं के आधार पर भविष्यवाणियां करने के लिए कहा जाता है। एक स्प्रेडशीट की कल्पना करें जहाँ एक कॉलम में वह उत्तर होता है जिसे हम जानना चाहते हैं, जैसे कि किसी घर की कीमत या किसी बीमारी की संभावना, और सैकड़ों अन्य कॉलम संभावित सुराग (clues) रखते हैं, जैसे कि वर्ग फुट, आयु, या रक्तचाप। लक्ष्य उन सुरागों का सही संयोजन खोजना है जो सबसे सटीक उत्तर की ओर ले जाता है। दशकों से, प्रायिकता सिद्धांत (probability theory) के एक शक्तिशाली विचार ने इस समस्या का एक सुंदर समाधान पेश किया है। यह सुझाव देता है कि किसी भी विशिष्ट प्रश्न के लिए, सुरागों का एक छोटा, सटीक समूह होता जिसमें भविष्यवाणी करने के लिए आवश्यक सब कुछ शामिल होता है, जबकि वह तालिका के हर अन्य सुराग को पूरी तरह से बेकार बना देता है। इस सटीक समूह को 'मार्कोव बाउंड्री' (Markov boundary) कहा जाता है। यह सिद्धांत अत्यंत सुरुचिपूर्ण है: यदि आप इस छोटे समूह को खोज सकें, तो आप बाकी डेटा को हटा सकते हैं, एक सरल मॉडल प्रशिक्षित कर सकते हैं, और वही परिणाम प्राप्त कर सकते हैं जो आपने सब कुछ उपयोग करके प्राप्त किया होता। यह एक ऐसी दुनिया का वादा करता है जहाँ कम डेटा बेहतर उत्तरों की ओर ले जाता है।
हालाँकि, एरिजोना स्टेट यूनिवर्सिटी के शोधकर्ताओं के एक दल ने यह परीक्षण करने का निर्णय लिया कि क्या यह सुंदर सिद्धांत वास्तव में आधुनिक कंप्यूटर प्रोग्रामों के साथ काम करता है जो भविष्यवाणियां करते हैं। उन्होंने SCM3K नामक एक विशाल परीक्षण क्षेत्र बनाया, जो 3,450 विभिन्न कृत्रिम समस्याओं का संग्रह है जिन्हें वास्तविक दुनिया के डेटा की नकल करने के लिए डिज़ाइन किया गया था। ये समस्याएं आकार में बहुत भिन्न थीं, जिनमें से कुछ में केवल 40 सुराग थे और अन्य 1,000 तक विस्तृत थे। उन्होंने छह अलग-अलग प्रकार के प्रेडिक्शन इंजन (prediction engines) का परीक्षण किया, जो सरल सांख्यिकीय उपकरणों से लेकर उन्नत आर्टिफिशियल इंटेलिजेंस मॉडल तक फैले हुए थे। शोधकर्ताओं ने पहले एक सीधा सवाल पूछा: यदि वे प्रेडिक्शन इंजन को केवल आदर्श, सैद्धांतिक सुरागों का समूह देते, तो क्या वह उस स्थिति में बेहतर प्रदर्शन करता जब उसे तालिका के प्रत्येक सुराग को देखने के लिए मजबूर किया जाता? उत्तर एक जोरदार 'हाँ' था। जब डेटा बड़ा था और अनावश्यक जानकारी से भरा था, तो कंप्यूटर को केवल आवश्यक सुरागों तक सीमित करने से इसकी सटीकता में काफी सुधार हुआ। जितना अधिक बेकार डेटा हटाया गया, भविष्यवाणी उतनी ही सटीक होती गई। ऐसा लगा कि सिद्धांत सही था।
लेकिन फिर शोधकर्ताओं ने अगला तार्किक कदम उठाया: उन्होंने कंप्यूटर से भविष्यवाणी करने से पहले स्वयं उस सटीक समूह के सुरागों को खोजने के लिए कहा। उन्होंने इन सीमाओं को खोजने के लिए डिज़ाइन किए गए मौजूदा उपकरणों का उपयोग किया और फिर परिणामों को प्रेडिक्शन इंजन में डाला। यहीं पर कहानी ने एक तीव्र मोड़ लिया। इन सीमाओं को खोजने के लिए डिज़ाइन किए गए उपकरण वादे के मुताबिक लाभ देने में विफल रहे। कई मामलों में, कंप्यूटर द्वारा पहचाने गए 'परफेक्ट ग्रुप' का उपयोग करने से वास्तव में भविष्यवाणियां पूरी तालिका के डेटा का उपयोग करने की तुलना में बदतर हो गईं। शोधकर्ताओं ने पाया कि इन सीमाओं को खोजने के लिए उपयोग किए जाने वाले उपकरण भविष्यवाणी के कार्य के लिए नहीं बने थे। वे डेटा की सटीक गणितीय संरचना खोजने के लिए बने थे, जो एक ऐसा कार्य है जो बड़े डेटा के मामले में अविश्वसनीय रूप से कठिन और धीमा होता है। जब तक इन उपकरणों ने अपना काम पूरा किया, तब तक अक्सर उनके पास कंप्यूटिंग शक्ति या समय समाप्त हो चुका था, विशेष रूप से उन बड़े और जटिल परिदृश्यों में जहाँ यह 'परफेक्ट ग्रुप' सबसे अधिक सहायक होता।
यह विफलता केवल गति के बारे में नहीं थी; यह लक्ष्यों के बीच एक मौलिक बेमेल (mismatch) के बारे में थी। इन सीमाओं को खोजने वाले उपकरण दो प्रकार की गलतियों को समान रूप से बुरा मानते हैं: एक महत्वपूर्ण सुराग को छोड़ देना, और एक अनावश्यक सुराग को शामिल करना। भविष्यवाणी की दुनिया में, ये गलतियाँ समान नहीं हैं। एक महत्वपूर्ण सुराग को छोड़ देना एक आपदा है जो उत्तर को बर्बाद कर देती है, जबकि एक अतिरिक्त, बेकार सुराग को शामिल करना एक मामूली परेशानी है जिसे प्रेडिक्शन इंजन अक्सर अनदेखा कर सकता है। शोधकर्ताओं ने पाया कि उपकरण बहुत अधिक सतर्क थे, अक्सर बेकार सुरागों को जोड़ने से बचने के लिए महत्वपूर्ण सुरागों को छोड़ देते थे, और इस सावधानी ने अंतिम भविष्यवाणी को नुकसान पहुँचाया। इसके अलावा, उन्होंने पाया कि सुरागों का "परफेक्ट" समूह ही एकमात्र तरीका नहीं है जिससे एक अच्छा उत्तर प्राप्त किया जा सके। सुरागों का एक थोड़ा बड़ा समूह जिसमें कुछ अतिरिक्त, हानिरहित जानकारी शामिल हो, अक्सर उस नाजुक, सटीक समूह की तुलना में बेहतर काम करता है जो शायद एक महत्वपूर्ण हिस्सा चूक गया हो।
अध्ययन यह निष्कर्ष निकालता है कि हालांकि सुरागों का एक आदर्श, न्यूनतम समूह गणितीय रूप से सही है, लेकिन उस सटीक समूह के पीछे भागना भविष्यवाणी करने के लिए गलत रणनीति है। शोधकर्ता सुझाव देते हैं कि डेटा विज्ञान का भविष्य एक अलग दृष्टिकोण में निहित है। एक एकल, सटीक सुरागों के सेट को खोजने के बजाय, हमें ऐसे समूहों की तलाश करनी चाहिए जो मजबूत और सुरक्षित हों, भले ही वे आवश्यकता से थोड़े बड़े हों। हमें ऐसे तरीकों की आवश्यकता है जो यह समझ सकें कि एक महत्वपूर्ण सुराग को छोड़ना, एक बेकार सुराग को शामिल करने की तुलना में कहीं अधिक बुरा है। लक्ष्य डेटा की छिपी हुई संरचना का पूर्ण पुनर्निर्माण करना नहीं होना चाहिए, बल्कि सुरागों का एक ऐसा सेट खोजना होना चाहिए जो उपयोग किए जा रहे विशिष्ट प्रेडिक्शन इंजन के लिए सबसे अच्छा काम करे। आदर्श सैद्धांतिक सीमा मौजूद है, लेकिन भविष्यवाणी के व्यावहारिक कार्य के लिए, सुरागों का एक थोड़ा अपूर्ण, अधिक सहिष्णु (forgiving) सेट ही अक्सर वास्तविक विजेता होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।