Doctor Rashomon and the UNIVERSE of Madness: Variable Importance with Unobserved Confounding and the Rashomon Effect
यह शोध पत्र UNIVERSE को प्रस्तुत करता है, जो एक नवीन ढांचा है जो अनपेक्षित कन्फाउंडिंग (unobserved confounding) और मॉडल मल्टीप्लिसिटी (model multiplicity) की उपस्थिति में वेरिएबल इम्पॉर्टेंस (variable importance) पर सुदृढ़ सीमाएँ प्रदान करने के लिए रशोमोन सेट्स (Rashomon sets) का लाभ उठाता है, जिससे मानक फीचर चयन और परिकल्पना सृजन (hypothesis generation) की महत्वपूर्ण सीमाओं को संबोधित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डेटा साइंस की दुनिया में, शोधकर्ता अक्सर यह समझने की कोशिश करते हैं कि किसी विशिष्ट परिणाम के पीछे क्या कारण है, जैसे कि क्या कोई ऋण चुकाया जाएगा या क्या कोई मरीज ठीक होगा। ऐसा करने के लिए, वे विभिन्न गणितीय मॉडल बनाते हैं जो आय, क्रेडिट इतिहास या आयु जैसे विभिन्न कारकों, या 'फीचर्स' (features) पर विचार करते हैं। इस प्रक्रिया का एक मानक हिस्सा यह निर्धारित करना है कि इनमें से कौन से कारक वास्तव में महत्वपूर्ण हैं। वैज्ञानिक लंबे समय से उन तरीकों पर भरोसा करते हैं जो प्रत्येक फीचर को एक स्कोर देते हैं, इस आधार पर कि यदि उस फीचर को हटा दिया जाए या बदल दिया जाए तो मॉडल के प्रदर्शन में कितनी गिरावट आती है। यह उन्हें यह तय करने में मदद करता है कि भविष्य में किन चरों (variables) को एकत्र करना चाहिए और किन्हें अनदेखा करना चाहिए। हालांकि, इस मानक दृष्टिकोण में एक छिपा हुआ दोष है: यह आमतौर पर यह मान लेता है कि जिस मॉडल का विश्लेषण किया जा रहा है, वही एकमात्र अच्छा मॉडल है। वास्तव में, कई अलग-अलग मॉडल एक ही डेटा की समान रूप से अच्छी व्याख्या कर सकते हैं, जिसे 'राशोमोन प्रभाव' (Rashomon effect) के रूप में जाना जाता है। इसके अलावा, वास्तविक दुनिया का डेटा अक्सर अधूरा होता है; महत्वपूर्ण जानकारी, जैसे कि किसी व्यक्ति की सटीक आय या स्वास्थ्य इतिहास, पूरी तरह से डेटासेट से गायब हो सकती है। जब ये लुप्त हिस्से मौजूद होते हैं, तो मानक तरीके भ्रामक निष्कर्ष निकाल सकते हैं, जिससे कोई फीचर महत्वपूर्ण दिखने लगता है जबकि वह नहीं होता, या कोई ऐसा फीचर छिप जाता है जो वास्तव में मायने रखता है।
ड्यूक यूनिवर्सिटी और बोकोनी यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इन समस्याओं को हल करने के लिए 'यूनिवर्स' (UNIVERSE) नामक एक नया ढांचा विकसित किया है। उनका कार्य दो चुनौतियों का समाधान करता है: कई समान रूप से अच्छे मॉडलों का होना और गायब डेटा जो परिणामों को प्रभावित कर सकता है। केवल एक सबसे अच्छे मॉडल को चुनने और उसका अलग से विश्लेषण करने के बजाय, शोधकर्ता उन मॉडलों के पूरे समूह को देखते हैं जो सबसे अच्छे मॉडल के लगभग उतना ही अच्छा प्रदर्शन करते हैं। वे इस समूह को 'राशोमोन सेट' (Rashomon set) कहते हैं। इस पूरे सेट की जांच करके, वे देख सकते हैं कि एक वैध मॉडल में फीचर का महत्व कैसे बदलता है। लेकिन वे एक कदम आगे जाते हैं। वे इस तथ्य को भी ध्यान में रखते हैं कि कुछ महत्वपूर्ण चर डेटा से गायब हो सकते हैं। वे इसे गणितीय सीमाओं (mathematical bounds) का एक सुरक्षा जाल बनाकर करते हैं। ये सीमाएं संभव मूल्यों की एक सीमा के रूप में कार्य करती हैं, जो यह गारंटी देती हैं कि किसी फीचर का वास्तविक महत्व इस सीमा के भीतर कहीं होगा, भले ही शोधकर्ताओं को यह न पता हो कि गायब चर क्या हैं या विशिष्ट मॉडल वास्तव में कौन सा है।
शोधकर्ताओं ने एक चतुर सिमुलेशन तकनीक का उपयोग करके अपने तरीके का परीक्षण किया। उन्होंने वास्तविक दुनिया के डेटासेट लिए, जैसे कि आपराधिक पुनरावृत्ति (criminal recidivism), छात्रों के कॉलेज छोड़ने की दर और क्रेडिट जोखिम मूल्यांकन के रिकॉर्ड, और कृत्रिम रूप से एक ऐसी स्थिति बनाई जहां कुछ डेटा छिपा हुआ था। उन्होंने डेटा को समूहों में विभाजित किया और प्रत्येक समूह पर अलग-अलग मॉडल प्रशिक्षित किए, प्रभावी रूप से एक ऐसी स्थिति बनाई जहां "वास्तविक" मॉडल इस बात पर निर्भर करता था कि व्यक्ति किस समूह से संबंधित है, जो कि मुख्य विश्लेषण में दिखाई नहीं दे रहा था। फिर उन्होंने यह देखने के लिए अपना 'यूनिवर्स' ढांचा लागू किया कि क्या वह इस छिपी हुई जानकारी के बावजूद फीचर्स के महत्व को सही ढंग से पहचान सकता है। परिणाम स्पष्ट थे: बिना उनके नए समायोजनों के, मानक तरीके अक्सर चरों के वास्तविक महत्व को पकड़ने में विफल रहे, विशेष रूप से जब नमूना आकार बड़ा था या जब डेटा जटिल था। इसके विपरीत, 'यूनिवर्स' पद्धति ने लगातार ऐसे दायरे (ranges) बनाए जिनमें सही उत्तर मौजूद था। अपने परीक्षणों में, इस पद्धति ने अस्सी प्रतिशत से अधिक परीक्षणों में चरों के सही महत्व को सफलतापूर्वक पकड़ा, भले ही डेटा में महत्वपूर्ण हिस्से गायब थे।
उनके काम के सबसे सम्मोहक प्रदर्शनों में से एक में बैंकों द्वारा उपयोग किया जाने वाला क्रेडिट जोखिम डेटासेट शामिल था। इस परिदृश्य में, 'एक्सटर्नल रिस्क एस्टीमेट' (External Risk Estimate) नामक एक विशिष्ट जोखिम स्कोर को ऋण चूक (loan defaults) की भविष्यवाणी करने के लिए एक महत्वपूर्ण कारक माना जाता था। मानक विश्लेषण ने सुझाव दिया कि यह स्कोर अत्यंत महत्वपूर्ण है। हालांकि, जब शोधकर्ताओं ने अपने 'यूनिवर्स' ढांचे को लागू किया, तो उन्होंने पाया कि इस स्कोर का महत्व उतना मजबूत नहीं था जितना दिखता था। उन्होंने दिखाया कि यदि अनमापे गए कारक, जैसे कि किसी व्यक्ति की आय, जो डेटा में शामिल नहीं थे, मौजूद थे, तो 'एक्सटर्नल रिस्क एस्टीमेट' की बिल्कुल आवश्यकता नहीं हो सकती है। उनके विश्लेषण ने सुझाव दिया कि अन्य, अधिक व्याख्या योग्य फीचर्स आसानी से इसकी जगह ले सकते हैं। यह निष्कर्ष महत्वपूर्ण है क्योंकि इसका तात्पर्य है कि बैंक एक जटिल, महंगे मीट्रिक पर भरोसा कर रहे हैं जिसे सरल, अधिक पारदर्शी जानकारी से बदला जा सकता है, जिससे संभावित रूप से ऋण आवेदकों के लिए बेहतर फीडबैक मिल सकता है।
इस नए दृष्टिकोण की ताकत अनिश्चितता को बिना अवास्तविक धारणाएं बनाए संभालने की इसकी क्षमता में निहित है। पारंपरिक तरीकों के लिए अक्सर यह जानना आवश्यक होता है कि गायब डेटा का वितरण कैसे है या चरों के बीच एक विशिष्ट प्रकार के संबंध को मानना पड़ता है। 'यूनिवर्स' ढांचा को इसकी आवश्यकता नहीं है। इसके बजाय, यह विश्लेषक से यह अनुमान देने को कहता है कि गायब डेटा परिणामों को कितना बदल सकता है। इस अनुमान के आधार पर, यह विधि महत्व के संभावित मूल्यों की एक सीमा की गणना करती है। शोधकर्ताओं ने गणितीय रूप से सिद्ध किया कि ये सीमाएं विश्वसनीय हैं, जिसका अर्थ है कि यदि विश्लेषक का गायब डेटा के प्रभाव का अनुमान सही है, तो फीचर का वास्तविक महत्व लगभग निश्चित रूप से गणना की गई सीमाओं के भीतर होगा। उन्होंने यह भी दिखाया कि जैसे-जैसे अधिक डेटा उपलब्ध होता है, ये सीमाएं अधिक सटीक और सुस्पष्ट होती जाती हैं, जिससे यह विधि छोटे और बड़े दोनों प्रकार के डेटासेट के लिए उपयोगी बन जाती है।
यह कार्य इस बारे में वैज्ञानिकों की सोच में एक बदलाव का प्रतिनिधित्व करता है कि वेरिएबल इम्पोर्टेंस (variable importance) क्या है। एक विशिष्ट मॉडल और पूर्ण डेटासेट पर निर्भर एकल, निश्चित उत्तर खोजने के बजाय, शोधकर्ता वास्तविक दुनिया की जटिलता को स्वीकार करते हैं। वे स्वीकार करते हैं कि कई मॉडल सही हो सकते हैं और डेटा अक्सर अधूरा होता है। इन वास्तविकताओं को ध्यान में रखते हुए एक पद्धति प्रदान करके, वे एक ऐसा उपकरण पेश करते हैं जो इस बारे में अधिक ईमानदार है कि डेटा हमें क्या बता सकता है और क्या नहीं। यह ढांचा एक 'एकमात्र सत्य मॉडल' या 'एकमात्र सत्य महत्व स्कोर' खोजने का दावा नहीं करता है। इसके बजाय, यह एक विश्वसनीय अंतराल (interval) प्रदान करता है जो सत्य को समाहित करता है, यह सुनिश्चित करता है कि डेटा पर आधारित निर्णय छिपे हुए चरों या एकल सर्वश्रेष्ठ स्पष्टीकरण के भ्रम से बाधित न हों। यह दृष्टिकोण वित्त से लेकर सार्वजनिक नीति तक के क्षेत्रों में अधिक विश्वसनीय और सुदृढ़ वैज्ञानिक निष्कर्षों के लिए एक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।