When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation

डेटा साइंस की दुनिया में, शोधकर्ता अक्सर एक पहेली का सामना करते हैं: यह कैसे पता लगाया जाए कि एक चीज़ दूसरी चीज़ का कारण बनती है जब वे एक नियंत्रित प्रयोग (controlled experiment) नहीं कर सकते। कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि क्या एक नई दवा काम करती है, लेकिन आपके पास केवल उन लोगों के रिकॉर्ड हैं जिन्होंने अपनी मर्जी से उसे लेना चुना, और उनके भी जो इसे नहीं ले रहे थे। इस उलझन को सुलझाने के लिए, वैज्ञानिक 'कॉज़ल इन्फरेंस' (causal inference) नामक पद्धति का उपयोग करते हैं। यह दृष्टिकोण उन पृष्ठभूमि कारकों—जैसे आयु, आय, या स्वास्थ्य इतिहास—का वर्णन करने वाले गणितीय मॉडल बनाने पर निर्भर करता है, जो दवा लेने के निर्णय और स्वास्थ्य परिणाम दोनों को प्रभावित करते हैं। इन पृष्ठभूमि मॉडलों को "न्यूसेंस फंक्शन्स" (nuisance functions) के रूप में जाना जाता है। उन्हें "न्यूसेंस" इसलिए नहीं कहा जाता क्योंकि वे कष्टप्रद हैं, बल्कि इसलिए क्योंकि वे आवश्यक विकर्षण हैं; शोधकर्ता को उपचार के वास्तविक प्रभाव को अलग करने के लिए इनका सटीक अनुमान लगाना आवश्यक होता है। वर्षों से, यह जांचने का मानक तरीका कि ये पृष्ठभूमि मॉडल कितने अच्छे थे, यह देखना था कि वे डेटा की कितनी अच्छी भविष्यवाणी करते हैं, ठीक वैसे ही जैसे एक मौसम विज्ञानी यह देखता है कि उनके तापमान के पूर्वानुमान वास्तविक मौसम से कितने मेल खाते हैं। धारणा सरल थी: यदि मॉडल पृष्ठभूमि डेटा की अच्छी भविष्यवाणी करता है, तो उसे सही कारण-और-प्रभाव वाला उत्तर खोजने में भी मदद मिलनी चाहिए।

येल यूनिवर्सिटी के कोंग काओ का एक हालिया अध्ययन इस लंबे समय से चली आ रही धारणा को चुनौती देता है। शोधकर्ता ने यह परीक्षण करने के लिए प्रयास किया कि क्या एक ऐसा मॉडल जो पृष्ठभूमि डेटा की भविष्यवाणी करने में उत्कृष्ट है, वह अनिवार्य रूप से वास्तविक कारण को खोजने में भी उत्कृष्ट है। ऐसा करने के लिए, काओ ने वास्तविक दुनिया के मेडिकल रिकॉर्ड नहीं देखे, बल्कि कंप्यूटर पर हजारों सिम्युलेटेड दुनिया बनाईं। इन सिमुलेशन में, वास्तविक कारण-और-प्रभाव संबंध डिज़ाइन के अनुसार ज्ञात था, जिससे शोधकर्ता यह देख सके कि विभिन्न कंप्यूटर प्रोग्राम कितने बेहतर प्रदर्शन करते हैं। अध्ययन ने इन पृष्ठभूमि मॉडलों को बनाने के लिए कई लोकप्रिय तरीकों की तुलना की, जिसमें पारंपरिक सांख्यिकीय उपकरणों से लेकर आधुनिक, लचीले मशीन लर्निंग एल्गोरिदम तक शामिल थे। लक्ष्य यह देखना था कि क्या पृष्ठभूमि डेटा की भविष्यवाणी करने के लिए मॉडल को मिलने वाला स्कोर उस स्कोर से मेल खाता है जो उसे सही कारण-और-प्रभाव वाला उत्तर खोजने के लिए मिलता है।

परिणामों ने एक आश्चर्यजनक विसंगति को उजागर किया। अध्ययन में पाया गया कि वह तरीका जो पृष्ठभूमि डेटा की भविष्यवाणी करने में सबसे अच्छा था, वह हमेशा कारण-और-प्रभाव का अनुमान लगाने में सबसे अच्छा नहीं था। सिमुलेशन में, XGBoost नामक एक मशीन लर्निंग टूल पृष्ठभूमि चरों की भविष्यवाणी करने में सबसे सटीक था, जिसने अपने अनुमानों में सबसे कम त्रुटियां उत्पन्न कीं। हालांकि, जब अंतिम लक्ष्य के रूप में कारण-और-प्रभाव का अनुमान लगाने की बात आई, तो एक अन्य विधि जिसे 'डबल मशीन लर्निंग' (Double Machine Learning) कहा जाता है, जो एक विशिष्ट सांख्यिकीय ढांचे के भीतर XGBoost का उपयोग करती थी, एक अलग महत्वपूर्ण कार्य में बेहतर प्रदर्शन करती थी: विश्वसनीय 'कॉन्फिडेंस इंटरवल' (confidence intervals) प्रदान करना। कॉन्फिडेंस इंटरवल मूल्यों की वह सीमा है जिसका उपयोग शोधकर्ता यह व्यक्त करने के लिए करते हैं कि वे अपने उत्तर के बारे में कितने आश्वस्त हैं। इन सिमुलेशन में, जिस पद्धति की भविष्यवाणी सटीकता सबसे अच्छी थी, उसने बहुत संकीर्ण सीमा दी, जिसका अर्थ था कि वह अति-आत्मविश्वासी थी और अक्सर वास्तविक उत्तर को चूक जाती थी। हालाँकि, थोड़ी कम भविष्यवाणी सटीकता वाली पद्धति ने व्यापक, अधिक ईमानदार सीमाएँ बनाईं जिन्होंने लगभग 93 प्रतिशत समय वास्तविक उत्तर को पकड़ा, जो आदर्श 95 प्रतिशत के बहुत करीब है।

यह सुझाव देता है कि एक अच्छा भविष्यवक्ता होना, कारण और प्रभाव के लिए एक अच्छा जासूस होने के समान नहीं है। अध्ययन ने दिखाया कि एक मॉडल पृष्ठभूमि संख्याओं का अनुमान लगाने में बहुत सटीक हो सकता है, फिर भी अंतिम उत्तर के लिए भरोसेमंद सीमा देने में विफल हो सकता है। शोधकर्ताओं ने एक नया विचार भी परीक्षण किया: क्या दो अलग-अलग पृष्ठभूमि मॉडलों के संयुक्त त्रुटियों को देखना अंतिम परिणाम की भविष्यवाणी कर सकता है। उन्होंने पाया कि यह संयुक्त माप कमजोर था और यह विश्वसनीय रूप से यह नहीं बता सका कि कौन सा तरीका सबसे अच्छा काम करेगा। निष्कर्ष बताते हैं कि हालांकि यह देखना कि एक मॉडल डेटा की भविष्यवाणी कितनी अच्छी तरह करता है, उपयोगी है, लेकिन यह अकेले एक अच्छे कारण संबंधी निष्कर्ष की गारंटी देने के लिए पर्याप्त नहीं है। शोधकर्ता केवल उस मॉडल को नहीं चुन सकते जिसका भविष्यवाणी त्रुटि सबसे कम है और यह मान सकते हैं कि कारण संबंधी उत्तर सही होगा। इसके बजाय, उन्हें अंतिम निष्कर्ष को मजबूत बनाने के लिए स्वयं कारण पद्धति के विशिष्ट गुणों, जैसे कि वह अनिश्चितता को कैसे संभालती है, पर ध्यान देना चाहिए।

अध्ययन ने यह भी पता लगाया कि जब डेटा बिंदु स्वतंत्र नहीं होते हैं, जैसे कि जब मरीज एक ही अस्पताल या परिवार में समूहबद्ध होते हैं, जो उनके बीच एक गुप्त लिंक बनाता है। इन अधिक जटिल, क्लस्टर्ड स्थितियों में भी, वही पैटर्न बना रहा। शोधकर्ताओं ने नोट किया कि उनका कार्य विशिष्ट स्थितियों के साथ कंप्यूटर सिमुलेशन पर आधारित था, इसलिए परिणाम अन्य वास्तविक दुनिया के परिदृश्यों में भिन्न दिख सकते हैं जिनमें विभिन्न प्रकार का डेटा हो। हालाँकि, मुख्य संदेश स्पष्ट है: कारण और प्रभाव खोजने की खोज में, एक मॉडल की अतीत की भविष्यवाणी करने की क्षमता स्वतः ही भविष्य को समझाने की क्षमता में परिवर्तित नहीं होती है। पृष्ठभूमि के शोर को साफ करने के लिए उपयोग किए जाने वाले उपकरणों का मूल्यांकन इस आधार पर किया जाना चाहिए कि वे अंतिम उत्तर को कितनी अच्छी तरह सुरक्षित रखते हैं, न कि केवल इस आधार पर कि वे शोर का अनुमान कितनी अच्छी तरह लगाते हैं।