Feature leakage inflates machine-learning estimates of antiretroviral non-adherence risk in children living with HIV: a tiered sensitivity analysis of the EARTH cohort

आधुनिक चिकित्सा की दुनिया में, डॉक्टर यह अनुमान लगाने के लिए तेजी से कंप्यूटरों पर निर्भर होते हैं कि किन मरीजों को अपनी दैनिक दवाएं लेने में कठिनाई हो सकती है। यह विशेष रूप से एचआईवी (HIV) से पीड़ित बच्चों के लिए अत्यंत महत्वपूर्ण है, जहाँ एंटीरेट्रोवाइरल थेरेपी की खुराक चूकने के गंभीर और जीवन के लिए घातक परिणाम हो सकते हैं। इन भविष्यवाणियों को करने के लिए, शोधकर्ता अस्पताल के दौरों से भारी मात्रा में डेटा एकत्र करते हैं, जैसे कि बच्चे के पास कितनी गोलियां बची हैं, क्या किसी माता-पिता ने खुराक छूटने की सूचना दी थी, या प्रिस्क्रिप्शन को दोबारा भरवाने (रिफिल) में कितना समय लगा। वे इस जानकारी को मशीन लर्निंग मॉडलों में फीड करते हैं, जो परिष्कृत कंप्यूटर प्रोग्राम हैं जिन्हें पैटर्न खोजने और भविष्य के व्यवहार का पूर्वानुमान लगाने के लिए डिज़ाइन किया गया है। उम्मीद यह है कि ये उपकरण जोखिम वाले बच्चों की जल्दी पहचान कर लेंगे, जिससे क्लीनिकों को हस्तक्षेप करने का अवसर मिलेगा इससे पहले कि बच्चे का स्वास्थ्य बिगड़ जाए। हालाँकि, इस डेटा को एकत्र करने और उपयोग करने के तरीके में एक छिपा हुआ जाल मौजूद है। यदि भविष्यवाणी करने के लिए उपयोग की जाने वाली जानकारी समस्या की परिभाषा से बहुत अधिक जुड़ी हुई है, तो कंप्यूटर एक जीनियस की तरह दिखाई दे सकता है जबकि वह वास्तव में केवल उत्तर कुंजी (answer key) पढ़ रहा होता है। इस घटना को, जिसे 'डेटा लीकेज' (data leakage) कहा जाता है, एक ऐसी पूर्ण सटीकता का भ्रम पैदा करता है जो वास्तविक दुनिया में परीक्षण किए जाने पर गायब हो जाता है।

युगांडा के शोधकर्ताओं की एक टीम ने हाल ही में EARTH कोहॉर्ट (cohort) के डेटा का उपयोग करके इस सटीक समस्या की जांच की, जो एचआईवी से पीड़ित बच्चों की निगरानी करने वाला एक दीर्घकालिक अध्ययन है। वे यह समझना चाहते थे कि मशीन लर्निंग मॉडल की कथित सफलता एक विशिष्ट प्रकार के पद्धतिगत मुद्दे पर कितनी निर्भर थी: समस्या को हल करने के लिए उन्हीं सुरागों का उपयोग करना जो समस्या को परिभाषित करते हैं। अपने साथी अध्ययन में, टीम ने "सबऑप्टिमल एडहेरेंस" (अपूर्ण अनुपालन) की भविष्यवाणी करने के लिए एक मॉडल बनाया था, जिसे उन्होंने खुराक चूकने, दवा खत्म होने या फार्मेसी रिफिल में देरी होने के रूप में परिभाषित किया था। कठोरता बरतते हुए, उन्होंने अपने कंप्यूटर को प्रशिक्षित करने से पहले उन विशिष्ट डेटा बिंदुओं को हटा दिया था जो सीधे इस परिभाषा को बनाते थे। उस पिछले कार्य ने मामूली, यथार्थवादी परिणाम दिखाए थे। लेकिन इस नए विश्लेषण के लिए, शोधकर्ताओं ने एक अलग प्रश्न पूछा: क्या होगा यदि हम उन सुरागों को अंदर रहने दें? वे देखना चाहते थे कि यदि मॉडल को उत्तर पर एक नज़र डालने की अनुमति दी जाती है, तो उसकी प्रदर्शन क्षमता कितनी बढ़ जाएगी।

यह पता लगाने के लिए, शोधकर्ताओं ने उन्हीं 208 बच्चों और 590 क्लिनिक दौरों के डेटासेट को पुनर्गठित किया, लेकिन उन्होंने डेटा को सख्ती के तीन अलग-अलग स्तरों में व्यवस्थित किया। पहला स्तर "अनकंट्रोल्ड" (uncontrolled) संस्करण था, जहाँ कंप्यूटर को उपलब्ध हर एक जानकारी दी गई थी, जिसमें छूटी हुई खुराक की सीधी रिपोर्ट और बची हुई गोलियों की सटीक संख्या शामिल थी। ये वे विशिष्ट तथ्य हैं जिनका उपयोग शोधकर्ताओं ने यह तय करने के लिए किया था कि क्या कोई बच्चा खराब तरह से दवाओं का पालन कर रहा है या नहीं। जब कंप्यूटर को इस स्तर पर प्रशिक्षित किया गया, तो परिणाम चौंकाने वाले रूप से पूर्ण थे। छह अलग-अलग प्रकार के मशीन लर्निंग एल्गोरिदम, जिनमें जटिल ट्री-बेस्ड मॉडल भी शामिल थे, ने 1.000 का स्कोर प्राप्त किया, जिसका अर्थ है कि उन्होंने अपनी भविष्यवाणियों में शून्य गलतियाँ कीं। कंप्यूटर भविष्य की भविष्यवाणी नहीं कर रहा था; वह केवल उन नियमों को दोहरा रहा था जो उसे दिए गए थे। उसने पाया कि यदि किसी बच्चे की खुराक छूटी थी, तो मॉडल ने गैर-अनुपालन (non-adherence) की भविष्यवाणी की, और यदि नहीं, तो अनुपालन की। यह एक पूर्ण लूप था, लेकिन वास्तविक दुनिया की भविष्यवाणी के लिए बेकार था।

इसके बाद शोधकर्ताओं ने दूसरे स्तर, "लूजली कंट्रोल्ड" (loosely controlled) संस्करण पर ध्यान केंद्रित किया। यहाँ, उन्होंने उन पांच विशिष्ट क्षेत्रों को हटा दिया जो सीधे परिणाम को परिभाषित करते थे: छूटी हुई खुराक की रिपोर्ट, फार्मेसी संग्रह में देरी, दवा खत्म होने की रिपोर्ट, देरी की गणना, और बची हुई दवा की मात्रा। इन प्रत्यक्ष सुरागों के बिना, कंप्यूटर का प्रदर्शन काफी गिर गया। सबसे अच्छे मॉडल, एक प्रोग्राम जिसे 'कैटबूट' (CatBoost) कहा जाता है, की सटीकता स्कोर 1.000 के पूर्ण स्तर से गिरकर 0.735 हो गया। हालांकि यह अभी भी एक अच्छा परिणाम था, लेकिन यह पहले स्तर की पूर्णता से बहुत दूर था। इस गिरावट ने सिद्ध कर दिया कि प्रारंभिक सफलता काफी हद तक एक भ्रम थी, जो समस्या की परिभाषा पढ़ने से उत्पन्न हुई थी, न कि वास्तविक पैटर्न सीखने से।

हालाँकि, कहानी यहीं समाप्त नहीं हुई। शोधकर्ताओं ने देखा कि दूसरे स्तर में भी, एक वेरिएबल अभी भी मॉडल के निर्णयों पर हावी था: एक क्षेत्र जो यह संकेत देता था कि क्या बच्चे ने पिछली विज़िट के बाद अपना उपचार बाधित किया था। हालांकि यह वेरिएबल तकनीकी रूप से परिणाम को परिभाषित नहीं करता था, लेकिन यह अनुपालन की अवधारणा से इतना निकटता से जुड़ा था कि इसने एक लगभग पूर्ण 'प्रॉक्सी' (proxy) के रूप में कार्य किया। जब शोधकर्ताओं ने इस अंतिम वेरिएबल को हटाकर तीसरा, "स्ट्रिक्टली कंट्रोल्ड" (strictly controlled) स्तर बनाया, तो मॉडल का प्रदर्शन फिर से गिर गया। कैटबूट मॉडल का स्कोर गिरकर 0.680 हो गया, और सबसे महत्वपूर्ण मामलों की सही पहचान करने की इसकी क्षमता गिरकर 0.407 रह गई। यह अंतिम परिणाम उनके पिछले, अधिक कठोर अध्ययन में देखे गए मामूली प्रदर्शन के काफी करीब था, जिससे पुष्टि हुई कि डेटा में वास्तविक प्रेडिक्टिव सिग्नल (predictive signal) उतना कमजोर था जितना कि शुरुआती बढ़ी हुई संख्याओं ने सुझाव दिया था।

यह अध्ययन चिकित्सा परिणामों की भविष्यवाणी करने के लिए कंप्यूटर का उपयोग करने वाले किसी भी व्यक्ति के लिए एक महत्वपूर्ण सबक प्रदान करता है। शोधकर्ताओं ने पाया कि ट्री-बेस्ड मॉडल, जो जटिल डेटा को संभालने की अपनी क्षमता के लिए लोकप्रिय हैं, इस प्रकार के मुद्रास्फीति (inflation) के प्रति विशेष रूप से संवेदनशील होते हैं क्योंकि वे एक श्रेणी को परिभाषित करने वाले सटीक नियमों को खोजने में उत्कृष्ट होते हैं। जब लक्षित परिणाम प्रक्रिया वेरिएबल्स के एक सरल "या" (OR) संयोजन से बना होता है—जैसे कि "खुराक छूटना OR दवा खत्म होना"—तो मॉडल आसानी से इन नियमों को याद कर सकता है और पूर्ण स्कोर प्राप्त कर सकता है जो वास्तविकता को प्रतिबिंबित नहीं करते हैं। शोधकर्ता जोर देते हैं कि फार्मेसी रिफिल रिकॉर्ड जैसे वेरिएबल्स स्वाभाविक रूप से बुरे नहीं हैं; वे विभिन्न परिणामों, जैसे कि बच्चे का वायरस दब जाएगा या नहीं, की भविष्यवाणी करने के लिए उपयोगी हैं। खतरा केवल तब उत्पन्न होता है जब लक्ष्य स्वयं 'एडहेरेंस' (अनुपालन) की भविष्यवाणी करना हो, और मॉडल को अनुपालन को परिभाषित करने वाले मापों को अपने प्राथमिक सुराग के रूप में उपयोग करने की अनुमति दी जाए।

अंततः, यह विश्लेषण उच्च-प्रदर्शन वाले नंबरों को उनके वास्तविक मूल्य पर लेने के विरुद्ध एक चेतावनी के रूप में कार्य करता है। शोधकर्ताओं ने प्रदर्शित किया कि परिणाम-परिभाषित क्षेत्रों को शामिल करने से मॉडल के भेदभाव (discrimination) को 0.41 अंक तक कृत्रिम रूप से बढ़ाया जा सकता है, जो एक बहुत बड़ा अंतर है जो चिकित्सकों को ऐसे उपकरण पर भरोसा करने के लिए प्रेरित कर सकता है जो वास्तव में उपयोग के लिए तैयार नहीं है। वे सुझाव देते हैं कि भविष्य के अध्ययनों को एक स्तरीय दृष्टिकोण (tiered approach) अपनाना चाहिए, जो इस प्रकार के लीकेज का ऑडिट करने के लिए सीधे घटकों और करीबी प्रॉक्सी को व्यवस्थित रूप से हटाता हो। ऐसा करके, वैज्ञानिक यह सुनिश्चित कर सकते हैं कि जो मॉडल वे बना रहे हैं, वे वास्तविक, हस्तांतरणीय संकेतों का पता लगा रहे हैं जो वास्तविक दुनिया में टिके रहेंगे, न कि केवल उस डेटा की संरचना को प्रतिबिंबित कर रहे हैं जिसे उन्हें खिलाया गया है। यह कार्य इस बात की पुष्टि करता है कि हालांकि मशीन लर्निंग में कम-संसाधन वाले परिवेशों में देखभाल में सुधार करने की अपार संभावना है, लेकिन इसकी शक्ति को डेटा के निर्माण के प्रति एक कठोर समझ के साथ संतुलित किया जाना चाहिए।