A Reproducible Framework for Auditing the Trustworthiness of Clinical Machine Learning Models

आधुनिक अस्पतालों में, एक शांत क्रांति चल रही है। कंप्यूटर मरीजों के रिकॉर्ड पढ़ना सीख रहे हैं, रक्तचाप, आयु और जीवनशैली में ऐसे पैटर्न पहचान रहे हैं जो मानव डॉक्टर शायद चूक सकते हैं, और उन पैटर्नों का उपयोग यह अनुमान लगाने के लिए कर रहे हैं कि किसे दिल का दौरा या अन्य गंभीर बीमारी का खतरा है। क्लिनिकल मशीन लर्निंग के रूप में जाना जाने वाला यह क्षेत्र खतरे को जल्दी पकड़कर जीवन बचाने का वादा करता है। लेकिन इसमें एक पेंच है। एक कंप्यूटर प्रोग्राम जो एक शहर में हृदय रोग की भविष्यवाणी करना सीखता है, वह दूसरे शहर में पूरी तरह विफल हो सकता है जहाँ की जनसंख्या अलग है। ऐसा इसलिए होता है क्योंकि दूसरे शहर के लोग अधिक उम्र के हो सकते हैं, उनका खान-पान अलग हो सकता है, या उनके मेडिकल रिकॉर्ड लिखने का तरीका थोड़ा भिन्न हो सकता है। जब कंप्यूटर इन अंतरों का सामना करता है, तो उसकी भविष्यवाणियां अविश्वसनीय हो सकती हैं, न केवल सही या गलत होने के मामले में, बल्कि उस आत्मविश्वास के मामले में भी जो वह व्यक्त करता है। यदि एक मॉडल कहता है कि किसी मरीज को घटना होने की पिचहत्तर प्रतिशत संभावना है, लेकिन वास्तविक संभावना केवल पैंतीस प्रतिशत है, तो एक डॉक्टर अनावश्यक, आक्रामक परीक्षण करवा सकता है, या इससे भी बुरा, वास्तविक खतरे को अनदेखा कर सकता है। इन उपकरणों के सुरक्षित होने के लिए, उन्हें भरोसेमंद होने की आवश्यकता है, जिसका अर्थ है कि उन्हें न केवल सटीक होना चाहिए, बल्कि अपनी अनिश्चितता के बारे में ईमानदार भी होना चाहिए और अपने तर्क को समझाने के तरीके में सुसंगत भी होना चाहिए।

तन्या दीप नामक एक शोधकर्ता ने ठीक इसी तरह की विश्वसनीयता का परीक्षण करने के लिए एक नई प्रणाली बनाई है। उन्होंने AETHEL नामक एक ढांचा तैयार किया है, जो स्वचालित उपकरणों का एक सेट है जिसे वास्तविक मरीजों पर उपयोग करने से पहले क्लिनिकल मशीन लर्निंग मॉडलों का ऑडिट करने के लिए डिज़ाइन किया गया है। केवल यह जांचने के बजाय कि क्या मॉडल सही उत्तर देता है, AETHEL एक कठोर सुरक्षा निरीक्षक की तरह कार्य करता है, जो तीन विशिष्ट चीजों की जांच करता है: मॉडल के संभाव्यता अनुमान वास्तविकता से कितनी अच्छी तरह मेल खाते हैं, डेटा बदलने पर इसके तर्क की स्थिरता कितनी रहती है, और क्या इसकी सलाह वास्तव में डॉक्टरों को बेहतर निर्णय लेने में मदद करती है। इस प्रणाली का परीक्षण करने के लिए, दीप ने 1,000 मरीजों के एक सिंथेटिक समूह (synthetic cohort) पर कई अलग-अलग कंप्यूटर मॉडलों को प्रशिक्षित किया और फिर उन्हीं मॉडलों का उपयोग प्रसिद्ध फ्रैमिंगहैम हार्ट स्टडी (लक्ष्य समूह) और नेशनल हेल्थ एंड न्यूट्रिशन एग्जामिनेशन सर्वे (डोमेन शिफ्ट संदर्भ) के वास्तविक डेटा पर करने का प्रयास किया। लक्ष्य यह देखना था कि क्या होता है जब एक वातावरण में प्रशिक्षित मॉडल को दूसरे वातावरण में काम करने के लिए मजबूर किया जाता है, जिसे 'डोमेन शिफ्ट' कहा जाता है।

इस ऑडिट के परिणामों ने यह खुलासा किया कि वर्तमान में इन मॉडलों का सत्यापन कैसे किया जाता है, इसमें एक बड़ी समस्या है। जब मॉडलों को प्रशिक्षण डेटा से नए, वास्तविक दुनिया के डेटा पर ले जाया गया, तो उनकी सही भविष्यवाणी करने की क्षमता गिर गई, लेकिन उससे भी महत्वपूर्ण बात यह थी कि उनका आत्मविश्वास खतरनाक रूप से असंतुलित हो गया। एक मॉडल अभी भी सही मरीजों की पहचान कर सकता है, लेकिन वह उन्हें गलत जोखिम प्रतिशत प्रदान करेगा। उदाहरण के लिए, एक मॉडल जो अपने प्रशिक्षण चरण में अच्छी तरह से कैलिब्रेटेड (calibrated) था, स्थानांतरण के बाद अनकैलिब्रेटेड हो गया, जिसका अर्थ है कि उसके जोखिम स्कोर अब किसी घटना की वास्तविक संभावना से मेल नहीं खाते थे। दीप ने पाया कि हालांकि मॉडलों को उनके आत्मविश्वास को पुनर्गठित करने के लिए मानक गणितीय समायोजनों का उपयोग करके ठीक किया जा सकता था, फिर भी एक सूक्ष्म समस्या बनी रही। संख्याओं को ठीक करने के बाद भी, मॉडल के तर्क की शक्ति बदलने लगी। जबकि मॉडलों ने लगातार शीर्ष तीन कारकों—आयु, बीएमआई (BMI) और धूम्रपान की स्थिति—को सबसे महत्वपूर्ण कारक के रूप में पहचाना, लेकिन विभिन्न परिवेशों के बीच इन कारकों का विशिष्ट भार और सहसंबंध बदल गया। प्रशिक्षण डेटा में, मॉडल निर्णय लेने के लिए आयु और धूम्रपान की स्थिति पर बहुत अधिक निर्भर हो सकता था, लेकिन नए डेटा में, इन कारकों और परिणाम के बीच का संबंध बदल गया। तर्क में यह बदलाव खतरनाक है क्योंकि डॉक्टर यह समझने के लिए इन स्पष्टीकरणों पर भरोसा करते हैं कि कंप्यूटर किसी मरीज को क्यों चिह्नित कर रहा है। यदि बिना चेतावनी के तर्क बदल जाता है, तो डॉक्टर उस सलाह पर भरोसा नहीं कर सकता।

इस छिपी हुई अस्थिरता को मापने के लिए, दीप ने यह मापने के नए तरीके पेश किए कि मॉडल का तर्क कितना बदलता है। उन्होंने ऐसे मेट्रिक्स विकसित किए जो एक सेटिंग में मॉडल द्वारा उपयोग किए जाने वाले सबसे महत्वपूर्ण कारकों की सूची की तुलना दूसरी सेटिंग की सूची से करते हैं। परीक्षणों ने दिखाया कि जबकि कुछ मॉडल, जैसे सरल रैखिक समीकरण (linear equations), अपने तर्क को काफी सुसंगत रखते हैं, अधिक जटिल मॉडल अक्सर डेटा बदलने पर प्रमुख कारकों पर अपनी निर्भरता की तीव्रता बदल देते हैं। यह निष्कर्ष इस सामान्य धारणा को चुनौती देता है कि यदि कोई मॉडल एक स्थान पर अच्छा काम करता है, तो वह दूसरे स्थान पर भी उसी तरह काम करेगा। अध्ययन ने प्रदर्शित किया कि केवल सटीकता की जांच करना पर्याप्त नहीं है; यह भी जांचना आवश्यक है कि क्या मॉडल का आंतरिक तर्क वातावरण बदलने पर भी बना रहता है।

इस ढांचे ने एक मरीज के बिस्तर के पास खड़े डॉक्टर के लिए इन भविष्यवाणियों के व्यावहारिक मूल्य को भी देखा। 'डिसीजन कर्व एनालिसिस' (decision curve analysis) नामक एक विधि का उपयोग करते हुए, अध्ययन ने अमूर्त सांख्यिकीय लाभों को ठोस संख्याओं में अनुवादित किया। केवल यह कहने के बजाय कि एक मॉडल परिणामों में सुधार करता है, सिस्टम ने दृश्य चार्ट उत्पन्न किए जो बिल्कुल दिखाते थे कि एक हजार में से कितने मरीजों को उपचार के लिए सही ढंग से पहचाना जाएगा बनाम कितने मरीजों का अनावश्यक रूप से उपचार किया जाएगा। परिणामों ने दिखाया कि जब मॉडलों को ठीक से कैलिब्रेट किया गया था, तो वे सभी का उपचार करने या किसी का भी उपचार न करने के मुकाबले एक स्पष्ट लाभ प्रदान करते थे। हालांकि, यह लाभ गायब हो गया यदि मॉडल को नई आबादी के लिए पुन: कैलिब्रेट नहीं किया गया था। अध्ययन ने निष्कर्ष निकाला कि चिकित्सा में मशीन लर्निंग को सुरक्षित होने के लिए, यह "सेट इट एंड फॉरगेट इट" (स्थापित करो और भूल जाओ) वाला उपकरण नहीं हो सकता है। इसके लिए एक निरंतर, स्वचालित ऑडिट की आवश्यकता है जो न केवल अंतिम स्कोर की, बल्कि इसके आत्मविश्वास के कैलिब्रेशन, इसके तर्क की स्थिरता और इसकी सलाह के वास्तविक दुनिया के प्रभाव की भी जांच करता है। इस ढांचे को ओपन-सोर्स सॉफ्टवेयर के रूप में जारी करके, शोधकर्ता ने दूसरों को इन सुरक्षा जांचों को स्वयं सत्यापित करने का एक तरीका प्रदान किया है, यह सुनिश्चित करते हुए कि चिकित्सा में आर्टिफिशियल इंटेलिजेंस का वादा इसकी सुरक्षा से आगे न निकल जाए।