Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

जब डॉक्टर को निमोनिया का संदेह होता है, तो पहला कदम अक्सर चेस्ट एक्स-रे होता है, जो एक सरल छवि है जो फेफड़ों के छिपे हुए परिदृश्य को प्रकट करती है। दशकों से, इन छवियों की व्याख्या मानव आंखों पर निर्भर रही है, एक ऐसा कौशल जो विशेषज्ञों के बीच भी भिन्न होता है। हाल के वर्षों में, चिकित्सा छवियों के विशाल पुस्तकालयों पर प्रशिक्षित कंप्यूटर प्रोग्रामों ने इस कार्य को स्वचालित करने का वादा किया है, जो एक ऐसी दूसरी जोड़ी आंखों के रूप में कार्य करते हैं जो कभी थकती नहीं हैं। ये आर्टिफिशियल इंटेलिजेंस सिस्टम संक्रमण से जुड़े पैटर्न को पहचानना सीखते हैं, जिसका लक्ष्य त्वरित और सुसंगत निदान प्रदान करना है। हालाँकि, इस तकनीकी दौड़ के पीछे एक महत्वपूर्ण प्रश्न बना हुआ है: यदि एक कंप्यूटर एक अस्पताल के एक्स-रे से निमोनिया को पहचानना सीखता है, तो क्या वह वास्तव में बीमारी को समझ सकता है जब वह किसी पूरी तरह से अलग अस्पताल के एक्स-रे देखता है, या एक वयस्क के बजाय एक बच्चे के एक्स-रे देखता है? इन कार्यक्रमों की बीमार और स्वस्थ फेफड़े के बीच अंतर करने की क्षमता कहानी का केवल एक हिस्सा है; वास्तविक परीक्षण इस बात में निहित है कि क्या वे विशिष्ट नियम जिनका उपयोग वे निदान करने के लिए करते हैं और वे अपने उत्तरों में जो आत्मविश्वास व्यक्त करते हैं, वे तब भी कायम रहते हैं जब उनके आसपास की दुनिया बदल जाती है।

शोधकर्ताओं की एक टीम ने इस प्रश्न का उत्तर देने के लिए इन विभिन्न प्रकार के कंप्यूटर मॉडलों को बनाने और परीक्षण करने का निर्णय लिया। उन्होंने वयस्कों के 18,000 से अधिक चेस्ट एक्स-रे के एक विशाल संग्रह के साथ शुरुआत की, डेटा को सावधानीपूर्वक इस तरह विभाजित किया कि मॉडल कुछ छवियों पर सीख सकें और अन्य छवियों पर जिनका उन्होंने पहले कभी परीक्षण नहीं किया था। उन्होंने पंद्रह अलग-अलग प्रकार के न्यूरल नेटवर्क, जो इन प्रणालियों के पीछे के डिजिटल मस्तिष्क हैं, का उपयोग करके विभिन्न तरीकों से प्रशिक्षण दिया ताकि यह देखा जा सके कि कौन से सबसे अच्छा प्रदर्शन करते हैं। इनमें से कुछ नेटवर्क शून्य से बनाए गए थे, जबकि अन्य उन प्रणालियों से अनुकूलित किए गए थे जिन्होंने पहले ही रोजमर्रा की तस्वीरों में वस्तुओं को पहचानना सीख लिया था। शोधकर्ता विशेष रूप से 'ट्रांसफॉर्मर' नामक एक नए प्रकार के नेटवर्क में रुचि रखते थे, जो छवियों को इस तरह से संसाधित करता है जो इस बात की नकल करता है कि मनुष्य कैसे एक दृश्य को स्कैन कर सकते हैं, यानी पूरे चित्र और उसके हिस्सों को एक साथ देखना। प्रशिक्षण के बाद, उन्होंने एकल सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल का चयन किया और पांच शीर्ष मॉडलों की एक टीम भी बनाई जो मिलकर मतदान करती है, इस उम्मीद में कि एक सामूहिक निर्णय एकल राय की तुलना में अधिक विश्वसनीय होगा।

असली परीक्षा तब आई जब इन 'फ्रोजन' (स्थिर) मॉडलों को, जो अब और सीख या बदल नहीं सकते थे, दो पूरी तरह से अलग समूहों के लोगों के एक्स-रे दिखाए गए। पहले समूह में बच्चों के हजारों चित्र शामिल थे, जो एक ऐसी आबादी है जिसके फेफड़े छोटे होते हैं और बीमारी के पैटर्न अलग होते हैं। दूसरा समूह एक अलग देश के वयस्कों के एक्स-रे का संग्रह था, जो एक सामान्य अस्पताल आबादी का प्रतिनिधित्व करता है जहाँ निमोनिया की दर मूल प्रशिक्षण डेटा की तुलना में बहुत कम थी। परिणामों ने यह खुलासा किया कि तकनीक कैसे व्यवहार करती है, इसमें एक दिलचस्प विभाजन है। मॉडल स्वस्थ फेफड़े और बीमार फेफड़े के बीच अंतर करने में उल्लेखनीय रूप से अच्छे साबित हुए, चाहे रोगी बच्चा हो या वयस्क। बच्चों के समूह में, मॉडलों ने 0.925 का AUC प्राप्त किया, और वयस्कों के समूह में, उन्होंने 0.888 का AUC प्राप्त किया। वर्गों के बीच अंतर करने की यह क्षमता, जिसे 'डिस्क्रिमिनेशन' (भेदभाव/विभेदन) कहा जाता है, विभिन्न आबादी में अच्छी तरह से स्थानांतरित हुई।

हालाँकि, कहानी नाटकीय रूप से बदल गई जब शोधकर्ताओं ने यह देखा कि मॉडल वास्तव में अपने निर्णय कैसे लेते हैं। एक कंप्यूटर मॉडल केवल "बीमार" या "स्वस्थ" नहीं कहता; वह एक प्रायिकता (प्रोबेबिलिटी) की गणना करता है, जो एक संख्या है जो यह दर्शाती है कि वह कितने प्रतिशत संभावना मानता है कि रोगी बीमार है। इस संख्या को निदान में बदलने के लिए, एक मनुष्य को एक 'थ्रेशोल्ड' (सीमा) निर्धारित करनी होती है, एक कट-ऑफ पॉइंट जहाँ इससे ऊपर की किसी भी चीज़ को निमोनिया कहा जाता है। शोधकर्ताओं ने पाया कि वह थ्रेशोल्ड जो मूल वयस्क डेटा के लिए बिल्कुल सही काम करता था, नए समूहों पर लागू होने पर बुरी तरह विफल रहा। वही नियम जिसने मूल समूह में 84% निमोनिया के मामलों को पकड़ा था, उसने बच्चों में केवल 59% मामलों को और नए वयस्क समूह में मात्र 39% मामलों को पकड़ा। मॉडल बीमारी को देख तो रहे थे, लेकिन वे इसे घोषित करने के लिए बहुत अधिक सतर्क (कौतूहलपूर्ण/सावधान) थे। जब शोधकर्ताओं ने नए डेटा के एक छोटे नमूने का उपयोग करके कट-ऑफ पॉइंट को रीसेट किया, तो मॉडल तुरंत फिर से सटीक हो गए, जिससे बच्चों में 0.83 और वयस्कों में 0.79 का AUC प्राप्त हुआ। इसने दिखाया कि मॉडलों का आंतरिक तर्क सही था, लेकिन उनके निर्णय लेने के नियम कठोर थे और उस विशिष्ट वातावरण से बंधे थे जहाँ उन्हें पहली बार प्रशिक्षित किया गया था।

एक और जटिलता तब उभरी जब शोधकर्ताओं ने यह जांचा कि मॉडल अपने उत्तरों में कितना आत्मविश्वास व्यक्त करते हैं। मूल प्रशिक्षण डेटा में, मॉडल इस तरह से कैलिब्रेटेड (अंशांकित) थे कि वे दी गई प्रायिकता स्कोर वास्तविक दुनिया की बीमारी की आवृत्ति से मेल खाती थी। लेकिन नए समूहों का सामना करते समय, यह कैलिब्रेशन टूट गया। बच्चों के समूह में, जहाँ निमोनिया बहुत आम था, मॉडलों ने जोखिम को बहुत कम करके आंका, जिससे यह अनुमान लगा कि बीमारी की संभावना वास्तव-त में मौजूद स्थिति से बहुत कम है। नए वयस्क समूह में, जहाँ बीमारी दुर्लभ थी, मॉडलों के प्रायिकता अनुमान आश्चर्यजनक रूप से सटीक रहे। यह सुझाव देता है कि जबकि मॉडल निमोनिया की दृश्य विशेषताओं को सीख सकते हैं, एक विशिष्ट सेटिंग में बीमारी कितनी आम है, इसकी उनकी समझ नाजुक है और रोगी की आबादी में बदलाव से आसानी से बाधित हो जाती है।

अध्ययन ने यह भी उजागर किया कि मॉडल इस बात के प्रति संवेदनशील थे कि एक्स-रे कैसे लिए गए थे। मूल डेटा में, रोगी के सामने रखे गए एक्स-रे मशीन के दृश्यों (जिसे एंटेरोपोस्टीरियर व्यू कहा जाता है) में निमोनिया दिखने की संभावना पीछे से लिए गए दृश्यों (पोस्टरोएंटेरियर व्यू) की तुलना में बहुत अधिक थी। मॉडलों ने इस संकेत का उपयोग करना सीख लिया, वे सामने से लिए गए चित्रों पर खराब प्रदर्शन करते थे क्योंकि उन्हें पढ़ना कठिन था, न कि इसलिए कि मॉडल भ्रमित थे। जब शोधकर्ताओं ने प्रशिक्षण के दौरान मॉडलों को इस संकेत को अनदेखा करने के लिए मजबूर करने की कोशिश की, तो मॉडल वास्तव में अपने काम में और भी खराब हो गए, जिससे पता चला कि कठिनाई वास्तविक और चित्र के प्रकार में अंतर्निहित थी, न कि केवल एक ऐसा तरीका जिसका मॉडल शोषण कर रहा था। इसके अलावा, शोधकर्ताओं ने पाया कि वयस्कों के लिए सर्वश्रेष्ठ मॉडल आवश्यक रूप से बच्चों के लिए सर्वश्रेष्ठ नहीं था। रोगी की आयु के आधार पर कौन सा 'कंप्यूटर ब्रेन' श्रेष्ठ है, इसकी रैंकिंग बदल गई, जिसका अर्थ है कि एक वयस्क अस्पताल के लिए चुना गया मॉडल बाल रोग वार्ड के लिए सही विकल्प नहीं हो सकता है।

अंततः, यह शोध प्रदर्शित करता है कि जबकि आर्टिफिशियल इंटेलिजेंस उच्च कौशल के साथ निमोनिया को देखने में सक्षम है जो विभिन्न आबादी में भी प्रभावी रहता है, अस्पताल में उस कौशल का उपयोग करने के लिए आवश्यक व्यावहारिक उपकरण उतनी आसानी से यात्रा नहीं करते हैं। बीमारी के बीच अंतर करने की क्षमता मजबूत है, लेकिन निदान करने के विशिष्ट नियम और आत्मविश्वास व्यक्त करने का तरीका, स्थानीय संदर्भ से गहराई से जुड़े हुए हैं। इन प्रणालियों को वास्तविक दुनिया में उपयोगी बनाने के लिए, उन्हें केवल डाउनलोड करके और जैसा है वैसा ही उपयोग नहीं किया जा सकता है। उन्हें एक स्थानीय ट्यूनिंग प्रक्रिया की आवश्यकता होती है, जहाँ प्रत्येक नए अस्पताल में रोगियों के विशिष्ट मिश्रण और बीमारी की व्यापकता के अनुरूप निर्णय नियमों को समायोजित किया जाए। अध्ययन निष्कर्ष निकालता है कि इन तकनीकों पर भरोसा करने के लिए, भविष्य की रिपोर्टों को केवल यह बताने से आगे बढ़ना चाहिए कि एक मॉडल स्वस्थ और बीमार के बीच अंतर करने में कितना अच्छा है; उन्हें यह भी दिखाना चाहिए कि वे विशिष्ट निर्णय बिंदुओं पर कैसा प्रदर्शन करते हैं, और जब दुनिया बदलती है तो उनका आत्मविश्वास कैसे बना रहता है।