A multi-model study of diagnostic faithfulness in AI-generated histopathology images

पैथोलॉजिस्ट सूक्ष्म जगत के जासूस होते हैं, जो बीमारी का निदान करने के लिए सूक्ष्मदर्शी (माइक्रोस्कोप) के नीचे मानव ऊतकों के पतले स्लाइसों का परीक्षण करते हैं। उनका कार्य उन चीजों का वर्णन करने के लिए एक सटीक भाषा पर निर्भर करता है जो वे देखते हैं: कोशिकाओं का आकार, ऊतक की बनावट और संरचनाओं की व्यवस्था। दशकों से, इन दृश्य पाठों को साझा करना कठिन रहा है। वास्तविक रोगी चित्र सख्त गोपनीयता कानूनों द्वारा संरक्षित हैं, और छात्रों को सिखाने या कंप्यूटरों को प्रशिक्षित करने के लिए दुर्लभ बीमारियों के पर्याप्त उदाहरण खोजना एक निरंतर संघर्ष है। हाल के वर्षों में, एक प्रकार की नई कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) उभरी है जो लिखित विवरणों को चित्रों में बदल सकती है। आशा यह है कि ये मशीनें आदर्श शिक्षण चित्र बना सकती हैं या अनुसंधान के लिए सिंथेटिक ऊतकों के विशाल पुस्तकालय बना सकती हैं, जिससे वास्तविक रोगी डेटा की आवश्यकता समाप्त हो जाएगी। लेकिन एक महत्वपूर्ण प्रश्न बना हुआ है: यदि कोई कंप्यूटर किसी विशिष्ट बीमारी का विवरण लिखता है और फिर उसका एक चित्र बनाता है, तो क्या वह चित्र वास्तव में असली चीज़ जैसा दिखता है, या यह केवल एक संभावित अनुमान जैसा दिखता है?

त्सिंहुआ विश्वविद्यालय के शोधकर्ताओं के एक दल ने सात अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल का परीक्षण करके इस प्रश्न का उत्तर देने का प्रयास किया। वे यह देखना चाहते थे कि क्या ये मशीनें चिकित्सा रिपोर्टों को सटीक हिस्टोलॉजी छवियों में निष्ठापूर्वक अनुवादित कर सकती हैं। ऐसा करने के लिए, उन्होंने आधिकारिक चिकित्सा पाठ्यपुस्तकों से लिए गए 579 वास्तविक उदाहरणों का उपयोग करके एक कठोर परीक्षण बनाया। इन उदाहरणों में मस्तिष्क और फेफड़ों से लेकर त्वचा और प्रजनन अंगों तक, मानव शरीर की विभिन्न प्रणालियों का कवरेज किया गया था। शोधकर्ताओं ने इन पाठ्यपुस्तक मामलों के लिखित विवरणों को सात एआई मॉडल में डाला और उनसे संबंधित चित्र बनाने के लिए कहा। फिर उन्होंने तीन अलग-अलग स्वचालित विधियों का उपयोग करके परिणामों की तुलना की। एक विधि ने यह जांचा कि क्या उत्पन्न छवियों की समग्र शैली और बनावट वास्तविक नमूनों से मेल खाती है। दूसरी विधि ने यह मापा कि छवि में विशिष्ट विवरण विवरण के विशिष्ट शब्दों के साथ कितनी अच्छी तरह संरेखित होते हैं। तीसरी विधि एक स्मृति परीक्षण थी: उन्होंने एआई-जनित छवि को सिस्टम को दिखाया और पूछा कि क्या यह उस मूल चिकित्सा रिपोर्ट को खोज सकता है जिसने इसे बनाया था।

परिणामों ने इन मशीनों की क्षमताओं और सीमाओं की एक जटिल तस्वीर पेश की। 'नैनो बनाना प्रो' नामक एक मॉडल ने तीनों परीक्षणों में अन्य सभी से बेहतर प्रदर्शन किया। इसने ऐसे चित्र बनाए जो पाठ्यपुस्तक के उदाहरणों के सबसे अधिक समान थे और लिखित विवरणों के साथ सबसे अच्छा तालमेल रखते थे। हालांकि, यहाँ तक कि इस शीर्ष प्रदर्शन करने वाले मॉडल को भी मेमोरी टेस्ट में संघर्ष करना पड़ा। एक उत्पन्न छवि को दिखाए जाने पर, सिस्टम केवल लगभग 6 प्रतिशत बार मूल चिकित्सा रिपोर्ट की सही पहचान कर सका। इसका अर्थ यह है कि हालांकि चित्र सामान्य रूप से यथार्थवादी दिखते थे, लेकिन उनमें विशिष्ट, अद्वितीय विवरणों की कमी थी जो किसी डॉक्टर या कंप्यूटर को एक विशिष्ट मामले को दूसरे से अलग करने में सक्षम बनाते। अध्ययन में यह भी पाया गया कि विभिन्न परीक्षण विधियां अक्सर एक-दूसरे से असहमत थीं। एक मॉडल ऐसे चित्र उत्पन्न कर सकता था जो सांख्यिकीय रूप से वास्तविक ऊतक के समान दिखते हों लेकिन विवरण में दिए गए विशिष्ट विवरणों को पकड़ने में विफल रहे हों, जबकि दूसरा मॉडल इसके विपरीत कर सकता था।

यह असहमति चिकित्सा में आर्टिफिशियल इंटेलिजेंस के मूल्यांकन के वर्तमान तरीके में एक महत्वपूर्ण सीमा को उजागर करती है। एक मॉडल ऊतक के नमूने के सामान्य "लुक" की नकल करने में उत्कृष्ट हो सकता है, बिना वास्तव में उस विशिष्ट बीमारी को समझे जिसे उसे प्रदर्शित करना चाहिए। शोधकर्ताओं ने पाया कि केवल स्तन ऊतक (ब्रेस्ट टिश्यू) पर प्रशिक्षित एक विशेष मॉडल ने स्तन के नमूनों की सामान्य उपस्थिति की नकल करने में अच्छा प्रदर्शन किया, लेकिन इसने यह गारंटी नहीं दी कि वह किसी विशेष मामले की विशिष्ट विशेषताओं को सटीक रूप से प्रस्तुत कर पाएगा। अध्ययन निष्कर्ष निकालता है कि इन मॉडलों को आंकने के लिए केवल एक स्कोर पर भरोसा करना खतरनाक है। यदि हम यह जानना चाहते हैं कि क्या कोई एआई चिकित्सा शिक्षा या अनुसंधान के लिए उपयोगी है, तो हमें छवियों की सामान्य यथार्थता और विशिष्ट विवरणों से मेल खाने की उनकी क्षमता, दोनों को मापना होगा। जब तक ये सिस्टम बीमारी के सूक्ष्म विवरणों को विश्वसनीय रूप से पुनरुत्पादित नहीं कर सकते, तब तक वे सामान्य दृश्यों को उत्पन्न करने के लिए शक्तिशाली उपकरण तो हैं, लेकिन अभी तक वास्तविक पैथोलॉजी की सटीकता को बदलने के लिए तैयार नहीं हैं।