Performance and Failure Patterns of Multimodal Large Language Models for Hepatocellular Carcinoma Detection on Portal Venous Phase CT
जबकि सर्वश्रेष्ठ प्रदर्शन करने वाले मल्टीमॉडल लार्ज लैंग्वेज मॉडल (एनाटॉमिकल गाइडेंस के साथ ChatGPT-5.1) ने पोर्टल वेनस फेज सीटी पर हेपेटोसेलुलर कार्सिनोमा का पता लगाने में बेहतर सटीकता दिखाई, फिर भी यह मानव रेडियोलॉजिस्टों से काफी पीछे रहा, जो विजुअल लीजन डिटेक्शन में एआई की वर्तमान सीमाओं और सूक्ष्म प्रॉम्प्ट डिजाइन एवं मानवीय पर्यवेक्षण की महत्वपूर्ण आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक विशाल, धुंधले जंगल में छिपे हुए खजाने को पहचानने के लिए सिखाने की कोशिश कर रहे हैं। चिकित्सा की दुनिया में, वह "जंगल" मानव शरीर है, और "खजाना" लिवर कैंसर (हेपेटोसेलुलर कार्सिनोमा - HCC) नामक एक खतरनाक ट्यूमर है। आमतौर पर, डॉक्टर इस धुंध के पार देखने के लिए सीटी स्कैन (CT scan) नामक एक विशेष प्रकार के एक्स-रे का उपयोग करते हैं। लेकिन हाल ही में, एक नए प्रकार का रोबोट मस्तिष्क सामने आया है: मल्टीमॉडल लार्ज लैंग्वेज मॉडल (LLM)। इन मॉडल्स को ऐसे अविश्वसनीय रूप से पढ़े-लिखे छात्रों के रूप में सोचें जिन्होंने लाखों किताबें और चित्र पढ़े हैं। वे सवाल पूछने और बातचीत करने में बहुत अच्छे हैं, लेकिन क्या वे वास्तव में एक मानव डॉक्टर की तरह धुंधली मेडिकल इमेज में ट्यूमर देख सकते हैं? यही बड़ा सवाल है। डॉक्टरों को इसकी परवाह है क्योंकि यदि ये रोबोट कैंसर को जल्दी पहचानना सीख जाते हैं, तो वे जीवन बचाने में मदद कर सकते हैं। लेकिन यदि वे धुंध के कारण भ्रमित हो जाते हैं और खजाना मिस कर देते हैं, या यदि वे एक हानिरहित पत्थर को खजाना समझ लेते हैं, तो यह खतरनाक हो सकता है। इसलिए, वैज्ञानिक इन एआई (AI) छात्रों को परखना चाहते थे ताकि यह देखा जा सके कि क्या वे वास्तविक दुनिया के लिए तैयार हैं या उन्हें अभी और पढ़ाई की आवश्यकता है।
इस अध्ययन में, चीन और कनाडा के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने इन एआई मॉडल्स के साथ "अंतर पहचानो" (Spot the Difference) का एक उच्च-दांव वाला खेल खेलने का निर्णय लिया। उन्होंने लिवर के 211 सिंगल-स्लाइस सीटी चित्र एकत्र किए—कुछ जिनमें लिवर कैंसर की पुष्टि हुई थी और कुछ बिल्कुल स्वस्थ थे। उन्होंने ये चित्र चार अलग-अलग संस्करणों वाले एआई "छात्रों" (जिनमें ChatGPT-4o, ChatGPT-4.5, Perplexity और नवीनतम ChatGPT-5.1 शामिल हैं) को सौंप दिए और उनसे एक सरल प्रश्न पूछा: "क्या यहाँ कोई ट्यूमर है?" इसे निष्पक्ष बनाने के लिए, उन्होंने दो मानव विशेषज्ञों को भी—एक वरिष्ठ रेडियोलॉजिस्ट (वर्षों के अनुभव वाला एक मास्टर डिटेक्टिव) और एक फेलो (एक प्रशिक्षु डिटेक्टिव)—को ठीक वही तस्वीरें देखने और उसी प्रश्न का उत्तर देने के लिए कहा।
परिणाम प्रभावशाली प्रगति और अभी भी बहुत काम बाकी होने की स्पष्ट यादों का मिश्रण थे। मानव विशेषज्ञ निर्विवाद विजेता थे। वरिष्ठ रेडियोलॉजिस्ट ने हर एक ट्यूमर को पकड़ लिया (100% संवेदनशीलता/sensitivity) और कुल मिलाकर 91.5% बार सही थे। प्रशिक्षु फेलो उनके ठीक पीछे थे, जो 91.0% बार सही थे। हालांकि, एआई मॉडल्स को थोड़ा संघर्ष करना पड़ा। सबसे अच्छा प्रदर्शन करने वाला एआई, ChatGPT-5.1, 83.4% उत्तर सही देने में सफल रहा। यह एक ठोस स्कोर है, लेकिन यह अभी भी मानव डॉक्टरों की तुलना में काफी कम था।
यहीं पर कहानी दिलचस्प हो जाती है: शोधकर्ताओं ने पाया कि एआई का प्रदर्शन इस बात पर बहुत अधिक निर्भर करता था कि उनसे प्रश्न कैसे पूछा गया। जब उन्होंने एआई को केवल एक मानक प्रॉम्प्ट दिया, तो वह लगभग 74% बार सही था। लेकिन, जब उन्होंने इसमें थोड़ा सा "एनाटॉमिकल गाइडेंस" (शारीरिक मार्गदर्शन) जोड़ा—बेसिकली एआई को बताया, "हे, याद रखें, लीवर इस छवि के बाईं ओर है, और फेफड़े इसके पीछे हैं"—तो एआई का स्कोर बढ़कर 83.4% हो गया। यह ऐसा था जैसे रोबोट को एक टॉर्च और एक नक्शा दिया गया हो; अचानक, वह बहुत बेहतर देख सका। हालांकि, इस उछाल के बावजूद, एआई अभी भी मानव डॉक्टरों की तुलना में अधिक ट्यूमर मिस कर रहा था।
अध्ययन ने इस बात पर भी बारीकी से नज़र डाली कि एआई और मनुष्यों ने गलतियाँ क्यों कीं। एआई की सबसे बड़ी विफलता उन ट्यूमर को मिस करना थी जो स्वस्थ लिवर टिश्यू के बिल्कुल समान दिखते थे (जिन्हें "आइसोटेनुएटिंग" लीजन कहा जाता है)। यह सफेद बर्फ के ढेर में सफेद स्नोबॉल खोजने जैसा था। मनुष्य इन पेचीदा मामलों को पहचानने में बहुत बेहतर थे। दूसरी ओर, एआई और मनुष्य दोनों कभी-कभी रक्त वाहिकाओं (blood vessels) से भ्रमित हो गए, एक नस के क्रॉस-सेक्शन को ट्यूमर समझ लिया। दिलचस्प बात यह है कि एआई ने मनुष्यों की तुलना में इन "फॉल्स अलार्म" वाली गलतियों को कम किया, लेकिन उसकी अपनी अजीब गलतियाँ भी थीं, जैसे कि ग्रे के विशिष्ट शेड्स के प्रति बहुत अधिक जुनूनी होना और बड़ी तस्वीर को अनदेखा करना।
अंततः, यह पेपर सुझाव देता है कि हालांकि ये एआई मॉडल स्मार्ट हो रहे हैं और बेहतर निर्देशों से इनकी मदद की जा सकती है, लेकिन वे अभी मानव डॉक्टरों की जगह लेने के लिए तैयार नहीं हैं। वे बहुत प्रतिभाशाली इंटर्न की तरह हैं जो अभी भी काम सीख रहे हैं। वे डॉक्टरों की मदद करने के लिए उपयोगी उपकरण हो सकते हैं, लेकिन उन्हें अपने काम की दोबारा जांच करने के लिए एक मानव पर्यवेक्षक की आवश्यकता होती है, खासकर जब सुराग सूक्ष्म हों। शोधकर्ता निष्कर्ष निकालते हैं कि हमें सावधान रहने की आवश्यकता है, इन मॉडल्स का परीक्षण करते रहना चाहिए, और यह समझना चाहिए कि वे कहाँ विफल हो सकते हैं, इससे पहले कि हम उन्हें वास्तविक रोगी निदान के लिए भरोसा करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।