Are Multimodal LLMs Ready for Clinical Dermatology? A Real-World Evaluation in Dermatology
यह अध्ययन दर्शाता है कि जहाँ मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स सार्वजनिक त्वचा रोग संबंधी बेंचमार्क पर आशाजनक हैं, वहीं वास्तविक नैदानिक सेटिंग्स में उनकी नैदानिक सटीकता काफी कम हो जाती है, जो यह संकेत देता है कि वर्तमान मॉडल अभी तक बेडसाइड उपयोग के लिए पर्याप्त विश्वसनीय नहीं हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए सहायक को काम पर रख रहे हैं ताकि वह एक डर्मेटोलॉजिस्ट (त्वचा विशेषज्ञ) की मदद कर सके, जो हजारों मरीजों की तस्वीरों और नोट्स को छाँटने में उनकी सहायता करेगा। आप जानना चाहते हैं कि क्या यह सहायक इतना बुद्धिमान है कि वह त्वचा के चकत्ते (rash) की एक तस्वीर देख सके, डॉक्टर के संक्षिप्त नोट को पढ़ सके और कह सके: "यह X, Y, या Z जैसा दिखता है, और हमें इस मरीज को तुरंत देखने की जरूरत है।"
यह लेख पाँच अलग-अलग AI सहायकों (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स या MLLMs कहा जाता है) के लिए एक कठोर "नौकरी के साक्षात्कार" की तरह है, ताकि यह परीक्षण किया जा सके कि क्या वे इस वास्तविक दुनिया की नौकरी के लिए तैयार हैं।
यहाँ शोधकर्ताओं द्वारा उपयोग किए गए सरल उपमाओं (analogies) के माध्यम से उनके निष्कर्षों का विवरण दिया गया है:
1. "अभ्यास परीक्षा" बनाम "असली नौकरी"
सेटअप:
भर्ती करने से पहले, AI सहायकों ने सार्वजनिक डेटासेट्स का उपयोग करके एक "अभ्यास परीक्षा" दी। ये डेटासेट्स परफेक्टली स्टेज किए गए फोटो शूट की तरह हैं। तस्वीरें उच्च गुणवत्ता वाली हैं, जिन्हें विशेष मेडिकल कैमरों (डर्मेटोस्कोपी) से लिया गया है, जिनमें केवल एक स्पष्ट त्वचा क्षेत्र दिखाई देता है, और कोई बैकग्राउंड का शोर-शराबा नहीं है। इस आदर्श वातावरण में, AI सहायक काफी अच्छा प्रदर्शन करते थे। सबसे अच्छे मॉडल (GPT-4.1) ने लगभग 42% सही उत्तर दिए, और ओपन-सोर्स मॉडल ने लगभग 20-26% स्कोर किया।
वास्तविकता की जाँच:
फिर शोधकर्ताओं ने उन्हें "असली नौकरी" का टेस्ट दिया। इसमें एक अस्पताल के 5,811 वास्तविक मरीज शामिल थे।
- तस्वीरें: ये परफेक्ट स्टूडियो शॉट नहीं थे। इन्हें नियमित डॉक्टरों या मरीजों द्वारा मोबाइल फोन से लिया गया था। लाइटिंग खराब थी, इमेज कंपोजिशन अव्यवस्थित था, और अक्सर बैकग्राउंड में कई चकत्ते या अन्य चीजें (जैसे अस्पताल का बिस्तर या फोन पकड़े हुए हाथ) मौजूद थीं।
- नोट्स: रेफर करने वाले डॉक्टरों द्वारा लिखे गए नोट्स अक्सर छोटे, अस्पष्ट थे, या कभी-कभी समस्या का गलत आभास भी दे रहे थे।
परिणाम:
AI सहायकों का प्रदर्शन धड़ाम से गिर गया।
- केवल अस्त-व्यस्त असली तस्वीरों को देखते समय, सबसे अच्छे AI मॉडल की सटीकता ~42% से गिरकर ~24% हो गई।
- ओपन-सोर्स मॉडल और भी बुरी तरह गिरे, जो ~26% से गिरकर मात्र 1.5% से 13% रह गए।
- उपमा: यह वैसा ही है जैसे कोई छात्र जो साफ, छपे हुए अंकों वाले गणित के पेपर में "A" ग्रेड प्राप्त करता है, लेकिन जब उसे नैपकिन पर लिखी अस्पष्ट लिखावट में वही सवाल हल करने को कहा जाता है, तो वह बुरी तरह फेल हो जाता है।
2. "नोट पर भरोसा करने" का जाल
शोधकर्ताओं ने परीक्षण किया कि क्या होता है जब वे AI को फोटो के साथ डॉक्टर का लिखित नोट भी देते हैं।
- अच्छी खबर: जब नोट्स मददगार थे, तो AI बेहतर प्रदर्शन कर पाया। यह एक जासूस को मददगार सुराग देने जैसा है।
- बुरी खबर: AI बहुत अधिक भरोसेमंद था। यदि रेफर करने वाले डॉक्टर ने नोट में लिखा था, "मुझे लगता है कि यह मकड़ी के काटने का निशान है," तो AI अक्सर इमेज को अनदेखा कर देता था और बस नोट से सहमत हो जाता था, भले ही इमेज स्पष्ट रूप से कुछ और दिखा रही हो।
- खतरा: यदि रेफर करने वाला डॉक्टर गलत था (जो वास्तविक जीवन में अक्सर होता है), तो AI आत्मविश्वास के साथ गलत निदान को दोहरा देता था। कुछ मामलों में, एक भ्रामक नोट ने AI के प्रदर्शन को फोटो देखने की तुलना में भी खराब कर दिया। एक मॉडल (SkinGPT-4) भ्रामक नोट होने पर 84% मामलों में भ्रमित था।
3. "ट्राइएज" टेस्ट (किसे अभी मदद चाहिए?)
चूंकि AI सटीक बीमारी का नाम बताने में संघर्ष कर रहा था, इसलिए शोधकर्ताओं ने एक सरल प्रश्न पूछा: "क्या इस मरीज की स्थिति गंभीर और तत्काल है?" (जैसे एक ट्राइएज नर्स यह तय करती है कि किसे पहले देखना है)।
- परिणाम: AI इस मामले में ठीक था, लेकिन बहुत अच्छा नहीं। यह नोट्स उपलब्ध होने पर लगभग 60% गंभीर मामलों की पहचान कर सका।
- सावधानी: इसने कई गंभीर मामलों को मिस कर दिया, और इसकी पहचान करने की क्षमता पूरी तरह से नोट्स की गुणवत्ता पर निर्भर थी। जब नोट्स भ्रमित करने वाले थे, तो AI गंभीर मामलों को पहचानने में विफल रहा।
4. वे कहाँ विफल हुए? ("आंखें" बनाम "मस्तिष्क")
शोधकर्ताओं ने AI के तर्क (reasoning) का मूल्यांकन करने के लिए मानव डर्मेटोलॉजिस्ट की मदद ली। उन्होंने एक चौंकाने वाला सच पाया:
- AI का "मस्तिष्क" (तर्क) ठीक था। AI चिकित्सा तथ्यों को जानता था और ऐसे वाक्य बना सकता था जो पेशेवर लगें।
- AI की "आंखें" (इमेज रिकग्निशन) ही समस्या थीं। AI इसलिए विफल हुआ क्योंकि वह चकत्ते के विशिष्ट दृश्य विवरणों का सटीक वर्णन नहीं कर सका। उसने सामान्य बातें कहीं जैसे "वहाँ एक लाल धब्बा है," बजाय इसके कि वह उस विशिष्ट आकार या बनावट को नोटिस करता जो किसी बीमारी को परिभाषित करती है।
- उपमा: कल्पना कीजिए कि एक छात्र ने पूरी डिक्शनरी रट ली है और एक बेहतरीन निबंध लिख सकता है, लेकिन जब उसे बिल्ली की तस्वीर दिखाई जाती है, तो वह यह नहीं बता पाता कि उसकी मूंछें या नुकीले कान हैं। वह बिल्ली के लिए शब्दों को तो जानता है, लेकिन वह बिल्ली को देख नहीं पाता।
मुख्य निष्कर्ष
अध्ययन यह निष्कर्ष निकालता है कि ये AI मॉडल वास्तविक डर्मेटोलॉजिकल प्रैक्टिस में अकेले काम करने के लिए तैयार नहीं हैं।
- बेंचमार्क प्रदर्शन भ्रामक है: केवल इसलिए कि एक AI क्लीन और परफेक्ट डेटासेट्स पर अच्छा प्रदर्शन करता है, इसका मतलब यह नहीं है कि वह अस्पताल की अव्यवस्थित वास्तविकता को संभाल सकता है।
- रुकावट "सोचने" में नहीं है: समस्या यह नहीं है कि AI तर्क नहीं कर सकता; समस्या यह है कि वह अस्त-व्यस्त फोटो में त्वचा को सटीक रूप से "देख" नहीं पाता और भ्रामक नोट्स से आसानी से भ्रमित हो जाता है।
- सुरक्षा चेतावनी: जब तक AI खराब फोटो को देखने और भ्रामक नोट्स को अनदेखा करने में बेहतर नहीं हो जाता, तब तक इसे बिना किसी मानव डॉक्टर की निगरानी के निर्णय लेने के लिए भरोसेमंद नहीं माना जा सकता।
संक्षेप में: AI एक स्मार्ट छात्र है जिसने लिखित परीक्षा तो पास कर ली है लेकिन प्रैक्टिकल ड्राइविंग टेस्ट में फेल हो गया है। कार चलाने से पहले उसे वास्तविक "सड़क की स्थितियों" पर अधिक प्रशिक्षण की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।