Evaluation of Medical Vision Language Models HuluMed and MedGemma, and general purpose chatbots Gemma 3, ChatGPT Plus, and Claude Pro on real previously unseen wound images
यह अध्ययन वास्तविक घाव की छवियों पर छह विजन-लैंग्वेज मॉडलों का मूल्यांकन करता है और पाता है कि चैटजीपीटी (ChatGPT) और क्लॉड (Claude) जैसे सामान्य-उद्देश्य वाले सिस्टम नैदानिक घाव मूल्यांकन में चिकित्सकीय रूप से विशिष्ट मॉडलों से काफी बेहतर प्रदर्शन करते हैं, हालांकि सभी मॉडल अभी भी स्वायत्त विश्वसनीयता में पर्याप्त सीमाओं का सामना करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास छह अलग-अलग "डिजिटल जासूसों" का एक समूह है। उनका काम 20 अलग-अलग प्रकार के खुले घावों (जैसे कट, छाले, या सर्जिकल साइट्स) की तस्वीरों को देखना और उनके बारे में 12 विशिष्ट प्रश्नों के उत्तर देना है, जैसे कि: "क्या यह संक्रमित है?", "क्या हमें सर्जरी की आवश्यकता है?", या "हमें किस प्रकार की पट्टी का उपयोग करना चाहिए?"
शोधकर्ता यह देखना चाहते थे कि कौन सा जासूस इन चिकित्सा पहेलियों को सुलझाने में सबसे अच्छा है। उन्होंने दो प्रकार के जासूसों को एक-दूसरे के खिलाफ मुकाबला कराया:
- जनरलिस्ट (Generalists): प्रसिद्ध, शक्तिशाली AI चैटबॉट्स (जैसे ChatGPT और Claude) जो सब कुछ के बारे में थोड़ा-थोड़ा जानते हैं, जिसमें चिकित्सा भी शामिल है।
- स्पेशलिस्ट (Specialists): डॉक्टरों के लिए विशेष रूप से बनाए गए AI मॉडल (जैसे HuluMed और MedGemma) जिन्हें केवल मेडिकल टेक्स्टबुक्स और डेटा पर प्रशिक्षित किया गया था।
यहाँ बताया गया है कि जब उन्होंने यह परीक्षण लिया तो क्या हुआ:
रेस के परिणाम
जनरलिस्ट (Generalists) ने इस दौड़ में भारी अंतर से जीत हासिल की।
- ChatGPT शीर्ष स्कोरर रहा, जिसने लगभग 73% उत्तर सही दिए।
- Claude लगभग 62% के साथ दूसरे स्थान पर रहा।
स्पेशलिस्ट (Specialists) काफी संघर्ष करते दिखे।
- HuluMed (स्पेशलिस्ट समूह में सबसे अच्छा) केवल 40% सही कर पाया।
- अन्य मेडिकल AI (MedGemma और Gemma 3) का स्कोर और भी कम था, जिनमें से एक का स्कोर 18% से भी कम था।
स्कोर के पीछे का "क्यों"
पेपर इस आश्चर्यजनक परिणाम को कुछ प्रमुख विचारों के साथ समझाता है:
1. "सब कुछ जानने वाला" बनाम "सीमित विशेषज्ञ"
जनरलिस्ट AI को एक स्विस आर्मी नाइफ (Swiss Army Knife) की तरह समझें। उन्होंने लाखों अलग-अलग चित्र और बातचीत देखी हैं। जब वे किसी घाव को देखते हैं, तो वे उस संदर्भ को समझने के लिए अपने विशाल, व्यापक अनुभव का उपयोग करते हैं।
स्पेशलिस्ट AI एक ऐसे पेचकश (screwdriver) की तरह हैं जिसे केवल एक विशिष्ट प्रकार के पेंच के लिए डिज़ाइन किया गया है। हालांकि वे चिकित्सा शब्दों के बारे में बहुत कुछ जानते हैं, लेकिन वे तब भ्रमित होते दिखते हैं जब उन्हें एक अव्यवस्थित, वास्तविक दुनिया की फोटो को देखना होता है और यह तय करना होता है कि उसके बारे में क्या करना है। पेपर सुझाव देता है कि डेटा की एक विशाल विविधता पर प्रशिक्षित होने से इन मॉडल्स को "बड़ी तस्वीर" (big picture) को बेहतर ढंग से समझने में मदद मिलती है, बजाय केवल मेडिकल डेटा पर प्रशिक्षित होने के।
2. देखना बनाम निर्णय लेना
जासूस देखने में अच्छे थे। अधिकांश मॉडल सही ढंग से पहचान सकते थे कि घाव लाल (संक्रमित) दिख रहा है या उसमें मृत ऊतक (necrosis) हैं।
हालाँकि, वे निर्णय लेने में बहुत खराब थे। जब पूछा गया, "क्या हमें इसे काटकर निकालना चाहिए?" या "क्या हमें एमआरआई (MRI) की आवश्यकता है?", तो स्पेशलिस्ट AI अक्सर अस्पष्ट, हिचकिचाते हुए उत्तर देते थे या गलत प्रक्रिया का सुझाव देते थे।
- उपमा: यह बिल्कुल वैसा ही है जैसे कोई छात्र जो कार के इंजन का सटीक वर्णन तो कर सकता है लेकिन वास्तव में कार चलाकर मंजिल तक पहुँचने के लिए पूछी गई बात पर विफल हो जाता है।
**3. "टालमटोल" (Waffling) की समस्या
शोधकर्ताओं ने AI के लिए एक सख्त ग्रेडिंग नियम दिया: आपको स्पष्ट "हाँ" या "ना" में उत्तर देना होगा। यदि आप कहते हैं, "यह संक्रमित हो सकता है, लेकिन शायद नहीं," तो आपको शून्य अंक मिलेंगे।
स्पेशलिस्ट AI "टालमटोल" करने में माहिर थे। वे कह सकते थे, "यह संभव है कि हस्तक्षेप की आवश्यकता हो, नैदानिक संकेतों के आधार पर।" हालांकि यह सुनने में सावधान और सुरक्षित लगता है, लेकिन टेस्ट ने इसे गलत माना क्योंकि यह एक स्पष्ट निर्णय नहीं था। जनरलिस्ट AI अधिक प्रत्यक्ष और आत्मविश्वासी थे।
मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि वर्तमान में, यदि आपको एक AI की आवश्यकता है जो घाव की फोटो को देखे और डॉक्टर को योजना बनाने में मदद करे, तो सामान्य-उद्देश्य वाले चैटबॉट्स मेडिकल-विशिष्ट वाले बॉट्स की तुलना में बेहतर हैं।
हालांकि, इस परिणाम के साथ एक बड़ी चेतावनी जुड़ी हुई है। पेपर कहता है कि ये AI उपकरण अकेले काम करने के लिए तैयार नहीं हैं। वे एक बहुत ही बुद्धिमान इंटर्न की तरह हैं जो डॉक्टर को उनके विचारों को व्यवस्थित करने में मदद कर सकते हैं, लेकिन वे गलतियाँ भी करते हैं। वास्तविक चिकित्सा निर्णय लेने से पहले डॉक्टरों को हमेशा AI के काम की दोबारा जांच करनी चाहिए।
संक्षेप में: "सामान्य ज्ञान" वाले AI वर्तमान में मेडिकल-विशिष्ट AI की तुलना में घाव की पहेलियों को सुलझाने में बेहतर हैं, लेकिन उनमें से कोई भी अभी तक मानव डॉक्टर की जगह लेने के लिए पर्याप्त सक्षम नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।