NeuroVLM-Bench: Evaluation of Vision-Enabled Large Language Models for Clinical Reasoning in Neurological Disorders
यह शोध पत्र NeuroVLM-Bench प्रस्तुत करता है, जो 2D न्यूरोइमेजिंग कार्यों पर बीस अत्याधुनिक विजन-सक्षम लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने वाला एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि जहाँ तकनीकी इमेज गुणों को अच्छी तरह से संभाला जाता है, वहीं नैदानिक तर्क (diagnostic reasoning) चुनौतीपूर्ण बना हुआ है, जिसमें Gemini-2.5-Pro जैसे प्रोप्रायटरी मॉडल्स सटीकता में अग्रणी हैं और MedGemma-1.5-4B ओपन-वेट आर्किटेक्चर के बीच सबसे अधिक संभावना प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास 20 बिल्कुल नए, सुपर-स्मार्ट रोबोटों की एक टीम है। ये रोबोट "डिजिटल डॉक्टरों" की तरह हैं जो मानव मस्तिष्क (MRI और CT स्कैन) की तस्वीरों को देख सकते हैं और यह पता लगाने की कोशिश कर सकते हैं कि मरीज के साथ क्या गलत है। इनमें से कुछ रोबोट मुफ्त और ओपन-सोर्स (जैसे कि एक समुदाय द्वारा निर्मित टूल) हैं, जबकि अन्य महंगे, प्रोप्राइटरी "ब्लैक बॉक्स" हैं जो बड़ी टेक कंपनियों के स्वामित्व में हैं।
बड़ा सवाल यह है: क्या ये रोबोट वास्तव में असली डॉक्टरों की मदद कर सकते हैं, या वे केवल फैंसी अंदाज़ा लगाने वाले यंत्र हैं जो खतरनाक गलतियाँ कर सकते हैं?
यह पेपर, जिसका शीर्षक NeuroVLM-Bench है, इन AI रोबोटों के लिए एक "ड्राइवर लाइसेंस टेस्ट" की तरह है, जिसे विशेष रूप से ट्यूमर, स्ट्रोक और मल्टीपल स्क्लेरोसिस (MS) जैसे मस्तिष्क विकारों के लिए डिज़ाइन किया गया है।
यहाँ वह कहानी है कि उन्होंने इनका परीक्षण कैसे किया, उन्हें क्या मिला, और भविष्य के लिए इसके क्या मायने हैं।
1. परीक्षा: केवल बहुविकल्पीय प्रश्न नहीं
अधिकांश AI परीक्षण साधारण सामान्य ज्ञान के खेल की तरह होते हैं: "मुझे मस्तिष्क की एक तस्वीर दिखाओ, और बताओ कि यह बीमार है या स्वस्थ।"
लेकिन इस पेपर के लेखकों ने कहा, "वास्तविक डॉक्टर इस तरह काम नहीं करते।" वास्तविक डॉक्टर केवल "बीमार" नहीं कहते। वे विस्तृत रिपोर्ट लिखते हैं। इसलिए, उन्होंने एक ऐसा परीक्षण बनाया जहाँ AI को हर एक ब्रेन स्कैन के लिए एक स्ट्रक्चर्ड मेडिकल रिपोर्ट भरनी थी। AI को सही ढंग से पहचानना था:
- मोडैलिटी (Modality): क्या यह MRI है या CT स्कैन? (जैसे पूछना, "क्या यह एक फोटो है या वीडियो?")
- एंगल (Angle): क्या तस्वीर ऊपर से, बगल से या सामने से ली गई है?
- सीक्वेंस (Sequence): MRI के लिए किन विशिष्ट सेटिंग्स का उपयोग किया गया था?
- निदान (Diagnosis): बीमारी क्या है? (जैसे, स्ट्रोक, ट्यूमर, सामान्य)
- सबटाइप (Subtype): किस प्रकार का ट्यूमर? (जैसे, ग्लियोमा बनाम मेनिन्जियोमा)
यदि AI ने निदान तो सही किया लेकिन रिपोर्ट का प्रारूप (जैसे, चेकलिस्ट के बजाय पैराग्राफ लिखना) गलत कर दिया, तो वह परीक्षा में फेल हो गया। यह महत्वपूर्ण है क्योंकि वास्तविक अस्पताल के कंप्यूटरों को काम करने के लिए एक विशिष्ट प्रारूप में डेटा की आवश्यकता होती है।
2. ट्रेनिंग कैंप: एक तीन-चरणीय फ़िल्टर
उन्होंने सभी 20 रोबोटों को सीधे अंतिम परीक्षा में नहीं डाला। उन्होंने "सर्वाइवल ऑफ द फिटेस्ट" (योग्यतम की उत्तरजीविता) दृष्टिकोण का उपयोग किया:
- चरण 1 (स्क्रीनिंग): उन्होंने सभी 20 रोबोटों का एक छोटी अभ्यास परीक्षा पर परीक्षण किया। कई रोबोट बुरी तरह विफल रहे। कुछ ने उत्तर देने से मना कर दिया (बहुत डरे हुए थे), और कुछ ने बस बकवास बातें बनाईं। उन्होंने सूची को घटाकर शीर्ष 11 तक कर दिया।
- चरण 2 (स्ट्रेस टेस्ट): शेष 11 ने एक बड़ी, कठिन परीक्षा दी ताकि यह देखा जा सके कि क्या वे निरंतरता बनाए रख सकते हैं। उन्होंने सूची को घटाकर शीर्ष 6 तक कर दिया।
- चरण 3 (अंतिम परीक्षा): अंतिम 6 ने बिल्कुल नए डेटा पर अंतिम परीक्षा दी जिसे उन्होंने पहले कभी नहीं देखा था। उन्होंने यह परीक्षा दो बार ली: एक बिना किसी मदद के (Zero-Shot) और एक "चीट शीट" (4 उदाहरण मामलों के अध्ययन के साथ) के साथ (Few-Shot)।
3. परिणाम: अच्छा, बुरा और "अभी थोड़ा और बाकी है"
विजेता ("A-ग्रेड के छात्र")
- Gemini 2.5 Pro और GPT-5 Chat शीर्ष प्रदर्शन करने वाले रहे। वे जटिल मस्तिष्क समस्याओं के निदान में सबसे सटीक थे।
- Gemini 2.5 Flash "सबसे स्मार्ट वैल्यू" था। यह शीर्ष मॉडलों के लगभग बराबर था लेकिन इसे चलाना बहुत तेज़ और सस्ता था। इसे एक ऐसी स्पोर्ट्स कार की तरह समझें जो बहुत अच्छा माइलेज देती है।
"विशेषज्ञ" बनाम "सामान्यज्ञ"
- ट्यूमर: रोबोट मस्तिष्क के ट्यूमर को पहचानने में आश्चर्यजनक रूप से अच्छे थे। यह एक "छठी इंद्री" की तरह है जो बड़े, स्पष्ट उभारों को पहचान लेती है।
- स्ट्रोक: वे स्ट्रोक को पहचानने में ठीक थे, लेकिन यह थोड़ा अनिश्चित था।
- मल्टीपल स्क्लेरोसिस (MS): यह सबसे कठिन था। रोबोट इसमें काफी संघर्ष कर रहे थे। MS के घाव (lesions) बहुत छोटे और बिखरे हुए होते हैं, जैसे समुद्र तट पर रेत के विशिष्ट कणों को ढूँढना। रोबोट अक्सर उन्हें मिस कर देते थे या भ्रमित हो जाते थे।
- दुर्लभ रोग: जब मस्तिष्क में कोई अजीब, दुर्लभ संक्रमण था जो ट्यूमर जैसा दिखता था, तो रोबोट अक्सर गलत हो गए। यह खतरनाक है क्योंकि ट्यूमर का इलाज (सर्जरी) करना संक्रमण (एंटीबायोटिक्स) के इलाज से बहुत अलग है।
"चीट शीट" का प्रभाव (Few-Shot Prompting)
जब शोधकर्ताओं ने परीक्षण से पहले अध्ययन के लिए रोबोटों को कुछ उदाहरण दिए, तो कुछ बहुत बेहतर हो गए।
- MedGemma 1.5 4B: यह एक छोटा, ओपन-सोर्स मॉडल (उपयोग के लिए मुफ्त) है। चीट शीट के साथ, यह लगभग बड़े और महंगे मॉडलों के स्तर तक पहुँच गया। यह एक बड़ी खबर है क्योंकि इसका मतलब है कि हमें अच्छे परिणाम प्राप्त करने के लिए अरबों डॉलर के मॉडलों की आवश्यकता नहीं हो सकती है; हमें बस उन्हें बेहतर तरीके से सिखाने की आवश्यकता है।
- नुकसान: चीट शीट का उपयोग करने से रोबोट धीमे हो गए और उन्हें चलाना अधिक महंगा हो गया क्योंकि उन्हें अधिक टेक्स्ट पढ़ना पड़ा।
4. बड़ी समस्या: "आत्मविश्वास के साथ गलत होना"
पेपर में एक डरावना पैटर्न पाया गया। कुछ रोबोट अपने उत्तरों में बहुत आश्वस्त थे, भले ही वे गलत थे।
- "हैलुसिनेशन" (Hallucination) का जोखिम: कभी-कभी, यदि आपने किसी तस्वीर से ट्यूमर को हटा दिया, तो भी रोबोट कहेगा, "हाँ, यहाँ एक ट्यूमर है।" वह उस चीज़ के आधार पर चीजें बना रहा था जो उसे लगता था कि वहाँ होनी चाहिए, न कि जो वास्तव में वहाँ था।
- कैलिब्रेशन (Calibration): सर्वश्रेष्ठ रोबोट जानते थे कि वे कब नहीं जानते। वे कहेंगे, "मुझे यकीन नहीं है," या "मैं बता नहीं सकता।" सबसे खराब वाले बेतहाशा अनुमान लगाते थे और नाटक करते थे कि वे 100% निश्चित हैं। अस्पताल में, एक रोबोट जो अपनी अनिश्चितता स्वीकार करता है, वह उस रोबोट से कहीं अधिक सुरक्षित है जो आत्मविश्वास के साथ गलत होता है।
5. निचोड़: इसका आपके लिए क्या अर्थ है?
कल ही अपने न्यूरोलॉजिस्ट को बदलने के लिए रोबोट की उम्मीद न करें।
ये AI मॉडल बहुत बुद्धिमान मेडिकल छात्रों की तरह हैं जो तथ्यों को याद रखने और स्पष्ट पैटर्न पहचानने में माहिर हैं, लेकिन वे MS या दुर्लभ संक्रमणों जैसे कठिन मामलों के लिए आवश्यक सूक्ष्म, जटिल तर्क करने में अभी भी संघर्ष कर रहे हैं।
भविष्य "टीम वर्क" का है, "प्रतिस्थापन" का नहीं।
पेपर सुझाव देता है कि भविष्य में, अस्पताल केवल एक AI का उपयोग नहीं करेंगे। वे एक स्मार्ट रूटिंग सिस्टम का उपयोग करेंगे:
- यदि किसी मरीज में संभावित ट्यूमर है, तो स्कैन को "ट्यूमर विशेषज्ञ AI" के पास भेजें।
- यदि यह स्ट्रोक जैसा दिखता है, तो इसे "स्ट्रोक AI" के पास भेजें।
- यदि AI भ्रमित है या मामला दुर्लभ है, तो इसे तुरंत मानव डॉक्टर द्वारा समीक्षा के लिए फ्लैग किया जाना चाहिए।
मुख्य बात:
हम अविश्वसनीय प्रगति कर रहे हैं। तकनीक पहले से ही "मेटाडेटा" (कि किस तरह का स्कैन है) को पूरी तरह से पढ़ सकती है। लेकिन "मेडिकल रीजनिंग" (जटिल बीमारी का पता लगाना) अभी भी विकास के दौर में है। लक्ष्य अब केवल AI को स्मार्ट बनाना नहीं है, बल्कि इसे सुरक्षित, सस्ता और यह जानने में बेहतर बनाना है कि मानव सहायता कब मांगनी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।