Evaluating the Diagnostic Robustness of Vision-Language Models Under Visual and Textual Perturbations
यह अध्ययन प्रकट करता है कि विजन-लैंग्वेज मॉडल मस्तिष्क एमआरआई विश्लेषण में दृश्य और पाठ्य व्यवधानों के तहत महत्वपूर्ण नैदानिक अस्थिरता और अति-प्रतिबद्धता प्रदर्शित करते हैं, जो यह दर्शाता है कि मानक सटीकता मेट्रिक्स सुरक्षित नैदानिक तैनाती के लिए आवश्यक महत्वपूर्ण विश्वसनीयता विफलताओं को पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को जासूस बनना सिखा रहे हैं। आप उसे सुरागों का एक ढेर दिखाते हैं—तस्वीरें, नोट्स और नक्शे—और उससे एक रहस्य सुलझाने के लिए कहते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन रोबोट्स को विजन-लैंग्वेज मॉडल्स (VLMs) कहा जाता है। ये सुपर-स्मार्ट प्रोग्राम हैं जो तस्वीरों को "देख" सकते हैं और टेक्स्ट को "पढ़" सकते हैं, फिर उन दोनों कौशलों को मिलाकर सवालों के जवाब देने या निर्णय लेने के लिए इनका उपयोग किया जाता है। लंबे समय से, वैज्ञानिक इन रोबोट्स का परीक्षण मानक प्रश्न पूछकर और यह जाँचकर करते रहे हैं कि क्या वे सही उत्तर देते हैं। यह एक बहुविकल्पीय परीक्षा (multiple-choice test) की तरह है: यदि रोबोट "A" चुनता है, और "A" सही है, तो उसे एक गोल्ड स्टार मिलता है।
लेकिन यहाँ एक पेचीदा बात है: किसी परीक्षा में सही उत्तर पाने का मतलब हमेशा यह नहीं होता कि रोबोट वास्तव में रहस्य को समझ गया है। कभी-कभी, एक रोबोट केवल इस आधार पर अनुमान लगा सकता है कि सुराग किस क्रम में प्रस्तुत किए गए हैं, या वह सवाल लिखने के तरीके से चकित हो सकता है। यदि आप तस्वीरों को इधर-उधर कर दें या सवाल के शब्दों का क्रम बदल दें, तो एक वास्तव में बुद्धिमान जासूस अभी भी मामले को उसी तरह सुलझाएगा। यदि रोबोट अपना मन बदल लेता है सिर्फ इसलिए क्योंकि आपने एक फोटो को ढेर के ऊपर से हटाकर नीचे रख दिया, तो वह वास्तव में एक जासूस नहीं है; वह केवल एक पैटर्न-मैचर (pattern-matcher) है। यह शोध पत्र एक बहुत ही महत्वपूर्ण प्रश्न पूछता है: क्या हमारे AI जासूस वास्तव में विश्वसनीय हैं, या वे केवल "सही उत्तर का अनुमान लगाने" के खेल में माहिर हैं बिना सबूतों को देखे?
द ग्रेट एमआरआई मिक्स-अप (The Great MRI Mix-Up)
इस अध्ययन में, शोधकर्ताओं की एक टीम ने चार सबसे उन्नत AI जासूसों को अंतिम परीक्षा में डालने का निर्णय लिया। उन्होंने इसके लिए कोई मानक क्लासरूम टेस्ट नहीं लिया; इसके बजाय, उन्होंने उन्हें एक वास्तविक दुनिया का मेडिकल रहस्य दिया: दो प्रकार के ब्रेन ट्यूमर, ग्लियोब्लास्टोमा (GBM) और ब्रेन मेटास्टेसिस (MET), के बीच अंतर करने के लिए मस्तिष्क के MRI स्कैन को देखना। ये कठिन मामले हैं यहाँ तक कि मानव डॉक्टरों के लिए भी क्योंकि ट्यूमर बहुत समान दिख सकते हैं।
यह सुनिश्चित करने के लिए कि AI वास्तव में मस्तिष्क को देख रहा है या केवल अनुमान लगा रहा है, शोधकर्ताओं ने एक विशेष डेटासेट का उपयोग किया जहाँ "सत्य" की पुष्टि सर्जरी के बाद लैब टेस्ट (हिस्टोपैथोलॉजी) द्वारा की गई थी। इसके बाद उन्होंने AI के साथ "ट्रिक" खेलों की एक श्रृंखला खेली, जिसमें चिकित्सा तथ्यों को बदले बिना जानकारी को प्रस्तुत करने के तरीके को बदल दिया गया।
विजुअल ट्रिक्स: डेक को शफल करना
सबसे पहले, शोधकर्ताओं ने मस्तिष्क के स्लाइस (slices) के क्रम के साथ छेड़छाड़ की। मस्तिष्क के स्कैन की एक फिल्म की कल्पना करें, जहाँ प्रत्येक फ्रेम मस्तिष्क के एक अलग हिस्से को दिखाता है। आमतौर पर, ये स्लाइस ऊपर से नीचे के क्रम में दिखाए जाते हैं।
- द रिवर्स (The Reverse): उन्होंने फिल्म को उल्टा चला दिया।
- द शफल (The Shuffle): उन्होंने स्लाइस को ताश के पत्तों की तरह बेतरतीब ढंग से मिला दिया।
- द मूव (The Move): उन्होंने सबसे महत्वपूर्ण स्लाइस (वे जिनमें ट्यूमर है) को सूची के बिल्कुल शुरुआत में या बिल्कुल अंत में रख दिया।
परिणाम क्या रहा? AI जासूस उलझन में पड़ गए। जब स्लाइस को केवल उल्टा (reverse) किया गया, तो कुछ मॉडल्स ने 48.9% मामलों में अपना निदान बदल दिया। इसका मतलब है कि लगभग आधी बार, रोबोट ने कहा, "ओह, मैंने अपना मन बदल लिया, यह दूसरा ट्यूमर है!" सिर्फ इसलिए क्योंकि तस्वीरें एक अलग क्रम में थीं। इससे भी बुरा यह हुआ कि जब उन्होंने स्लाइस को बेतरतीब ढंग से शफल किया, तो कुछ मॉडल्स के लिए भ्रम और भी बढ़ गया। ऐसा लग रहा था जैसे जासूस अपराध स्थल के बारे में भूल गया क्योंकि उसे तस्वीरें एक अलग क्रम में दी गई थीं।
टेक्स्टुअल ट्रिक्स: स्क्रिप्ट बदलना
इसके बाद, शोधकर्ताओं ने निर्देशों में शब्दों को बदला लेकिन तस्वीरों को बिल्कुल वैसा ही रखा।
- द स्वैप (The Swap): उन्होंने प्रॉम्प्ट में दोनों ट्यूमर के नाम आपस में बदल दिए। "क्या यह GBM है या MET?" पूछने के बजाय, उन्होंने पूछा "क्या यह MET है या GBM?"।
- द रीवर्ड (The Reword): उन्होंने एक ही अर्थ वाले अलग शब्दों का उपयोग करके प्रश्न को फिर से लिखा।
यहाँ स्थिति वास्तव में डगमगा गई। एक मॉडल, जिसे विशेष रूप से चिकित्सा के लिए प्रशिक्षित किया गया था, शब्दों का क्रम बदलने के कारण 67.8% मामलों में अपना निदान बदल देता था! यह उस छात्र की तरह है जिसने उत्तर कुंजी (answer key) रट ली है लेकिन अगर शिक्षक बोर्ड पर प्रश्न को अलग फॉन्ट में लिख दे, तो वह भ्रमित हो जाता है। ऐसा लग रहा था कि AI मस्तिष्क के स्कैन को देखने के बजाय टेक्स्ट को अधिक सुन रहा था।
"नो एविडेंस" टेस्ट: अति-आत्मविश्वासी अनुमान
अंत में, शोधकर्ताओं ने एक "नेगेटिव कंट्रोल" गेम खेला। उन्होंने MRI स्कैन लिए और उन स्लाइस को सर्जिकल तरीके से निकाल दिया जिनमें वास्तव में ट्यूमर था। उन्होंने AI के पास केवल मस्तिष्क के स्वस्थ हिस्से छोड़े। एक स्मार्ट, सतर्क जासूस को इसे देखकर कहना चाहिए, "मैं नहीं बता सकता; यहाँ कोई सबूत नहीं है।"
लेकिन AI रुका नहीं। इसके बजाय, उसने आत्मविश्वास के साथ एक निदान का अनुमान लगाया। एक मामले में, एक मॉडल ने ट्यूमर स्लाइस हटने के बाद भी 76.1% मामलों में एक निश्चित उत्तर दिया। इसे "डायग्नोस्टिक ओवरकमिटमेंट" (diagnostic overcommitment) कहा जाता है। यह एक ऐसे जासूस की तरह है जो एक खाली कमरे को देखकर जोर देकर कहता है, "चोर निश्चित रूप से खिड़की से अंदर आया था!" भले ही वहाँ कोई पैरों के निशान, टूटा हुआ कांच या खिड़की ही न हो। AI उत्तर देने के लिए इतना उत्सुक था कि उसने सबूतों के गायब होने की बात को नजरअंदाज कर दिया।
भविष्य के लिए इसका क्या अर्थ है
इस शोध पत्र का मुख्य निष्कर्ष यह है कि मानक परीक्षणों पर उच्च स्कोर भ्रामक हो सकते हैं। केवल इसलिए कि एक AI सामान्य परीक्षण पर उच्च सटीकता दर प्राप्त करता है, इसका मतलब यह नहीं है कि वह डॉक्टर के सहायक के रूप में तैयार है। अध्ययन से पता चलता है कि ये मॉडल्स आश्चर्यजनक रूप से नाजुक हैं; वे छवियों के क्रम या प्रश्न पूछने के तरीके से आसानी से चकित हो सकते हैं।
शोधकर्ताओं ने पाया कि यहाँ तक कि सबसे उन्नत, "स्टेट-ऑफ-द-आर्ट" मॉडल्स भी प्रस्तुति बदलने पर निरंतर रहने में संघर्ष करते हैं। उनका सुझाव है कि इससे पहले कि हम इन AI सिस्टमों पर वास्तविक रोगी देखभाल का भरोसा करें, हमें उनका परीक्षण केवल इस आधार पर नहीं करना चाहिए कि क्या वे सही उत्तर देते हैं, बल्कि इस आधार पर भी करना चाहिए कि क्या वे शांत और सुसंगत रहते हैं जब उनके आसपास की दुनिया थोड़ी अस्त-व्यस्त हो जाती है। जब तक हम इन "ब्लाइंड स्पॉट्स" को ठीक नहीं कर लेते, तब तक महत्वपूर्ण चिकित्सा निर्णयों के लिए उन पर भरोसा करना एक ऐसे दिशा-सूचक यंत्र (compass) पर भरोसा करने जैसा है जो आपके मुड़ने पर बेतहाशा घूमने लगता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।