Polish Medical Visual Question Answering: Vision-Language Models Underutilize Visual Evidence
यह शोध पत्र विशेषज्ञ प्रमाणन परीक्षाओं से व्युत्पन्न एक पोलिश मेडिकल विजुअल क्वेश्चन अनस्वियरिंग बेंचमार्क प्रस्तुत करता है और यह प्रकट करता है कि वर्तमान विजन-लैंग्वेज मॉडल दृश्य साक्ष्यों का कम उपयोग करते हैं, और अक्सर कार्यों को हल करने के लिए वास्तविक छवियों के बजाय टेक्स्ट संकेतों और उत्तर विकल्पों पर अधिक निर्भर रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को डॉक्टर बनना सिखाने की कोशिश कर रहे हैं। आप उसे सिर्फ पाठ्यपुस्तकों का ढेर नहीं देंगे; आपको उसे एक्स-रे, हार्ट मॉनिटर की लहरें और रैशेज (चकत्ते) की तस्वीरें भी दिखानी होंगी। यह विज़न-लैंग्वेज मॉडल्स (VLMs) की दुनिया है। इन मॉडल्स को ऐसे सुपर-स्मार्ट छात्रों के रूप में सोचें जो एक साथ मेडिकल टेक्स्टबुक पढ़ सकते हैं और टूटी हुई हड्डी की तस्वीर भी देख सकते हैं। उन्हें जो वे देखते हैं उसे अपने ज्ञान के साथ जोड़कर कठिन सवालों के जवाब देने के लिए बनाया गया है। लेकिन यहाँ एक बड़ी चिंता है: क्या होगा अगर रोबोट केवल एक "चीटर" (बेईमान) है? क्या होगा अगर वह पूरी तस्वीर को अनदेखा कर दे और केवल बहुविकल्पीय विकल्पों या टेक्स्ट विवरण को पढ़कर उत्तर का अनुमान लगा ले, जैसे कि कोई छात्र जिसने विषय को वास्तव में पढ़े बिना परीक्षा के उत्तर रट लिए हों? यह शोध पत्र ठीक इसी सवाल की गहराई में जाता है, यह पूछता है कि क्या हमारे AI डॉक्टर वास्तव में साक्ष्यों को देख रहे हैं या केवल सुरागों को सरसरी तौर पर पढ़ रहे हैं।
इस अध्ययन के पीछे के शोधकर्ताओं ने पोलिश मेडिकल AI को अंतिम परीक्षा में डालने का फैसला किया। उन्होंने एक विशेष परीक्षा बनाई जिसमें पोलिश बोर्ड सर्टिफिकेशन एग्जामिनेशन के वास्तविक प्रश्न शामिल थे, जो वह कठिन परीक्षा है जिसे वास्तविक डॉक्टरों और दंत चिकित्सकों को विशेषज्ञ बनने के लिए पास करना होता है। उन्होंने इन 286 प्रश्नों को लिया जिनमें चित्र शामिल थे—जैसे सीटी स्कैन, हृदय की तरंग चार्ट और क्लिनिकल तस्वीरें—और विभिन्न AI मॉडल्स को उन्हें हल करने के लिए कहा। उन्होंने यह देखने के लिए टेक्स्ट-ओनली (केवल टेक्स्ट वाले) प्रश्नों का एक कंट्रोल ग्रुप भी बनाया कि बिना किसी चित्र के वे मॉडल कैसा प्रदर्शन करते हैं।
यहाँ उन्हें क्या पता चला, और यह एक चौंकाने वाला मोड़ है। सबसे अच्छे AI मॉडल ने पूर्ण इमेज-आधारित टेस्ट पर लगभग 79.0% उत्तर सही दिए। यह प्रभावशाली लगता है, लेकिन जब उन्होंने उसी परीक्षा देने वाले वास्तविक मानव डॉक्टरों के साथ तुलना की, तो मनुष्यों ने लगभग 70.14% अंक प्राप्त किए। इसलिए, एक विशिष्ट कमर्शियल AI (GPT-5.6) वास्तव में मनुष्यों से बेहतर रहा, लेकिन उनके द्वारा टेस्ट किए गए लगभग अन्य सभी मॉडल्स ने एक मानव डॉक्टर की तुलना में खराब प्रदर्शन किया।
लेकिन असली जादू तब हुआ जब शोधकर्ताओं ने सूचना के साथ "लुका-छिपी" खेलना शुरू किया। उन्होंने विभिन्न परिदृश्यों में मॉडल्स का परीक्षण किया:
- केवल विकल्प: उन्होंने AI को केवल पांच संभावित उत्तर (A, B, C, D, E) दिए और कोई प्रश्न या चित्र नहीं दिया। आश्चर्यजनक रूप से, मॉडल अभी भी रैंडम चांस (जो कि 20% होता) से अधिक बार सही अनुमान लगा रहे थे।
- केवल टेक्स्ट: उन्होंने प्रश्न और विकल्प दिए लेकिन इमेज को छिपा दिया।
- केवल इमेज: उन्होंने इमेज और विकल्प दिए लेकिन प्रश्न का टेक्स्ट छिपा दिया।
परिणामों ने दिखाया कि मॉडल्स जानकारी को प्रोसेस करते समय इमेज की तुलना में टेक्स्ट को प्राथमिकता देते हैं। जब उन्हें टेक्स्ट पढ़ने या इमेज देखने के बीच चुनना था, तो वे टेक्स्ट की ओर बहुत अधिक झुके। वास्तव में, मॉडल्स ने तब बेहतर प्रदर्शन किया जब इमेज गायब थी (लेकिन टेक्स्ट मौजूद था) बजाय इसके कि जब टेक्स्ट गायब था (लेकिन इमेज मौजूद थी)। यह सुझाव देता है कि इन विशिष्ट मेडिकल प्रश्नों के लिए, AI विजुअल एविडेंस (दृश्य साक्ष्य) के बजाय शब्दों पर अधिक निर्भर है।
उन्होंने प्रश्नों को इस आधार पर भी विभाजित किया कि इमेज कितनी महत्वपूर्ण थी। कुछ प्रश्नों में चित्र केवल सजावट के लिए थे (जैसे कि एक चार्ट जो टेक्स्ट में कही गई बात को दोहरा रहा था), जबकि अन्य "इमेज-डोमिनेंट" (चित्र-प्रधान) थे, जिसका अर्थ था कि आपको समाधान के लिए चित्र को देखना ही पड़ेगा। मॉडल्स ने इमेज-डोमिनेंट प्रश्नों के साथ सबसे अधिक संघर्ष किया। यहाँ तक कि जब उनके पास पूरी तस्वीर और पूरा टेक्स्ट था, तब भी वे उन प्रश्नों की तुलना में कम सही उत्तर दे पाए जहाँ टेक्स्ट ने सारा भारी काम किया था।
लेखकों का सुझाव है कि ऐसा इसलिए होता है क्योंकि मॉडल्स ने उत्तर विकल्पों में पैटर्न पहचानने के लिए खुद को प्रशिक्षित कर लिया है जो शॉर्टकट के रूप में काम करते हैं, जिससे वे बिना वास्तव में मेडिकल समस्या को "देखे" सही अनुमान लगा पाते हैं। यह उस छात्र की तरह है जो ध्यान देता है कि सबसे लंबा उत्तर आमतौर पर सही होता है, इसलिए वह प्रश्न पढ़े बिना ही सबसे लंबे विकल्प को चुन लेता है।
अंत में, यह पेपर यह नहीं कहता कि AI चिकित्सा के लिए बेकार है, लेकिन यह एक गंभीर चेतावनी भी देता है। यह सुझाव देता है कि जब ये मॉडल्स मेडिकल परीक्षाओं पर उच्च स्कोर प्राप्त करते हैं, तो वे शायद उतना समझ नहीं रहे होते जितना हम उम्मीद करते हैं। वे शायद केवल बारीक अक्षरों को पढ़ने में बहुत अच्छे हैं। शोधकर्ता चेतावनी देते हैं कि वास्तविक दुनिया में, जहाँ एक डॉक्टर को वास्तव में स्कैन पर ट्यूमर या त्वचा पर रैशेज को देखने की आवश्यकता होती है, वहां ऐसे AI पर भरोसा करना जो तस्वीर को अनदेखा कर देता है, खतरनाक हो सकता है। अध्ययन निष्कर्ष निकालता है कि हालांकि AI स्मार्ट हो रहा है, हमें यह सुनिश्चित करने की आवश्यकता है कि वह वास्तव में साक्ष्यों को देख रहा है, न कि केवल टेक्स्ट में दिए गए सुरागों के आधार पर अनुमान लगा रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।