An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

तकनीकी सारांश: 3D ऑन्कोलॉजी इमेजिंग पर विजन-लैंग्वेज मॉडल्स के मूल्यांकन के लिए एक स्वचालित, संदूषण-नियंत्रित (Contamination-Controlled) VQA बेंचमार्क

समस्या विवरण
विजन-लैंग्वेज मॉडल्स (VLMs) का उपयोग चिकित्सा इमेजिंग में तेजी से किया जा रहा है, फिर भी क्लिनिकल सेटिंग्स में उनकी विश्वसनीयता का सटीक चित्रण अभी भी अधूरा है। मौजूदा सार्वजनिक बेंचमार्क मेडिकल विजुअल क्वेश्चन-ऑन्स-आंसरिंग (VQA) के लिए दो गंभीर खामियों से ग्रस्त हैं:

1. डेटा संदूषण (Data Contamination): बड़े पैमाने के डेटासेट अक्सर VLMs के प्रीट्रेनिंग कोर्पा में शामिल हो जाते हैं, जिसका अर्थ है कि उच्च स्कोर वास्तविक दृश्य धारणा (visual perception) के बजाय इमेज-क्वेश्चन पेयर्स की याद रखने (memorization) को दर्शा सकते हैं।
2. केवल-टेक्स्ट समाधान क्षमता (Text-Only Solvability): कई बेंचमार्क आइटम्स को केवल प्रश्न टेक्स्ट और भाषाई पूर्वग्रहों (language priors) का उपयोग करके सही ढंग से हल किया जा सकता है, जिससे इमेज का विश्लेषण करने की आवश्यकता ही समाप्त हो जाती है।

इसके अतिरिक्त, ऑन्कोलॉजी इमेजिंग अनूठी चुनौतियां पेश करती है: अध्ययन वॉल्यूमेट्रिक (3D) होते हैं, जिनमें कई स्लाइस और सीक्वेंसों के माध्यम से व्याख्या की आवश्यकता होती है, जबकि अधिकांश वर्तमान VLMs केवल 2D इनपुट स्वीकार करते हैं। मौजूदा बेंचमार्क इमेज-डिपेंडेंट प्रदर्शन और डेटासेट की परिचितता या प्रश्न-टेक्स्ट संकेतों से प्रेरित प्रदर्शन के बीच अंतर करने में विफल रहते हैं।

कार्यप्रणाली (Methodology)
लेखक एक स्वचालित, एजेंट-संचालित पाइपलाइन प्रस्तुत करते हैं जिसे निजी रेडियोलॉजी रिपोर्ट्स और 3D ऑन्कोलॉजी इमेजिंग से सीधे संदूषण-नियंत्रित मल्टीपल-चॉइस VQA बेंचमार्क उत्पन्न करने के लिए डिज़ाइन किया गया है।

• डेटा स्रोत: यह पाइपलाइन चार ऑन्कोलॉजी कोहॉर्ट्स (लीवर CT, लीवर MRI, लंग CT, और ब्रेन MRI) से निजी, सिंगल-इंस्टीट्यूशन रेडियोलॉजी रिपोर्ट्स और 3D इमेजिंग (कुल 2,509 केस) का उपयोग करती है। एक पांचवां, पूरी तरह से निजी इन-हाउस ब्रेन MRI कोहॉर्ट को समान रूप से तैयार किया गया था, जिसे विशेष रूप से सार्वजनिक/निजी संदूषण एब्लेशन अध्ययन (तालिका 3) के लिए आरक्षित रखा गया और मुख्य बेंचमार्क योगों से बाहर रखा गया। चूंकि ये स्रोत रिपोर्ट निजी हैं और सार्वजनिक प्रीट्रेनिंग डेटा का हिस्सा नहीं हैं, इसलिए उत्पन्न प्रश्न 'इंस्टेंस-लेवल संदूषण' से मुक्त होने की गारंटी देते हैं।
• प्रश्न पीढ़ी (Question Generation): सिस्टम दो पूरक प्रकार के प्रश्न उत्पन्न करता है:
  1. स्कीमा-ड्रिवन (RADS-शैली): प्रश्न स्थापित रिपोर्टिंग फ्रेमवर्क (LI-RADS, Lung-RADS, और एक RANO-अलाइन्ड ब्रेन स्कीमा) पर आधारित क्लिनिशियन-रिव्यूड स्कीमा से नियत रूप से भरे जाते हैं। यह मानकीकृत, विजुअल-एंसेरेबल प्रश्नों को सुनिश्चित करता है।
  2. रिपोर्ट-व्युत्पन्न (Report-Derived): प्रश्न रेडियोलॉजिस्ट के निष्कर्षों और इम्प्रेशन के आधार पर एक लैंग्वेज मॉडल द्वारा उत्पन्न किए जाते हैं, फिर एक "रिपोर्ट-ग्राउंडेड चेक" द्वारा फ़िल्टर किए जाते हैं ताकि यह सुनिश्चित हो सके कि उत्तर स्रोत टेक्स्ट द्वारा स्पष्ट रूप से समर्थित है।
• इमेज प्रोसेसिंग: 2D-इनपुट मॉडल्स के लिए, 3D वॉल्यूम को 144 एक्सियल स्लाइस के 12×12 कंपोजिट मोंटाज (लगभग 128×128 पिक्सल प्रति स्लाइस) के रूप में रेंडर किया जाता है।
• मूल्यांकन प्रोटोकॉल: पांच समकालीन VLMs का ज़ीरो-शॉट सेटिंग में मूल्यांकन किया गया: दो फ्रंटियर क्लोज्ड मॉडल्स (Claude Opus 4.6, GPT-5.2), एक ओपन-वेट्स फ्रंटियर मॉडल (Qwen3-VL-30B), और दो मेडिकल स्पेशलिस्ट (MedGemma1.0-27B, MedGemma1.5-4B)।
• एब्लेशन अध्ययन: विजुअल निर्भरता को अलग करने के लिए, मॉडल्स का पुनर्मूल्यांकन तब किया गया जब इमेज को एक खाली इनपुट से बदल दिया गया ("ब्लाइंड" स्थिति)। इसके अतिरिक्त, इमेज-डिस्ट्रीब्यूशन परिचितता का परीक्षण करने के लिए एक सार्वजनिक ब्रेन कोहॉर्ट (PDGM) की तुलना एक मैच की गई निजी इन-हाउस ब्रेन कोहॉर्ट से की गई।
• सांख्यिकीय कठोरता: अध्ययन कॉन्फिडेंस इंटरवल के लिए केस-क्लस्टर्ड बूटस्ट्रैपिंग और वास्तविक प्रभावों को शोर (noise) से अलग करने के लिए मल्टीप्लिसिटी-कंट्रोल्ड टेस्ट (Benjamini-Hochberg FDR सुधार और टू वन-साइडेड टेस्ट्स [TOST] इक्विवेलेंस के लिए) का उपयोग करता है।

मुख्य परिणाम

• परिवर्तनीय प्रदर्शन: कोई भी एकल मॉडल सभी कोहॉर्ट्स में विश्वसनीय नहीं था। सटीकता 0.28 (नियर रैंडम बेसलाइन) से लेकर 0.81 तक रही। मॉडल रैंकिंग कोहॉर्ट और प्रश्न प्रकार के आधार पर काफी भिन्न थी।
• इमेज इंडिपेंडेंस (छवि स्वतंत्रता): कई उच्च-प्रदर्शन वाली कॉन्फ़िगरेशन के लिए, इमेज को हटाने से सटीकता पर बहुत कम प्रभाव पड़ा।
  • ब्रेन MRI (सार्वजनिक और निजी दोनों) और लंग CT पर, फ्रंटियर मॉडल्स (जैसे Claude Opus 4.6) ने इमेज हटाने पर न्यूनतम सटीकता गिरावट दिखाई, जो यह सुझाव देता है कि उनका प्रदर्शन विजुअल साक्ष्य के बजाय भाषाई पूर्वग्रहों या प्रश्न-टेक्स्ट संकेतों पर अधिक निर्भर है।
  • इसके विपरीत, MedGemma1.0-27B ने ब्लाइंड होने पर लीवर CT और MRI पर महत्वपूर्ण गिरावट दिखाई, जो उन विशिष्ट संदर्भों में मजबूत विजुअल निर्भरता का संकेत देती है।
• सार्वजनिक बनाम निजी ब्रेन इमेजिंग: RADS-शैली के प्रश्नों पर, फ्रंटियर मॉडल्स ने मैच की गई निजी छवियों की तुलना में सार्वजनिक (PDGM) ब्रेन इमेज पर 0.17–0.19 अधिक स्कोर किया, जो सार्वजनिक डेटासेट्स के साथ संभावित परिचितता का सुझाव देता है। हालांकि, रिपोर्ट-व्युत्पन्न प्रश्नों के लिए, प्रदर्शन सार्वजनिक और निजी कोहॉर्ट्स के बीच अविभेद्य था।
• कार्य की कठिनाई: मॉडल्स मात्रात्मक या श्रेणीबद्ध निर्णयों (जैसे, लीजन साइज, Lung-RAD्स श्रेणी, मास-इफेक्ट ग्रेडिंग) के साथ संघर्ष करते दिखे, जहाँ सटीकता संयोग (chance) से मुश्किल से ऊपर थी। इसके विपरीत, गुणात्मक पहचान कार्यों (जैसे, निष्कर्षों की उपस्थिति/अनुपस्थिति) को बहुत उच्च सटीकता के साथ किया गया।
• सांख्यिकीय निष्कर्ष: FDR सुधार के बाद, 40 में से 37 सटीकता मापनों ने संयोग स्तरों को पार कर लिया। हालांकि, इक्विवेलेंस टेस्टिंग से पता चला कि विशिष्ट कार्यों (जैसे, ब्रेन MRI रिपोर्ट-व्युत्पन्न) पर कई उच्च-स्कोरिंग मॉडल्स के लिए, दृष्टि-युक्त (sighted) और ब्लाइंड प्रदर्शन के बीच का अंतर ±0.05 मार्जिन के भीतर सांख्यिकीय रूप से शून्य के बराबर था।

महत्व और दावे
यह पेपर यह दावा नहीं करता है कि यह एक निर्णायक मॉडल लीडरबोर्ड प्रदान करता है, बल्कि यह प्रदर्शित करता है कि एक नवीकरणीय (renewable), निजी रूप से उत्पन्न बेंचमार्क वास्तव में इमेज-डिपेंडेंट प्रदर्शन को प्रश्न-टेक्स्ट और डेटासेट-परिचितता प्रभावों से अलग कर सकता है।

• क्लिनिकल निहितार्थ: वर्तमान VLMs, जिसमें मेडिकल स्पेशलिस्ट भी शामिल हैं, 2D फॉर्मेट में प्रस्तुत किए जाने पर वॉल्यूमेट्रिक ऑन्कोलॉजी अध्ययनों के विश्वसनीय रीडर नहीं हैं। हेडलाइन सटीकता, विशेष रूप से उन कार्यों के लिए विजुअल सक्षमता को बढ़ा-चढ़ाकर दिखा सकती है जो भाषाई पूर्वग्रहों (जैसे, लंग CT, ब्रेन MRI) द्वारा हल किए जा सकते हैं।
• कार्य सीमाएं: स्थानिक मापन (आकार, गंभीरता ग्रेडिंग) को संभालने में मॉडल्स की अक्षमता, सरल पहचान कार्यों की तुलना में, यह बताती है कि वर्तमान 2D-इनपुट सिस्टम उन प्रबंधन-संचालित कार्यों के लिए उपयुक्त नहीं हैं जो सटीक मात्रात्मक गणना (quantification) पर निर्भर करते हैं।
• मेथोडोलॉजिकल योगदान: लेखक इस पाइपलाइन को एक 'ओपन एजेंट स्किल' के रूप में जारी करते हैं, जिससे संस्थान अपने स्वयं के निजी डेटा पर संदूषण-नियंत्रित बेंचमार्क को पुन: उत्पन्न कर सकते हैं। यह मूल्यांकन को स्थिर सार्वजनिक आर्टिफैक्ट्स से निजी, नवीकरणीय इन-हाउस परीक्षणों की ओर स्थानांतरित करता है, जो मेडिकल AI मूल्यांकन में डेटा लीकेज की समस्या को संबोधित करता है।

अध्ययन यह निष्कर्ष निकालता है कि हालांकि VLMs आशाजनक दिखते हैं, जटिल, वॉल्यूमेट्रिक ऑन्कोलॉजी सेटिंग्स में उनकी विजुअल रीजनिंग क्षमताएं सीमित हैं और विशिष्ट इमेजिंग मोडैलिटी और प्रश्न प्रकार पर अत्यधिक निर्भर हैं। प्रस्तावित बेंचमार्क इन सीमाओं को पहचानने और उन मॉडल्स की तैनाती को रोकने के लिए एक कठोर ढांचा प्रदान करता है जो धारणा (perception) के बजाय याद रखने (memorization) पर निर्भर हैं।