Beyond Accuracy: Evaluating Visual Grounding In Multimodal Medical Reasoning

यहाँ शोध पत्र "Beyond Accuracy: Evaluating Visual Grounding in Multimodal Medical Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

चिकित्सा अनुप्रयोगों के लिए हालिया प्रगति, विशेष रूप से Reinforcement Learning with Verifiable Rewards (RLVR) का उपयोग करने वाले Large Vision-Language Models (LVLMs) ने बेंचमार्क सटीकता (accuracy) में महत्वपूर्ण सुधार दिखाया है। हालाँकि, एक महत्वपूर्ण अंतराल मौजूद है: यह अज्ञात है कि क्या ये सटीकता लाभ वास्तविक दृश्य विश्लेषण (visual analysis) से उत्पन्न होते हैं या पाठ-आधारित शॉर्टकट (text-based shortcuts/spurious correlations) के दोहन से।

लेखक परिकल्पना करते हैं कि RLVR के साथ प्रशिक्षित मॉडल टेक्स्ट-आधारित पूर्वग्रहों (प्रश्न-उत्तर सहसंबंधों) पर भरोसा करके रिवॉर्ड को अधिकतम करने के लिए सीख सकते हैं, न कि कारण संबंधी दृश्य साक्ष्य (causal visual evidence) पर। यह नैदानिक सेटिंग्स (clinical settings) में विशेष रूप से खतरनाक है, जहाँ एक मॉडल केवल पाठ पैटर्न के आधार पर प्रशंसनीय चिकित्सा तर्क और सही उत्तर उत्पन्न कर सकता है, जबकि वास्तविक चिकित्सा छवि की अनदेखी या गलत व्याख्या कर सकता है। वर्तमान मूल्यांकन प्रोटोकॉल, जो मुख्य रूप से सटीकता पर निर्भर करते हैं, इस "मोडैलिटी-विशिष्ट तर्क पतन" (modality-specific reasoning collapse) का पता लगाने में विफल रहते हैं।

2. कार्यप्रणाली (Methodology)

लेखक दृश्य जानकारी की कारण भूमिका (causal role) को अलग करने के लिए एक प्रति-तथ्यात्मक मूल्यांकन ढांचा (counterfactual evaluation framework) प्रस्तावित करते हैं। वे चार मेडिकल VQA बेंचमार्क (PathVQA, PMC-VQA, SLAKE, VQA-RAD) में Qwen2.5-VL-7B मॉडल के तीन वेरिएंट का मूल्यांकन करते हैं:

1. Baseline: बिना मेडिकल फाइन-ट्यूनिंग के प्री-ट्रेन किया गया।
2. RL(text): केवल टेक्स्ट-आधारित मेडिकल QA डेटा पर RLVR के माध्यम से प्रशिक्षित।
3. RL(image): इमेज-टेक्स्ट मेडिकल QA डेटा पर RLVR के माध्यम से प्रशिक्षित।

2.1 प्रति-तथ्यात्मक इमेज स्थितियाँ (Counterfactual Image Conditions)

दृश्य निर्भरता का परीक्षण करने के लिए, प्रत्येक टेस्ट उदाहरण का तीन स्थितियों में मूल्यांकन किया जाता है:

• Real (वास्तविक): प्रश्न के साथ मूल छवि।
• Blank (रिक्त): प्रश्न के साथ एक समान ग्रे (gray) छवि (कोई दृश्य सामग्री नहीं)।
• Shuffled (क्रमबद्ध): प्रश्न के साथ उसी बेंचमार्क से एक यादृच्छिक (random) छवि (मिसमैच्ड मोडैलिटी/कंटेंट)।

2.2 प्रस्तावित मेट्रिक्स (Proposed Metrics)

पेपर सरल सटीकता से आगे बढ़ने के लिए कई मेट्रिक्स पेश करता है:

• Visual Reliance Score (VRS): $Acc_{real} - Acc_{shuffle}$। यह सही छवि/प्रश्न युग्म पर निर्भरता को मापता है। नकारात्मक मान दर्शाते हैं कि मॉडल मिसमैच्ड छवियों के साथ बेहतर प्रदर्शन करता है।
• Blank Drop (BD): $Acc_{real} - Acc_{blank}$। यह केवल टेक्स्ट बनाम दृश्य इनपुट पर निर्भरता को मापता है।
• Image Sensitivity (IS): वह प्रायिकता कि मॉडल छवि को शफल करने पर अपना उत्तर बदल देता है ($P[a_{real} \neq a_{shuffle}]$)। कम IS इंगित करता है कि उत्तर छवि सामग्री के प्रति अपरिवर्तनीय (invariant) है।
• Hallucinated Visual Reasoning Rate (HVRR): एक नया मेट्रिक जो उन मामलों का पता लगाता है जहाँ मॉडल अपने रीजनिंग ट्रेस में Novel Visual Claims (NVCs) (दृश्य विशेषताओं के विवरण) उत्पन्न करता है लेकिन एक इमेज-इनवेरिएंट उत्तर (छवि के बावजूद समान उत्तर) देता है।
  • फॉर्मूला: $HVRR = P[NVC=1 \land a_{real} = a_{shuffle}]$।

3. मुख्य योगदान (Key Contributions)

1. Grounding-Sensitive Metrics: चिकित्सा VQA में मॉडल द्वारा टेक्स्ट शॉर्टकट के दोहन को मापने के लिए VRS, Blank Drop, और Image Sensitivity का परिचय।
2. Hallucinated Visual Reasoning Rate (HVRR): "नकली" विजुअल रीजनिंग (ऐसे मामले जहाँ मॉडल वास्तविक विजुअल ग्राउंडिंग के बिना चिकित्सा विजुअल भाषा की नकल करता है) को पहचानने के लिए एक नया मेट्रिक और पहचान विधि।
3. Empirical Evidence of Degradation: यह प्रमाण कि RLVR बेंचमार्क सटीकता में सुधार करता है जबकि साथ ही साथ विजुअल ग्राउंडिंग क्षमताओं को कम करता है।
4. Metric Dissociation: यह खोज कि सटीकता-आधारित मेट्रिक्स (जैसे VRS) में सुधार हो सकता है जबकि वास्तविक दृश्य निर्भरता (IS द्वारा मापी गई) गिर सकती है, जो यह सिद्ध करता है कि सटीकता अकेले ग्राउंडिंग का एक खराब प्रॉक्सी है।

4. मुख्य परिणाम (Key Results)

अध्ययन एक विरोधाभास प्रकट करता है जहाँ उच्च सटीकता निम्न विजुअल ग्राउंडिंग के साथ सहसंबंधित होती है:

• Visual Grounding Collapse (विजुअल ग्राउंडिंग पतन):

  • RL(image) ने उच्चतम सटीकता (58.8%) प्राप्त की लेकिन सबसे कम Image Sensitivity (39.8%) दिखाई, जिसका अर्थ है कि लगभग 60% भविष्यवाणियां छवि शफलिंग के प्रति अपरिवर्तनीय थीं।
  • इसके विपरीत, Baseline मॉडल की सटीकता कम (56.5%) थी लेकिन उच्च विजुअल निर्भरता (48.2% IS) थी।
  • RL(text) (बिना छवियों के प्रशिक्षित) ने PathVQA पर सही छवियों की तुलना में मिसमैच्ड छवियों के साथ बेहतर प्रदर्शन किया, जिससे नकारात्मक VRS (-0.09) प्राप्त हुआ।

• बेंचमार्क-विशिष्ट निष्कर्ष:

  • PathVQA: RL(text) ने नकारात्मक VRS प्राप्त किया, जो दर्शाता है कि इसने टेक्स्ट शॉर्टकट सीख लिए थे जिन्हें सही छवि की उपस्थिति ने बाधित कर दिया।
  • VQA-RAD: दोनों RL वेरिएंट्स ने 63% सटीकता (बनाम 54% बेसलाइन) प्राप्त की, लेकिन अलग-अलग तंत्रों के माध्यम से। RL(text) ने ब्लैंक इमेज पर अपने प्रदर्शन का 81% बनाए रखा (टेक्स्ट-ओनली समाधान)। RL(image) ने IS में भारी गिरावट (43% से 29%) दिखाई, जिसका अर्थ है कि 71% उत्तरों ने छवि सामग्री की पूरी तरह से अनदेखी की।
  • Metric Divergence: VQA-RAD पर, VRS में सुधार हुआ (0.09 $\to$ 0.17) जबकि IS में गिरावट आई (43% $\to$ 29%), जो यह सिद्ध करता है कि सटीकता-आधारित मेट्रिक्स विजुअल ग्राउंडिंग के नुकसान को छिपा सकते हैं।

• Hallucinated Reasoning (भ्रमित तर्क):

  • मॉडलों ने प्रतिक्रियाओं के 68–74% में विजुअल क्लेम जेनरेट किए।
  • हालाँकि, इन प्रतिक्रियाओं में से 38–43% अनग्राउंडेड (ungrounded) (HVRR) थे, जिसका अर्थ है कि विजुअल क्लेम का अंतिम उत्तर पर कोई प्रभाव नहीं पड़ा।
  • RL(image) ने उच्चतम कंडीशनल हैलुसिनेशन प्रोबेबिलिटी (60.9%) दिखाई, जो इंगित करता है कि जब यह विजुअल फीचर्स देखने का दावा करता है, तो यह अक्सर वास्तविक छवि की अनदेखी कर रहा होता है।

5. महत्व और निहितार्थ (Significance and Implications)

• नैदानिक तैनाती में सुरक्षा (Safety in Clinical Deployment): निष्कर्ष बताते हैं कि वर्तमान मेडिकल VQA बेंचमार्क में शोषण योग्य (exploitable) टेक्स्ट शॉर्टकट मौजूद हैं। केवल सटीकता के लिए अनुकूलित मॉडल सक्षम प्रतीत हो सकते हैं लेकिन वे आवश्यक विजुअल विश्लेषण करने में विफल हो सकते हैं, जो नैदानिक सेटिंग्स में गंभीर जोखिम पैदा करता है जहाँ विजुअल साक्ष्य महत्वपूर्ण होते हैं।
• वर्तमान RLVR की सीमाएं: अध्ययन दर्शाता है कि मानक RLVR ऑब्जेक्टिव "शॉर्टकट लर्निंग" को बढ़ावा देते हैं, जहाँ मॉडल रिवॉर्ड फंक्शन को संतुष्ट करने के लिए (वास्तविक छवि को प्रोसेस किए बिना) प्रशंसनीय मेडिकल विजुअल भाषा (हैलुसिनेशन) उत्पन्न करना सीख लेते हैं।
• भविष्य की दिशाएं: लेखक मूल्यांकन और प्रशिक्षण के लिए एक नए प्रतिमान (paradigm shift) का तर्क देते हैं:
  1. मूल्यांकन (Evaluation): सटीकता के साथ-साथ ग्राउंडिंग-जागरूक मेट्रिक्स (VRS, IS, HVRR) शामिल होने चाहिए।
  2. बेंचमार्क क्यूरेशन (Benchmark Curation): बेंचमार्क को सत्यापित किया जाना चाहिए ताकि यह सुनिश्चित हो सके कि प्रश्नों का उत्तर टेक्स्ट शॉर्टकट के माध्यम से नहीं दिया जा सकता।
  3. प्रशिक्षण उद्देश्य (Training Objectives): ऐसे नए प्रशिक्षण तरीकों की आवश्यकता है जो स्पष्ट रूप से विजुअल डिपेंडेंस को लागू करें, यह सुनिश्चित करते हुए कि रीजनिंग ट्रेसेस इनपुट इमेज के साथ कारण संबंध (causally linked) रखते हैं।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि सटीकता, विजुअल रीजनिंग क्षमता का पर्याप्त प्रॉक्सी नहीं है। स्पष्ट ग्राउंडिंग बाधाओं के बिना, RLVR मॉडल बेंचमार्क पर अधिक सटीक हो सकते हैं, लेकिन वास्तविक दुनिया के विजुअल विश्लेषण कार्यों में कम विश्वसनीय हो सकते हैं।