CXR-ContraBench: Benchmarking Negated-Option Attraction in Medical VLMs
यह शोध पत्र CXR-ContraBench प्रस्तुत करता है, जो यह प्रकट करता है कि मेडिकल विजन-लैंग्वेज मॉडल अक्सर "नेगेटेड-ऑप्शन अट्रैक्शन" (नकारे गए विकल्प के प्रति आकर्षण) से ग्रस्त होते हैं—जो एक चिकित्सकीय रूप से खतरनाक विफलता है जहाँ वे दृश्य साक्ष्यों के विपरीत नकारात्मक उत्तरों का चयन करते हैं—और यह प्रदर्शित करता है कि एक नियतात्मक निरंतरता सत्यापनकर्ता (deterministic consistency verifier) बिना पुनरप्रशिक्षण के इन ध्रुवीयता त्रुटियों को प्रभावी ढंग से सुधार सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मेडिकल परीक्षा दे रहे हैं जहाँ एक डॉक्टर आपको छाती का एक एक्स-रे दिखाता है और आपसे पूछता है, "आपको यहाँ क्या दिख रहा है?" सही उत्तर स्पष्ट रूप से दिखाई दे रहा है: यहाँ सफेदी का एक धब्बा है जिसे "कंसोलिडेशन" (consolidation) कहा जाता है।
अब, कल्पना कीजिए कि परीक्षा आपको तीन विकल्प देती है:
A) कंसोलिडेशन (Consolidation)
B) कोई कंसोलिडेशन नहीं (No consolidation)
C) एटेलेक्टेसिस (Atelectasis - एक अलग स्थिति)
एक स्मार्ट कंप्यूटर प्रोग्राम (एक मेडिकल विजन-लैंग्वेज मॉडल) को तस्वीर देखनी चाहिए, सफेदी देखनी चाहिए, और A चुनना चाहिए। लेकिन इस शोध पत्र के अनुसार, आज के कई सबसे स्मार्ट AI मॉडल बुरी तरह विफल हो रहे हैं। विकल्प B में मौजूद "No" शब्द से सम्मोहित होकर, वे आत्मविश्वास के साथ कहते हैं, "कोई कंसोलिडेशन नहीं।"
यह केवल एक छोटी सी गलती नहीं है; यह एक पोलैरिटी रिवर्सल (polarity reversal) है। AI एक समस्या की तस्वीर देख रहा है और आपको बता रहा है कि वह समस्या वहाँ नहीं है। वास्तविक दुनिया में, यदि किसी डॉक्टर के AI सहायक ने मरीज को कहा "आपको निमोनिया नहीं है" जबकि वास्तव में उसे था, तो यह खतरनाक हो सकता है।
समस्या: "No" का जाल
लेखक इस विफलता को "नेगेटेड-ऑप्शन अट्रैक्शन" (Negated-Option Attraction) कहते हैं।
इसे "साइमन कहता है" (Simon Says) खेल खेलने वाले एक बच्चे की तरह समझें। यदि शिक्षक कहता है, "अपनी नाक छुओ," तो बच्चा अपनी नाक छूता है। लेकिन यदि शिक्षक कहता है, "अपनी नाक छुओ" और फिर एक बड़ा, चमकता हुआ साइन बोर्ड लगा देता है जिस पर लिखा है "अपनी नाक मत छुओ," तो बच्चा भ्रमित हो सकता है और फिर भी अपनी नाक छू सकता है, या इससे भी बुरा, वह अपने कान को छू सकता है क्योंकि उसका पूरा ध्यान "मत" (Don't) वाले साइन पर है।
इन AI मॉडल्स में, विकल्पों की सूची में "No" वाला विकल्प मौजूद होना एक बड़े चमकते हुए साइन बोर्ड की तरह काम करता है। भले ही इमेज स्पष्ट रूप से बीमारी दिखा रही हो, AI उस विकल्प की ओर खिंचा चला जाता है जिसमें "No [Disease]" लिखा होता है और उसे ही चुन लेता है, जिससे वह तस्वीर में जो देख रहा है उसे पूरी तरह अनदेखा कर देता है।
समाधान: एक नया परीक्षण और एक "सेफ्टी नेट"
यह साबित करने के लिए कि यह एक वास्तविक समस्या थी न कि कोई इत्तेफाक, शोधकर्ताओं ने CXR-ContraBench नामक एक नया परीक्षण बनाया।
- परीक्षण: उन्होंने हजारों ऐसे प्रश्न बनाए जहाँ उत्तर स्पष्ट है (बीमारी मौजूद है), लेकिन विकल्पों में एक "ट्रिक" विकल्प शामिल है जो कहता है "कोई बीमारी नहीं है।"
- परिणाम: परिणाम चौंकाने वाले थे। MedGemma और Qwen2.5-VL जैसे शीर्ष स्तर के AI मॉडल केवल 30% बार ही सही उत्तर दे पाए। वे सफल होने की तुलना में अधिक बार विफल हो रहे थे।
- "चेन ऑफ थॉट" (Chain of Thought) की विफलता: शोधकर्ताओं ने AI की गलतियों को ठीक करने के लिए इस्तेमाल की जाने वाली एक सामान्य तकनीक को आजमाया: उत्तर देने से पहले AI को "चरण-दर-चरण सोचने" (जैसे कोई छात्र अपना काम दिखाकर उत्तर देता है) के लिए कहना। दुर्भाग्य से, इसने समस्या को ठीक नहीं किया। AI अभी भी भ्रमित हो जाता और "No" वाला विकल्प चुन लेता, और कभी-कभी तो यह समस्या और भी खराब हो जाती।
समाधान: "पोलैरिटी पुलिस"
चूंकि AI खुद को अधिक सोचने से ठीक नहीं कर सका, इसलिए शोधकर्ताओं ने एक सरल, नियत (deterministic) "सेफ्टी नेट" बनाया जिसे QCCV-Neg कहा गया।
इसे तर्क के लिए स्पेल-चेकर की तरह समझें। यह AI को दोबारा सिखाने की कोशिश नहीं करता है। इसके बजाय, यह AI के अंतिम उत्तर को देखता है और तीन सरल प्रश्न पूछता है:
- क्या प्रश्न में पूछा गया था कि क्या मौजूद है?
- क्या AI ने ऐसा विकल्प चुना है जो "No" से शुरू होता है?
- क्या सूची में कोई ऐसा विकल्प है जो कहता है कि बीमारी मौजूद है?
यदि इन तीनों का उत्तर "हाँ" है, तो सेफ्टी नेट तुरंत गलत उत्तर को सही उत्तर से बदल देता है। यह एक शिक्षक की तरह है जो पास से गुजरते हुए देखता है कि एक छात्र ने "No consolidation" पर गोला लगाया है, और बिना छात्र के दिमाग को बदले, तुरंत "Consolidation" पर गोला लगा देता है।
परिणाम: इस सेफ्टी नेट के साथ, AI की सटीकता 30% से बढ़कर 96% से अधिक हो गई। इसे फिर से प्रशिक्षित करने की आवश्यकता नहीं थी; इसे बस अंत में एक साधारण जांच की आवश्यकता थी।
मुख्य निष्कर्ष
यह शोध पत्र चेतावनी देता है कि औसत स्कोर झूठ बोल सकते हैं। एक AI सामान्य परीक्षणों पर बहुत स्मार्ट लग सकता है, लेकिन यदि उसमें "No" शब्दों के प्रति एक विशिष्ट अंध बिंदु (blind spot) है, तो वह ऐसी विरोधाभासी गलतियाँ कर सकता है जो डेटा में छिपी रह सकती हैं।
लेखक दिखाते हैं कि:
- समस्या वास्तविक है: मेडिकल इमेज में "No" विकल्पों से AI मॉडल व्यवस्थित रूप से भ्रमित होते हैं।
- सोचना हमेशा मदद नहीं करता: AI को "तर्क" करने के लिए कहना भी इस भ्रम को नहीं रोक सका।
- एक सरल समाधान काम करता है: एक लक्षित, नियम-आधारित जांच इन विशिष्ट त्रुटियों को तुरंत पकड़ सकती है, जिससे AI को शून्य से दोबारा बनाए बिना एक असफल ग्रेड को A+ में बदला जा सकता है।
संक्षेप में, यह शोध पत्र उस विशिष्ट "ग्लिच" को उजागर करता है जहाँ AI मॉडल नकारात्मक शब्दों से धोखा खा जाते हैं, और यह उस ग्लिच को रोकने के लिए एक सरल, त्वरित पैच प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।