Ask Twice, Look Twice: Training-Free Consistency Filtering for Reliable Medical VQA

आधुनिक चिकित्सा की उच्च-दांव वाली दुनिया में, डॉक्टर एक्स-रे से लेकर एमआरआई स्कैन तक जटिल मेडिकल इमेज की व्याख्या करने में मदद के लिए तेजी से आर्टिफिशियल इंटेलिजेंस (AI) पर निर्भर हो रहे हैं। एक विशिष्ट प्रकार का AI, जिसे विजुअल क्वेश्चन अनswering सिस्टम (visual question answering system) कहा जाता है, एक तस्वीर को देखने और उसके बारे में प्राकृतिक भाषा में प्रश्न का उत्तर देने के लिए डिज़ाइन किया गया है, जैसे कि "यहाँ कौन सा अंग दिखाई दे रहा है?" या "क्या यहाँ कोई फ्रैक्चर है?" हालांकि ये सिस्टम नैदानिक निर्णयों में सहायता के लिए अपार संभावनाएँ रखते हैं, लेकिन वे एक महत्वपूर्ण बाधा का सामना करते हैं: विश्वसनीयता। जिस तरह एक इंसान हिचकिचा सकता है या यदि प्रश्न को थोड़ा अलग तरीके से पूछा जाए तो अलग उत्तर दे सकता है, ये कंप्यूटर प्रोग्राम भी कभी-कभी लड़खड़ा सकते हैं जब प्रश्न की शब्दावली बदल जाती है, भले ही उसका अर्थ बिल्कुल वही हो। यदि कोई AI एक गलत उत्तर आत्मविश्वास के साथ देता है क्योंकि डॉक्टर ने प्रश्न को एक नए तरीके से पूछा था, तो अस्पताल के माहौल में इसके परिणाम गंभीर हो सकते हैं। इसलिए, मुख्य चुनौती केवल इन मॉडलों को स्मार्ट बनाने की नहीं है, बल्कि उन्हें सुसंगत (consistent) बनाने की है—यह सुनिश्चित करना कि वे इस बात की परवाह किए बिना समान सही उत्तर दें कि प्रश्न कैसे पूछा गया है या छवि को थोड़ा कैसे बदला गया है।

सिडनी विश्वविद्यालय और मैकक्वेरी विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नया तरीका विकसित किया है, जिसमें आर्टिफिशियल इंटेलिजेंस मॉडलों को शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं है। वे अपने इस दृष्टिकोण को "आस्क ट्वाइस, लुक ट्वाइस" (Ask Twice, Look Twice) कहते हैं। AI को नई चीजें सीखने के लिए मजबूर करने के बजाय, उन्होंने एक सुरक्षा फिल्टर बनाया है जो मॉडल के उत्तर देने से पहले उसके आत्मविश्वास की जांच करता है। यह प्रणाली एक एकल मेडिकल इमेज और एक प्रश्न को लेती है, और फिर उस प्रश्न के कई अलग-अलग संस्करण स्वचालित रूप से तैयार करती है जिनका अर्थ बिल्कुल वही होता है। उदाहरण के लिए, यदि मूल प्रश्न है "फेफड़े के बाईं ओर कौन सी बीमारी दिखाई दे रही है?", तो सिस्टम ऐसे बदलाव बना सकता है जैसे "बाएं फेफड़े में क्या देखा जा रहा है?" या "बाईं ओर कौन सा निष्कर्ष मौजूद है?" इसके बाद यह AI से इन सभी अलग-अलग संस्करणों के प्रश्न पूछती है। यदि AI इन सभी विभिन्न संस्करणों के लिए एक ही उत्तर देता है, तो सिस्टम परिणाम को विश्वसनीय मानकर स्वीकार कर लेता है। यदि AI के उत्तर डगमगाते हैं या एक-दूसरे के विरोधाभासी होते हैं, तो सिस्टम आउटपुट को अस्वीकार कर देता है, और गलत निदान का जोखिम उठाने के बजाय इसे अनिश्चित के रूप में चिह्नित कर देता है।

इस विचार का परीक्षण करने के लिए, शोधकर्ताओं को पहले इन प्रश्न विविधताओं को स्वचालित रूप से उत्पन्न करने का एक तरीका बनाना था। उन्होंने मौजूदा मेडिकल डेटासेट्स में पाए जाने वाले प्रश्नों को फिर से लिखने के लिए एक लार्ज लैंग्वेज मॉडल (एक प्रकार का उन्नत AI जिसे विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है) का उपयोग किया। उन्होंने इस प्रक्रिया के लिए सख्त नियम निर्धारित किए: नए प्रश्न मूल प्रश्न के समान अर्थ बनाए रखेंगे, और वे कोई भी नई जानकारी पेश नहीं करेंगे जो पहले से इमेज या मूल प्रश्न में नहीं थी। इसने यह सुनिश्चित किया कि AI का परीक्षण उसकी मूल अवधारणा को समझने की क्षमता पर किया जा रहा है, न कि नई जानकारी का अनुमान लगाने की क्षमता पर। उन्होंने इन उत्पन्न किए गए प्रश्नों की गुणवत्ता की भी जांच की ताकि यह सुनिश्चित हो सके कि वे व्याकरण की दृष्टि से सही हैं और मूल के वास्तव में समकक्ष हैं। इस प्रक्रिया ने उन्हें एक बहुत समृद्ध परीक्षण आधार बनाने की अनुमति दी, जहाँ प्रत्येक मेडिकल इमेज को एक प्रश्न के बजाय दर्जनों अलग-अलग तरीकों से पूछने के लिए जोड़ा गया था।

शोधकर्ताओं ने फिर इस पद्धति का परीक्षण दो अलग-अलग मेडिकल AI मॉडलों का उपयोग करके SLAKE नामक एक डेटासेट पर किया, जिसमें हजारों मेडिकल इमेज और प्रश्न शामिल हैं। उन्होंने वास्तविक दुनिया की चुनौतियों का अनुकरण करने के लिए इस डेटासेट के चार अलग-अलग संस्करण बनाए। एक संस्करण ने भाषा परिवर्तनों को संभालने के लिए केवल नए, विविध प्रश्नों का उपयोग किया। दूसरे संस्करण में ऐसी छवियां थीं जिन्हें चमक बदलने या थोड़ा धुंधला करने जैसी मानक कंप्यूटर तकनीकों से थोड़ा बदला गया था, ताकि दृश्य मजबूती (visual robustness) का परीक्षण किया जा सके। उन्होंने इन परिवर्तनों को मिला दिया और उन छवियों को भी शामिल किया जिन्हें AI को धोखा देने के लिए सूक्ष्म रूप से संशोधित किया गया था, जिसे 'एडवर्सरियल अटैक्स' (adversarial attacks) कहा जाता है। जब उन्होंने अपने नए सुरक्षा फिल्टर के बिना इन मॉडलों को इन डेटासेट्स पर चलाया, तो परिणाम चौंकाने वाले थे। मॉडल भाषा के मामले में आश्चर्यजनक रूप से नाजुक निकले; प्रश्न पूछने के तरीके में छोटे से बदलाव से भी उनकी सटीकता काफी कम हो गई। इसके विपरीत, मॉडल स्वयं छवियों में होने वाले परिवर्तनों के प्रति कुछ हद तक लचीले थे, हालांकि जब टेक्स्ट और इमेज दोनों को बदला गया, तब वे संघर्ष करते दिखे।

"आस्क ट्वाइस, लुक ट्वाइस" पद्धति की असली शक्ति तब सामने आई जब शोधकर्ताओं ने अपने कंसिस्टेंसी फिल्टर (consistency filter) को लागू किया। उन्होंने एक नियम निर्धारित किया कि AI को उत्तर देने की अनुमति तभी दी जाएगी जब वह एक निश्चित संख्या में प्रश्न विविधताओं के बीच खुद से सहमत होगा। उदाहरण के लिए, यदि उन्होंने आवश्यकता रखी कि मॉडल को एक प्रश्न के कम से कम ग्यारह अलग-अलग संस्करणों के लिए एक ही उत्तर देना होगा, तो सिस्टम बहुत अधिक भरोसेमंद हो गया। विविध भाषा वाले डेटासेट पर, एक शीर्ष मॉडल की विश्वसनीयता इस सख्त नियम को लागू करने पर लगभग 77% से बढ़कर 89% हो गई। दृश्य परिवर्तनों वाले डेटासेट पर, विश्वसनीयता लगभग 80% से बढ़कर 87% हो गई। यह सुधार एक समझौते (trade-off) के साथ आया: क्योंकि सिस्टम अब उन उत्तरों को अस्वीकार कर रहा था जिनके बारे में वह सुनिश्चित नहीं था, इसलिए वास्तव में उत्तर देने वाले प्रश्नों की संख्या कम हो गई। भाषा-परिवर्तित डेटासेट में, स्वीकृति दर लगभग 29% गिर गई, जिसका अर्थ है कि सिस्टम अनुमान लगाने के बजाय चुप रहना चुनता था। हालांकि, जो उत्तर उसने दिए वे काफी हदतः सही होने की संभावना रखते थे, और इसकी भविष्यवाणियों में अनिश्चितता लगभग एक चौथाई कम हो गई।

अध्ययन ने यह भी रेखांकित किया कि मेडिकल AI मॉडल त्रुटियों के विभिन्न प्रकारों को कैसे संभालते हैं। शोधकर्ताओं ने पाया कि मॉडल छवियों की तुलना में भाषा के परिवर्तनों के प्रति कहीं अधिक संवेदनशील थे। भले ही छवियों को थोड़ा धुंधला किया गया या उनके कंट्रास्ट को समायोजित किया गया, मॉडल अपेक्षाकृत अच्छा प्रदर्शन करते रहे। लेकिन जब प्रश्नों को फिर से लिखा गया, तो मॉडल अक्सर यह पहचानने में विफल रहे कि प्रश्न वही है। यह सुझाव देता है कि वर्तमान मेडिकल AI सिस्टम इमेज में मौजूद विजुअल जानकारी को वास्तव में समझने के बजाय प्रश्न में उपयोग किए गए विशिष्ट शब्दों पर बहुत अधिक निर्भर करते हैं। शोधकर्ताओं ने नोट किया कि पारंपरिक इमेज परिवर्तन, AI को धोखा देने के लिए डिज़ाइन किए गए सूक्ष्म, कंप्यूटर-जनित हमलों की तुलना में प्रदर्शन को अधिक नुकसान पहुँचाते हैं, जो इस धारणा को चुनौती देता है कि ये सिस्टम किस तरह से असुरक्षित हैं।

इस कंसिस्टेंसी फिल्टर का उपयोग करके, शोधकर्ताओं ने प्रदर्शित किया कि बिना किसी नए डेटा पर मॉडल को प्रशिक्षित किए या उनके अंतर्निहित आर्किटेक्चर को बदले, मेडिकल AI के भरोसेमंद होने को महत्वपूर्ण रूप से बढ़ाया जा सकता है। यह पद्धति एक गेटकीपर (gatekeeper) के रूप में कार्य करती है, यह सुनिश्चित करती है कि सिस्टम केवल तभी बोले जब वह आश्वस्त हो। हालांकि इसका मतलब यह है कि सिस्टम कभी-कभी प्रश्न का उत्तर देने से इनकार कर देगा, शोधकर्ता तर्क देते हैं कि क्लिनिकल सेटिंग में, एक ऐसा सिस्टम जो आत्मविश्वास के साथ गलत उत्तर देता है, उससे एक शांत (silent) सिस्टम कहीं अधिक सुरक्षित है। यह दृष्टिकोण विभिन्न प्रकार के मॉडलों और विभिन्न प्रकार के डेटा पर काम करता है, जो इसे वास्तविक अस्पतालों में सुरक्षा में सुधार के लिए एक व्यावहारिक उपकरण बनाता है। अध्ययन यह निष्कर्ष निकालता है कि हालांकि इन प्रणालियों को पूरी तरह से मजबूत (robust) बनने के लिए अभी भी काम करने की आवश्यकता है, विशेष रूप से यह कि वे प्रश्न पूछने के विभिन्न तरीकों को कैसे संभालते हैं, लेकिन यह सरल "आस्क ट्वाइस" रणनीति अनिश्चितता को छानने और डॉक्टरों को दिए जाने वाले उत्तरों को विश्वसनीय बनाने का एक शक्तिशाली तरीका प्रदान करती है।