Which Modality Decides? Counterfactual Modality Attribution for Multimodal LLMs
यह शोध पत्र काउंटरफैक्चुअल मोडैलिटी एट्रिब्यूशन (CMA) प्रस्तुत करता है, जो एक नवीन ढांचा है जो युग्मित डिफ्यूजन प्रायर्स (coupled diffusion priors) और शापली वैल्यूज (Shapley values) का उपयोग यह मापने के लिए करता है कि कौन सी मोडैलिटी (छवि या टेक्स्ट) मल्टीमॉडल लार्ज लैंग्वेज मॉडल के पूर्वानुमान को संचालित करती है, जिससे उन असुरक्षित तर्क पैटर्न का खुलासा होता है जिन्हें पारंपरिक फीचर-स्तरीय व्याख्यात्मकता विधियाँ नहीं पकड़ पाती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास दो बहुत अलग साथी हैं: एक फोटोग्राफर जो आपको केवल तस्वीरें दिखाता है, और दूसरा एक कहानीकार जो केवल शब्दों में बात करता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, सुपर-स्मार्ट कंप्यूटर जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) कहा जाता है, इस जासूसी टीम की तरह काम करते हैं। वे एक ही समय में छवियों को देखते हैं और टेक्स्ट को पढ़ते हैं ताकि बड़े निर्णय लिए जा सकें, जैसे कि किसी मरीज का निदान करना या किसी समस्या की पहचान करना। लेकिन पेचीदा हिस्सा यह है कि सिर्फ इसलिए कि कंप्यूटर ने सही उत्तर दे दिया, इसका मतलब यह नहीं है कि उसने इसे सही तरीके से समझा है। कभी-कभी, वह तस्वीरों को अनदेखा करके और केवल टेक्स्ट पर ध्यान केंद्रित करके "शॉर्टकट का सहारा" ले रहा होता है, या इसके विपरीत। यह एक बड़ी समस्या है क्योंकि यदि हमें यह नहीं पता कि कौन सा साथी काम कर रहा है, तो हम गंभीर स्थितियों में उस जासूस पर भरोसा नहीं कर सकते। हमें पूछने के लिए एक तरीके की आवश्यकता है, "हे, क्या यह तस्वीर थी जिसने इस समस्या को सुलझाया, या यह कहानी थी?"
यह बिल्कुल वही है जिसे साराजेवो विश्वविद्यालय और किंग्स कॉलेज लंदन के शोधकर्ताओं द्वारा किया गया एक नया अध्ययन संबोधित करता है। उन्हें डर है कि ये AI जासूस "शॉर्टकट" ले रहे हो सकते हैं—एक प्रकार के सुराग पर निर्भर होकर दूसरे को अनदेखा कर रहे हैं, भले ही अंतिम उत्तर सही दिख रहा हो। इसे ठीक करने के लिए, उन्होंने एक चतुर नया टूल बनाया है जिसे काउंटरफैक्चुअल मोडैलिटी एट्रिब्यूशन (CMA) कहा जाता है। CMA को एक "क्या होगा अगर?" मशीन के रूप में सोचें। यह AI से पूछता है: "क्या होगा अगर हम आपको केवल तस्वीर दिखाएं?" और "क्या होगा अगर हम आपको केवल टेक्स्ट दें?" इन काल्पनिक "क्या होगा अगर" वाले परिदृश्यों को बनाकर, यह टूल सटीक रूप से माप सकता है कि तस्वीर ने कितना योगदान दिया और टेक्स्ट ने कितना। उन्होंने इसे नकली पहेलियों और वास्तविक मेडिकल रिपोर्ट पर परखा, और पाया कि CMA उन मामलों को पकड़ने में अविश्वसनीय रूप से सक्षम है जहाँ AI महत्वपूर्ण जानकारी को अनदेखा कर रहा है। वास्तव में, उनके नियंत्रित परीक्षणों में, इसने 98% बार निर्णय के वास्तविक स्रोत की सही पहचान की, जिससे वे छिपी हुई गलतियाँ सामने आईं जिन्हें अन्य तरीके भी नहीं देख पाए थे।
जासूस की दुविधा
कल्पना कीजिए कि आप एक डॉक्टर हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या किसी मरीज को निमोनिया है। आपके पास दो सबूत हैं: एक चेस्ट एक्स-रे (तस्वीर) और एक नर्स द्वारा लिखा गया मेडिकल रिपोर्ट (टेक्स्ट)। नर्स की रिपोर्ट कहती है, "मरीज को पेनिसिलिन से एलर्जी है।" एक्स-रे स्पष्ट रूप से निमोनिया दिखाता है। एक स्मार्ट AI दोनों को देखेगा, कहेगा, "हाँ, यह निमोनिया है," और फिर एक सुरक्षित एंटीबायोटिक की सिफारिश करेगा जो पेनिसिलिन नहीं है।
लेकिन क्या होगा अगर AI "शॉर्टकट पर निर्भर" है? क्या होगा अगर वह एक्स-रे को देखता है, निमोनिया देखता है, और नर्स के नोट को पढ़े बिना ही तुरंत एक एंटीबायोटिक चुन लेता है? यदि वह एंटीबायोटिक पेनिसिलिन है, तो मरीज को जानलेवा प्रतिक्रिया हो सकती है। AI ने निदान तो सही किया, लेकिन वह सुरक्षा जांच में विफल रहा क्योंकि उसने टेक्स्ट को अनदेखा कर दिया। इसे "शॉर्टकट लर्निंग" कहा जाता है, और यह खतरनाक है क्योंकि AI कागज पर तो एकदम सही दिखता है (वह सही निदान देता है) लेकिन वास्तव में वह असुरक्षित है।
समस्या यह है कि AI की जाँच करने वाले अधिकांश वर्तमान उपकरण केवल यह देखते हैं कि AI कहाँ देख रहा है। वे एक्स-रे पर निमोनिया के चारों ओर एक लाल बॉक्स बना सकते हैं या टेक्स्ट में "पेनिसिलिन" शब्द को हाइलाइट कर सकते हैं। लेकिन वे इस बड़े सवाल का जवाब नहीं दे सकते: किसने AI को निर्णय लेने के लिए प्रेरित किया? क्या तस्वीर ने निर्णय लिया, या टेक्स्ट ने? या क्या वे दोनों मिलकर काम कर रहे थे?
"क्या होगा अगर?" मशीन
शोधकर्ताओं ने इस समस्या को हल करने के लिए काउंटरफैचुअल मोडैलिटी एट्रिब्यूशन (CMA) नामक एक नई विधि बनाई है। "काउंटरफैक्चुअल" शब्द एक फैंसी तरीका है यह कहने का "क्या होगा अगर?" CMA, AI के साथ "क्या होगा अगर?" का खेल खेलता है।
यह कैसे काम करता है, एक सरल उदाहरण के माध्यम से समझते हैं:
कल्पना कीजिए कि आप दो सामग्रियों के साथ एक केक बना रहे हैं: मैदा और चीनी। आप जानना चाहते हैं कि कौन सी सामग्री केक को मीठा बनाती है।
- मूल केक: आप मैदा और चीनी दोनों के साथ एक केक बनाते हैं। यह मीठा होता है।
- "क्या होगा अगर" वाले परिदृश्य:
- परिदृश्य A (केवल इमेज-ओनली): आप केवल मैदा के साथ केक बनाते हैं (बिना चीनी के)।
- परिदृश्य B (केवल टेक्स्ट-ओनली): आप केवल चीनी के साथ केक बनाते हैं (बिना मैदे के)।
- परिदृश्य C (दोनों हटा दिए गए): आप बिना मैदा और बिना चीनी के केक बनाते हैं।
इन अलग-अलग केक को चखकर, आप ठीक से पता लगा सकते हैं कि चीनी ने मिठास में कितना योगदान दिया। यदि केवल चीनी वाला केक अभी भी मीठा है, लेकिन केवल मैदा वाला केक फीका है, तो आप जानते हैं कि चीनी ही असली सितारा है।
CMA AI के लिए यही करता है, लेकिन केक के बजाय, यह इमेज और टेक्स्ट का उपयोग करता है। यह "मैजिक जनरेटर्स" (जिन्हें डिफ्यूजन मॉडल कहा जाता है) का उपयोग करके इनपुट के यथार्थवादी संस्करण बनाता है जहाँ यह टेक्स्ट को हटा देता है लेकिन इमेज को रखता है, या इमेज को हटा देता है लेकिन टेक्स्ट को रखता है। फिर यह AI से इन नए, संशोधित संस्करणों पर भविष्यवाणी करने के लिए कहता है।
स्कोरबोर्ड: काम किसने किया?
एक बार जब AI ने इन सभी "क्या होगा अगर" वाले संस्करणों पर भविष्यवाणियाँ कर लीं, तो CMA शापली वैल्यूज (Shapley values) नामक एक गणितीय स्कोरिंग सिस्टम का उपयोग करता है। आप इसे एक वीडियो गेम के स्कोरबोर्ड की तरह समझ सकते हैं जहाँ दो खिलाड़ी (इमेज और टेक्स्ट) एक टीम में हैं। स्कोरबोर्ड यह गणना करता है कि प्रत्येक खिलाड़ी ने टीम की जीत में कितना योगदान दिया।
- यदि टेक्स्ट हटाने पर AI अपना निर्णय बदल लेता है, तो टेक्स्ट को उच्च स्कोर मिलता है।
- यदि इमेज हटाने पर AI अपना निर्णय बदल लेता है, तो इमेज को उच्च स्कोर मिलता है।
- यदि AI को सही उत्तर देने के लिए दोनों की आवश्यकता होती है, तो वे स्कोर साझा करते हैं।
परिणाम एक स्पष्ट प्रतिशत है: "90% इमेज, 10% टेक्स्ट।" यह हमें बताता है कि कौन सी मोडैलिटी निर्णय को संचालित कर रही है।
उन्होंने क्या पाया
शोधकर्ताओं ने CMA का परीक्षण दो तरीकों से किया:
- नकली पहेलियाँ: उन्होंने एक खेल बनाया जहाँ वे निश्चित रूप से जानते थे कि AI को केवल तस्वीर या केवल टेक्स्ट पर निर्भर होना चाहिए। इन परीक्षणों में, CMA एक सुपरस्टार साबित हुआ। इसने "शॉर्टकट-निर्भर" AI की 98% बार सही पहचान की। अन्य तरीके, जो केवल व्यक्तिगत पिक्सेल या शब्दों को देखते थे, भ्रमित हो गए और पक्षपात को पहचानने में विफल रहे।
- वास्तविक मेडिकल रिपोर्ट्स: उन्होंने चेस्ट एक्स-रे और डॉक्टर के नोट्स के एक वास्तविक डेटासेट पर इसका परीक्षण किया। उन्होंने ऐसे मामले पाए जहाँ AI अजीब शॉर्टकट पर निर्भर था। उदाहरण के लिए, एक मामले में, AI एक "नोड्यूल" (गांठ) का निदान इसलिए कर रहा था क्योंकि उसने एक्स-रे पर ईसीजी लीड्स (तार) देखे थे, न कि वास्तविक गांठ को देखने के कारण। जब CMA ने तारों को हटाया (इमेज शॉर्टकट), तो AI ने अपना निर्णय बदल लिया। इसने साबित किया कि CMA उन खतरनाक शॉर्टकट को ढूंढ सकता है जिन्हें अन्य उपकरण मिस कर देते हैं।
यह क्यों मायने रखता है
इस पेपर द्वारा दिखाई गई सबसे महत्वपूर्ण बात यह है कि सही होना ही काफी नहीं है। एक AI गलत कारणों से सही उत्तर दे सकता है। यदि हम केवल यह जाँचते हैं कि उत्तर सही है या नहीं, तो हम इस तथ्य को मिस कर सकते हैं कि AI महत्वपूर्ण सुरक्षा जानकारी (जैसे एलर्जी) को अनदेखा कर रहा है।
CMA हमें AI की सोचने की प्रक्रिया का ऑडिट करने का एक तरीका देता है। यह हमें केवल यह नहीं बताता कि AI ने क्या निर्णय लिया; यह हमें बताता है कि उसने वह निर्णय क्यों लिया। यह स्वास्थ्य सेवा, सेल्फ-ड्राइविंग कारों या कानूनी निर्णयों जैसे उच्च-जोखिम वाले मामलों के लिए अत्यंत महत्वपूर्ण है, जहाँ हमें यह सुनिश्चित करने की आवश्यकता है कि AI उपलब्ध सभी साक्ष्यों का उपयोग कर रहा है, न कि केवल आसान चीजों का।
शोधकर्ता स्वीकार करते हैं कि उनके टूल को चलाने के लिए थोड़े अधिक कंप्यूटर पावर की आवश्यकता होती है और यह अभी भी पूर्ण नहीं है, लेकिन यह एक बड़ा कदम है। यह AI के निर्णय लेने वाले "ब्लैक बॉक्स" को कुछ ऐसा बनाता है जिसे हम वास्तव में समझ सकते हैं और जिस पर भरोसा कर सकते हैं, जिससे यह सुनिश्चित होता है कि जब कोई AI कहता है "मुझे यकीन है," तो वह वास्तव में सही कारणों से सुनिश्चित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।