💻 computer science

Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering

यह शोधपत्र RETINA डेटासेट को पेश करके मौजूदा मल्टीमॉडल नॉलेज-बेस्ड विजुअल क्वेश्चन अनस्वर्सिंग बेंचमार्क को प्रभावित करने वाले "विजुअल शॉर्टकट्स" की पहचान और समाधान करता है, जो मॉडलों को संबंधित संस्थाओं के बारे में तर्क करने के लिए मजबूर करता है, और MIMIR मॉडल का प्रस्ताव करता है जो इन सीमाओं को दूर करने के लिए मल्टी-इमेज रिट्रीवल का लाभ उठाता है।

मूल लेखक: Dosung Lee, Sangwon Jung, Boyoung Kim, Minyoung Kim, Sungyeon Kim, Junyoung Sung, Paul Hongsuck Seo

प्रकाशित 2026-02-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dosung Lee, Sangwon Jung, Boyoung Kim, Minyoung Kim, Sungyeon Kim, Junyoung Sung, Paul Hongsuck Seo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

समस्या: AI में "चीट कोड" (Cheat Code)

कल्पना कीजिए कि आप इतिहास की एक परीक्षा दे रहे हैं। शिक्षक आपको एक बीटल (Beetle) का चित्र दिखाते हैं और पूछते हैं, "यह जीव दुनिया के किस हिस्से में रहता है?"

पुराने तरीके में (मौजूदा बेंचमार्क में), उत्तर कुंजी हमेशा चित्र के ठीक बगल में रखी होती थी। AI को दिखाए गए टेक्स्टबुक पेज में उसी सटीक बीटल का चित्र और "नॉर्थ अमेरिका" लिखा हुआ टेक्स्ट था।

AI ने एक विजुअल शॉर्टकट (या "चीट कोड") सीख लिया। उसने वास्तव में टेक्स्ट को नहीं पढ़ा या जीव विज्ञान को नहीं समझा। उसने बस यह सीख लिया: "अगर मुझे बीटल का चित्र दिखता है, तो मैं एक ऐसा दस्तावेज़ ढूँढूँगा जिसमें बीटल का चित्र हो, और मैं वहाँ से उत्तर निकाल लूँगा।" यह उस छात्र की तरह था जिसने याद कर लिया कि "प्रश्न 5 में हमेशा कुत्ते का चित्र होता है, इसलिए उत्तर हमेशा 'डॉग पार्क' ही होगा।"

शोधकर्ताओं ने पाया कि यदि आप टेक्स्ट हटा दें और केवल AI को चित्र दें, तो भी वह सही उत्तर दे सकता है! यह साबित करता है कि AI "सोच" नहीं रहा था; वह केवल पैटर्न मिला रहा था।

समाधान: "RETINA" परीक्षा

इसे ठीक करने के लिए, लेखकों ने एक नई, कठिन परीक्षा बनाई जिसे RETINA कहा जाता है।

उपमा (Analogy):
कल्पना कीजिए कि शिक्षक अभी भी आपको बीटल का चित्र दिखाते हैं। लेकिन इस बार, उत्तर बीटल के बारे में किसी किताब में नहीं है। उत्तर आलू (Potatoes) के बारे में एक किताब में छिपा है।

क्यों? क्योंकि बीटल आलू खाता है। आलू वाली किताब में बीटल का ज़िक्र है, लेकिन बीटल वाली किताब में आलू का ज़िक्र नहीं है।

पुराना तरीका: बीटल का चित्र दिखाएं $\rightarrow$ बीटल वाले चित्र वाली किताब खोजें। (आसान/चीटिंग)।
RETINA का तरीका: बीटल का चित्र दिखाएं $\rightarrow$ आलू के बारे में किताब खोजें। (कठिन/वास्तविक)।

यह AI को विजुअल मैच (चित्र मिलाने) के बजाय वास्तव में तर्क (Reasoning) करने के लिए मजबूर करता है। उसे समझना होगा कि "बीटल" $\rightarrow$ "खाता है" $\rightarrow$ "आलू" $\rightarrow$ "आलू के बारे में पढ़ो।"

उन्होंने एक स्मार्ट AI (एक LLM) का उपयोग किया जो स्वचालित रूप से 1,20,000 ऐसे पेचीदा प्रश्न बना सका, यह सुनिश्चित करते हुए कि प्रश्न में दिया गया चित्र उत्तर वाली किताब के मुख्य चित्र से मेल न खाए।

नया टूल: MIMIR (द "मल्टी-इमेज डिटेक्टिव")

शोधकर्ताओं ने महसूस किया कि मौजूदा AI मॉडल इस नए "RETINA" एग्जाम में बहुत खराब प्रदर्शन कर रहे थे क्योंकि उन्हें केवल एक दस्तावेज़ के एक चित्र (मुख्य विषय) को देखने के लिए प्रशिक्षित किया गया था।

यदि AI आलू के बारे में किताब ढूँढ रहा है, लेकिन प्रश्न में बीटल दिखाया गया है, तो एक मानक AI कहता है, "कोई मेल नहीं! चित्र अलग हैं!" और हार मान लेता है।

इसलिए, उन्होंने एक नया AI मॉडल बनाया जिसे MIMM IR (Multi-Image Multimodal Retriever) कहा जाता है।

उपमा (Analogy):
एक मानक AI को एक ऐसे लाइब्रेरियन के रूप में सोचें जो यह तय करने के लिए कि क्या प्रासंगिक है, केवल किताब के कवर फोटो को देखता है।

लाइब्रेरियन (पुराना AI): बीटल देखता है। "आलू" वाली किताब को देखता है। आलू देखता है। कहता है, "गलत किताब!"

MIMIR (नया AI) को एक ऐसे लाइब्रेरियन के रूप में सोचें जो निर्णय लेने से पहले किताब खोलने और उसके अंदर के हर एक फोटो को देखने के बाद ही फैसला करता है।

MIMIR (नया AI): बीटल देखता है। "आलू" वाली किताब खोलता है। वह देखता है कि कवर पर आलू है, लेकिन वह पन्ने पलटता है और अंदर आलू खाते हुए बीटल का एक चित्र भी देखता है। वह कहता है, "आहा! इस किताब में बीटल का एक चित्र भी है! यह सही किताब है!"

"आलू" वाले दस्तावेज़ के साथ संबंधित चीजों (जैसे बीटल, आलू, मिट्टी, किसान) के चित्रों को जोड़कर, MIMIR उस संबंध को खोज सकता है भले ही मुख्य कवर फोटो मेल न खाता हो।

यह क्यों महत्वपूर्ण है

वास्तविक दुनिया के कौशल: वास्तविक दुनिया में, जानकारी बिखरी हुई और जटिल होती है। यदि आप किसी डॉक्टर से किसी रैश (rash) के बारे में पूछते हैं, तो उन्हें त्वचा के बारे में किताब के बजाय उस वायरस के बारे में किताब देखने की आवश्यकता हो सकती है जो उसका कारण है। पुराना AI इतना आलसी था; नया वाला इसे स्मार्ट होने के लिए मजबूर करता है।
बेहतर सर्च इंजन: यह ऐसे सर्च इंजन बनाने में मदद करता है जो केवल कीवर्ड या इमेज को मैच नहीं करते, बल्कि चीजों के बीच के संबंधों को समझते हैं।
ईमानदार मूल्यांकन: यह पेपर साबित करता है कि कई पिछले AI टेस्ट "टूटे हुए" थे क्योंकि वे AI को चीटिंग करने देते थे। RETINA एक निष्पक्ष परीक्षण है जो दिखाता है कि कौन वास्तव में स्मार्ट है और कौन केवल अनुमान लगा रहा है।

सारांश

समस्या: पुराने AI मॉडल पढ़ने के बजाय चित्र मिलाकर चीटिंग कर रहे थे।
समाधान (RETINA): एक नया डेटासेट जहाँ प्रश्न का चित्र और उत्तर वाली किताब का चित्र अलग-अलग होते हैं, जिससे AI को सोचने के लिए मजबूर किया जाता है।
नायक (MIMIR): एक नया AI मॉडल जो एक दस्तावेज़ के अंदर के सभी चित्रों को देखता है (केवल कवर नहीं), ताकि सही उत्तर मिल सके, भले ही विजुअल संकेत पेचीदा हों।

यह पेपर मूल रूप से कह रहा है: "AI को शॉर्टकट लेने से रोकें। आइए इसे एक असली पहेली दें, और इसे हल करने के लिए एक स्मार्ट जासूस बनाएँ।"

यहाँ शोध पत्र "Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मौजूदा मल्टीमॉडल नॉलेज-बेस्ड विजुअल क्वेश्चन अनswering (MKB-VQA) बेंचमार्क (जैसे InfoSeek और EVQA) में एक गंभीर दोष की पहचान करता है: "विजुअल शॉर्टकट्स" (Visual Shortcuts) का प्रसार।

शॉर्टकट तंत्र (The Shortcut Mechanism): वर्तमान बेंचमार्क में, क्वेरी इमेज लगभग हमेशा लक्षित दस्तावेज़ (ग्राउंड ट्रुथ या GT दस्तावेज़) के प्राथमिक विषय एंटिटी (Primary Subject Entity) को दर्शाती है। उदाहरण के लिए, यदि प्रश्न एक बीटल (beetle) के बारे में पूछता है, तो क्वेरी इमेज उसी विशिष्ट बीटल की तस्वीर होती है, और उत्तर उस दस्तावेज़ में मिलता है जिसका शीर्षक उस बीटल के नाम पर होता है।
परिणाम (The Consequence): मॉडल केवल विजुअल संकेतों (Visual Cues) का उपयोग करके, टेक्स्ट को पढ़े बिना या जटिल मल्टीमॉडलल रीजनिंग किए बिना, सही दस्तावेज़ को खोजने के लिए इस सहसंबंध (correlation) का लाभ उठा सकते हैं। प्रारंभिक प्रयोगों ने दिखाया कि बिना टेक्स्ट इनपुट के प्रशिक्षित मॉडल भी पूर्ण मल्टीमॉडल इनपुट का उपयोग करने वाले मॉडलों के समान रिट्रीवल प्रदर्शन प्राप्त कर सकते हैं, जो यह सिद्ध करता है कि मौजूदा बेंचमार्क वास्तव में ज्ञान एकीकरण (knowledge integration) का परीक्षण नहीं करते हैं।
वास्तविक दुनिया का अंतर (Real-World Mismatch): वास्तविक दुनिया के परिदृश्यों में, एक उपयोगकर्ता किसी संबंधित एंटिटी (जैसे कि एक पौधा) की इमेज के माध्यम से एक अलग एंटिटी (जैसे कि वह बीटल जो उस पौधे को खाता है) के बारे में जानकारी खोजने के लिए क्वेरी कर सकता है। वर्तमान बेंचमार्क इस "नॉन-मेन एंटिटी" (non-main entity) रिट्रीवल चुनौती को पकड़ने में विफल रहते हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक दो-आयामी समाधान प्रस्तावित करते हैं: एक नया बेंचमार्क (RETINA) जो इस दोष को उजागर करता है, और एक नया मॉडल आर्किटेक्चर (MIMIR) जो इसे हल करता है।

A. RETINA बेंचमार्क निर्माण

RETINA (Relational Entity Text-Image kNowledge Augmented) एक नया बेंचमार्क है जिसे विजुअल शॉर्टकट्स को समाप्त करने के लिए डिज़ाइन किया गया है।

पाइपलाइन (Pipeline): यह 120k ट्रेनिंग सैंपल्स और 2k मानव-क्यूरेटेड टेस्ट सेट को स्वचालित रूप से उत्पन्न करने के लिए एक LLM-संचालित पाइपलाइन का उपयोग करता है।
प्रक्रिया (Process):
1. नॉलेज ग्राफ निर्माण (Knowledge Graph Construction): एक लक्षित विकिपीडिया दस्तावेज़ (मुख्य एंटिटी) के लिए, LLM संबंधित एंटिटीज का एक 'वन-हॉप नेबरहुड ग्राफ' निकालता है (उदाहरण के लिए, "Lema daturaphila" के लिए, यह "Potato" और "North America" निकालता है)।
2. सबग्राफ चयन (Subgraph Selection): सिस्टम एक क्वेरी एंटिटी (Query Entity) (एक संबंधित एंटिटी, मुख्य एंटिटी नहीं) और एक क्वालिफाइंग एंटिटी (Qualifying Entity) (यह सुनिश्चित करने के लिए कि उत्तर अद्वितीय हो) का चयन करता है।
3. QA जनरेशन (QA Generation): LLM एक ऐसा प्रश्न उत्पन्न करता है जहाँ उत्तर मुख्य एंटिटी (Main Entity) है, लेकिन क्वेरी इमेज क्वेरी एंटिटी (Query Entity) की है।
4. पैराफ्रेसिंग (Paraphrasing): प्रश्नों को सरल टेक्स्ट मैचिंग (BM25) के माध्यम से रिट्रीवल को रोकने के लिए पैराफ्रेस किया जाता है।
परिणाम: क्वेरी इमेज (जैसे आलू) और GT दस्तावेज़ (जैसे बीटल के बारे में) विजुअली अलग होते हैं, जो मॉडल को टेक्स्टुअल नॉलेज और रिलेशनल रीजनिंग पर निर्भर करने के लिए मजबूर करते हैं न कि विजुअल समानता पर।

B. MIMIR मॉडल (Multi-Image MultImodal Retriever)

मौजूदा रिट्रिवर्स (जैसे MuKA) एक दस्तावेज़ को केवल एक इमेज (मुख्य एंटिटी) के साथ संवर्धित (augment) करते हैं। MIMIR इसे संबंधित एंटिटीज की कई छवियों के साथ दस्तावेज़ एम्बेडिंग्स को समृद्ध करके विस्तारित करता है।

दस्तावेज़ संवर्धन (Document Augmentation): दिए गए दस्तावेज़ के लिए, MIMIR टेक्स्ट में उल्लिखित संबंधित एंटिटीज की पहचान करता है और नॉलेज बेस (KB) से उनकी संबंधित छवियां प्राप्त करता है।
आर्किटेक्चर (Architecture):
- मल्टी-इमेज एनकोडिंग (Multi-Image Encoding): एक एकल छवि के बजाय, दस्तावेज़ एनकोडर मुख्य एंटिटी इमेज के साथ $R$ संबंधित एंटिटी इमेजेस को प्रोसेस करता है।
- मल्टीमॉडल फीचर एक्सट्रैक्शन (Multimodal Feature Extraction): यह एक ट्रांसफार्मर-आधारित क्रॉस-अटेंशन मैकेनिज्म का उपयोग करता है जहाँ पैच-लेवल विजुअल फीचर्स, टेक्स्टुअल फीचर्स के साथ इंटरैक्ट करते हैं।
- एंटिटी टोकन एम्बेडिंग (Entity Token Embedding - ETE): एक नवीन लर्न करने योग्य वेक्टर ( $\theta_{ETE}$ ) को विशिष्ट नामित एंटिटीज के अनुरूप टेक्स्ट टोकन्स में जोड़ा जाता है। यह क्रॉस-अटेंशन मैकेनिज्म को यह पहचानने में मदद करता है कि कौन से टेक्स्ट टोकन्स किस विशिष्ट इमेज के लिए सिमेंटिक रूप से प्रासंगिक हैं, जिससे मल्टीमॉडलल फीचर्स का अलाइनमेंट बेहतर होता है।
स्कोरिंग (Scoring): यह एक लेट-इंटरेक्शन स्कोरिंग मैकेनिज्म (ColBERT के समान) का उपयोग करता है जहाँ क्वेरी टोकन्स सभी दस्तावेज़ टोकन्स (टेक्स्ट + सभी छवियों से विजुअल फीचर्स) के साथ इंटरैक्ट करते हैं ताकि प्रासंगिकता की गणना की जा सके।

3. प्रमुख योगदान (Key Contributions)

विजुअल शॉर्टकट्स की पहचान: यह शोध पत्र कठोरता से प्रदर्शित करता है कि मौजूदा MKB-VQA बेंचमार्क विजुअल शॉर्टकट्स के माध्यम से हल किए जा सकते हैं, जो उन्हें वास्तविक मल्टीमॉडलल रीजनिंग के मूल्यांकन के लिए अपर्याप्त बनाता है।
RETINA बेंचमार्क: एक बड़े पैमाने पर, स्वचालित रूप से उत्पन्न बेंचमार्क (120k ट्रेन / 2k टेस्ट) जो विशेष रूप से उन परिदृश्यों को लक्षित करता है जहाँ क्वेरी इमेज एक संबंधित एंटिटी है, न कि मुख्य विषय।
MIMIR आर्किटेक्चर: एक नवीन रिट्रिवर जो दस्तावेज़ प्रतिनिधित्व को कई संबंधित एंटिटी छवियों के साथ संवर्धित करता है और विविध विजुअल कॉन्टेक्स्ट के साथ टेक्स्ट को बेहतर ढंग से अलाइन करने के लिए 'एंटिटी टोकन एम्बेडिंग्स' पेश करता है।
व्यापक मूल्यांकन: अध्ययन दिखाता है कि जबकि स्टेट-ऑफ-द-आर्ट मॉडल RETINA पर विफल रहते हैं, MIMIR अन्य मॉडलों से काफी बेहतर प्रदर्शन करता है, जो मल्टी-इमेज ऑगमेंटेशन की प्रभावशीलता को सिद्ध करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडलों का मूल्यांकन InfoSeek, EVQA (शॉर्टकट्स वाले मौजूदा बेंचमार्क) और RETINA (बिना शॉर्टकट वाला) पर किया गया।

मौजूदा बेंचमार्क पर प्रदर्शन: InfoSeek और EVQA पर, मानक मल्टीमॉडल मॉडल (MuKA, UniIR) अच्छा प्रदर्शन करते हैं, जो अक्सर टेक्स्ट-ओनली मॉडलों से बेहतर होते हैं।
RETINA पर प्रदर्शन:
- बेसलाइन की विफलता: मौजूदा मॉडल (MuKA, PreFLMR) RETINA पर भारी गिरावट का सामना करते हैं (उदाहरण के लिए, EVQA पर MuKA का Recall@5 ~65% से गिरकर RETINA पर ~20% हो जाता है)। वे अक्सर उन "डिस्ट्रैक्टर" दस्तावेज़ों को रिट्रीव करते हैं जिनकी मुख्य एंटिटी क्वेरी इमेज से विजुअली मेल खाती है, जो उनके शॉर्टकट पर निर्भरता की पुष्टि करता है।
- MIMIR की सफलता: MIMIR, सर्वश्रेष्ठ बेसलाइन की तुलना में RETINA पर लगभग दोगुना Recall@5 प्राप्त करता है (Seen के लिए 43.2% बनाम 20.8%; Unseen के लिए 36.9% बनाम 8.6%)।
एब्लेशन स्टडीज (Ablation Studies):
- मल्टीपल इमेजेस (MI) जोड़ने से RETINA पर प्रदर्शन में उल्लेखनीय वृद्धि होती है।
- मल्टीमॉडल फीचर्स (MMF) (टेक्स्ट और इमेज पैचेस के बीच क्रॉस-अटेंशन) जोड़ने से परिणामों में और सुधार होता है।
- एंटिटी टोकन एम्बेडिंग्स (ETE) जोड़ने से अंतिम महत्वपूर्ण लाभ मिलता है, जो विशिष्ट छवियों के साथ टेक्स्ट टोकन्स को स्पष्ट रूप से जोड़ने के महत्व को दर्शाता है।
गुणात्मक विश्लेषण (Qualitative Analysis): MIMIR सफलतापूर्वक उन दस्तावेज़ों को रिट्रीव करता है जहाँ क्वेरी इमेज (जैसे एक विशिष्ट पेड़) GT दस्तावेज़ के भीतर एक संबंधित एंटिटी इमेज से मेल खाती है, जबकि बेसलाइन विफल हो जाते हैं और विजुअली समान लेकिन सिमेंटिक रूप से गलत दस्तावेज़ों को रिट्रीव करते हैं।

5. महत्व (Significance)

बेंचमार्क अखंडता (Benchmark Integrity): यह शोध पत्र वर्तमान AI मूल्यांकन में एक बड़े अंतर को उजागर करता है, जो समुदाय को "विजुअल शॉर्टकट" डेटासेट्स से आगे बढ़ने का आग्रह करता है ताकि यह सुनिश्चित हो सके कि मॉडल वास्तव में रीजनिंग कर रहे हैं न कि केवल पैटर्न मिलान।
वास्तविक दुनिया की प्रयोज्यता (Real-World Applicability): यह सिम्युलेट करते हुए कि उपयोगकर्ता संबंधित एंटिटीज के बारे में कैसे पूछते हैं (जैसे, "यह पौधा क्या खाता है?"), RETINA और MIMIR विजुअल इंफॉर्मेशन सीकिंग के लिए एक अधिक यथार्थवादी ढांचा प्रदान करते हैं।
आर्किटेक्चरल नवाचार (Architectural Innovation): दस्तावेज़ एम्बेडिंग्स को कई संबंधित छवियों के साथ संवर्धित करने और एंटिटी टोकन एम्बेडिंग्स का उपयोग करने की अवधारणा, मल्टीमॉडल रिट्रीवल सिस्टम के लिए एक नया दिशा प्रदान करती है, जो "एक दस्तावेज़, एक इमेज" के प्रतिमान से आगे बढ़ती है।

निष्कर्षतः, यह शोध पत्र एक कठोर बेंचमार्क (RETINA) और एक मजबूत समाधान (MIMIR) पेश करके MKB-VQA में विजुअल शॉर्टकट्स को सफलतापूर्वक तोड़ता है, और यह प्रदर्शित करता है कि वास्तविक मल्टीमॉडलल रीजनिंग के लिए मॉडलों को सतही इमेज-दस्तावेज़ सहसंबंधों के बजाय विविध विजुअल और टेक्स्टुअल कॉन्टेक्स्ट को एकीकृत करने की आवश्यकता होती है।