Revealing Multi-View Hallucination in Large Vision-Language Models
यह शोध पत्र लार्ज विजन-लैंग्वेज मॉडल्स में मल्टी-व्यू मतिभ्रम (multi-view hallucination) की अवधारणा प्रस्तुत करता है, इस समस्या का मूल्यांकन करने के लिए MVH-Bench बेंचमार्क पेश करता है, और रेफरेंस शिफ्ट कॉन्ट्रास्टिव डिकोडिंग (RSCD) नामक एक ट्रेनिंग-फ्री डिकोडिंग तकनीक प्रस्तावित करता है जो विभिन्न दृष्टिकोणों या इंस्टेंस से होने वाले विजुअल इंटरफेरेंस को दबाकर मॉडल के प्रदर्शन में महत्वपूर्ण सुधार करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपको एक अपराध स्थल की एक फोटो देखने के बजाय, एक ही कमरे के अलग-अलग कोणों से ली गई दो तस्वीरें दी जाती हैं।
एक फोटो में (व्यू 1), लाल शर्ट पहने एक व्यक्ति नीला कप पकड़े हुए है।
दूसरी फोटो में (व्यू 2), नीली शर्ट पहने एक महिला लाल कप पकड़े हुए है।
अब, कल्पना कीजिए कि आप एक सुपर-स्मार्ट एआई असिस्टेंट से पूछते हैं: "लाल शर्ट वाले व्यक्ति ने क्या पकड़ा हुआ है?"
एक मानव जासूस तुरंत पहली फोटो को देखेगा, दूसरी फोटो को अनदेखा करेगा, और कहेगा, "एक नीला कप।"
लेकिन इस पेपर वाला एआई? वह भ्रमित हो जाता है। वह दोनों फोटो को एक साथ देखता है, दूसरी फोटो में मौजूद लाल कप से विचलित हो जाता है, और उत्तर देता है, "एक लाल कप।" उसने सुरागों को आपस में मिला दिया।
यह पेपर इसी विशिष्ट प्रकार के भ्रम को ठीक करने के बारे में है, जिसे लेखक "मल्टी-व्यू हेलुसिनेशन" (Multi-View Hallucination) कहते हैं।
उनकी खोज और समाधान का विवरण यहाँ सरल रूप में दिया गया है:
1. समस्या: "भ्रमित जासूस"
लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) ऐसे जासूसों की तरह हैं जो छवियों को देख सकते हैं और टेक्स्ट पढ़ सकते हैं। वे एक एकल चित्र को देखने और उसका वर्णन करने में बहुत अच्छे होते जा रहे हैं। लेकिन जब आप उन्हें एक ही दृश्य की अलग-अलग कोणों से कई तस्वीरें दिखाते हैं, तो वे अपने ही पैरों में उलझ जाते हैं।
लेखकों ने पाया कि एआई जासूस मुख्य रूप से दो तरीकों से गलती करते हैं:
- क्रॉस-इंस्टेंस हेलुसिनेशन (लोगों को मिला देना): एआई फोटो A में सफेद शर्ट पहने एक व्यक्ति को देखता है और फोटो B में काली शर्ट पहने एक व्यक्ति को देखता है। जब सफेद शर्ट वाले व्यक्ति के बारे में पूछा जाता है, तो एआई गलती से काली शर्ट वाले व्यक्ति की क्रिया को अपना लेता है।
- क्रॉस-व्यू हेलुसिनेशन (कोणों को मिला देना): एआई फोटो A में बाईं ओर इशारा करता हुआ एक वाटरिंग कैन देखता है और फोटो B में ऊपर की ओर इशारा करता हुआ देखता है। जब पूछा जाता है, "फोटो A में, कैन किस दिशा में इशारा कर रहा है?", तो वह फोटो B को देखता है और कहता है "ऊपर"।
उपमा: कल्पना कीजिए कि आप एलिस और बॉब नामक दो पात्रों वाली कहानी पढ़ रहे हैं। यदि कोई पूछता है, "एलिस क्या कर रही है?", तो एक भ्रमित एआई उत्तर दे सकता है, "बॉब सेब खा रहा है," क्योंकि उसने अगले पैराग्राफ में बॉब को सेब खाते हुए देखा और वह पात्रों को स्पष्ट रूप से नहीं रख सका।
2. प्रमाण: "MVH-Bench" टेस्ट
यह साबित करने के लिए कि यह एक वास्तविक समस्या है, शोधकर्ताओं ने MVH-Bench नामक एक विशेष परीक्षण बनाया।
- उन्होंने हर तरफ कैमरों वाले वीडियो लिए (जैसे कई कोणों वाला सुरक्षा तंत्र)।
- उन्होंने एआई को फँसाने के लिए 4,800 कठिन प्रश्न बनाए।
- परिणाम: यहाँ तक कि सबसे स्मार्ट एआई मॉडल (जैसे GPT-4o और LLaVA) भी बुरी तरह विफल रहे। वे "गलत" फोटो से इतने आसानी से विचलित हो गए कि वे सरल प्रश्नों के सही उत्तर नहीं दे सके।
3. निदान: एआई क्यों भ्रमित होता है?
शोधकर्ताओं ने एआई के "मस्तिष्क" (इसके आंतरिक परतों) की गहराई से जांच की ताकि देखा जा सके कि क्या हो रहा है। उन्होंने पाया कि एआई केवल चित्रों को नहीं देख रहा था; वह खुद से बात करके प्रश्न को समझने की कोशिश कर रहा था।
- खोज: एआई को प्रश्न के शब्दों (जैसे, "लाल शर्ट") को छवि के सही भाग से जोड़ने की आवश्यकता होती है। लेकिन एआई की मध्यवर्ती परतों में, शब्द आपस में उलझ रहे थे। एआई चित्रों को देखना शुरू करने से पहले प्रश्न को पूरी तरह से समझ नहीं पा रहा था।
- रूपक: यह एक गणित की समस्या हल करने की कोशिश करने जैसा है जबकि कोई आपके कान में दूसरी गणित की समस्या चिल्ला रहा हो। आप विचलित हो जाते हैं और गलत समीकरण हल करने लगते हैं।
4. समाधान: "रेफरेंस शिफ्ट कॉन्ट्रास्टिवव डिकोडिंग" (RSCD)
शोधकर्ताओं ने इस समस्या को ठीक करने के लिए एक चतुर, "ट्रेनिंग-फ्री" (बिना पुनः प्रशिक्षण के) तरीका निकाला। उन्हें एआई को फिर से सिखाने की आवश्यकता नहीं थी; उन्हें बस उत्तर देते समय उसके सोचने के तरीके को बदलने की आवश्यकता थी।
वे अपने तरीके को RSCD कहते हैं। यह कैसे काम करता है, इसके लिए एक सरल उपमा का उपयोग करें:
"डबल-चेक" करने की ट्रिक:
कल्पना कीजिए कि एआई उत्तर देने ही वाला है।
- सामान्य पथ (Normal Path): एआई प्रश्न और फोटो को देखता है और सोचता है, "ठीक है, उत्तर संभवतः X है।"
- "शिफ्ट" पथ (The "Shift" Path): शोधकर्ता अस्थायी रूप रूप से एआई की प्रश्न के शब्दों को एक-दूसरे से जोड़ने की क्षमता को "अंधा" कर देते हैं। वे एआई को प्रश्न को खराब तरीके से समझने के लिए मजबूर करते हैं।
- क्या होता है? जब एआई प्रश्न को अच्छी तरह से नहीं समझ पाता, तो वह और भी अधिक भ्रमित हो जाता है और गलत विजुअल संकेतों को पकड़ लेता है (हेलुसिनेशन)।
- तुलना (The Comparison): अब एआई के पास दो विचार हैं:
- विचार A (सामान्य): "उत्तर X है।"
- विचार B (भ्रमित): "उत्तर Y (गलत चीज़) है।"
- सुधार (The Fix): एआई विचार B को विचार A से घटा देता है। यह देखकर कि भ्रमित होने पर एआई क्या गलत करता है, वह गणितीय रूप से खुद को उस गलत उत्तर से दूर धकेल सकता है और सही उत्तर पर टिक सकता है।
उपमा: यह एक GPS की तरह है।
- सामान्य GPS: "बाएं मुड़ें।"
- भ्रमित GPS: "दाएं मुड़ें" (क्योंकि वह एक समान दिखने वाले सड़क के साइन से भ्रमित हो गया)।
- RSCD GPS: सिस्टम को एहसास होता है, "रुको, अगर मैं भ्रमित होता हूँ, तो मैं दाएं मुड़ता हूँ। इसलिए, सही होने के लिए, मुझे बाएं मुड़ना चाहिए।" वह सत्य को खोजने के लिए भ्रम का उपयोग करता है।
5. परिणाम
जब उन्होंने इस "डबल-चेक" ट्रिक को भ्रमित एआई मॉडल्स पर टेस्ट किया:
- मॉडल्स ने लोगों और कोणों को आपस में मिलाना बंद कर दिया।
- उनकी सटीकता बहुत बड़ी मात्रा में बढ़ गई (पिछले तरीकों से 34.6% अधिक)।
- यह तेज़ था और इसके लिए विशाल एआई मॉडल्स को फिर से प्रशिक्षित करने की आवश्यकता नहीं थी।
सारांश
यह पेपर इस बारे में है कि एआई को कई चित्रों को देखते समय सही विवरणों पर ध्यान केंद्रित करना कैसे सिखाया जाए।
- समस्या: एआई अलग-अलग फोटो में समान दिखने वाली चीजों से विचलित हो जाता है।
- परीक्षण: गलतियों को पकड़ने के लिए बनाया गया एक नया खेल।
- इलाज: एक चतुर ट्रिक जहाँ एआई जानबूझकर "भ्रमित होने का नाटक" करता है ताकि यह जान सके कि उसे क्या नहीं करना चाहिए, जिससे वह सही उत्तर ढूंढ सके।
यह एक छात्र को यह बताने जैसा है, "यदि आप प्रश्न को ध्यान से नहीं पढ़ेंगे, तो आप गलत उत्तर चुन लेंगे। इसलिए, आइए देखते हैं कि गलत उत्तर कैसा दिखता है, और फिर हम सुनिश्चित करेंगे कि हम उसे न चुनें।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।