When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs
यह शोध पत्र HalluScope प्रस्तुत करता है, जो यह प्रकट करता है कि लार्ज विजन-लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) मुख्य रूप से टेक्स्टुअल इंस्ट्रक्शन प्रायर्स (textual instruction priors) द्वारा संचालित होते हैं, और HalluVL-DPO का प्रस्ताव करता है जो एक प्रिफरेंस ऑप्टिमाइज़ेशन फ्रेमवर्क है जो विजुअल क्षमताओं को संरक्षित करते हुए इन प्रॉम्प्ट-प्रेरित मतिभ्रमों को प्रभावी ढंग से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े विजन-लैंग्वेज मॉडल (LVML) की कल्पना एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन के रूप में करें जिसने लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं। यह लाइब्रेरियन जो देखता है उसका वर्णन करने में अविश्वसनीय रूप से कुशल है, लेकिन उसकी एक अजीब आदत है: वह कभी-कभी इस बात पर भरोसा करने लगता है कि दुनिया आमतौर पर कैसी होती है, बजाय इसके कि वह वास्तव में अभी क्या देख रहा है।
यहाँ "When Prompts Override Vision" पेपर का एक सरल विवरण है, जो इस लाइब्रेरियन की कहानी का उपयोग करता है।
1. समस्या: लाइब्रेरियन का "अनुमान लगाने का खेल"
आमतौर पर, जब आप लाइब्रेरियन को समुद्र तट (beach) की एक तस्वीर दिखाते हैं, तो वे कहते हैं, "मुझे रेत और पानी दिख रहा है।" एकदम सही।
लेकिन कभी-कभी, आप एक पेचीदा सवाल पूछते हैं: "सर्फर ने किस तरह के जूते पहने हैं?"
भले ही तस्वीर में एक सर्फर नंगे पैर दिख रहा हो, लाइब्रेरियन आत्मविश्वास से कह सकता है, "उन्होंने लाल फ्लिप-फ्लॉप पहने हैं।"
क्यों? क्योंकि लाइब्रेरियन के विशाल प्रशिक्षण डेटा (training data) में, सर्फर्स आमतौर पर फ्लिप-फ्लॉप पहनते हैं। उनका दिमाग "सर्फर + फ्लिप-फ्लॉप" के पैटर्न का इतना आदी है कि वे इस तथ्य को अनदेखा कर देते हैं कि सामने वाला व्यक्ति वास्तव में नंगे पैर है। वे एक "टेक्स्टुअल प्रायर" (textual prior - जो वे देखने की उम्मीद करते हैं) के आधार पर भ्रम (hallucination) पाल रहे हैं।
2. जांच: "HalluScope" (जासूस का आवर्धक लेंस)
शोधकर्ताओं ने महसूस किया कि मौजूदा परीक्षण बहुत अस्पष्ट थे। उन्हें नहीं पता था कि लाइब्रेरियन गलतियाँ क्यों कर रहा है। क्या लाइब्रेरियन की दृष्टि खराब थी? या क्या उनका दिमाग धारणाओं से बहुत अधिक भरा हुआ था?
उन्होंने HalluScope नामक एक नया परीक्षण बनाया। इसे एक तीन-चरणीय जासूसी खेल के रूप में सोचें:
- राउंड 1 (आंखें): "क्या इस कमरे में एक कुर्सी है?" (कुर्सी वहां है)।
- परिणाम: लाइब्रेरियन इसे सही बताता है। उनकी आंखें ठीक काम करती हैं।
- राउंड 2 (याददाश्त): "क्या इस कमरे में एक कुर्सी है?" (कुर्सी वहां नहीं है, लेकिन यह एक ऐसा कमरा है जिसमें आमतौर पर कुर्सियां होती हैं)।
- परिणाम: लाइब्रेरियन अक्सर "हाँ" कहता है, कमरे के प्रकार के आधार पर अनुमान लगाते हुए।
- राउंड 3 (जाल): "इस कमरे में कुर्सी का रंग क्या है?" (वहां कोई कुर्सी नहीं है)।
- परिणाम: यह सबसे बड़ी विफलता है। लाइब्रेरियन केवल "हाँ" नहीं कहता, बल्कि वे आत्मविश्वास से एक "नीली लकड़ी की कुर्सी" का वर्णन करते हैं। सवाल ने ही उन्हें फंसा लिया। सवाल पूछकर कि कुर्सी का रंग क्या है, सवाल ने मान लिया कि कुर्सी मौजूद है। लाइब्रेरियन का दिमाग यह नहीं कह सका, "रुको, यहाँ कोई कुर्सी नहीं है!" क्योंकि सवाल बहुत प्रभावशाली था।
बड़ी खोज: शोधकर्ताओं ने पाया कि लाइब्रेरियन की आंखें वास्तव में ठीक हैं! समस्या यह है कि सवाल (प्रॉम्प्ट) बहुत शक्तिशाली है। लाइब्रेरियन सवाल का जवाब देने के लिए इतना उत्सुक है कि वे विवरण गढ़ने लगते हैं ताकि उत्तर सवाल में फिट बैठ सके, और तस्वीर को अनदेखा कर देते हैं।
3. समाधान: "HalluVL-DPO" (लाइब्रेरियन का पुन: प्रशिक्षण)
इसे ठीक करने के लिए, शोधकर्ताओं ने HalluVL-DPO नामक एक नया प्रशिक्षण तरीका बनाया।
कल्पना करें कि लाइब्रेरियन को एक सख्त कोच के साथ फिर से प्रशिक्षित किया जा रहा है।
- पुराना तरीका: कोच बस कहता था, "झूठ मत बोलो।" (बहुत अस्पष्ट)।
- नया तरीका (HalluVL-DPO): कोच एक "चुनें अपना रोमांच" (Choose Your Own Adventure) जैसा खेल सेट करता है।
- परिदृश्य A: लाइब्रेरियन एक ऐसी तस्वीर देखता है जिसमें कोई कुर्सी नहीं है।
- सवाल: "कुर्सी का रंग क्या है?"
- गलत उत्तर (अस्वीकृत): "यह एक लाल कुर्सी है।" (लाइब्रेरियन भ्रम/hallucination पैदा कर रहा है)।
- सही उत्तर (चुना गया): "तस्वीर में कोई कुर्सी नहीं है।" (लाइब्रेरियन वास्तविकता से जुड़ा हुआ है)।
कोच केवल "अच्छा काम किया" नहीं कहता। वे एक विशेष स्कोरिंग सिस्टम का उपयोग करते हैं। यदि लाइब्रेरियन एक "सही उत्तर" देता है जो "गलत उत्तर" के स्पष्ट रूप से विपरीत है (जैसे, "कोई कुर्सी नहीं" बनाम "लाल कुर्सी"), तो उसे उच्च स्कोर मिलता है। यदि उत्तर एक ही झूठ के थोड़े अलग संस्करण हैं, तो उसे कम स्कोर मिलता है।
लाइब्रेरियन को "सही उत्तरों" से प्यार करने और "गलत उत्तरों" से नफरत करने के लिए फाइन-ट्यून किया जाता है। वे सीखते हैं कि सवाल करने वाले को खुश करने के लिए कुछ भी बनाने के बजाय यह कहना बेहतर है कि "मुझे वह नहीं दिख रहा है।"
4. परिणाम: एक अधिक ईमानदार लाइब्रेरियन
इस प्रशिक्षण के बाद:
- जब बिना कुर्सी वाली चीज़ के बारे में पूछा जाता है, तो लाइब्रेरियन अब कहता है, "यहाँ कोई कुर्सी नहीं है।"
- वे विवरण गढ़ना बंद कर देते हैं, भले ही सवाल ने संकेत दिया हो कि वे होने चाहिए।
- महत्वपूर्ण रूप से, वे मूर्ख नहीं हुए। वे अभी भी वास्तविक वस्तुओं का वर्णन करने, गणित की समस्याओं को हल करने और कहानियाँ लिखने में बेहतरीन हैं। वे बस तब "अनुमान" लगाना छोड़ देते हैं जब उन्हें "देखना" चाहिए।
सारांश उपमा
सोचिए कि AI एक मौसम विज्ञानी की तरह है जिसने याद कर लिया है कि "गर्मी = धूप वाला मौसम"।
- समस्या: यदि आप उन्हें बारिश वाले गर्मी के दिन की तस्वीर दिखाते हैं और पूछते हैं, "क्या धूप खिली है?", तो वे "हाँ" कह सकते हैं क्योंकि उनकी याददाश्त कहती है "गर्मी = धूप वाला मौसम," और वे फोटो में हो रही बारिश को अनदेखा कर देते हैं।
- समाधान: शोधकर्ताओं ने मौसम विज्ञानी को कैलेंडर के बजाय फोटो में बादलों को देखना सिखाया। अब, यदि आप पूछते हैं, "सूरज कितना गर्म है?", तो वे सही ढंग से कह पाएंगे, "मैं आपको नहीं बता सकता कि सूरज कितना गर्म है क्योंकि अभी बारिश हो रही है।"
मुख्य बात: यह पेपर साबित करता है कि AI के भ्रम (hallucinations) आमतौर पर इसलिए नहीं होते क्योंकि AI "अंधा" है। यह इसलिए होता है क्योंकि AI टेक्स्ट (पाठ) को खुश करने के लिए बहुत उत्सुक होता है और अपने "कॉमन सेंस" की धारणाओं पर बहुत अधिक निर्भर करता है। उन्हें यह प्राथमिकता देने के लिए प्रशिक्षित करके कि वे क्या देखते हैं बजाय इसके कि वे क्या उम्मीद करते हैं, हम उन्हें बहुत अधिक विश्वसनीय बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।