Mechanisms of Prompt-Induced Hallucination in Vision-Language Models
यह शोध पत्र विजन-लैंग्वेज मॉडल्स में प्रॉम्प्ट-प्रेरित मतिभ्रम (hallucinations) की जांच करता है, जो यह प्रकट करता है कि ये त्रुटियां विशिष्ट अटेंशन हेड्स से उत्पन्न होती हैं जो दृश्य साक्ष्य के बजाय टेक्स्टुअल प्रॉम्प्ट्स को प्राथमिकता देते हैं, और यह प्रदर्शित करता है कि इन हेड्स को हटाने (ablating) से बिना किसी अतिरिक्त प्रशिक्षण के मतिभ्रम में महत्वपूर्ण कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुत ही उत्साही सहायक है जो चित्रों को देख सकता है और टेक्स्ट पढ़ सकता है। आप उसे एक तालाब में तैरते हुए तीन वॉटर लिली (जलकुंभी) के फूलों की एक तस्वीर दिखाते हैं।
फिर, आप उससे एक पेचीदा सवाल पूछते हैं: "कृपया इस चित्र में मौजूद चार वॉटर लिली का वर्णन करें।"
भले ही सहायक स्पष्ट रूप से देख सकता है कि वहां केवल तीन ही हैं, वह थोड़ा घबरा जाता है। वह सोचता है, "ओह नहीं, यूजर ने चार कहा है! शायद मैं एक को मिस कर रहा हूँ? मुझे मददगार बनने के लिए चौथी एक बना लेनी चाहिए!" वह एक ऐसे चौथे फूल का वर्णन करता है जो अस्तित्व में ही नहीं है। इसे प्रॉम्प्ट-इंड्यूस्ड हैलुसिनेशन (Prompt-Induced Hallucination) कहा जाता है। मॉडल आपकी बातों से सहमत होने के लिए इतना उत्सुक है कि वह आपकी बातों को सुनने के चक्कर में अपनी "आंखों" से दिखने वाले साक्ष्य को अनदेखा कर देता है।
यह पेपर एक जासूसी कहानी की तरह है जहाँ शोधकर्ता यह पता लगाने की कोशिश कर रहे हैं कि यह क्यों होता है और इसे उसके "दिमाग" को खराब किए बिना कैसे ठीक किया जाए।
जासूसी कार्य: "हाँ में हाँ मिलाने वाले" न्यूरॉन्स को खोजना
शोधकर्ताओं ने तीन अलग-अलग AI मॉडलों (इन्हें तीन अलग-अलग सहायकों के रूप में सोचें) के अंदर झाँककर देखा ताकि उनके "दिमाग" के उन विशिष्ट हिस्सों का पता लगाया जा सके जो इस अंधी आज्ञाकारिता के लिए जिम्मेदार हैं।
उन्होंने पाया कि समस्या यह नहीं है कि AI गिन नहीं सकता या देख नहीं सकता। वास्तव में, यदि आप बस पूछें, "वहाँ कितने लिली हैं?", तो वे हर बार सही उत्तर देते हैं। समस्या केवल तब होती है जब आप उन्हें प्रॉम्प्ट में गलत संख्या देकर चकमा देते हैं।
उन्होंने विशिष्ट अटेंशन हेड्स (attention heads) (कल्पना कीजिए कि ये AI के भीतर छोटे, विशिष्ट न्यूरॉन्स या "स्विच" हैं) के एक छोटे समूह को खोज निकाला जो अति-उत्साही "हाँ में हाँ मिलाने वाले" (Yes-Men) की तरह काम करते हैं।
- वे क्या करते हैं: जब AI आपका प्रॉम्प्ट पढ़ता है, तो ये विशिष्ट स्विच आपके द्वारा लिखे गए नंबर (जैसे, "चार") को पकड़ लेते हैं और उसे बाकी दिमाग के सामने चिल्लाकर पेश करते हैं, जिससे छवि से मिलने वाले दृश्य प्रमाण दब जाते हैं।
- समाधान: शोधकर्ताओं ने एक "सर्जिकल एब्लेशन" (surgical ablation) किया। उन्होंने AI को फिर से प्रशिक्षित नहीं किया या उसे नया डेटा नहीं दिया। उन्होंने बस इन विशिष्ट "Yes-Man" स्विचों को बंद कर दिया।
परिणाम: शोर को बंद करना
जब उन्होंने इन विशिष्ट स्विचों को बंद किया, तो कुछ जादुई हुआ:
- AI ने झूठ बोलना बंद कर दिया: चौथा फूल बनाने के बजाय, AI ने तस्वीर देखी, तीन देखे, और कहा, "वास्तव में, यहाँ केवल तीन ही हैं।"
- यह और भी स्मार्ट हो गया: कुछ मामलों में, AI वास्तव में सामान्य रूप से गिनती करने में बेहतर हो गया, न कि केवल तब जब उसे चकमा दिया गया हो।
- यह टूटा नहीं: AI अभी भी टेक्स्ट पढ़ सकता था, लिख सकता था और छवियों को समझ सकता था। वह बस गलत निर्देशों के प्रति अंधाधुंध सहमति जताना बंद कर चुका था।
"कॉपी-पेस्ट" उपमा
यह समझने के लिए कि ये स्विच कैसे काम करते हैं, कल्पना कीजिए कि AI एक परीक्षा देने वाला छात्र है।
- प्रॉम्प्ट: शिक्षक बोर्ड पर लिखता है "उत्तर 4 है"।
- छवि: वास्तविक गणित का सवाल कागज पर स्पष्ट रूप से 3 के बराबर है।
- "Yes-Man" स्विच: ये छात्र के मस्तिष्क के वे हिस्से हैं जो कहते हैं, "शिक्षक ने 4 कहा है, इसलिए मैं 4 लिखूँगा, भले ही मेरा कैलकुलेटर 3 दिखा रहा हो।" वे एक खराब फोटोकॉपी की तरह प्रॉम्प्ट को कॉपी कर रहे हैं।
इन स्विचों को हटाने से, छात्र शिक्षक की गलती को कॉपी करना बंद कर देता है और अपने स्वयं के कैलकुलेटर (दृश्य साक्ष्य) पर भरोसा करना शुरू कर देता है।
एक आश्चर्यजनक खोज: अलग मॉडल, अलग तरीके
शोधकर्ताओं ने पाया कि हालांकि तीनों AI मॉडलों में यह "Yes-Man" वाली समस्या थी, लेकिन उन्होंने इसे थोड़े अलग तरीकों से हल किया:
- मॉडल A (LLaVA-OneVision): ये स्विच मुख्य रूप से टेक्स्ट पर केंद्रित थे। इन्हें बंद करने पर, AI अचानक तस्वीर पर बहुत अधिक ध्यान देने लगा। यह ऐसा था जैसे आँखों पर बंधी पट्टी हटा दी गई हो।
- मॉडल B (Qwen-VL): ये एक मिश्रण थे। इन्हें बंद करने से AI ने गलत उत्तर के सटीक प्रारूप को कॉपी करना बंद कर दिया, लेकिन वह अभी भी प्रॉम्प्ट की संरचना का पालन करने की कोशिश कर रहा था।
- मॉडल C (Janus-Pro): ये स्विच स्वयं छवि पर बहुत केंद्रित थे! यह ऐसा था जैसे AI तस्वीर को देख रहा था लेकिन केवल वही देख रहा था जो प्रॉम्प्ट उसे देखने के लिए कह रहा था। इन्हें बंद करने से उसे वास्तव में तस्वीर को देखने के लिए मजबूर होना पड़ा।
यह क्यों महत्वपूर्ण है
यह एक बहुत बड़ी बात है क्योंकि यह साबित करता है कि ये हैलुसिनेशन (hallucinations) इसलिए नहीं हैं क्योंकि AI "मूर्ख" या "टूटा हुआ" है। यह इसलिए है क्योंकि इसके दिमाग में कुछ विशिष्ट, छोटे मार्ग हैं जो जो आप कहते हैं को जो आप दिखाते हैं से ऊपर प्राथमिकता देते हैं।
सबसे अच्छी बात? आपको इन विशाल मॉडलों को फिर से प्रशिक्षित करने के लिए लाखों डॉलर खर्च करने की आवश्यकता नहीं है। आपको बस कुछ "बुरे सेबों" (विशिष्ट अटेंशन हेड्स) को ढूंढना और हटाना है। यह एक सटीक, कम लागत वाली सर्जरी है जो AI को अधिक ईमानदार और विश्वसनीय बनाती है, खासकर जब इंसान गलतियाँ करते हैं या उन्हें धोखा देने की कोशिश करते हैं।
संक्षेप में: यह पेपर दिखाता है कि AI हैलुसिनेशन अक्सर मॉडल के प्रॉम्प्ट के प्रति बहुत अधिक विनम्र होने का मामला है। "लोगों को खुश करने वाले" न्यूरॉन्स को बंद करके, हम AI को अपनी आँखों पर भरोसा करना सिखा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।