System-Mediated Attention Imbalances Make Vision-Language Models Say Yes
यह शोध पत्र पहचानता है कि विज़न-लैंग्वेज मॉडल के मतिभ्रम (hallucinations), विशेष रूप से "हाँ-पूर्वाग्रह" (yes-bias), केवल छवि या पाठ के बजाय रेडंडेंट सिस्टम वेट्स (redundant system weights) की ओर असंतुलित अटेंशन आवंटन द्वारा संचालित होते हैं, और यह प्रदर्शित करता है कि इस अटेंशन को वापस इनपुट मोडैलिटीज़ की ओर कारणवत (causally) पुनर्वितरित करना प्रभावी रूप से इस पूर्वाग्रह को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक फोटो देखकर और एक गवाह का बयान पढ़कर एक रहस्य सुलझाने की कोशिश कर रहे हैं। इसे हल करने के लिए, आपको तीन चीजों के बीच संतुलन बनाना होगा: आपकी आंखें (छवि), आपके दिमाग का तर्क (पाठ), और आपकी आंतरिक आदतें ("सिस्टम")।
यह शोध पत्र बताता है कि क्यों AI मॉडल (विशेष रूप से विजन-लैंग्वेज मॉडल) अक्सर इसमें विफल हो जाते हैं। वे एक समस्या से ग्रस्त होते हैं जिसे "यस-बायस" (Yes-Bias) कहा जाता है—एक ऐसी खराबी जहाँ, फोटो में कुछ भी दिखाई दे रहा हो, AI बस सहज रूप से चिल्ला उठता है, "हाँ!"
यहाँ बताया गया है कि उन्होंने कैसे खोजा कि यह क्यों होता है और इसे कैसे ठीक किया जाए।
1. समस्या: "आलसी जासूस" का सिंड्रोम
अधिकांश शोधकर्ताओं का मानना था कि AI इसलिए भ्रमित (hallucinate) होता है क्योंकि वह तस्वीर को पर्याप्त रूप से "देख" नहीं रहा होता है। उन्होंने इसे इमेज-सेंट्रिक हाइपोथीसिस (Image-Centric Hypothesis) कहा। उन्हें लगा कि AI एक ऐसे जासूस की तरह है जो रिपोर्ट पढ़ते समय अपनी आँखें बंद रखता है।
हालाँकि, इन शोधकर्ताओं ने एक अलग विचार प्रस्तावित किया: सिस्टम-मीडिएटेड हाइपोथीसिस (System-Mediated Hypothesis)। उनका तर्क था कि समस्या केवल यह नहीं है कि AI तस्वीर को नहीं देख रहा है; बल्कि यह है कि AI अपने ही "आंतरिक ऑटोपायलट" से बहुत अधिक विचलित है।
उपमा: कल्पना कीजिए कि एक जासूस के पास उसके डेस्क पर "मानक संचालन प्रक्रियाओं" (Sistem) का एक विशाल, भारी मैनुअल रखा है। हर बार जब वह किसी सुराग (Image) को देखने या किसी नोट (Text) को पढ़ने की कोशिश करता है, तो वह उस मैनुअल के पन्ने पलटने में विचलित हो जाता है। वह अपनी ऊर्जा का 70% उस मैनुअल पर खर्च करता है और केवल 30% वास्तविक अपराध स्थल पर। क्योंकि वह अपनी "आदतों" से इतना विचलित है, इसलिए वह सटीक होना छोड़ देता है और काम को जल्दी खत्म करने के लिए हर चीज के लिए "हाँ" कहना शुरू कर देता है।
2. खोज: "अटेंशन सिंक" (Attention Sink)
शोधकर्ताओं ने पाया कि "सोचने" के अंतिम चरणों में, AI अपना एक बड़ा हिस्सा अर्थहीन टोकन (जैसे वाक्य की शुरुआत या फॉर्मेटिंग मार्क) पर खर्च करता है। वे इन्हें अटेंशन सिंक (Attention Sinks) कहते हैं।
ये सिंक एक मानसिक ब्लैक होल की तरह काम करते हैं। ये AI के पूरे ध्यान को सोख लेते हैं, जिससे छवि के सूक्ष्म विवरणों या प्रश्न के विशिष्ट शब्दों को प्रोसेस करने के लिए बहुत कम "बौद्धिक क्षमता" बचती है। जब AI का ध्यान समाप्त हो जाता है, तो वह वैज्ञानिक बनना बंद कर देता है और एक "जी-हज़ूर" (yes-man) बन जाता है।
3. समाधान: "फोकस का पुनर्वितरण"
इसे सिद्ध करने के लिए, शोधकर्ताओं ने AI पर "ब्रेन सर्जरी" की। उन्होंने केवल AI को "तस्वीर को और ध्यान से देखने" के लिए नहीं कहा। इसके बजाय, उन्होंने उस ध्यान को जो "सिस्टम" (मैनुअल) पर बर्बाद हो रहा था, वापस लेकर उसे इमेज और टेक्स्ट पर बलपूर्वक पुनर्वितरित (redistributed) कर दिया।
उपमा: यह उस जासूस से भारी मैनुअल छीन लेने जैसा है और उससे कहने जैसा है, "एक सेकंड के लिए नियमों को पढ़ना बंद करो और वास्तव में उंगलियों के निशान और गवाह के शब्दों को देखो!"
परिणाम? यह काम कर गया! "ऑटोपायलट" से ध्यान हटाकर और उसे वास्तविक साक्ष्यों पर वापस देकर, AI ने अंधाधुंध "हाँ" कहना बंद कर दिया और बहुत अधिक सटीक उत्तर देने लगा।
4. यह क्यों मायने रखता है?
शोधकर्ताओं ने पाया कि यह "यस-बायस" कंपोजिशनल कार्यों (compositional tasks) में सबसे खतरनाक है—ऐसे कार्य जिनमें सूक्ष्म अंतर देखने की आवश्यकता होती है (जैसे, "क्या इस पिज्जा पर स्ट्रॉबेरी है?" बनाम "क्या इस पिज्जा पर पेपरोनी है?")।
जब AI अपने "सिस्टम" की आदतों से विचलित होता है, तो वह केवल एक "धुंधली, सामान्य धारणा" देखता है। वह सोचता है, "मैं एक पिज्जा देख रहा हूँ... पिज्जा भोजन है... मैं बस 'हाँ' कह दूँगा!" ध्यान के असंतुलन को ठीक करके, AI को "बारीक विवरणों" (fine-grained details) को देखने के लिए मजबूर किया जाता है, जिससे वह स्ट्रॉबेरी और पेपरोनी के बीच अंतर देख पाता है।
संक्षेप में
- पुराना दृष्टिकोण: AI अंधा है (उसे अधिक इमेज अटेंशन चाहिए)।
- नया दृष्टिकोण: AI अपनी आंतरिक आदतों से विचलित है (उसे कम सिस्टम अटेंशन चाहिए)।
- समाधान: AI को उसके अपने "ऑटोपायलट" के प्रति जुनूनी होने से रोकें और उसे उस ऊर्जा को वास्तविक दृश्य और पाठ्य सुरागों पर खर्च करने के लिए मजबूर करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।