Correcting Visual Blur Induced by Attention Distraction to Reduce Hallucinations: Algorithm and Theory
यह शोध पत्र AFIP पद्धति का प्रस्ताव करता है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में ऑब्जेक्ट हैलुसिनेशन (वस्तु संबंधी भ्रम) को कम करने के लिए उन्हें सैद्धांतिक रूप से अटेंशन डिस्ट्रैक्शन (ध्यान भटकाव) से जोड़ता है और बिना किसी अतिरिक्त प्रशिक्षण की आवश्यकता के क्रॉस-हेड अटेंशन एनरिचमेंट और डायनेमिक हिस्टोरिकल अटेंशन एनहांसमेंट के माध्यम से इस समस्या का समाधान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Correcting Visual Blur Induced by Attention Distraction to Reduce Hallucinations" शोध पत्र का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।
बड़ी समस्या: "खयाली पुलाव पकाने वाला" रोबोट
कल्पना कीजिए कि आप सोफे पर बैठी एक बिल्ली की फोटो देख रहे हैं। आप एक स्मार्ट AI से पूछते हैं, "तुम्हें क्या दिख रहा है?" "एक बिल्ली" कहने के बजाय, AI पूरे आत्मविश्वास के साथ कहता है, "मुझे एक बिल्ली, एक कुत्ता, एक साइकिल और एक पिज्जा दिख रहा है।"
AI हैलुसिनेशन (Hallucination) कर रहा है। वह ऐसी चीजें बना रहा है जो वहां मौजूद ही नहीं हैं। लंबे समय तक शोधकर्ताओं ने सोचा कि ऐसा इसलिए होता है क्योंकि AI का "भाषा वाला दिमाग" बहुत मजबूत था और वह केवल उन शब्दों का अनुमान लगा रहा था जो वाक्य में आगे आने वाले शब्दों के लिए सामान्य थे।
यह पेपर कुछ अलग तर्क देता है: AI केवल शब्दों का अनुमान नहीं लगा रहा है; वह वास्तव में छवि (image) को ठीक से "देख" नहीं पा रहा है। वह ध्यान भटकने के कारण होने वाले विजुअल ब्लर (दृश्य धुंधलेपन) से जूझ रहा है।
मुख्य खोज: "भटका हुआ इंसान" वाली उपमा
लेखकों ने पाया कि जब इंसान विचलित होते हैं, तो वे और AI कैसे विफल होते हैं, इसमें एक आश्चर्यजनक समानता है।
- इंसान की उपमा: कल्पना कीजिए कि आप एक जटिल पेंटिंग का वर्णन करने की कोशिश कर रहे हैं, लेकिन कोई लगातार आपके कंधे पर थपथपा रहा है, आपसे सवाल पूछ रहा है और आपका ध्यान भटका रहा है। आपकी आँखें इधर-उधर भाग रही हैं। आप विशिष्ट विवरणों पर अपनी "नज़र" खो देते हैं। क्योंकि आपका ध्यान बिखरा हुआ है, आपका वर्णन धुंधला और गलत हो जाता है। आप कह सकते हैं, "मुझे लगता है कि वहां एक पक्षी है," भले ही आपने केवल एक धुंधली आकृति देखी हो।
- AI की वास्तविकता: यह पेपर दिखाता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) बिल्कुल यही करते हैं। जब AI एक वाक्य बना रहा होता है, तो उसका आंतरिक "अटेंशन" (उसका फोकस) छवि पर बिखर जाता है। बिल्ली पर टिके रहने के बजाय, उसका फोकस स्याही की एक बिखरी हुई बूंद की तरह फैल जाता है। यह "विजुअल ब्लर" AI को खाली जगहों को भरने के लिए नई चीजें गढ़ने पर मजबूर करता है।
शोधकर्ताओं ने पहचाना कि यह "ब्लर" दो विशिष्ट तरीकों से होता है:
स्थानिक असंगति (Spatial Inconsistency - "समिति का मतभेद"):
कल्पना कीजिए कि AI के पास 32 अलग-अलग "आंखें" (जिन्हें अटेंशन हेड्स कहा जाता है) हैं जो तस्वीर देख रही हैं।- जब यह सही काम करता है: सभी 32 आंखें सहमत होती हैं। वे सब बिल्ली की ओर इशारा करती हैं और कहती हैं, "यह एक बिल्ली है!"
- जब यह विफल होता है: आंखें आपस में बहस कर रही हैं। आंख #1 बिल्ली को देख रही है, आंख #2 फर्श को देख रही है, आंख #3 दीवार को देख रही है। क्योंकि वे इस बात पर सहमत नहीं हो पातीं कि उन्हें क्या देखना चाहिए, AI भ्रमित हो जाता है और चीजें बनाना शुरू कर देता है। पेपर इसे स्पेशियल इनकंसिस्टेंसी (स्थानिक असंतुलन) कहता है।
सामयिक फीकापन (Temporal Fading - "याददाश्त का धुंधला होना"):
कल्पना कीजिए कि आप एक लंबे, जटिल दृश्य का वर्णन कर रहे हैं।- जब यह सही काम करता है: आप पूरे समय तस्वीर को देखते रहते हैं।
- जब यह विफल होता है: जैसे-जैसे आप अपने वर्णन में आगे बढ़ते हैं (50वां शब्द, 100वां शब्द), आप तस्वीर देखना बंद कर देते हैं और केवल वही अनुमान लगाने लगते हैं जो आपने पहले कहा था। वाक्य के दौरान AI का छवि पर फोकस "फीका" पड़ने लगता है, जैसे बैटरी खत्म हो रही हो। इससे वाक्य के अंत में हैलुसिनेशन (मनगढ़ंत बातें) दिखाई देने लगती हैं।
समाधान: AFIP (द "फोकस कोच")
इसे ठीक करने के लिए, लेखकों ने AFIP (Attention-Focused Approach for Improved Image Perception) नामक एक विधि बनाई है। AFIP को एक फोकस कोच के रूप में समझें जो पूरे AI को फिर से प्रशिक्षित (retrain) किए बिना, उसकी सोचने की प्रक्रिया के दौरान हस्तक्षेप करता है।
कोच दो मुख्य तरकीबों का उपयोग करता है:
1. "टीम हलना" (Spatial Inconsistency को ठीक करना):
जब AI की 32 "आंखें" अलग-अलग दिशाओं में देख रही होती हैं, तो कोच उन्हें इकट्ठा करता है।
- वह पूछता है: "कौन सी आंखें सबसे महत्वपूर्ण हिस्सों को देख रही हैं?"
- वह उन आंखों के संकेतों को बढ़ाता है जो केंद्रित हैं और सहमत हैं।
- वह उन आंखों को चुप करा देता है जो बेमतलब की जगहों को देख रही हैं।
- परिणाम: AI की दृष्टि एकदम सटीक हो जाती है, जैसे कैमरा लेंस धुंधलेपन से बदलकर एकदम साफ और स्पष्ट हो जाता है।
2. "मेमोरी एंकर" (Temporal Fading को ठीक करना):
जैसे ही AI एक लंबा वाक्य लिखते समय अपना फोकस खोने लगता है, कोच उसे याद दिलाता है।
- वह देखता है कि AI ने वाक्य के पिछले चरणों में क्या देखा था।
- वह कहता है, "हे, याद है कि तीन शब्द पहले तुमने 'बिल्ली' देखी थी? बिल्ली को देखते रहो!"
- वह उस विजुअल मेमोरी को वर्तमान विचार में फिर से डाल देता है।
- परिणाम: AI ख्याली पुलाव पकाने में नहीं भटकता; वह पूरे वाक्य के दौरान वास्तविक छवि से जुड़ा रहता है।
3. "स्मार्ट स्विच" (डायनेमिक गेटिंग):
कोच इतना समझदार है कि जब जरूरत न हो, तो वह हस्तक्षेप नहीं करता है। यदि AI किसी टेक्स्ट-आधारित चीज़ (जैसे तारीख या नाम) के बारे में बात कर रहा है, तो कोच AI को स्वतंत्र रूप से लिखने देता है। वह केवल तभी हस्तक्षेप करता है जब उसे लगता है कि AI छवि से विचलित होने वाला है।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
यह पेपर साबित करता है कि केवल AI की "दृष्टि" को साफ करके और उसके ध्यान भटकने को रोककर, हम हैलुसिनेशन को काफी हद तक कम कर सकते हैं।
- कोई री-ट्रेनिंग नहीं: आपको AI को नई चीजें सिखाने या उसे लाखों नई तस्वीरें खिलाने की आवश्यकता नहीं है। आप बस यह ट्यून करते हैं कि वह बात करते समय कैसे ध्यान देता है।
- बेहतर परिणाम: जब उन्होंने लोकप्रिय AI मॉडल्स (जैसे LLaVA और Qwen-VL) पर इसका परीक्षण किया, तो "हैलुसिनेशन रेट" काफी कम हो गया। AI अब ऐसे कुत्ते और पिज्जा नहीं बना रहा था जो वहां थे ही नहीं।
- सिद्धांत: लेखकों ने यह साबित करने के लिए गणित का भी उपयोग किया कि जब AI की "आंखें" असहमत होती हैं (उच्च इनकंसिस्टेंसी), तो AI अधिक जटिल और कम विश्वसनीय हो जाता है। जब वे आंखों को सहमत होने के लिए मजबूर करते हैं, तो AI अधिक स्मार्ट और सटीक हो जाता है।
सारांश
संक्षेप में, यह पेपर कहता है: AI हैलुसिनेशन केवल भाषा की समस्या नहीं है; यह दृष्टि (vision) की समस्या है। AI विचलित हो रहा है और छवि पर अपना फोकस खो रहा है। AI की आंतरिक आंखों को संरेखित करने और उसे तस्वीर देखते रहने की याद दिलाने के लिए एक "फोकस कोच" के रूप में कार्य करके, हम मॉडल को फिर से प्रशिक्षित किए बिना, उसे मनगढ़ंत बातें बनाने से रोक सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।