Mitigating Hallucination in Large Vision-Language Models via Adaptive Attention Calibration
यह शोध पत्र कॉन्फिडेंस-अवेयर अटेंशन कैलिब्रेशन (CAAC) फ्रेमवर्क प्रस्तुत करता है, जो एक ट्रेनिंग-मुक्त विधि है जो विजुअल-टोकन कैलिब्रेशन और एडेप्टिव अटेंशन री-स्केलिंग के माध्यम से स्थानिक धारणा और मोडैलिटी पूर्वाग्रहों को सुधारकर लार्ज विजन-लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को कम करती है, जिससे लॉन्ग-फॉर्म जनरेशन कार्यों में सटीकता में उल्लेखनीय सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान सहायक है जो एक विशेषज्ञ कलाकार भी है। आप उन्हें समुद्र तट की एक फोटो दिखाते हैं और उनसे उसका वर्णन करने के लिए कहते हैं। आमतौर पर, वे बहुत अच्छा काम करते हैं। लेकिन कभी-कभी, विशेष रूप से जब वे लंबे समय तक बात कर रहे होते हैं, तो वे थोड़े "खयाली पुलाव पकाने" लगते हैं। वे आत्मविश्वास के साथ कह सकते हैं, "मैं एक गोल्डन रिट्रीवर को गेंद के पीछे भागते हुए देख रहा हूँ," भले ही तस्वीर में कोई कुत्ता न हो। वे एक ऐसा सूर्यास्त बना देते हैं जो वहां नहीं है या एक ऐसी नाव का वर्णन कर देते हैं जिसका अस्तित्व ही नहीं है।
इसे हैलुसिनेशन (Hallucination) कहा जाता है। यह ऐसा है जैसे आपका सहायक बातचीत को जारी रखने के लिए इतना उत्सुक है कि वह उन चीजों के आधार पर चीजें बनाने लगता है जो उनके अनुसार वहां होनी चाहिए, न कि उन चीजों के आधार पर जो वास्तव में वहां हैं।
आपके द्वारा साझा किया गया पेपर एक नई विधि पेश करता है जिसे CAAC (कॉन्फिडेंस-अवेयर अटेंशन कैलिब्रेशन) कहा जाता है ताकि इस समस्या को ठीक किया जा सके, और इसके लिए सहायक को शुरू से फिर से प्रशिक्षित (retrain) करने की आवश्यकता नहीं है। यह कैसे काम करता है, इसके लिए यहाँ कुछ रोजमर्रा के उदाहरण दिए गए हैं:
दो समस्याएँ: क्यों सहायक रास्ता भटक जाता है
शोधकर्ताओं ने पाया कि सहायक दो मुख्य कारणों से गलतियाँ करता है:
"स्पॉटलाइट" की समस्या (स्थानिक धारणा पूर्वाग्रह - Spatial Perception Bias):
कल्पना कीजिए कि सहायक एक टॉर्च के माध्यम से फोटो देख रहा है। पूरी तस्वीर को समान रूप से स्कैन करने के बजाय, टॉर्च की रोशनी एक छोटे से बिंदु (जैसे एक अकेला पेड़) पर अटक जाती है और बाकी सब कुछ अनदेखा कर देती है। क्योंकि वे उस एक बिंदु को इतनी गहराई से देख रहे हैं, वे बाकी चीज़ों को देखना भूल जाते हैं। वे उस पेड़ का विस्तार से वर्णन कर सकते हैं लेकिन बगल में मौजूद समुद्र को मिस कर सकते हैं।"दिन में सपने देखने" की समस्या (मोडैलिटी पूर्वाग्रह - Modality Bias):
कल्पना कीजिए कि सहायक फोटो के बारे में कहानी सुना रहा है। शुरुआत में, वे फोटो देखते हैं और कहते हैं, "मैं नीला आकाश देख रहा हूँ।" लेकिन जैसे-जैसे वे बात करते जाते हैं, वे फोटो देखने से थकने लगते हैं। वे अपनी याददाश्त और इस बात पर अधिक निर्भर होने लगते हैं कि वे क्या देखने की उम्मीद करते हैं। जब तक वे अपनी कहानी के बीच में पहुँचते हैं, वे अपनी कल्पना के आधार पर केवल अनुमान लगा रहे होते हैं, न कि वास्तविक चित्र के आधार पर। यही कारण है कि लंबी कहानियों में अधिक मनगढ़ंत विवरण होते हैं।
समाधान: CAAC (एक "रियलिटी चेक" सिस्टम)
CAAC फ्रेमवर्क एक स्मार्ट सुपरवाइजर (पर्यवेक्षक) की तरह काम करता है जो सहायक को देखता है और वास्तविक समय में उसे धीरे से सुधारता है। इसके पास दो मुख्य उपकरण हैं:
1. विजुअल-टोकन कैलिब्रेशन (VTC) – "प्रकाश फैलाना"
यह "स्पॉटलाइट" की समस्या को ठीक करता है।
- यह कैसे काम करता है: सुपरवाइजर देखता है कि सहायक छवि के एक हिस्से को बहुत अधिक घूर रहा है। वे सहायक का ध्यान धीरे से मोड़ते हैं, यह कहते हुए, "हे, सिर्फ उस पेड़ को मत देखो। रेत, पानी और आकाश पर भी एक नज़र डालो।"
- परिणाम: सहायक का ध्यान अधिक संतुलित हो जाता है। वे एक ही जगह पर टिके रहने के बजाय पूरी तस्वीर को अधिक स्पष्टता से देखने लगते हैं, जिससे वे स्पष्ट चीजों को मिस करने से बच जाते हैं।
2. एडेप्टिव अटेंशन री-स्केलिंग (AAR) – "कॉन्फिडेंस मीटर"
यह "दिन में सपने देखने" की समस्या को ठीक करता है।
- यह कैसे काम करता है: सुपरवाइजर के पास एक विशेष मीटर है जो यह मापता है कि सहायक अपने अगले वाक्य के बारे में कितना आत्मविश्वासी (confident) है।
- यदि सहायक बहुत आत्मविश्वासी है (जैसे, "और फिर..."), तो सुपरवाइजर उन्हें स्वाभाविक रूप से बात करने देता है।
- लेकिन यदि सहायक हिचकिचाने लगता है या अनिश्चित लगता है (कम आत्मविश्वास), तो सुपरवाइजर तुरंत उनका ध्यान खींचता है और कहता है, "रुको! अभी फोटो की ओर वापस देखो! तुम्हें वास्तव में क्या दिख रहा है?"
- परिणाम: जब भी सहायक खयाली पुलाव पकाने लगता है, सुपरवाइजर उन्हें दृश्य वास्तविकता में वापस आने के लिए मजबूर करता है। यह लंबी कहानियों के लिए विशेष रूप से सहायक होता है, जो उन्हें पहले शब्द से लेकर अंतिम शब्द तक ईमानदार रखता है।
यह क्यों महत्वपूर्ण है
इससे पहले, अन्य विधियाँ हॉलुसिनेशन को ठीक करने की कोशिश करती थीं, लेकिन वे लंबी व्याख्याओं के साथ संघर्ष करती थीं। वे एक ऐसे शिक्षक की तरह थीं जो केवल निबंध के पहले वाक्य को सुधारती हैं लेकिन छात्र को बाकी सब कुछ मनगढ़ंत बनाने देती हैं।
CAAC अलग है क्योंकि:
- यह एक "प्लग-एंड-प्ले" समाधान है: आपको पूरे AI मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है (जो महंगा और धीमा है)। आप बस इसके ऊपर एक "सुपरवाइजर" लेयर जोड़ देते हैं।
- यह लंबी कहानियों के लिए काम करता है: यह सहायक को तब भी ईमानदार रखता है जब वे लंबे समय तक बात कर रहे होते हैं।
- यह सुरक्षित है: चिकित्सा जैसे महत्वपूर्ण क्षेत्रों (एक्स-रे का वर्णन करना) या सेल्फ-ड्राइविंग कारों (सड़क का वर्णन करना) में, तथ्य बनाना खतरनाक हो सकता है। CAAC यह सुनिश्चित करता है कि AI सच्चाई से चिपका रहे।
निष्कर्ष
CAAC को AI के लिए एक "रियलिटी-चेकिंग को-पायलट" के रूप में सोचें। यह AI को रचनात्मक या प्रवाहपूर्ण होने से नहीं रोकता है; यह बस यह सुनिश्चित करता है कि जब AI कहता है, "मैं एक कुत्ता देख रहा हूँ," तो वास्तव में तस्वीर में एक कुत्ता हो। यह AI की बात करने की इच्छा और सच बताने के उसके कर्तव्य के बीच संतुलन बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।