ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs
यह शोध पत्र ADAPT को प्रस्तुत करता है, जो एक अटेंशन-आधारित फ्रेमवर्क है जो विजुअल एंकर्स, ऑनलाइन करेक्शन मैकेनिज्म और प्रेफरेंस ट्यूनिंग के माध्यम से टेक्स्ट-टू-इमेज क्रॉस-अटेंशन डायनेमिक्स को संरेखित करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को कम करता है, जिससे सामान्य क्षमताओं को बनाए रखते हुए मतिभ्रम में महत्वपूर्ण कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) की कल्पना एक बहुत ही बुद्धिमान और जानकार टूर गाइड के रूप में करें, जिसे अभी-अभी एक तस्वीर थमाई गई है। उसका काम उस फोटो का सटीक वर्णन करना है। हालाँकि, इस गाइड की एक बुरी आदत है: जैसे-जैसे वह बोलना शुरू करता है, वह भटकने लगता है। वह इस बात पर अधिक निर्भर होने लगता है कि फोटो में क्या होना चाहिए (उसके सामान्य ज्ञान के आधार पर), बजाय इसके कि वास्तव में वहां क्या है। इसे हैलुसिनेशन (hallucination) कहा जाता है—जैसे कि "एक लाल साइकिल" जैसी बातें बनाना जबकि फोटो में केवल एक नीली कार दिखाई दे रही हो।
ADAPT नामक शोध पत्र इस बात की जांच करता है कि ऐसा क्यों होता है और मॉडल को फोटो पर केंद्रित रखने के लिए एक तीन-स्तरीय समाधान प्रदान करता है।
समस्या: "भटकती दृष्टि" (The Drifting Gaze)
शोधकर्ताओं ने पाया कि मॉडल की "आंखें" (इसका आंतरिक क्रॉस-अटेंशन) शुरुआत में तो मजबूत होती हैं, लेकिन जैसे-जैसे वर्णन लंबा होता जाता है, वे थक जाती हैं और भ्रमित हो जाती हैं।
- शुरुआत में: मॉडल बिल्कुल सही जगह पर देखता है (उदाहरण के लिए, फोटो में हवाई जहाज पर)।
- बाद में: इसकी दृष्टि "धुंधली" हो जाती है। यह गलत कोने को घूर सकता है, या यह फोटो को देखना पूरी तरह से बंद कर सकता है और केवल उन शब्दों के आधार पर अनुमान लगाने लगता है जो उसने अभी-अभी कहे हैं।
- परिणाम: मॉडल चीजें गढ़ने लगता है क्योंकि वह अब दृश्य साक्ष्य (visual evidence) की जांच नहीं कर रहा होता है।
इसे एक छात्र की तरह समझें जो परीक्षा दे रहा है। शुरुआत में, वह उत्तर देने के लिए पाठ्यपुस्तक (इमेज) की ओर देखता है। लेकिन बीच में, वह थक जाता है, किताब देखना बंद कर देता है, और कक्षा में जो याद रहा उसके आधार पर अनुमान लगाने लगता है (लैंग्वेज प्रायर्स)। तभी वह गलतियाँ करना शुरू करता है।
समाधान: ADAPT
लेखकों ने ADAPT (अटेंशन डायनेमिक्स एलाइनमेंट विद प्रेफरेंस ट्यूनिंग) नामक एक सिस्टम बनाया है ताकि इस समस्या को ठीक किया जा सके। वे मॉडल की "दृष्टि" को स्थिर रखने के लिए तीन रचनात्मक उपकरणों का उपयोग करते हैं।
1. "गोल्डन एंकर" (विजुअल एन्हांस)
मॉडल अपना लंबा वर्णन लिखना शुरू करने से पहले, सिस्टम फोटो का एक त्वरित, प्रारंभिक अवलोकन करता है ताकि सबसे महत्वपूर्ण, निर्विवाद तथ्यों को खोजा जा सके।
- उपमा: कल्पना करें कि टूर गाइड को बोलने से पहले एक हाइलाइटर दिया जाता है। वह जल्दी से फोटो को स्कैन करता है और मुख्य विषय को हाइलाइट करता है (जैसे, "यह एक सफेद हवाई जहाज है")।
- समाधान: यह हाइलाइट किया गया क्षेत्र एक "गोल्डन एंकर" बन जाता है। यह एक स्थिर संदर्भ बिंदु है जो कहता है, "चाहे कुछ भी हो, याद रहे कि यह एक हवाई जहाज है।" सिस्टम इस एंकर को किसी भी पूर्वाग्रह (जैसे कि मॉडल हमेशा सामग्री की परवाह किए बिना इमेज के बाईं ओर देखना) को हटाने के लिए साफ करता है।
2. "स्पॉटलाइट सुपरवाइजर" (अटेंशन-सुपरवाइज्ड इन्फ्रेंस)
जैसे-जैसे मॉडल बोलता है, यह सुपरवाइजर उसकी "दृष्टि" पर वास्तविक समय में नज़र रखता है।
- उपमा: कल्पना करें कि एक सख्त शिक्षक गाइड के बगल में खड़ा है। हर बार जब गाइड की आँखें "गोल्डन एंकर" से भटकती हैं या खाली जगह को घूरने लगती हैं, तो शिक्षक उसे धीरे से कंधे पर थपथपाता है।
- समाधान: यदि मॉडल का ध्यान भटकने लगता है या "अस्पष्ट" होने लगता है, तो सिस्टम तुरंत मॉडल के ध्यान को इमेज के प्रासंगिक हिस्सों की ओर वापस खींच लेता है। यह मॉडल को बिल्कुल वही शब्द कहने के लिए मजबूर नहीं करता, बल्कि यह मॉडल को बोलने से पहले सही साक्ष्य पर देखने के लिए मजबूर करता है।
3. "ब्लाइंडफोल्ड ट्रेनिंग" (विजुअल अटेंशन गाइडेंस DPO)
यह एक प्रशिक्षण चरण है जहाँ मॉडल अनुमान लगाने के बजाय फोटो को देखना पसंद करना सीखता है।
- उपमा: मॉडल को दो परिदृश्यों में प्रशिक्षित किया जाता है:
- परिदृश्य A (सही तरीका): मॉडल "गोल्डन एंकर" हाइलाइट किया हुआ फोटो देखता है और एक सही उत्तर देता है।
- परिदृश्य B (गलत तरीका): मॉडल एक खाली, शोर वाली स्क्रीन (एक "ब्लाइंडफोल्ड" या पट्टी) देखता है और उत्तर का अनुमान लगाने की कोशिश करता है।
- समाधान: सिस्टम मॉडल को सिखाता है: "यदि आप एक खाली स्क्रीन देख रहे हैं, तो आपको आत्मविश्वासी नहीं होना चाहिए। यदि आप असली फोटो देख रहे हैं, तो आपको आत्मविश्वासी होना चाहिए।" यह मॉडल को केवल कल्पना करने के बजाय दृश्य साक्ष्य पर भरोसा करने के लिए प्रशिक्षित करता है।
परिणाम
जब शोधकर्ताओं ने विभिन्न AI मॉडलों पर इस सिस्टम का परीक्षण किया:
- कम हैलुसिनेशन: मॉडलों ने काल्पनिक विवरणों को 40-60% कम बनाया।
- अभी भी बुद्धिमान: मॉडलों ने अपनी सामान्य बातचीत करने या समझने की क्षमता नहीं खोई; वे बस तथ्यों पर टिके रहने में बहुत बेहतर हो गए।
- कुशल: यह सिस्टम तेजी से काम करता है, प्रक्रिया में बहुत कम अतिरिक्त समय जोड़ता है।
सारांश
संक्षेप में, ADAPT यह समझता है कि AI मॉडल बात करते समय "विचलित" हो जाते हैं और अनुमान लगाने लगते हैं। इसे ठीक करने के लिए, यह उन्हें एक स्थिर संदर्भ बिंदु (एंकर), भटकती आँखों को पकड़ने के लिए एक रियल-टाइम सुपरवाइजर, और एक विशेष प्रशिक्षण देता है जो उन्हें कल्पना करने के बजाय जो वे देखते हैं उस पर भरोसा करना सिखाता है। परिणाम एक ऐसा AI है जो उस तस्वीर के बारे में सच बताता है जिसे वह देख रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।