Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment
यह शोध पत्र सैलियेंसी-ड्रिवन परसेप्चुअल रियलाइनमेंट (SDPR) का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो गैर-सिमेंटिक टोकन से ध्यान को पुनर्वितरित करके, स्थानिक विरूपण को रोकने के लिए KV कैश फीचर्स को संरेखित करके, और भाषा पूर्वाग्रहों का मुकाबला करने के लिए कंट्रास्टिव डिकोडिंग लागू करके लार्ज विजन-लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को कम करता है, जिससे बिना किसी अतिरिक्त प्रशिक्षण या महत्वपूर्ण रनटाइम ओवरहेड के बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, एक नई पीढ़ी के सिस्टम उभरे हैं जो एक ही समय में देख और बोल सकते हैं। ये बड़े विजन-लैंग्वेज मॉडल डिजिटल पर्यवेक्षकों के रूप में कार्य करते हैं, जो किसी तस्वीर को देखकर उसमें हो रही घटनाओं का वर्णन करने या दृश्य के बारे में प्रश्नों के उत्तर देने में सक्षम हैं। उन्होंने दृश्य दुनिया को मानवीय भाषा के साथ जोड़ने का हुनर सीखा है, जिससे पिक्सेल और शब्दों के बीच एक सेतु का निर्माण हुआ है। हालाँकि, अत्यधिक प्रवाहपूर्ण और अक्सर समझ में आने वाले वाक्य उत्पन्न करने की अपनी प्रभावशाली क्षमता के बावजूद, ये सिस्टम एक निरंतर और निराशाजनक दोष से ग्रस्त हैं: वे अक्सर झूठ बोलते हैं। वे आत्मविश्वास के साथ एक व्यक्ति द्वारा लाल गुब्बारा पकड़े होने का वर्णन कर सकते हैं जब चित्र में एक नीला पतंग दिखाई दे रहा हो, या ऐसे विवरण गढ़ सकते हैं जिनका अस्तित्व ही नहीं है। गलत जानकारी उत्पन्न करने की यह प्रवृत्ति, जिसे 'हैलुसिनेशन' (hallucination) कहा जाता है, वास्तव में इस बात पर गहरे भरोसे से उत्पन्न होती है कि मॉडल ने पहले क्या पढ़ा है, न कि इस पर कि वह अभी वास्तव में क्या देख रहा है। जब दृश्य साक्ष्य अस्पष्ट या जटिल होते हैं, तो सिस्टम अक्सर अपने आंतरिक भाषा पैटर्न के आधार पर अनुमान लगाने लगता है, जिससे ऐसे उत्तर मिलते हैं जो सुनने में तो सही लगते हैं लेकिन तथ्यात्मक रूप से गलत होते हैं। यह अविश्वसनीयता इन शक्तिशाली उपकरणों को उन वास्तविक स्थितियों में भरोसेमंद होने से रोकती है जहाँ सटीकता आवश्यक है।
शिएन विश्वविद्यालय (Xidian University) और सिंघुआ विश्वविद्यालय (Tsinghua University) के शोधकर्ताओं ने इस दृश्य भ्रम के मूल कारणों की पहचान की है और एक ऐसी विधि विकसित की है जो इन मॉडलों को उत्तर देने से पहले "स्पष्ट रूप से देखने" में मदद कर सके। उनका कार्य यह प्रकट करता है कि समस्या केवल ज्ञान की कमी नहीं है, बल्कि इस बात की विफलता है कि मॉडल उस क्षण में क्या देखता है और उसे कैसे याद रखता है जब वह सोच रहा होता है। टीम ने पाया कि जैसे ही मॉडल एक छवि का विश्लेषण करता है, उसका ध्यान अक्सर महत्वहीन पृष्ठभूमि विवरणों द्वारा हाईजैक कर लिया जाता है, जिससे वह चित्र के सबसे महत्वपूर्ण हिस्सों को अनदेखा कर देता है। इसके अलावा, जैसे ही मॉडल शब्द-दर-शब्द अपना उत्तर देना शुरू करता है, दृश्य दृश्य की उसकी स्मृति क्षय होने लगती है, जो विकृत हो जाती है और पूछे गए विशिष्ट प्रश्न से कम जुड़ी रह जाती है। इसे ठीक करने के लिए, शोधकर्ताओं ने 'सेलिएन्सी-ड्रिवन परसेप्चुअल रीयलाइनमेंट' (Saliency-Driven Perceptual Realignment) नामक एक प्रशिक्षण-मुक्त ढांचा पेश किया। यह दृष्टिकोण विशाल एआई मॉडल को शून्य से फिर से प्रशिक्षित करने की आवश्यकता नहीं डालता है; इसके बजाय, यह सोचने की प्रक्रिया के दौरान एक मार्गदर्शक के रूप में कार्य करता है, मॉडल के फोकस और स्मृति को धीरे से सुधारता है ताकि यह सुनिश्चित हो सके कि वह छवि की दृश्य वास्तविकता में बना रहे।
सुधार की इस प्रक्रिया का पहला चरण उस क्षण को संबोधित करता है जब मॉडल पहली बार छवि को देखता है। शोधकर्ताओं ने पाया कि मॉडल का आंतरिक ध्यान तंत्र अक्सर "सिंक टोकन" (sink tokens) पर अटक जाता है, जो अनिवार्य रूप रूप से अर्थहीन पृष्ठभूमि तत्व हैं जो गलती से बहुत अधिक ध्यान खींच लेते हैं। कल्पना कीजिए कि एक व्यक्ति शोर भरे कमरे में बातचीत सुनने की कोशिश कर रहा है; यदि उसका ध्यान एक शोर वाले अप्रासंगिक शोर द्वारा हाईजैक कर लिया जाता है, तो वह महत्वपूर्ण शब्दों को चूक जाता है। इसी तरह, मॉडल इन पृष्ठभूमि विकर्षणों को महत्वपूर्ण दृश्य संकेतों, जैसे कि किसी व्यक्ति का चेहरा या कोई विशिष्ट वस्तु, को दबाने दे रहा था। यह नई विधि पता लगाती है कि यह हाईजैकिंग कब होती है और मॉडल के ध्यान को पुनर्वितरित करती है, ध्यान को शोर से हटाकर छवि के सार्थक भागों की ओर वापस लाती है। ऐसा करके, मॉडल उस दबे हुए दृश्य साक्ष्य को पुनः प्राप्त करता है जिसे वह पहले अनदेखा कर रहा था, जिससे वह बोलने से पहले ही दृश्य को अधिक सटीक रूप से देख पाता है।
एक बार जब मॉडल का दृश्य स्पष्ट हो जाता है, तो दूसरी चुनौती तब आती है जब वह अपना उत्तर देना शुरू करता है। मॉडल प्रत्येक नया शब्द लिखते समय संदर्भ लेने के लिए छवि की एक स्मृति संग्रहीत करता है। हालाँकि, शोधकर्ताओं ने देखा कि यह स्मृति समय के साथ विकृत हो जाती है। क्योंकि मॉडल छवि और प्रश्न को एक विशिष्ट क्रम में संसाधित करता है, दृश्य विवरणों की स्मृति उनके वास्तविक महत्व के बजाय अनुक्रम में उनकी स्थिति से जुड़ जाती है। यह वैसा ही है जैसे मॉडल यह भूल जाता है कि कोई विशिष्ट वस्तु महत्वपूर्ण है क्योंकि उसे अनुक्रम में जल्दी देखा गया था, जबकि बाद के, कम महत्वपूर्ण विवरण उसकी स्मृति में अत्यधिक प्रमुख हो जाते हैं। इसका मुकाबला करने के लिए, नया ढांचा इस आंतरिक स्मृति को पुनर्गठित (realign) करता है। यह एक संकेत इंजेक्ट करता है जो यह उजागर करता है कि वर्तमान प्रश्न के लिए छवि के कौन से हिस्से वास्तव में प्रासंगिक हैं, यह सुनिश्चित करते हुए कि मॉडल की स्मृति पूरी पीढ़ी प्रक्रिया के दौरान सही दृश्य साक्ष्य पर केंद्रित रहे, न कि अप्रासंगिक विवरणों की ओर भटक जाए।
अंत में, स्पष्ट दृश्य और अच्छी स्मृति के बावजूद, मॉडल अपने पूर्व-मौजूद भाषाई अभ्यासों पर निर्भर रहने के प्रलोभन का सामना करता है। कभी-कभी, मॉडल जानता है कि चित्र के आधार पर उत्तर "हाँ" है, लेकिन उसके आंतरिक भाषानुसार "नहीं" का सुझाव मिलता है क्योंकि वह उसके प्रशिक्षण डेटा में एक सामान्य वाक्यांश है। इसे रोकने के लिए, शोधकर्ताओं ने एक अंतिम जांच जोड़ी है जो मॉडल के दृश्य-आधारित पूर्वानुमान की तुलना उसके अपने भाषाई अभ्यासों से निर्मित संदर्भ से करती है। यदि दोनों में असहमति होती है, तो सिस्टम सक्रिय रूप रूप से भाषा-आधारित अनुमान को दबा देता है और मॉडल को दृश्य साक्ष्य पर टिके रहने के लिए मजबूर करता है। यह विरोधाभासी प्रक्रिया यह सुनिश्चित करती है कि अंतिम उत्तर वास्तव में छवि में मौजूद चीज़ों द्वारा संचालित हो, न कि उस चीज़ से जो मॉडल देखने की अपेक्षा करता है।
इस तीन-चरणीय रणनीति को लागू करने के परिणाम महत्वपूर्ण हैं। विभिन्न विभिन्न बड़े विजन-लैंग्वेज मॉडलों पर परीक्षण किए जाने पर, इस विधि ने लगातार हैलुसिनेशन की संख्या को कम किया और उत्तरों की सटीकता में सुधार किया। विशिष्ट परीक्षणों में, जो यह मापते हैं कि मॉडल कितनी बार वस्तुओं की सही पहचान करता है, नए दृष्टिकोण ने लगभग सात अंकों तक सुधार दिखाया, और हैलुसिनेटेड विवरणों की आवृत्ति को मापने वाले परीक्षणों में, इसने त्रुटियों को एक तिहाई से अधिक कम कर दिया। महत्वपूर्ण रूप से, यह सब बिना किसी महंगे पुन: प्रशिक्षण या अतिरिक्त डेटा की आवश्यकता के हासिल किया गया, केवल यह समायोजित करके कि मॉडल काम करते समय कैसे ध्यान देता है और जानकारी याद रखता है। दृश्य जागरूकता के क्षरण को प्रारंभिक दृष्टि से लेकर अंतिम वाक्य तक व्यवस्थित रूप से संबोधित करके, यह शोध इन शक्तिशाली एआई सिस्टम को अधिक विश्वसनीय बनाने का एक मजबूत तरीका प्रदान करता है, यह सुनिश्चित करते हुए कि वे जो देखते हैं उसके बारे में सच बोलें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।