Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance
यह शोध पत्र रेसिडुअल डिकोडिंग (ResDec) को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण-मुक्त विधि है जो बिना किसी अतिरिक्त प्रशिक्षण के लार्ज विजन-लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को प्रभावी ढंग से कम करने और विजुअल ग्राउंडिंग को बढ़ाने के लिए ऐतिहासिक टोकन जानकारी और आंतरिक तर्क तंत्र का लाभ उठाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान मित्र है जिसे तस्वीरें देखना और उनका वर्णन करना पसंद है। यह मित्र एक AI (विशेष रूप से एक लार्ज विजन-लैंग्वेज मॉडल) है। वे बात करने में बहुत अच्छे हैं, लेकिन उनकी एक अजीब आदत है: कभी-कभी, जब वे किसी फोटो को देखते हैं, तो वे आपको ऐसी चीजें बताने लगते हैं जो वास्तव में उस तस्वीर में नहीं हैं।
उदाहरण के लिए, यदि आप उन्हें एक बिल्ली की तस्वीर दिखाते हैं, तो वे कह सकते हैं, "आह, मैं एक रोएँदार बिल्ली देख रहा हूँ जो एक लाल कालीन पर कॉफी के कप के पास बैठी है।" लेकिन फोटो में न तो कोई कालीन है और न ही कॉफी। AI ने बस यह मान लिया कि वे वहां मौजूद हैं क्योंकि, उसके विशाल प्रशिक्षण डेटा (training data) में बिल्लियाँ अक्सर कालीन और कॉफी के साथ पाई जाती हैं। इसे हैलुसिनेशन (hallucination) कहा जाता है। वह जानबूझकर झूठ नहीं बोल रहा है; यह बस उसकी "किताबी जानकारी" को उसकी "आंखों" द्वारा देखी जा रही चीज़ों पर हावी होने दे रहा है।
यह शोध पत्र एक चतुर नया तरीका पेश करता है जिसे रेसिड्यूअल डिकोडिंग (Residual Decoding - ResDec) कहा जाता है, ताकि इसे रोका जा सके। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:
समस्या: "आत्मविश्वास भरी गलती"
जब AI किसी तस्वीर को देखता है और उसका वर्णन करना शुरू करता है, तो वह उत्तर को तुरंत नहीं उगल देता। वह वाक्य को शब्द दर शब्द बनाता है, ठीक वैसे ही जैसे कोई इंसान ज़ोर से सोचते हुए बोलता है।
शोधकर्ताओं ने पाया कि जैसे-जैसे AI वाक्य बनाता है, वह भ्रमित हो जाता है।
- शुरुआत: बिल्कुल शुरुआत में, AI थोड़ा अराजक होता है। वह सोच रहा होता है, "ठीक है, मैं एक इमेज देख रहा हूँ... सबसे पहले क्या कहूँ?"
- मध्य: जैसे-जैसे वह आगे बढ़ता है, वह सही विचार पर स्थिर होने लगता है। सही उत्तर उसके मन में चमकने लगता है।
- जाल: लेकिन फिर, अंतिम उत्तर देने से ठीक पहले, AI अपनी "किताबी आदतों" (language priors) से विचलित हो जाता है। वह सोचने लगता है, "ओह, आमतौर पर जब लोग बिल्ली देखते हैं, तो वे 'लाल कालीन' कहते हैं!" इसलिए, वह अनजाने में गलत शब्द ("कालीन") की संभावना को बढ़ा देता है और सही शब्द ("कुछ नहीं") की संभावना को कम कर देता है।
यह एक छात्र की तरह है जो परीक्षा दे रहा है। उसे पता है कि उत्तर B है, लेकिन उसे भरने से ठीक पहले, वह घबरा जाता है और सोचता, "रुको, शिक्षक आमतौर पर उत्तर के रूप में C रखते हैं," और वह अपना उत्तर बदलकर C कर देता है और गलत हो जाता है।
समाधान: "इतिहास का जासूस"
लेखकों ने महसूस किया कि AI प्रक्रिया के दौरान पहले ही सही उत्तर जानता था, इससे पहले कि वह अपनी आदतों से भ्रमित हुआ। "सही" संकेत उसके द्वारा पहले उत्पन्न किए गए शब्दों के इतिहास में छिपा हुआ था।
ResDec एक इतिहास के जासूस (History Detective) की तरह कार्य करता है। यहाँ इसका उदाहरण दिया गया है:
कल्पना कीजिए कि AI एक धुंधले जंगल (डिकोडिंग प्रक्रिया) से गुजरने वाला एक यात्री है।
- धुंध: धुंध AI के भ्रम का प्रतिनिधित्व करती है जो उसकी भाषाई आदतों के कारण होता है।
- रास्ता: सही रास्ता तस्वीर के बारे में सच्चाई है।
- जासूस: ResDec यात्री के पिछले कुछ कदमों के पदचिह्नों को पीछे मुड़कर देखता है।
शोधकर्ताओं ने इन पदचिह्नों में एक पैटर्न पाया:
- अराजकता: शुरुआत में, पदचिह्न बिखरे हुए होते हैं (AI चीजों को समझ रहा होता है)।
- घाटी (The Valley): फिर, पदचिह्न बहुत सीधे और स्थिर हो जाते हैं। यह "सेमेंटिक एंकरिंग फेज" (Semantic Anchoring Phase) है। AI ने सच्चाई को पकड़ लिया है।
- विचलन (The Divergence): अंत में, पदचिह्न फिर से भटकने लगते हैं क्योंकि AI वाक्य को शानदार बनाने की कोशिश करता है (यहीं है हैलुसिनेशन)।
ResDec कहता है: "हे, चलो अंत में भटकते हुए पदचिह्नों को अनदेखा कर दें। आइए यात्रा के बीच के उन स्थिर, सीधे पदचिह्नों को देखें जहाँ AI सबसे अधिक आश्वस्त और स्पष्ट था।"
यह उन "स्थिर" सुरागों को लेता है जो अतीत के हैं और उन्हें वर्तमान निर्णय के साथ मिला देता है। यह छात्र को बताने जैसा है: "केवल इसलिए अपना उत्तर C में न बदलें क्योंकि आप घबराए हुए हैं। याद रखें, जब आप एक मिनट पहले शांत थे, तब आप पक्के थे कि उत्तर B है। B के साथ ही रहें।"
यह क्यों शानदार है?
- कोई अतिरिक्त प्रशिक्षण नहीं: आमतौर पर, AI को ठीक करने के लिए, आपको उसे नई चीजें सिखानी पड़ती हैं, जिसमें हफ्तों और लाखों डॉलर लगते हैं। ResDec एक "प्लग-एंड-प्ले" समाधान है। आपको AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; आप बस काम करते समय उसके अपने दिमाग को पढ़ने का तरीका बदलते हैं।
- सुपर फास्ट: यह AI को धीमा नहीं करता है। यह केवल उसी जानकारी का उपयोग करता है जो AI पहले से ही उत्पन्न कर रहा था। यह कार चलाते समय अपने रियरव्यू मिरर (पीछे देखने वाले शीशे) को देखने जैसा है; यह कार को धीमा नहीं बनाता, यह बस आपको लेन में रहने में मदद करता है।
- यह हर जगह काम करता है: उन्होंने इसका परीक्षण कई अलग-अलग AI मॉडल और कई अलग-अलग प्रकार की छवियों (बिल्लियाँ, कारें, गणित के सवाल) पर किया, और इसने लगातार AI को मनगढ़ंत बातें बनाने से रोका।
संक्षेप में
रेसिड्यूअल डिकोडिंग (Residual Decoding) बुद्धिमान AI इमेज डिस्क्राइबर्स के लिए एक सरल, मुफ्त अपग्रेड है। यह उन्हें उन चीजों के बारे में दिवास्वप्न देखने से रोकता है जो वहां नहीं हैं, उन्हें यह याद दिलाकर कि वे अभी कुछ क्षण पहले किस बात के प्रति आश्वस्त थे। यह AI को अपनी "यादों" (टेक्स्ट की आदतों) के बजाय अपनी "आंखों" (इमेज) पर भरोसा करने के लिए मजबूर करता है, जिससे ऐसे विवरण मिलते हैं जो वास्तव में तस्वीर के प्रति सच्चे होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।