Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination
यह शोध पत्र प्रकट करता है कि LVLM ऑब्जेक्ट हैलुसिनेशन (hallucinations) कमजोर विजुअल अटेंशन के कारण नहीं, बल्कि मिसअलाइन्ड अटेंशन सेमेंटिक्स (misaligned attention semantics) के कारण होते हैं, जिससे एक ट्रेनिंग-फ्री फ्रेमवर्क का निर्माण होता है जो विजुअल अनसर्टेन्टी (visual uncertainty) और कॉन्टेक्स्टुअल प्रायर्स (contextual priors) के बीच अंतर करने के लिए लॉजिट-लेंस कंसिस्टेंसी चेक (Logit-Lens consistency checks) का उपयोग करता है, जिससे प्रभावी रूप से हैलुसिनेशन का पता लगाने और उन्हें कम करने के लिए लक्षित मास्किंग (targeted masking) या एन्हांस्ड डिकोडिंग (enhanced decoding) लागू की जा सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट दोस्त से बात कर रहे हैं जिसने लाखों तस्वीरें देखी हैं और अरबों किताबें पढ़ी हैं। आप उसे एक धूप वाले पार्क की फोटो दिखाते हैं, और वह उस दृश्य का वर्णन करना शुरू कर देता है। लेकिन कभी-कभी, यह रोबोट थोड़ा ज़्यादा रचनात्मक हो जाता है। यह आत्मविश्वास के साथ कह सकता है कि पेड़ों के ऊपर एक "विशाल लाल गुब्बारा" तैर रहा है, भले ही फोटो में वहां पूरी तरह से खाली जगह हो। इसे "हैलुसिनेशन" (hallucination) कहा जाता है, और यह उन वैज्ञानिकों के लिए एक बड़ा सिरदर्द है जो इन AI सिस्टम को बना रहे हैं। यदि रोबोट उन चीजों को देखता है जो वहां मौजूद नहीं हैं, तो हम महत्वपूर्ण कार्यों में मदद के लिए वास्तव में उस पर भरोसा नहीं कर सकते।
लंबे समय तक, शोधकर्ताओं को लगा कि समस्या यह थी कि रोबोट तस्वीर को पर्याप्त रूप से "देख" नहीं रहा था। उनका मानना था कि AI बस दिवास्वप्न देख रहा था क्योंकि उसकी आँखें भटक रही थीं, इसलिए उन्होंने AI को छवि पर अधिक ध्यान देने के लिए मजबूर करने की कोशिश की। लेकिन क्या होगा अगर रोबोट देख रहा है? क्या होगा अगर वह ठीक उसी जगह को घूर रहा है जहाँ नकली गुब्बारा होना चाहिए, लेकिन वह जो देख रहा है उसका गलत अर्थ निकाल रहा है? यह शोध पत्र, जिसका शीर्षक "Same Attention, Different Truths" है, इसी रहस्य में गहराई तक जाता है। यह एक चतुर तकनीक का उपयोग करता है जिसे "लॉगिट लेंस" (Logit Lens) कहा जाता है (इसे AI के मस्तिष्क के लिए एक एक्स-रे की तरह समझें) ताकि वह बात करते समय AI के दिमाग के अंदर झाँक सके। लक्ष्य यह पता लगाना है कि रोबोट जो देखता है उसके बारे में झूठ क्यों बोलता है, ताकि हम उसे बिना दोबारा प्रशिक्षित किए सच बोलना सिखा सकें।
रहस्य: ध्यान केंद्रित करना, फिर भी गलत होना
लेखकों ने एक लोकप्रिय विचार का परीक्षण करके शुरुआत की: कि AI हैलुसिनेशन इसलिए होता है क्योंकि मॉडल पर्याप्त ध्यान नहीं दे रहा है। उन्होंने AI को चित्रों का वर्णन करते हुए देखा, और ट्रैक किया कि उसकी "नज़र" (अटेंशन) बिल्कुल कहाँ पड़ती है। उन्होंने पाया कि कुछ चौंकाने वाला: AI ने वास्तविक वस्तुओं (जैसे कि एक कुर्सी) पर उतना ही ध्यान दिया जितना उसने नकली वस्तुओं (जैसे कि एक कटोरा जो वहां नहीं था) पर दिया।
यह एक ऐसे जासूस की तरह है जो एक खाली दीवार को तीव्रता से घूर रहा है, इस विश्वास के साथ कि वहां एक गुप्त संदेश छिपा है। जासूस दीवार को अनदेखा नहीं कर रहा है; वह सीधे उसी की ओर देख रहा है! समस्या यह नहीं है कि वे कितना देखते हैं, बल्कि यह है कि वे क्या देखते हैं। यह शोध पत्र इसे "Same Attention, Different Truths" कहता है। AI अपनी ऊर्जा केंद्रित कर रहा है, लेकिन जो वह देखता है और जो वह कहता है, उसके बीच का संबंध टूट गया है।
एक्स-रे: AI के मन को पढ़ना
यह समझने के लिए कि क्या हो रहा था, शोधकर्ताओं ने लॉगिट लेंस (Logit Lens) नामक एक उपकरण का उपयोग किया। कल्पना कीजिए कि AI के मस्तिष्क को एक बहु-परतीय केक की तरह है। जैसे-जैसे AI एक छवि को प्रोसेस करता है, जानकारी इन परतों के माध्यम से यात्रा करती है। लॉगिट लेंस शोधकर्ताओं को केक की विभिन्न परतों में "फिलिंग" (भरवां सामग्री) को देखने और पूछने की अनुमति देता है, "यदि हम AI को यहीं रोक दें, तो यह कौन सा शब्द कहेगा?"
जब उन्होंने ऐसा किया, तो उन्हें एक स्पष्ट विभाजन मिला:
- वास्तविक वस्तुएं: जब AI एक वास्तविक कुर्सी को देख रहा था, तो उसके मस्तिष्क की "फिलिंग" ने छवि को सही ढंग से "कुर्सी" के रूप में डिकोड किया। दृश्य प्रमाण शब्द से मेल खाते थे।
- नकली वस्तुएं: जब AI जमीन के एक धुंधले हिस्से को देख रहा था और उसने उसे "कटोरा" कहने का निर्णय लिया, तो लॉगिट लेंस ने दिखाया कि मस्तिष्क ने वास्तव में एक कटोरा नहीं देखा था। दृश्य प्रमाण अस्पष्ट और अनिश्चित थे, लेकिन AI फिर भी "कटोरा" कहने पर अड़ा रहा।
दो प्रकार के झूठे
शोध पत्र ने पाया कि AI दो बहुत अलग कारणों से झूठ बोलता है, जैसे कि परीक्षा देने वाले दो अलग-अलग प्रकार के छात्र।
1. "धुंधली दृष्टि" वाला झूठा (दृश्य अनिश्चितता - Visual Uncertainty)
कभी-कभी, छवि बस भ्रमित करने वाली होती है। शायद कोई गहरा, धुंधला आकार है जो थोड़ा बहुत एक कटोरे जैसा दिखता है। AI इस धुंधले स्थान को घूरता है, भ्रमित होता है, और अनुमान लगाता है, "मुझे यकीन है कि वह एक कटोरा है!"
- समाधान: शोधकर्ताओं ने पाया कि यदि वे उस धुंधले, भ्रमित करने वाले स्थान को ढक (mask) देते, तो AI झूठ बोलना बंद कर देता। उसे एहसास होता, "ओह, मैं वहां कुछ नहीं देख सकता, इसलिए मैं अनुमान नहीं लगाऊंगा।" इसे हाई-अटेंशन रीजन्स मास्किंग (HARM) कहा जाता है। यह उस जासूस को यह बताने जैसा है, "उस धुंधली दीवार को मत देखो; इसके बजाय साफ खिड़की को देखो।"
2. "दिवास्वप्न देखने वाला" झूठा (संदर्भगत पूर्वग्रह - Contextual Prior)
अन्य समय में, छवि स्पष्ट होती है, लेकिन AI इस बात से बहुत अधिक प्रभावित होता है कि वह क्या देखने की उम्मीद करता है। कल्पना कीजिए कि AI एक रसोई का वर्णन कर रहा है। भले ही चित्र में माइक्रोवेव न हो, AI कह सकता है, "वहां एक माइक्रोवेव है," क्योंकि उसके प्रशिक्षण में, रसोई में आमतौर पर माइक्रोवेव होते हैं। वह माइक्रोवेव के विचार से इतना परिचित है कि वह एक काल्पनिक माइक्रोवेव बना देता है।
- ट्विस्ट: यदि आप छवि के उस हिस्से को ढक देते हैं जिसे AI देख रहा है, तो भी वह झूठ बोलना बंद नहीं करता! वह बस अपनी नज़र दूसरे स्थान पर ले जाता है और "माइक्रोवेव" कहना जारी रखता है। AI एक स्क्रिप्ट का पालन कर रहा है: "मुझे कुछ न कुछ देखना ही होगा इससे पहले कि मैं 'माइक्रोवेव' कहूँ।"
- समाधान: इस प्रकार के लिए, शोधकर्ताओं ने विजुअल एविडेंस एनहांस्ड डिकोडिंग (VEED) नामक एक विधि का उपयोग किया। उन्होंने AI को उस वास्तविक दृश्य साक्ष्य पर अतिरिक्त ध्यान देने के लिए मजबूर किया जो उसने पहले ही खोज लिया था (जो इस मामले में माइक्रोवेव नहीं दिखा रहा था) और इसका उपयोग उसके दिवास्वप्न को दबाने के लिए किया। यह जासूस को याद दिलाने जैसा है, "अपने नोट्स फिर से देखें; नोट्स कहते हैं कि वहां कोई माइक्रोवेव नहीं है, इसलिए अनुमान लगाना बंद करें।"
समाधान: एक जासूसी टूलकिट
इन निष्कर्षों के आधार पर, लेखकों ने एक सरल, "ट्रेनिंग-फ्री" टूलकिट बनाया। इसका मतलब है कि उन्हें AI को शुरू से फिर से सिखाने की आवश्यकता नहीं थी; उन्होंने बस AI को अपना अंतिम उत्तर देने से पहले एक स्मार्ट चेक-अप चरण जोड़ा।
- चेक-अप: जैसे ही AI एक वाक्य बनाता है, सिस्टम लॉगिट लेंस का उपयोग करके जांच करता है: "क्या चित्र वास्तव में इस शब्द का समर्थन करता है?" यदि उत्तर नहीं है, तो यह शब्द को एक हैलुसिनेशन के रूप में चिह्नित करता है।
- निदान (Diagnosis): फिर यह पता लगाता है कि AI ने झूठ क्यों बोला। क्या यह इसलिए था क्योंकि छवि धुंधली थी (टाइप 1) या इसलिए क्योंकि AI दिवास्वप्न देख रहा था (टाइप 2)?
- इलाज:
- यदि यह टाइप 1 है, तो यह धुंधले हिस्से को मास्क करता है और AI को फिर से प्रयास करने के लिए कहता है।
- यदि यह टाइप 2 है, तो यह वास्तविक दृश्य साक्ष्य के संकेत को बढ़ाता है ताकि दिवास्वप्न को दबाया जा सके।
परिणाम
टीम ने इस पद्धति का परीक्षण कई अलग-अलग AI मॉडल पर किया और पाया कि यह अविश्वसनीय रूप से अच्छा काम करता है। इसने नकली वस्तुओं की संख्या को, जिन्हें AI ने बनाया था, अन्य सभी विधियों की तुलना में अधिक कम किया, बिना AI को वास्तविक वस्तुओं का उल्लेख करने से रोके।
संक्षेप में, यह शोध पत्र दिखाता है कि AI हैलुसिनेशन केवल इसलिए नहीं होते कि रोबोट पर्याप्त ध्यान नहीं दे रहा है। कभी-कभी, वह एक धुंधले सुराग को गलत समझने के कारण समस्या को देख रहा होता है, और कभी-कभी, वह केवल उस कहानी का पालन करने के लिए उत्सुक होता है जो उसने पहले सुनी है। इन दो अलग-अलग "झूठों" को समझकर, शोधकर्ता उन्हें पकड़ने और ठीक करने का तरीका खोजने में सफल रहे, जिससे हमारे रोबोट मित्र थोड़े अधिक ईमानदार और बहुत अधिक विश्वसनीय बन गए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।