VADER: Adaptive Debiasing for Hallucination Mitigation in Video Large Language Models
यह शोध पत्र VADER का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो वीडियो साक्ष्य पर ध्यान को गतिशील रूप से पुनर्वितरित करके और एक सुदृढ़ कंट्रास्टिव डिकोडिंग शाखा (contrastive decoding branch) बनाने के लिए विजुअल टोकन को चुनिंदा रूप से मिटाकर वीडियो लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान रोबोट से बात कर रहे हैं जिसने लाखों फिल्में देखी हैं और उन्हें सटीक वाक्यों में वर्णित कर सकता है। यह रोबोट एक "वीडियो लार्ज लैंग्वेज मॉडल" (या VideoLLM) है। यह एक ऐसे कहानीकार की तरह है जो कभी थकता नहीं है, लेकिन इसकी एक कठिन आदत है: कभी-कभी, यह अपनी ही आवाज़ पर इतना विश्वास करने लगता है कि वह ऐसी बारीकियां बना देता है जो वास्तव में वहां नहीं हैं। यह आपको बता सकता है कि एक पात्र ने "बाड़ के ऊपर से छलांग लगाई" जबकि वीडियो में उसने केवल चलते हुए दिखाया था, सिर्फ इसलिए क्योंकि फिल्मों में लोग अक्सर ऐसा करते हैं। इसे "हैलुसिनेशन" (hallucination) कहा जाता है।
यह समस्या विशेष रूप से वीडियो के साथ बहुत जटिल है। एक एकल फोटो के विपरीत, एक वीडियो फ्रेम की एक लंबी धारा है। यदि रोबोट एक फ्रेम में कोई विवरण चूक जाता है, तो वह अक्सर उससे ठीक पहले या बाद के फ्रेमों को देखकर उसका अनुमान लगा सकता है, जो आमतौर पर बहुत समान दिखते हैं। यह वैसा ही है जैसे यदि आपने किसी गाने में एक शब्द मिस कर दिया हो, तो आप उसका अनुमान लगा सकते हैं क्योंकि अगले कुछ शब्द वही होते हैं। इस कारण से, रोबोट को झूठ बोलने से रोकने के लिए पुराने तरीके—जैसे कि चित्र के किसी हिस्से को धुंधला कर देना—अक्सर विफल हो जाते हैं। रोबोट आसपास के फ्रेमों का उपयोग करके उस खाली जगह को भर देता है। वैज्ञानिक इसे बिना रोबोट को फिर से पूरी तरह से सिखाए (re-teach) ठीक करना चाहते हैं, क्योंकि इसमें बहुत समय लगेगा और भारी लागत आएगी। उन्हें एक ऐसा तरीका चाहिए जिससे रोबंतु वास्तव में जो देख रहा है, उस पर बोलते समय अधिक ध्यान दे सके।
यहाँ VADER आता है, एक नया तरीका जो इन वीडियो रोबोट्स के लिए एक स्मार्ट संपादक (editor) की तरह काम करता है। रोबोट को नए नियम सीखने के लिए मजबूर करने के बजाय, VADER बातचीत के दौरान हस्तक्षेप करता है और रोबोट के ध्यान को धीरे से सही दिशा में मोड़ता है। यह दो चतुर तरीकों का उपयोग करता है ताकि रोबोट मनगढ़ंत बातें न बनाए।
पहला, यह विजुअल फोकस रीएलोकेशन (VFR) नामक एक टूल का उपयोग करता है। रोबोट के मस्तिष्क को एक व्यस्त रसोईघर के रूप में सोचें जहाँ कई शेफ (परतें/layers) एक साथ काम कर रहे हैं। कुछ शेफ वीडियो को देख रहे हैं, जबकि अन्य केवल रेसिपी के बारे में चर्चा कर रहे हैं (टेक्स्ट)। कभी-कभी, चर्चा करने वाले शेफ इतने शोर मचा देते हैं कि वे वीडियो देखने वाले शेफ की आवाज़ को दबा देते हैं। VFR एक गतिशील वॉल्यूम नॉब (dynamic volume knob) की तरह कार्य करता है। यह विशिष्ट वीडियो और प्रश्न को सुनता है, यह पता लगाता है कि वास्तव में कौन से शेफ वीडियो के बारे में बात कर रहे हैं, और फिर उनकी आवाज़ बढ़ाता है जबकि चर्चा करने वालों की आवाज़ कम कर देता है। यह हर वीडियो के लिए एक निश्चित सेटिंग का उपयोग नहीं करता है; इसके बजाय, यह स्थिति का निदान करता है और निर्णय लेता है, "ठीक है, इस विशिष्ट दृश्य के लिए, हमें वीडियो के साक्ष्य को 20% अधिक सुनना होगा।"
दूसरा, VADER सिलेक्टिव एविडेंस इरेज़र (SEE) का उपयोग करता है। यह बहुत ही दिलचस्प है। कल्पना कीजिए कि आप किसी फिल्म की कहानी का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन आपको केवल पृष्ठभूमि (background) के दृश्यों को देखने की अनुमति है, मुख्य अभिनेताओं को नहीं। यदि आप अभी भी कहानी का सही अनुमान लगाते हैं, तो इसका मतलब है कि आप केवल फिल्मों में होने वाली सामान्य घटनाओं के आधार पर अनुमान लगा रहे थे (आपका "प्रायर बायस" या पूर्व पूर्वाग्रह)। यदि आप गलत होते हैं, तो यह साबित करता है कि आप अभिनेताओं पर निर्भर थे। VADER ऐसा करने के लिए, अपने ही मस्तिष्क के अंदर, फ्रेम-दर-फ्रेम, सबसे महत्वपूर्ण दृश्य सुरागों (जैसे मुख्य अभिनेता) को गुप्त रूप से "मिटा" (erase) देता है। यह कहानी का एक "क्या-होता-यदि" (what-if) संस्करण बनाता है जहाँ रोबोट को मुख्य साक्ष्य के बिना अनुमान लगाना होता है। यदि रोबंतु इस "मिटाए गए" संस्करण में भी वही उत्तर देता है, तो VADER जानता है कि रोबोट केवल अपनी आदतों के आधार पर अनुमान लगा रहा है, न कि वास्तविक वीडियो के आधार पर।
अंत में, VADER रोबोट के "वास्तविक" उत्तर की तुलना उसके "मिटाए गए" उत्तर से करता है। यदि रोबोट दोनों में आश्वस्त है, तो वह जानता है कि उत्तर संभवतः एक हैलुसिनेशन है और वह उसे दबा देता है। यदि साक्ष्य हटाए जाने पर उत्तर बदल जाता है, तो VADER जानता कि रोबोट वास्तव में वीडियो पर ध्यान दे रहा था।
परिणाम प्रभावशाली हैं। जब शोधकर्ताओं ने इसका परीक्षण एक लोकप्रिय रोबोट LLaVA-Video-7B पर किया, तो यह वास्तविक घटनाओं को पहचानने और समयरेखा (timeline) को सही रखने में बहुत बेहतर हो गया। एक विशिष्ट परीक्षण, EventHallusion पर, रोबोट की सटीकता बढ़कर 72.60% हो गई। यह एक बड़ी बात है क्योंकि इसने उन अन्य तरीकों को पछाड़ दिया जिनमें महंगी री-ट्रेनिंग की आवश्यकता थी। यह शोध पत्र दिखाता है कि केवल रोबोट के ध्यान को समायोजित करके और ऑन-द-फ्लाई उसके पूर्वाग्रहों का परीक्षण करके, हम वीडियो AI को बहुत अधिक ईमानदार बना सकते हैं, बिना उसे एक पूरी नई भाषा सिखाए। यह एक याद दिलाता है कि कभी-कभी, एक झूठे को रोकने का सबसे अच्छा तरीका यह है कि उससे आँखें बंद करके कहानी सुनाने को कहा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।