Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study
यह शोधपत्र वीडियो-एलएलएम (Video-LLM) प्रश्नोत्तर के लिए एक स्व-सत्यापन पाइपलाइन प्रस्तुत करता है जो अस्थिर या चाटुकार सत्यापन विधियों को एक स्थिर प्राकृतिक भाषा अनुमान मॉडल (natural language inference model) से बदलकर, भ्रमित टाइमस्टैम्प उद्धरणों (hallucinated timestamped citations) को प्रभावी ढंग से पकड़ने और फ़िल्टर करने का कार्य करता है, जिससे वास्तविक दावों को सुरक्षित रखते हुए निर्मित दावों के लिए 79% पकड़ दर प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, कंप्यूटर एक ही समय में देखना और बोलना सीख रहे हैं। ये सिस्टम, जिन्हें विजन-लैंग्वेज मॉडल कहा जाता है, एक वीडियो देख सकते हैं और स्क्रीन पर जो हो रहा है उसके बारे में सवालों के जवाब दे सकते हैं। वे तेजी से आम होते जा रहे हैं, जिससे समाचार क्लिप्स का सारांश बनाने, मेडिकल इमेजिंग में सहायता करने, या बस एक पारिवारिक छुट्टियों के अनुभव का वर्णन करने में मदद मिल रही है। हालांकि, एक निरंतर समस्या इन सिस्टम्स को परेशान करती है: वे अक्सर पूरे आत्मविश्वास के साथ मनगढ़ंत बातें बनाते हैं। जब कोई कंप्यूटर किसी दृश्य का वर्णन करता है, तो वह एक ऐसा विवरण बना सकता है जो कभी हुआ ही नहीं था, या इससे भी बुरा, वह किसी दावे को सच साबित करने के लिए वीडियो के एक विशिष्ट क्षण की ओर आत्मविश्वास से इशारा कर सकता है जो कि पूरी तरह से गलत है। यह एक भ्रामक प्रकार की त्रुटि है। सिस्टम केवल मतिभ्रम (hallucination) नहीं करता; वह एक टाइमस्टैम्प, वीडियो का एक विशिष्ट सेकंड प्रदान करता है, जो मानव उपयोगकर्ता को यह विश्वास दिलाने के लिए छल करता है कि मशीन ने अपने तथ्यों की जांच कर ली है। उस टाइमस्टैम्प की विशिष्टता प्रमाण जैसी लगती है, लेकिन वास्तविक जांच के बिना, यह केवल एक सजावट मात्र है।
शोधकर्ता लंबे समय से जानते हैं कि कंप्यूटर को अपना काम स्वयं जांचने के लिए कहना कठिन है। यदि आप किसी मॉडल से पूछते हैं, "क्या यह तस्वीर सच है?" तो वह अक्सर मदद करने के लिए आपसे सहमत हो जाता है, जिसे 'साइकफैंसी' (sycophancy) नामक व्यवहार कहा जाता है। वह सच बोलने के बजाय उपयोगकर्ता को खुश करना चाहता है। इसे हल करने के लिए, एक शोधकर्ता ने GROUNDEDVQA नामक एक नया सिस्टम विकसित किया। उन्होंने एक ऐसा पाइपलाइन बनाया जो केवल उत्तर उत्पन्न करके आगे नहीं बढ़ता। इसके बजाय, जब कंप्यूटर विशिष्ट टाइमस्टैम्प के साथ एक उत्तर का मसौदा तैयार कर लेता है, तो सिस्टम रुक जाता है। वह वापस वीडियो पर जाता है, उल्लेखित सटीक फ्रेम निकालता है, और एक अलग, स्वतंत्र प्रश्न पूछता है: क्या यह छवि वास्तव में इस दावे का समर्थन करती है? लक्ष्य यह देखना था कि क्या यह सेल्फ-चेकिंग लूप उपयोगकर्ता तक पहुँचने से पहले झूठ को पकड़ सकता है, और यह समझना था कि वास्तव में एक प्रभावी चेकर कैसे बनाया जाए।
शोधकर्ता ने अपने सिस्टम का परीक्षण एक छोटी एनिमेटेड फिल्म पर किया, जिसमें हर पांच सेकंड में फ्रेम लेकर छवियों का एक खोजने योग्य पुस्तकालय बनाया गया। जब कोई उपयोगकर्ता प्रश्न पूछता, तो सिस्टम सबसे प्रासंगिक फ्रेम प्राप्त करता, उत्तर का मसौदा तैयार करता और फिर सत्यापन प्रक्रिया शुरू करता। शोधकर्ता ने इस चेकर को बनाने के तीन अलग-अलग तरीके आजमाए, और उनके प्रयोगों के परिणामों ने यह खुलासा किया कि मशीनों को सच बोलने के लिए कैसे तैयार किया जाए। उनका पहला प्रयास सबसे स्पष्ट था: उन्होंने विजन मॉडल को वह छवि और दावा दिखाया, और बस पूछा, "क्या यह छवि इस दावे का समर्थन करती है?" सिस्टम पूरी तरह विफल रहा। परीक्षण किए गए चालीस गलत दावों में से, इसने शून्य को भी चिह्नित किया। यहाँ तक कि जब दावा एक ऐसे नीले कार के बारे में था जो वीडियो में मौजूद ही नहीं थी, तब भी मॉडल ने दावा किया कि वह सत्य है। वह केवल प्रॉम्प्ट के साथ सहमत हो रहा था, दृश्य वास्तविकता से खुद को अलग करने में असमर्थ था।
फिर शोधकर्ता ने दूसरा दृष्टिकोण अपनाया, जो अधिक तार्किक लग रहा था। उन्होंने देखने और निर्णय लेने की प्रक्रिया को अलग कर दिया। पहले, विजन मॉडल ने दावे के बारे में जाने बिना छवि का वर्णन किया, जिससे एक "ब्लाइंड" कैप्शन तैयार हुआ। फिर, एक लार्ज लैंग्वेज मॉडल (LLM), जिसका उपयोग उसी तरह उत्तर लिखने के लिए किया जाता है, को वह विवरण पढ़ने के लिए कहा गया और यह तय करने को कहा गया कि क्या वह दावे से मेल खाता है। इसने उस समस्या को तो ठीक कर दिया जहाँ मॉडल केवल उपयोगकर्ता से सहमत हो जाता था, लेकिन इसने एक नई समस्या पैदा कर दी: चेकर बेहद अस्थिर हो गया। प्रश्न पूछने के तरीके में मामूली, महत्वहीन बदलावों के आधार पर, सिस्टम या तो हर दावे को गलत घोषित कर देता था, यहाँ तक कि सही दावों को भी, या वह हर दावे को सही मान लेता था, यहाँ तक कि झूठ को भी। वह दो चरम सीमाओं के बीच झूल रहा था, मध्य मार्ग खोजने में असमर्थ था। लार्ज लैंग्वेज मॉडल, अपनी प्रवाहपूर्ण पाठ लिखने की क्षमता के बावजूद, एक सरल हाँ या ना का निर्णय लेने के लिए तथ्य का एक बुरा निर्णायक साबित हुआ।
समाधान तीसरे डिजाइन से आया, जिसने लार्ज लैंग्वेज मॉडल जज को एक बहुत छोटे, विशेष रूप से तर्क के लिए प्रशिक्षित टूल से बदल दिया। यह टूल, जिसे नेचुरल लैंग्वेज इन्फरेंस मॉडल के रूप में जाना जाता है, यह निर्धारित करने के लिए डिज़ाइन किया गया है कि क्या एक वाक्य दूसरे वाक्य का तार्किक रूप से अनुसरण करता है। सिस्टम ने छवि के ब्लाइंड विवरण को 'प्रिमाइज़' (premise) और उपयोगकर्ता के दावे को 'हाइपोथीसिस' (hypothesis) के रूप में उपयोग किया। यदि विवरण दावे का समर्थन नहीं करता था, तो सिस्टम ने उसे 'अपुष्ट' (unverified) के रूप में चिह्नित किया। यह दृष्टिकोण उल्लेखनीय स्थिरता के साथ काम कर रहा था। चालीस दावों के परीक्षण के दौरान, जिनमें चौदह गलत आधारों पर आधारित थे, इस विशेष चेकर ने ७९ प्रतिशत निर्मित दावों को पकड़ा। इसने सफलतापूर्वक पहचान लिया कि पेड़ की शाखा पर गिलहरी दिखाने वाले फ्रेम के बारे में पानी के नीचे लड़ने का बयान समर्थित नहीं था। महत्वपूर्ण बात यह है कि इसने किसी भी सही दावे को गलत चिह्नित नहीं किया। इसने तथ्यात्मक बयानों को वैसे ही छोड़ दिया, केवल झूठ को ही पकड़ा।
अध्ययन ने इस तकनीक की सीमाओं को भी रेखांकित किया। सिस्टम यह जांचने में उत्कृष्ट है कि क्या एक विशिष्ट दावा एक विशिष्ट फ्रेम द्वारा समर्थित है, लेकिन यह प्रारंभिक खोज में होने वाली त्रुटियों को ठीक नहीं कर सकता। यदि सिस्टम शुरुआत में गलत फ्रेम निकाल लेता है, तो चेकर अभी भी उस गलत फ्रेम के लिए दावे को सत्य सत्यापित करेगा। उदाहरण के लिए, यदि कोई उपयोगकर्ता पूछता है कि वीडियो की शुरुआत में क्या होता है, तो सिस्टम बीच का कोई फ्रेम निकाल सकता है। यदि दावा उस बीच वाले फ्रेम का सटीक वर्णन करता है, तो चेकर कहेगा कि वह 'ग्राउंडेड' है, भले ही वह प्रश्न का गलत उत्तर हो। शोधकर्ता ने पाया कि उनका सिस्टम झूठ को तो पकड़ लेता था, लेकिन वह रिट्रीवल (retrieval) त्रुटियों को ठीक नहीं कर सका। यह अंतर महत्वपूर्ण है: सत्यापन चरण यह सुनिश्चित करता है कि मशीन जो देख रही है उसके बारे में ईमानदार है, लेकिन यह गारंटी नहीं देता कि मशीन सही चीज़ देख रही है।
अंततः, यह शोध पत्र यह प्रदर्शित करता है कि आर्टिफिशियल इंटेलिजेंस के लिए एक विश्वसनीय फैक्ट-चेकर बनाना मॉडल को स्मार्ट बनाने के बारे में कम और काम के लिए सही टूल चुनने के बारे में अधिक है। एक सामान्य-उद्देश्य वाला मॉडल जो कविता लिख सकता है या समाचार का सारांश दे सकता है, वह उस विशेष मॉडल के समान नहीं है जिसे तार्किक विसंगतियों का पता लगाने के लिए प्रशिक्षित किया गया है। देखने के कार्य को निर्णय लेने के कार्य से अलग करके, और एक बड़े, बातूनी मॉडल के बजाय एक छोटे, उद्देश्य-निर्मित क्लासिफायर का उपयोग करके, शोधकर्ता ने एक ऐसा सिस्टम बनाया जो स्थिर और भरोसेमंद है। उन्होंने दिखाया कि भ्रम (hallucinations) को पकड़ने का सबसे स्पष्ट तरीका विफल हो जाता है, और सबसे परिष्कृत सामान्य मॉडल भी सबसे अच्छा निर्णायक नहीं है। इसके बजाय, एक सरल, विशेष उपकरण जो यह पूछता है कि क्या एक विवरण किसी दावे का अनुसरण करता है, वास्तव में काम करता है। परिणाम एक ऐसा पाइपलाइन है जो अधिकांश निर्मित दावों को पकड़ सकता है जबकि सत्य को अछूता छोड़ देता है, जो वीडियो समझ के लिए अधिक ईमानदार पथ की ओर एक व्यावहारिक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।