Distorted or Fabricated? A Survey on Hallucination in Video LLMs
यह सर्वेक्षण डायनेमिक डिस्टॉर्शन (dynamic distortion) और कंटेंट फैब्रिकेशन (content fabrication) के बीच अंतर करने वाले एक व्यवस्थित वर्गीकरण को पेश करके, वर्तमान मूल्यांकन और शमन रणनीतियों की समीक्षा करके, और अधिक सुदृढ़ वीडियो-भाषा प्रणालियों के निर्माण के लिए भविष्य की अनुसंधान दिशाओं को रेखांकित करके वीडियो लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) का एक व्यापक विश्लेषण प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान मित्र है जिसे वीडियो देखना बहुत पसंद है। आप उन्हें एक लाल कालीन पर सोती हुई बिल्ली का क्लिप दिखाते हैं, और वे उसका बिल्कुल सटीक वर्णन करते हैं। लेकिन फिर, आप उन्हें रसोई में खाना बनाते हुए एक व्यक्ति का वीडियो दिखाते हैं, और आपका मित्र पूरे आत्मविश्वास के साथ कहता है, "वह नीली शर्ट पहन रहा है और 'हैप्पी बर्थडे' गा रहा है!"
आप वीडियो देखते हैं: वह व्यक्ति सफेद एप्रन पहने हुए है, और रसोई में सन्नाटा है। आपका मित्र भ्रमित (hallucinating) हो रहा है। वे ऐसी बारीकियां बना रहे हैं जो सुनने में तर्कसंगत लगती हैं लेकिन वहां मौजूद ही नहीं हैं।
यह पेपर एक "यूजर मैनुअल" है यह समझने के लिए कि ये वीडियो लार्ज लैंग्वेज मॉडल्स (Vid-LLMs) इतने रचनात्मक रूप से सच के साथ क्यों छेड़छाड़ करते हैं, और हम उन्हें कैसे ठीक कर सकते हैं। इसका विवरण सरल शब्दों में यहाँ दिया गया है:
1. "झूठ" के दो बड़े प्रकार
लेखकों ने महसूस किया कि वीडियो मॉडल्स केवल रैंडम गलतियाँ नहीं करते; वे दो विशिष्ट प्रकार की गलतियाँ करते हैं। इसे एक अपराध स्थल सुलझाने वाले जासूस की तरह समझें:
प्रकार A: "विकृत स्मृति" (डायनेमिक डिस्टॉर्शन - Dynamic Distortion)
कल्पना कीजिए कि आपने कल एक फिल्म देखी थी, लेकिन घटनाओं के क्रम की आपकी याददाश्त गड़बड़ा गई है। आपको याद है कि नायक ने खलनायक के आने से पहले जीत हासिल की थी, या आप सोचते हैं कि पीछा करने वाला दृश्य 5 मिनट तक चला जबकि वह केवल 30 सेकंड का था।
- यह क्या है: मॉडल सही चीजों को देखता है (एक आदमी, एक रसोई, एक बर्तन), लेकिन वह समयरेखा (timeline) या पहचान (identity) को गलत समझ लेता है।
- गड़बड़ी:
- टाइम ट्रैवल: यह कहता है कि आदमी ने प्याज काटने से पहले खाना पकाया (उल्टी कार्य-कारणता/backwards causality)।
- टाइम वार्प: यह सोचता है कि एक क्रिया 10 सेकंड तक चली जबकि वह केवल 2 सेकंड की थी।
- पहचान का संकट: यह वीडियो के पहले भाग में लाल शर्ट में एक आदमी देखता है और दूसरे भाग में नीली शर्ट में एक आदमी, फिर दावा करता है कि यह तुरंत कपड़े बदलने वाला वही व्यक्ति है।
- ऐसा क्यों होता है: मॉडल मोशन (गति) को ट्रैक करने और लंबे समय तक कौन क्या है, इसे याद रखने में कमजोर है। यह एक टूटे हुए रिमोट के साथ फिल्म देखने जैसा है जो फ्रेम छोड़ देता है।
प्रकार B: "अति-सक्रिय कल्पना" (कंटेंट फैब्रिकेशन - Content Fabrication)
अब कल्पना कीजिए कि आप एक रसोई में जाते हैं और आपको एक केक दिखता है। आपका मित्र तुरंत कहता है, "किसी ने अभी यह बनाया है!" भले ही रसोई खाली और शांत हो। वे अनुमान लगा रहे हैं कि आमतौर पर क्या होता है, न कि इस आधार पर कि वास्तव में क्या हो रहा है।
- यह क्या है: मॉडल ऐसी चीजें बना देता है जिनका कोई दृश्य प्रमाण नहीं है। वे अपने "सामान्य ज्ञान" पर भरोसा करते हैं या ध्वनि से धोखा खा जाते हैं।
- गड़बड़ी:
- "स्क्रिप्ट" की त्रुटि: यह एक कुत्ता और एक गेंद देखता है, इसलिए यह मान लेता है कि कुत्ता फेच (fetch) खेल रहा है, भले ही कुत्ता बस सो रहा हो। यह दृश्य को देखने के बजाय एक स्क्रिप्ट का पालन कर रहा है।
- "ध्वनि का जाल": यदि बैकग्राउंड में तेज़ संगीत है, तो मॉडल कह सकता है, "व्यक्ति नाच रहा है!" भले ही व्यक्ति बिल्कुल स्थिर बैठा हो। ध्वनि ने आँखों पर प्रभाव डाला।
- ऐसा क्यों होता है: मॉडल वास्तविक वीडियो पिक्सेल की तुलना में अपने प्रशिक्षण डेटा (कि आमतौर पर क्या होता है) पर अधिक भरोसा करता है।
2. हम उन्हें कैसे पकड़ते हैं? (बेंचमार्क्स)
यह पेपर उन "परीक्षणों" (benchmarks) की समीक्षा करता है जिन्हें शोधकर्ताओं ने इन झूठ बोलने वालों को पकड़ने के लिए बनाया है।
- "क्रम" का परीक्षण: "क्या आदमी ने अपने जूते पहनने से पहले या बाद में फीते बांधे?"
- "गिनती" का परीक्षण: "पक्षी ने कितनी बार अपने पंख फड़फड़ाए?"
- "पहचान" का परीक्षण: "क्या वीडियो की शुरुआत में दिखने वाला व्यक्ति अंत में दिखने वाले व्यक्ति के समान है?"
- "ध्वनि बनाम दृष्टि" का परीक्षण: "क्या व्यक्ति वास्तव में रो रहा है, या यह केवल दुखद संगीत बज रहा है?"
बुरी खबर: वर्तमान मॉडल्स सरल कार्यों में बहुत अच्छे हैं लेकिन लंबे वीडियो में बहुत खराब हैं। जब वीडियो लंबा होता है, या ऑडियो तेज़ होता है, तो वे आसानी से भ्रमित हो जाते हैं।
3. हम उन्हें कैसे ठीक करते हैं? (उपचार)
पेपर मॉडल्स को भ्रमित होने से रोकने के दो मुख्य तरीके सुझाता है:
- "आंखों" को ठीक करना (बेहतर एनकोडर):
अभी, कई मॉडल्स वीडियो को स्थिर फोटो के ढेर की तरह देखते हैं। उन्हें मोशन (गति) देखना सीखना होगा। कल्पना कीजिए कि मॉडल को एक इंसान की तरह वीडियो देखना सिखाना—केवल स्थिर फ्रेम को नहीं, बल्कि गति के प्रवाह (flow) को ट्रैक करना। हमें AI के अंदर "मोशन-अवेयर" कैमरे चाहिए। - "दिमाग" को ठीक करना (काउंटरफैक्चुअल लर्निंग):
हमें मॉडल्स को यह कहना सिखाना होगा, "रुको, मैं जानता हूँ कि कुत्ते आमतौर पर गेंदों के साथ खेलते हैं, लेकिन इस विशिष्ट वीडियो में, कुत्ता सो रहा है।" हम ऐसा उन्हें "ट्रिक" वीडियो दिखाकर करते हैं जहाँ सामान्य नियम लागू नहीं होते, जिससे वे अपने अनुमानों के बजाय दृश्य साक्ष्य पर भरोसा करने के लिए मजबूर होते हैं।
4. भविष्य: एक भरोसेमंद AI का निर्माण
लेखक निष्कर्ष निकालते हैं कि यदि हम चाहते हैं कि AI वास्तविक जीवन में उपयोगी हो (जैसे कि सेल्फ-ड्राइविंग कार या रोबोट नर्स की मदद करना), तो हम इसे तथ्य बनाने की अनुमति नहीं दे सकते।
- लक्ष्य: एक ऐसा AI बनाना जो एक वफादार गवाह की तरह काम करे, न कि एक रचनात्मक लेखक की तरह।
- योजना: AI को बेहतर मेमोरी दें (ताकि वह पात्रों को न भूले), बेहतर मोशन सेंसर दें (ताकि वह समय को समझ सके), और एक सख्त नियम: "यदि आप इसे देख नहीं सकते, तो इसे न कहें।"
सारांश उपमा
एक Vid-LLM को एक वीडियो के लिए टूर गाइड के रूप रूप में समझें।
- डायनेमिक डिस्टॉर्शन तब होता है जब गाइड यात्रा कार्यक्रम (itinerary) गलत कर देता है (यह कहना कि आपने पार्क से पहले संग्रहालय देखा, जबकि यह उल्टा था)।
- कंटेंट फैब्रिकेशन तब होता है जब गाइड टूर के बारे में कहानियाँ गढ़ना शुरू कर देता है ("देखो, वह एक ड्रैगन है!") क्योंकि उन्हें लगता है कि पर्यटक यही सुनना चाहते हैं।
यह पेपर टूर गाइड को तथ्यों पर टिके रहने, समयरेखा का सम्मान करने और मनगढ़ंत बातें बनाना बंद करने के लिए प्रशिक्षित करने का मार्गदर्शिका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।