INFACT: A Diagnostic Benchmark for Induced Faithfulness and Factuality Hallucinations in Video-LLMs
यह शोध पत्र \textsc{INFACT} का परिचय देता है, जो 9,800 QA इंस्टेंस और सूक्ष्म वर्गीकरणों वाला एक व्यापक नैदानिक बेंचमार्क है जो विभिन्न प्रेरित क्षरण मोड (degradation modes) के तहत वीडियो-एलएलएम (Video-LLMs) की निष्ठा (faithfulness) और तथ्यात्मकता का मूल्यांकन करता है, जिससे यह पता चलता है कि उच्च आधार सटीकता (base accuracy) मतिभ्रम (hallucinations) के विरुद्ध मजबूती की गारंटी नहीं देती है और कई मॉडल टेम्पोरल संवेदनशीलता (temporal sensitivity) के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, बहुत आत्मविश्वासी रोबोट दोस्त है जिसे वीडियो देखना बहुत पसंद है। आप उससे पूछते हैं, "इस वीडियो में क्या हुआ?" और वह एक कहानी सुनाकर जवाब देता है। कभी-कभी, वह कहानी एकदम सटीक होती है। लेकिन अक्सर, रोबोट अपनी ओर से बातें बनाने लगता है। वह कह सकता है कि किसी पात्र ने लाल टोपी पहनी थी जबकि वास्तव में उसने नीली टोपी पहनी थी (वह जो देख रहा है उसके बारे में झूठ बोल रहा है), या वह दावा कर सकता है कि एक कार उड़ सकती है क्योंकि वह "जानता" है कि कारें बहुत कूल होती हैं, भले ही वीडियो में स्पष्ट रूप से दिखाया गया हो कि कार एक दीवार से टकरा गई है (वह दुनिया के काम करने के तरीके के बारे में झूठ बोल रहा है)।
यह शोध पत्र एक नया टूल पेश करता है जिसे INFACT कहा जाता है, ताकि यह परखा जा सके कि ये वीडियो देखने वाले रोबोट सच बोलने में कितने अच्छे (या बुरे) हैं।
यहाँ रोज़मर्रा के उदाहरणों का उपयोग करके इस शोध पत्र का विवरण दिया गया है:
1. "झूठ" के दो प्रकार
शोधकर्ताओं ने महसूस किया कि रोबोट दो अलग-अलग तरह की गलतियाँ करते हैं, और उन्हें अलग-अलग तरह से परखने की आवश्यकता है:
वफादारी (Faithfulness) (क्या आपने वीडियो देखा? वाला टेस्ट):
- उदाहरण: कल्पना कीजिए कि आप एक रोबोट को बिल्ली द्वारा चूहे का पीछा करने का वीडियो दिखाते हैं। यदि रोबोट कहता है, "बिल्ली सो रही थी," तो वह Faithfulness टेस्ट में विफल रहा। उसने अपनी आँखों के सामने मौजूद वास्तविक साक्ष्यों पर ध्यान नहीं दिया।
- लक्ष्य: क्या रोबोट वीडियो में दिखाई गई तथ्यों पर टिका रहता है?
तथ्यात्मकता (Factuality) (क्या आप जानते हैं कि दुनिया कैसे काम करती है? वाला टेस्ट):
- उदाहरण: कल्पना कीजिए कि वीडियो में एक व्यक्ति पानी पर चलने की कोशिश कर रहा है। यदि रोबोट कहता है, "हाँ, यह यात्रा करने का एक सामान्य तरीका है," तो वह Factuality टेस्ट में विफल रहा। भले ही वीडियो में कोई व्यक्ति पानी पर चलता हुआ दिख रहा हो (शायद कोई स्पेशल इफेक्ट हो), रोबोट को पता होना चाहिए कि वास्तविक भौतिकी (physics) के आधार पर इंसान पानी पर नहीं चल सकते।
- लक्ष्य: क्या रोबोट वास्तविकता के नियमों को जानता है, भले ही वीडियो उसे धोखा देने की कोशिश करे?
2. "स्ट्रेस टेस्ट" जिम
अधिकांश पिछले परीक्षण एक पार्क में शांत सैर की तरह थे। रोबोट एक स्पष्ट, उच्च-गुणवत्ता वाला वीडियो देखते थे और सवालों के जवाब देते थे। लेकिन वास्तविक दुनिया में, वीडियो बिखरे हुए और अस्त-व्यस्त होते हैं! वे धुंधले हो सकते हैं, उनमें खराब सबटाइटल हो सकते हैं, या उन्हें एडिट किया जा सकता है।
INFACT इन रोबोटों के लिए एक स्ट्रेस-टेस्ट जिम की तरह है। यह उन्हें चार विशिष्ट अभ्यास करवाता है:
- अभ्यास 1: साफ कमरा (बेस मोड): रोबोट एक बेहतरीन वीडियो देखता है। यह केवल यह देखने के लिए है कि वह सामान्य रूप से कितना स्मार्ट है।
- अभ्यास 2: धुंधली खिड़की (विजुअल डिग्रेडेशन): शोधकर्ता वीडियो में स्टैटिक (static), धुंधलापन जोड़ देते हैं, या वीडियो को ऐसा बना देते हैं जैसे इसे किसी सस्ते फोन से रिकॉर्ड किया गया हो।
- टेस्ट: क्या रोबोट अभी भी बिल्ली को चूहे का पीछा करते हुए देख पाता है, या वह "धुंध" से भ्रमित होकर अंदाज़ लगाने लगता है?
- अभ्यास 3: गैसलाइटिंग (साक्ष्य भ्रष्टाचार): यह सबसे पेचीदा है। शोधकर्ता वीडियो के ऊपर नकली सबटाइटल या भ्रामक टेक्स्ट जोड़ देते हैं।
- टेस्ट: वीडियो में एक दरवाज़ा खुल रहा है, लेकिन नकली सबटाइटल कहता है "दरवाज़ा बंद हो रहा है।" क्या रोबोट अपनी आँखों पर भरोसा करता है, या वह टेक्स्ट के झांसे में आ जाता है? (स्पॉइलर: कई रोबोट आसानी से धोखा खा जाते हैं)।
- अभ्यास 4: समय-यात्री (टेम्पोरल इंटरवेंशन): शोधकर्ता किसी व्यक्ति का सैंडविच बनाने का वीडियो लेते हैं (पहले ब्रेड, फिर पीनट बटर, फिर जेली) और फिर फ्रेम को इस तरह बदल देते हैं कि ऐसा लगे कि उन्होंने पहले जेली रखी, फिर पीनट बटर, और फिर ब्रेड रखी।
- टेस्ट: क्या रोबोट को एहसास होता है कि क्रम गलत है? या वह बस यही कह देता है, "हाँ, यह एक सैंडविच जैसा दिखता है," और उस अराजकता को नज़रअंदाज़ कर देता है?
3. परिणाम: "स्मार्ट" होने का मतलब "विश्वसनीय" होना नहीं है
शोधकर्ताओं ने 14 अलग-अलग वीडियो रोबोट्स का परीक्षण किया (जिनमें GPT-5 और Gemini जैसे बड़े नाम शामिल हैं)। यहाँ उन्हें क्या मिला:
- "अति-आत्मविश्वास" की समस्या: कई रोबोट "क्लीन रूम" टेस्ट में बहुत अच्छे होते हैं। वे उच्च स्कोर प्राप्त करते हैं। लेकिन जैसे ही आप धुंध या नकली टेक्स्ट जोड़ते हैं, उनका प्रदर्शन गिर जाता है। यह एक ऐसे छात्र की तरह है जिसने प्रैक्टिस टेस्ट के उत्तर रट लिए हैं लेकिन असली परीक्षा में फेल हो जाता है जब प्रश्न थोड़े अलग होते हैं।
- "समय-अंधापन" की समस्या: जब शोधकर्ताओं ने वीडियो फ्रेम को बदला, तो कई रोबot ने ध्यान तक नहीं दिया! वे बिना कुछ बदले वही उत्तर देते रहे। इसे टेम्पोरल इनेर्शिया (Temporal Inertia) कहा जाता है। यह फिल्म को उल्टा चलाने और फिर भी यह कहने जैसा है कि, "यह एक बिल्कुल सामान्य कहानी है," क्योंकि रोबोट वास्तव में घटनाओं के क्रम को ट्रैक नहीं कर रहा है, बल्कि केवल सामान्य "वाइब" को समझ रहा है।
- "तथ्य" का अंतर: रोबोट "फैक्टुअलिटी" टेस्ट (दुनिया के नियमों को जानना) में "फेथफुलनेस" टेस्ट (वीडियो देखना) की तुलना में बहुत खराब प्रदर्शन करते हैं। वे अक्सर 100% आत्मविश्वास के साथ अजीब भौतिकी या गलत ऐतिहासिक तथ्य गढ़ते हैं।
4. यह क्यों महत्वपूर्ण है
इन Video-LLMs को चिकित्सा निदान, सुरक्षा निगरानी, या शैक्षिक उपकरणों के भविष्य के रूप में देखें।
- यदि एक मेडिकल रोबोट सर्जरी का वीडियो देखते समय यह कल्पना कर लेता है कि एक उपकरण का उपयोग किया गया था जबकि वह नहीं किया गया था, तो यह खतरनाक है।
- यदि एक सुरक्षा रोबोट पानी पर चलते हुए व्यक्ति का वीडियो देखता है (एक स्पेशल इफेक्ट) और इसे एक वास्तविक घटना के रूप में रिपोर्ट करता है, तो यह एक गलत अलार्म होगा।
INFACT एक नया "झूठ पकड़ने वाला यंत्र" (lie detector) है जो केवल यह नहीं पूछता कि "क्या आप स्मार्ट हैं?" बल्कि यह पूछता है कि "क्या आप गड़बड़ी होने पर विश्वसनीय हैं?"
मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि सिर्फ इसलिए कि एक रोबोट एक साफ टेस्ट में "A" ग्रेड प्राप्त करता है, इसका मतलब यह नहीं है कि उस पर वास्तविक दुनिया में भरोसा किया जा सकता है। हमें ऐसे रोबोट बनाने की आवश्यकता है जो केवल पैटर्न को याद न करें, बल्कि वास्तव में समझें कि वे क्या देख रहे हैं और जानें कि दुनिया कैसे काम करती है, भले ही वीडियो धुंधला, भ्रमित करने वाला या उन्हें धोखा देने वाला हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।