ViTexQA: A Multi-Frame Temporal Perception Dataset for Video Text Question Answering

कल्पना कीजिए कि आप एक रहस्यमयी फिल्म देख रहे हैं जहाँ अपराध को सुलझाने के सुराग एक ही दृश्य में नहीं हैं। इसके बजाय, अपराधी का नाम पहले मिनट में एक बस पर लिखा है, अपराध का समय बीच में एक घड़ी पर दिखाया गया है, और अंतिम स्थान आखिरी मिनट में एक साइन बोर्ड पर प्रकट होता है। इस रहस्य को सुलझाने के लिए, आपको इन बिखरे हुए सूचनाओं के टुकड़ों को याद रखना और जोड़ना होगा।

अधिकांश वर्तमान AI मॉडल उन दर्शकों की तरह हैं जो केवल फिल्म के एक स्थिर फ्रेम को देखते हैं। यदि आप उन्हें बस की तस्वीर दिखाते हैं, तो वे नाम पढ़ सकते हैं। लेकिन यदि आप उनसे ऐसा प्रश्न पूछते हैं जिसके लिए बस का नाम और घड़ी का समय और साइन बोर्ड को जानना आवश्यक हो, तो वे अटक जाते हैं क्योंकि वे समय के माध्यम से बिंदुओं को "जोड़" नहीं पाते हैं।

यह शोध पत्र, ViTexQA, AI को एक बेहतर मूवी डिटेक्टिव (जासूस) बनाने का एक नया तरीका पेश करता है। यहाँ इसका सरल विवरण दिया गया है:

1. समस्या: "स्नैपशॉट" का जाल

वर्तमान AI मॉडल एक एकल चित्र (जैसे दीवार पर लगे साइन) में टेक्स्ट पढ़ने में बहुत अच्छे हैं। हालाँकि, वास्तविक दुनिया के वीडियो गतिशील होते हैं। टेक्स्ट अक्सर समय के साथ दिखाई देता है, चलता है, बदलता है या गायब हो जाता है।

• समस्या: शोधकर्ताओं ने पाया कि मौजूदा वीडियो परीक्षण "चीटिंग" कर रहे थे। उन्होंने ऐसे प्रश्न पूछे जिन्हें केवल एक सिंगल फ्रेम देखकर हल किया जा सकता था। यह पूछने जैसा था कि "कार का रंग क्या है?" जब उत्तर एक स्नैपशॉट में ही स्पष्ट हो।
• वास्तविकता: वास्तविक वीडियो समझ एक कहानी पढ़ने की तरह है जहाँ कथानक समय के साथ विकसित होता है। आपको यह समझने के लिए कि अभी क्या हो रहा है, यह याद रखना होगा कि आपने 10 सेकंड पहले क्या देखा था।

2. समाधान: एक नया डेटासेट (ViTexQA)

टीम ने वीडियो प्रश्नों की एक विशाल नई लाइब्रेरी बनाई जिसे ViTexQA कहा जाता है।

• नियम: इस लाइब्रेरी का हर एक प्रश्न केवल एक फ्रेम देखकर हल करना असंभव है।
• उपमा: "स्कैवेंजर हंट" (खोज अभियान) के खेल की कल्पना करें जहाँ सुराग एक लंबे वीडियो के विभिन्न हिस्सों में छिपे होते हैं। जीतने के लिए, AI को पूरा वीडियो देखना होगा, नोट्स लेने होंगे कि कब कौन सा टेक्स्ट दिखाई दिया, और फिर उन नोट्स को जोड़कर उत्तर खोजना होगा।
• सामग्री: उन्होंने स्पोर्ट्स स्कोर, न्यूज़ टिकर, ड्राइविंग साइन और स्क्रॉल होने वाले टेक्स्ट सहित 5,000 से अधिक वीडियो एकत्र किए। उन्होंने विशेष रूप से स्क्रीन पर टेक्स्ट के रोल होने वाले 100 नकली वीडियो भी बनाए ताकि इस क्षमता का परीक्षण किया जा सके।
• मानवीय स्पर्श: कई AI प्रोजेक्ट्स के विपरीत जो प्रश्नों को लिखने के लिए अन्य AI का उपयोग करते हैं, यहाँ हर प्रश्न और उत्तर इंसानों द्वारा लिखा गया है ताकि यह सुनिश्चित किया जा सके कि वे वास्तव में कठिन हैं और उनमें वास्तविक सोच की आवश्यकता है।

3. विधि: "FrameThinker"

AI को इन "स्कैवेंजर हंट" पहेलियों को हल करना सिखाने के लिए, उन्होंने FrameThinker नामक एक प्रशिक्षण पद्धति बनाई। इसे AI के लिए दो-चरणीय प्रशिक्षण शिविर के रूप में समझें:

• चरण 1: "नोट लेने वाली" क्लास (सुपरवाइज्ड फाइन-ट्यूनिंग)
  सबसे पहले, वे AI को एक सावधान छात्र की तरह कार्य करना सिखाते हैं। केवल अनुमान लगाने के बजाय, AI को "चेन ऑफ थॉट" (विचारों की श्रृंखला) लिखने के लिए मजबूर किया जाता है। उसे कहना होगा: "12 सेकंड पर, मैंने स्क्रीन पर 'Start' देखा। 30 सेकंड पर, मैंने '50% Progress' देखा। 90 सेकंड पर, मैंने 'Finish' देखा।" वह उत्तर देने से पहले अपने द्वारा खोजे गए साक्ष्यों को स्पष्ट रूप से सूचीबद्ध करना सीखता है।

• चरण 2: "कोच का फीडबैक" क्लास (रीइन्फोर्समेंट लर्निंग)
  इसके बाद, वे एक रिवॉर्ड सिस्टम का उपयोग करते हैं। यदि AI सही उत्तर देता है लेकिन टाइम-स्टेप्स को छोड़ देता है, या यदि वह समय गलत बताता है, तो उसे "खराब ग्रेड" मिलता है। यदि वह वीडियो की शुरुआत से अंत तक के टेक्स्ट को सही ढंग से जोड़ता है, तो उसे "गोल्ड स्टार" मिलता है। यह AI को उत्तर के साथ-साथ टाइमिंग और जुड़ाव को महत्व देने के लिए प्रशिक्षित करता है।

4. परिणाम

जब उन्होंने इस नई पद्धति का परीक्षण उपलब्ध सबसे स्मार्ट AI मॉडल्स के विरुद्ध किया:

• अंतर: मौजूदा बेहतरीन मॉडल भी संघर्ष करते रहे, क्योंकि वे अक्सर उत्तर गलत दे देते थे क्योंकि वे वीडियो के केवल एक "स्नैपशॉट" का उपयोग करके पहेली को हल करने की कोशिश करते थे।
• जीत: FrameThinker मॉडल, जिसे इस नए डेटासेट पर प्रशिक्षित किया गया था, अन्य सभी से काफी बेहतर प्रदर्शन करता है। इसने साबित कर दिया कि जब आप AI को पूरे टाइमलाइन को देखने और बिंदुओं को जोड़ने के लिए मजबूर करते हैं, तो वह वीडियो टेक्स्ट को समझने में बहुत बेहतर हो जाता है।

सारांश

संक्षेप में, शोध पत्र कहता है: "वर्तमान AI वीडियो में कहानियों को पढ़ने में खराब है क्योंकि यह केवल एकल चित्रों को देखता है। हमने एक नया परीक्षण (ViTexQA) बनाया जो AI को पूरी कहानी पढ़ने के लिए मजबूर करता है, और हमने एक प्रशिक्षण पद्धति (FrameThinker) बनाई जो AI को यह नोट्स लेने के लिए सिखाती है कि चीजें कब होती हैं। परिणाम एक ऐसा AI है जो अंततः वीडियो टेक्स्ट को उसी तरह समझ सकता है जैसे इंसान समझते हैं—अतीत, वर्तमान और भविष्य को जोड़कर।"