TRACE: Temporal Retrieval with Anchored and Convergent Evidence for Long-Horizon Video Understanding

एक विशिष्ट प्रश्न का उत्तर देने के लिए लंबे वीडियो को देखना एक ऐसा कार्य है जो एक इंसान के लिए सरल लगता है लेकिन कृत्रिम बुद्धिमत्ता (AI) के लिए आश्चर्यजनक रूप से कठिन बना हुआ है। जब कोई व्यक्ति फिल्म देखता है, तो वह केवल छवियों के प्रवाह को नहीं देखता; बल्कि वह घटनाओं का एक मानसिक मानचित्र बनाता है, यह याद रखता है कि एक पात्र ने पहले अंक (act) में एक चाबी उठाई थी और इस चाबी का उपयोग अंतिम दृश्य में दरवाजा खोलने के लिए किया गया था। हालाँकि, वर्तमान कंप्यूटर सिस्टम अक्सर इस तरह की लंबी अवधि की समझ (long-horizon understanding) के साथ संघर्ष करते हैं। वे वीडियो के कुछ स्नैपशॉट देख सकते हैं और उत्तर का अनुमान लगा सकते हैं, या वे कथानक के पाठ सारांश (text summary) को पढ़ने की कोशिश कर सकते हैं और दृश्य विवरणों को पूरी तरह से छोड़ सकते हैं। मुख्य समस्या यह है कि लंबे वीडियो के बारे में कई प्रश्न समय के विभिन्न क्षणों में बिखरे हुए साक्ष्यों पर निर्भर करते हैं। यदि कोई सिस्टम उन बिखरे हुए क्षणों में से एक को भी चूक जाता है, तो वह सत्य को नहीं जान सकता, फिर भी वह केवल अनुमान लगाकर एक आत्मविश्वासपूर्ण, सही दिखने वाला उत्तर दे सकता है। एक सिस्टम जो दावा करता है कि वह जानता है और वह जो वास्तव में देख चुका है, उसके बीच का यह अंतर केंद्रीय चुनौती है जिसे शोधकर्ता हल करने का प्रयास कर रहे हैं।

शोधकर्ताओं की एक टीम ने TRACE नामक एक नया दृष्टिकोण पेश किया है, जिसे AI को उत्तर देने से पहले वीडियो के सही हिस्सों को देखने के लिए मजबूर करने के लिए डिज़ाइन किया गया है। टेक्स्ट सारांशों पर भरोसा करने या कुछ यादृच्छिक फ्रेम के आधार पर अनुमान लगाने के बजाय, TRACE एक सतर्क पर्यवेक्षक की तरह कार्य करता है जो अपने उत्तर को टुकड़ों में बनाता है। यह प्रश्न के लिए प्रासंगिक लगने वाले छोटे, विशिष्ट क्लिप्स, या "एंकर" (anchors) खोजने के लिए वीडियो को स्कैन करके शुरू करता है। इसके बाद यह इन क्लिप्स को एक साथ समूहित करता है और सिस्टम से केवल उसी के आधार पर प्रश्न का उत्तर देने के लिए कहता है जो उसने अब तक देखा है। सिस्टम यहाँ नहीं रुकता है। यह अपने संग्रह में नए क्लिप्स जोड़ना जारी रखता है और प्रश्न को बार-बार पूछता रहता है। यह प्रक्रिया केवल तब तक जारी रहती है जब तक कि उत्तर बदलना बंद नहीं हो जाता, जो यह दर्शाता है कि सिस्टम निश्चित होने के लिए पर्याप्त दृश्य साक्ष्य एकत्र कर चुका है। महत्वपूर्ण रूप से, सिस्टम अपने काम की जाँच करने के लिए अंतिम क्लिप्स के सेट को एक आखिरी बार फिर से चलाकर (replay) यह सुनिश्चित करता है कि उत्तर बना रहे। यह विधि सुनिश्चित करती है कि अंतिम उत्तर आंशिक दृश्य के आधार पर लगाया गया अनुमान नहीं है, बल्कि तथ्यों के एक पूर्ण सेट पर आधारित निष्कर्ष है।

यह परीक्षण करने के लिए कि क्या यह विधि वास्तव में काम करती है, शोधकर्ताओं ने VES-Bench नामक एक नया परीक्षण मैदान बनाया है। यह 348 सार्वजनिक वीडियो से लिए गए 600 प्रश्नों का एक संग्रह है, जिसमें घटनाओं के क्रम का पता लगाने या किसी विशिष्ट क्रिया के कितनी बार होने की गिनती करने जैसे कार्य शामिल हैं। VES-Bench के विपरीत पिछले परीक्षण, जो केवल यह देखते थे कि अंतिम उत्तर सही था या गलत, यह स्वयं प्रक्रिया का ऑडिट करता है। यह ठीक से ट्रैक करता है कि सिस्टम ने निर्णय लेने से पहले वीडियो के किन फ्रेमों को देखा। परीक्षण यह सत्यापित करता है कि क्या सिस्टम ने वास्तव में हर उस क्षण को देखा है जो प्रश्न का सही उत्तर देने के लिए आवश्यक था। यदि कोई सिस्टम सही उत्तर प्राप्त करता है लेकिन एक महत्वपूर्ण दृश्य को छोड़ देता है, तो ऑडिट इसे विफलता के रूप में चिह्नित करता है, क्योंकि उत्तर वास्तव में साक्ष्य द्वारा समर्थित नहीं था। यह सख्त मूल्यांकन प्रकट करता है कि कई मौजूदा विधियाँ अक्सर भाग्यशाली होती हैं, जो आवश्यक भागों को देखे बिना ही सही उत्तर दे देती हैं।

जब शोधकर्ताओं ने इस कठोर परीक्षण पर TRACE को लागू किया, तो परिणामों ने एक स्पष्ट लाभ दिखाया। समान अंतर्निहित तकनीक का उपयोग करते हुए, TRACE ने 50.7 प्रतिशत प्रश्नों के सही उत्तर दिए और यह भी सुनिश्चित किया कि उसने प्रत्येक आवश्यक दृश्य से कम से कम दो अलग-अलग फ्रेम देखे हैं। इसकी तुलना में, अन्य विधियों ने, जिन्होंने फ्रेमों की समान संख्या देखी थी, अक्सर सभी आवश्यक दृश्यों को कवर करने में विफलता दिखाई, या उन्हें उसी स्तर की निश्चितता प्राप्त करने के लिए दोगुने से अधिक फ्रेम देखने पड़े। TRACE ने प्रति प्रश्न औसतन 100 से कम फ्रेम का उपयोग करते हुए इस उच्च स्तर की सटीकता हासिल की, जो उन सिस्टमों द्वारा आवश्यक लागत का एक छोटा हिस्सा है जो केवल एक समान दर पर वीडियो को स्कैन करते हैं। अध्ययन में पाया गया कि सफलता की कुंजी केवल अधिक डेटा देखना नहीं था, बल्कि यह जानना था कि कब देखना बंद करना है। यह प्रतीक्षा करने के बाद कि उत्तर स्थिर हो जाए और फिर कच्चे दृश्य साक्ष्य की दोबारा जाँच करने के बाद, TRACE ने अपूर्ण जानकारी के आधार पर अनुमान लगाने के जाल से खुद को बचाया।

शोधकर्ताओं ने यह भी पाया कि केवल फ्रेमों की संख्या बढ़ाना हमेशा बेहतर उत्तरों की ओर नहीं ले जाता है। जब उन्होंने उन मानक सिस्टमों का परीक्षण किया जो अधिक से अधिक फ्रेम देखते हैं, तो सटीकता एक बिंदु तक तो सुधरी, जिसके बाद अधिक फ्रेम जोड़ने से कोई मदद नहीं मिली। यह सुझाव देता है कि समस्या डेटा की कमी नहीं है, बल्कि यह जानने की रणनीति की कमी है कि कौन सा डेटा महत्वपूर्ण है। TRACE ने एक "साक्ष्य प्रक्षेपवक्र" (trajectory of evidence) का उपयोग करके इसे हल किया, जहाँ सिस्टम यह पहचानना सीखता है कि उसने निश्चित होने के लिए पर्याप्त जानकारी एकत्र कर ली है। अध्ययन पुष्टि करता है कि लंबे वीडियो के लिए, केवल एक साथ बड़ी मात्रा में वीडियो प्रोसेस करने की तुलना में विशिष्ट दृश्य क्षणों को खोजने और एकीकृत करने की क्षमता अधिक महत्वपूर्ण है। कच्चे दृश्य क्लिप्स में उत्तरों को स्थापित करके और साक्ष्य पूर्ण होने पर ही रुककर, TRACE यह प्रदर्शित करता है कि समय के साथ घटित होने वाली दुनिया को समझने के लिए मशीनों के पास एक अधिक विश्वसनीय तरीका है।