TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs
TimeLens2 एक सामान्यवादी वीडियो टेम्पोरल ग्राउंडिंग फ्रेमवर्क पेश करता है जो विविध बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए एक नवीन मल्टी-स्पैन सुपरविजन रणनीति और एक टेम्पोरल वासरस्टीन रिवॉर्ड का लाभ उठाते हुए मल्टीमॉडल एलएलएम (LLMs) का उपयोग करता है, जो समान आकार के बेसलाइन और बहुत बड़े ओपन-सोर्स मॉडलों दोनों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोटिक दोस्त है जो दुनिया का कोई भी वीडियो देख सकता है और विस्तार से बता सकता है कि उसमें क्या हो रहा है। यह एक व्यक्तिगत कथावाचक (नैरेटर) होने जैसा है जो कभी कोई विवरण नहीं चूकता। लेकिन इसमें एक पेंच है: यदि आप पूछते हैं, "कुत्ता कब फ्रिसबी पकड़ता है?" तो रोबोट कह सकता है, "कुत्ता फ्रिसबी पकड़ता है!" और बहुत आत्मविश्वास के साथ बोलेगा, लेकिन वह आपको यह नहीं बताएगा कि उस दृश्य को देखने के लिए आपको वीडियो को कब रोकना है। यह एक ऐसी किताब पढ़ने जैसा है जहाँ कथावाचक कहानी तो बताता है लेकिन आपको पेज नंबर देने से मना कर देता है। बिना उन पेज नंबरों (या इस मामले में टाइमस्टैम्प्स) के, आप कहानी की पुष्टि नहीं कर सकते या खुद सबूत नहीं ढूँढ सकते। यही "टेम्पोरल ग्राउंडिंग" (temporal grounding) की समस्या है। वैज्ञानिक एआई को न केवल वीडियो का वर्णन करना, बल्कि यह भी सिखाने की कोशिश कर रहे हैं कि क्रिया ठीक किन सेकंडों में होती है, भले ही वे सेकंड एक लंबी फिल्म में बिखरे हुए हों या वीडियो किसी हिलते हुए, फर्स्ट-पर्सन दृष्टिकोण से फिल्माया गया हो।
यहाँ TimeLens2 आता है, जो एक नया एआई मॉडल है जिसे परम वीडियो जासूस (वीडियो डिटेक्टिव) बनने के लिए डिज़ाइन किया गया है। जबकि पिछले एआई मॉडल उन जासूसों की तरह थे जो अपराध स्थल का वर्णन तो कर सकते थे लेकिन संदिग्ध द्वारा बंदूक गिराने के सटीक क्षण को नहीं ढूँढ पाते थे, TimeLens2 को सटीक समय अंतराल खोजने के लिए प्रशिक्षित किया गया है, चाहे वह एक सेकंड हो या दो घंटे की फिल्म में बिखरे हुए दर्जनों क्षण। शोधकर्ताओं ने पाया कि इसे सफल बनाने के लिए, उन्हें एआई को सिखाने का तरीका पूरी तरह से बदलना पड़ा। केवल उसे एक वीडियो दिखाकर उत्तर माँगने के बजाय, उन्होंने एक विशेष "वेरिफिकेशन पाइपलाइन" बनाई जहाँ कई एआई एजेंट न्यायाधीशों के एक पैनल की तरह काम करते हैं, एक-दूसरे के काम की जाँच करते हैं ताकि यह सुनिश्चित हो सके कि टाइमस्टैम्प वास्तविक हैं और केवल अनुमान नहीं। उन्होंने एआई के उत्तरों को ग्रेड करने का एक नया तरीका भी ईजाद किया जो "करीब" होने के लिए आंशिक क्रेडिट देता है, भले ही एआई सटीक स्टार्ट या एंड टाइम मिस कर दे, बजाय इसके कि किसी भी गलती के लिए उसे शून्य दिया जाए। परिणाम? एक कॉम्पैक्ट एआई मॉडल (2 बिलियन पैरामीटर्स जितना छोटा) जो बड़े, महंगे मॉडलों की तुलना में वीडियो में सबूत खोजने में बेहतर है, जो यह साबित करता है कि सही प्रशिक्षण के साथ, एक छोटा दिमाग एक विशाल दिमाग से अधिक तेज जासूस हो सकता है।
जासूस का नया टूलकिट
तो, TimeLens2 वीडियो में "कब" खोजने में इतना अच्छा कैसे बना? शोधकर्ताओं ने महसूस किया कि एआई को प्रशिक्षित करने का पुराना तरीका टूटा हुआ था। कल्पना कीजिए कि आप एक छात्र को घास के ढेर में सुई खोजने के लिए सिखाने की कोशिश कर रहे हैं और बस उन्हें पूरा ढेर थमा देते हैं और कहते हैं, "सुई ढूँढो।" यदि छात्र गलत अनुमान लगाता है, तो आप बस कहते हैं "नहीं," और उन्हें पता ही नहीं चलता कि वे कितने करीब थे। वीडियो एआई की दुनिया में, इसका मतलब था कि यदि मॉडल ने गलत सेकंड का अनुमान लगाया, तो उसे शून्य क्रेडिट मिला, भले ही वह केवल एक सेकंड की दूरी पर क्यों न हो। इससे सीखना बहुत धीमा और निराशाजनक हो गया।
इसे ठीक करने के लिए, टीम ने TimeLens2-93K बनाया, जो एक चतुर, बहु-चरणीय प्रक्रिया के साथ बनाया गया एक विशाल डेटासेट है। इसे सटीक वीडियो सुरागों की एक प्रोडक्शन लाइन की तरह समझें:
- रफ ड्राफ्ट: सबसे पहले, उन्होंने एक स्मार्ट एआई का उपयोग पूरे वीडियो के लिए एक कहानी (कैप्शन) लिखने के लिए किया, जिसे छोटे दृश्यों में विभाजित किया गया।
- प्रश्न: उन दृश्यों से, उन्होंने प्रश्न उत्पन्न किए जैसे, "सॉस को कब हिलाया जा रहा है?"
- डबल-चेक: यहाँ जादू वाला हिस्सा है। केवल एक उत्तर पर भरोसा करने के बजाय, उन्होंने वीडियो को दो अलग-अलग एआई "जासूसों" के पास भेजा। इन जासूसों ने स्वतंत्र रूप से समय अंतराल खोजने का काम किया।
- आम सहमति (Consensus): यदि दोनों जासूसों ने समय पर सहमति जताई, तो उत्तर को रखा गया। यदि वे असहमत थे, तो उसे हटा दिया गया। इसने सुनिश्चित किया कि प्रशिक्षण डेटा बेहद विश्वसनीय था।
- पॉलिश: अंत में, उन्होंने सटीक स्टार्ट और एंड टाइम को शार्प करने के लिए एक तीसरे, और भी स्मार्ट एआई का उपयोग किया, जिससे सीमाएँ सटीक बनीं।
इस प्रक्रिया ने एक अव्यवस्थित, अविश्वसनीय डेटासेट को 93,000 उच्च-गुणवत्ता वाले उदाहरणों की खदान में बदल दिया जहाँ एआई को पता है कि चीजें वास्तव में कब होती हैं।
"वैसरस्टीन" स्कोर: ग्रेडिंग का एक नया तरीका
एक बार जब एआई के पास सीखने के लिए अच्छा डेटा आ गया, तो शोधकर्ताओं को उसे अपने काम को ग्रेड करना सिखाना था। उन्होंने टेम्पोरल वैसरस्टीन रिवॉर्ड (Temporal Wasserstein reward) नामक एक नई स्कोरिंग पद्धति पेश की।
कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको टाइमलाइन पर छिपे हुए खजाने का स्थान गेस करना है।
- पुराना तरीका (tIoU): यदि आप गलत जगह का अनुमान लगाते हैं, तो आपको शून्य मिलता है। इससे कोई फर्क नहीं पड़ता कि आप एक इंच दूर थे या एक मील दूर; आपको कुछ नहीं मिलता। यह एक ऐसे शिक्षक की तरह है जो आपको गलत तारीख लिखने के लिए "F" ग्रेड देता है, भले ही आप केवल एक दिन ही पीछे रह गए हों।
- TimeLens2 का तरीका (Wasserstein): यह नया तरीका एक जीपीएस (GPS) की तरह है। यदि आप एक इंच दूर हैं, तो यह कहता है, "आप लगभग पहुँच गए हैं!" और आपको उच्च स्कोर देता है। यदि आप एक मील दूर हैं, तो यह कहता है, "आप बहुत दूर हैं," और आपको कम स्कोर देता है। यह आपके अनुमान और सच्चाई के बीच की दूरी को मापता है।
यह महत्वपूर्ण है क्योंकि यह एआई को तब भी प्रयास जारी रखने के लिए प्रेरित करता है जब तक कि वह सटीक उत्तर के करीब न पहुँच जाए, भले ही उसने अभी तक सटीक उत्तर नहीं खोजा है। पेपर दिखाता है कि यह तरीका एआई को गलतियों से उबरने में बहुत तेजी से मदद करता है, "साइलेंट" विफलताओं (जहाँ एआई को शून्य मिलता है और वह कुछ नहीं सीख पाता) को मूल्यवान सीखने के क्षणों में बदल देता है।
परिणाम: छोटा दिमाग, बड़ी कुशलता
टीम ने सात अलग-अलग वीडियो चुनौतियों पर TimeLens2 का परीक्षण किया, जिसमें लोगों के कार्यों के छोटे क्लिप से लेकर लंबे, जटिल वीडियो शामिल थे जो व्यक्ति की अपनी आँखों (जैसे हेलमेट पर लगा गोप्रो) के दृष्टिकोण से फिल्माए गए थे। उन्होंने मॉडल के तीन संस्करणों का परीक्षण किया: एक छोटा 2-बिलियन पैरामीटर वाला संस्करण, एक मध्यम 4-बिलियन वाला, और एक बड़ा 8-बिलियन वाला।
परिणाम आश्चर्यजनक थे। TimeLens2 का छोटा 2-बिलियन वाला संस्करण हर एक टेस्ट में अन्य सभी समान आकार के एआई मॉडलों को पछाड़ गया। इससे भी अधिक प्रभावशाली बात यह है कि 4-बिलियन वाला संस्करण उन विशाल, प्रोप्राइटरी मॉडलों से बेहतर प्रदर्शन करता है जो सैकड़ों गुना बड़े (जैसे 397-बिलियन पैरामीटर वाला मॉडल) हैं। सरल शब्दों में, एक छोटा, अच्छी तरह से प्रशिक्षित TimeLens2 मॉडल, एक विशाल, महंगे मॉडल की तुलना में बेहतर वीडियो जासूस है जिसे समान सावधानीपूर्वक प्रशिक्षण नहीं मिला है।
उदाहरण के लिए, "मोमेंटसीकर" (MomentSeeker) नामक एक टेस्ट पर, जहाँ एआई को "दरवाजे के पास क्या रखा गया था?" जैसे प्रश्नों का उत्तर देना होता है, TimeLens2 मॉडलों ने अपने बेस वर्ज़न्स की तुलना में अपने स्कोर में काफी सुधार किया। 2B मॉडल 14.2 अंक, 4B मॉडल 13.0 अंक, और 8B मॉडल 18.1 अंक उछला। यह सुझाव देता है कि "सीक्रेट सॉस" केवल एआई को बड़ा बनाना नहीं था, बल्कि उसे सबूतों को अधिक सावधानी से देखना और यह समझना सिखाना था कि "गलत होने" से बेहतर "करीब होना" है।
यह क्यों मायने रखता है
पेपर निष्कर्ष निकालता है कि वीडियो साक्ष्य को समय अंतराल के सेट के रूप में मानकर और एआई को प्रशिक्षित और ग्रेड करने के इन नए, स्मार्ट तरीकों का उपयोग करके, हम वीडियो सर्च को बहुत अधिक विश्वसनीय बना सकते हैं। केवल एक अस्पष्ट विवरण प्राप्त करने के बजाय, अब उपयोगकर्ता सटीक, सत्यापन योग्य टाइमस्टैम्प प्राप्त कर सकते हैं। यह वीडियो एआई को एक "ब्लैक बॉक्स" से बदलकर जो केवल अनुमान लगाता है, एक पारदर्शी उपकरण में बदल देता है जो अपना काम दिखा सकता है, जिससे घंटों के फुटेज में बिल्कुल वही ढूंढना संभव हो जाता है जिसे आप खोज रहे हैं, चाहे वह कोई विशिष्ट क्रिया हो, कोई आवर्ती घटना हो, या फर्स्ट-पर्सन व्यू से कैप्चर किया गया कोई क्षण हो। शोधकर्ता सुझाव देते हैं कि यह दृष्टिकोण वीडियो आर्काइव्स को शोधकर्ताओं से लेकर आम उपयोगकर्ताओं तक सभी के लिए खोजने योग्य और भरोसेमंद बना सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।