VideoSearcher: Empowering Video Deep Research with Multi-Tool Agentic Reasoning via Reinforcement Learning
यह शोध पत्र VideoSearcher प्रस्तुत करता है, जो एक क्लोज्ड-लूप एजेंटिक फ्रेमवर्क है जो टेम्पोरल लोकलाइजेशन (temporal localization), स्पेशियल फोकसिंग (spatial focusing) और मल्टीमॉडल सर्च को एकीकृत करके वीडियो डीप रिसर्च को आगे बढ़ाने के लिए मल्टी-टूल रीजनिंग और एक नवीन Bi-branch Sequence Policy Optimization (BiSPO) सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम का लाभ उठाता है, जिसके साथ मूल्यांकन के लिए नया VideoSearch-QA बेंचमार्क भी दिया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके लिए "क्राइम सीन" कोई अपराध स्थल नहीं, बल्कि एक लंबी, उबाऊ वीडियो है।
समस्या: "क्लोज्ड बॉक्स" डिटेक्टिव
अधिकांश वर्तमान वीडियो AI मॉडल उन जासूसों की तरह हैं जो केवल वीडियो फ़ाइल के साथ एक कमरे में बंद हैं। उन्हें बताया जाता है, "इस वीडियो में वह सब कुछ है जो आपको जानना है।" यदि उत्तर वीडियो में स्पष्ट रूप से लिखा या दिखाया नहीं गया है, तो वे फंस जाते हैं। वे कोई नाम नहीं खोज सकते, कोई तारीख चेक नहीं कर सकते, या किसी तथ्य को सत्यापित नहीं कर सकते क्योंकि उन्हें कमरे से बाहर जाने की अनुमति नहीं है।
समाधान: VideoSearcher
यह पेपर VideoSearcher का परिचय देता है, जो एक नए प्रकार का AI जासूस है जिसे कमरे से बाहर जाने की अनुमति है। यह वीडियो को अंतिम उत्तर के रूप में नहीं, बल्कि एक सुराग (clue) के रूप में देखता है।
VideoSearcher को एक ऐसे जासूस के रूप में सोचें जिसके पास एक स्मार्टफोन, एक आवर्धक लेंस (magnifying glass) और एक नक्शा है। यह इस प्रकार काम करता है, चरण-दर-चरण:
- क्राइम सीन को स्कैन करना (वीडियो): जासूस वीडियो देखता है। पूरी चीज़ को एक साथ घूरने के बजाय, उसे पता है कि दिलचस्प हिस्सों पर कैसे फास्ट-फॉरवर्ड करना है (जैसे किसी विशिष्ट पात्र को ढूंढना) और छोटे विवरणों पर कैसे ज़ूम इन करना है (जैसे लाइसेंस प्लेट या लोगो पढ़ना)।
- बैकअप के लिए कॉल करना (टूल्स): एक बार जब वह कोई सुराग पकड़ लेता है (जैसे, "यह किसी वीडियो गेम का पात्र लग रहा है"), तो वह अनुमान नहीं लगाता। वह अपने टूल्स का उपयोग करता है:
- इमेज सर्च: यह सुराग की एक तस्वीर लेता है और यह देखने के लिए इंटरनेट पर खोज करता है कि वह क्या है।
- वेब सर्च: यह उस पात्र के बारे में तथ्यों (जैसे "उसका विशेष मूव क्या है?") को खोजने के लिए लेख और विकी पढ़ता है।
- सबको एक साथ जोड़ना: यह वीडियो में जो देखा और इंटरनेट पर जो पाया, दोनों को मिलाकर अंतिम उत्तर देता है।
सीक्रेट सॉस: इसने कैसे सीखा
AI को यह करना सिखाना कठिन है। यदि आप इसे केवल "सही उत्तर प्राप्त करें" कहते हैं, तो यह एक बार भाग्यशाली हो सकता है लेकिन अगली बार विफल हो सकता है। लेखकों ने एक विशेष प्रशिक्षण विधि बनाई जिसे BiSPO (Bi-branch Sequence Policy Optimization) कहा जाता है।
इसे एक छात्र को दो अलग-अलग रिपोर्ट कार्ड के साथ प्रशिक्षित करने की तरह समझें:
- रिपोर्ट कार्ड A (उत्तर): क्या आपने सही अंतिम उत्तर प्राप्त किया?
- रिपोर्ट कार्ड B (प्रक्रिया): क्या आपने सही टूल्स का उपयोग किया? क्या आपने सही जगह पर ज़ूम इन किया? क्या आपने सही समय पर वेब सर्च किया?
अधिकांश AI प्रशिक्षण केवल रिपोर्ट कार्ड A की परवाह करते हैं। VideoSearcher दोनों की परवाह करता है। यह सुनिश्चित करता है कि AI केवल उत्तर का अनुमान न लगाए; यह एक अच्छे शोधकर्ता बनने की आदत सीख ले। यह सीखता है कि पर्याप्त जानकारी मिलने पर कब खोजना बंद करना है और फंस जाने पर कब अधिक गहराई से खोजना है।
नया टेस्ट: VideoSearch-QA
लेखकों ने महसूस किया कि पुराने टेस्ट निष्पक्ष नहीं थे क्योंकि वे केवल उन सवालों को पूछते थे जो केवल वीडियो से हल किए जा सकते थे। इसलिए, उन्होंने VideoSearch-QA नामक एक नया टेस्ट बनाया।
कल्पना कीजिए कि एक छात्र को एक प्रसिद्ध लैंडमार्क का वीडियो दिखाया जाता है और उससे पूछा जाता है, "यह कब खुला था?" यदि वीडियो में तारीख वाला कोई पट्टिका (plaque) नहीं दिखता है, तो छात्र को यह जानना ही होगा कि इसे कैसे खोजा जाए। यह नया बेंचमार्क ठीक यही परीक्षण करता है: क्या AI वीडियो में सुराग ढूंढ सकता है और फिर बाकी का उत्तर खोजने के लिए इंटरनेट पर जा सकता है?
परिणाम
जब उन्होंने अन्य AI मॉडलों (मुफ्त और महंगे दोनों) के मुकाबले VideoSearcher का परीक्षण किया, तो यह जीत गया। यह निम्नलिखित कार्यों में बहुत बेहतर था:
- लंबे वीडियो में विशिष्ट क्षणों को ढूंढना।
- अंतराल को भरने के लिए इंटरनेट का उपयोग करना।
- जटिल प्रश्नों को हल करना जिनमें देखने और खोजने दोनों की आवश्यकता होती है।
संक्षेप में
VideoSearcher एक ऐसा AI है जो एक निष्क्रिय पर्यवेक्षक से एक सक्रिय शोधकर्ता के रूप में स्नातक हुआ है। यह केवल वीडियो को "देखता" नहीं है; यह इसकी जांच करता है, वास्तविक दुनिया से सबूत जुटाने के लिए टूल्स का उपयोग करता है, और उन पहेलियों को सुलझाता है जिन्हें पहले कंप्यूटर के लिए क्रैक करना असंभव था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।