LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling
LongVT एक एंड-टू-एंड एजेंटिक फ्रेमवर्क है जो ग्लोबल-टू-लोकल "मल्टीमॉडल चेन-ऑफ-टूल-थॉट" प्रक्रिया करने के लिए नेटिव टूल कॉलिंग का लाभ उठाकर लॉन्ग-वीडियो रीजनिंग को बढ़ाता है, जिसे एक नए क्यूरेटेड बड़े पैमाने के डेटासेट (VideoSIAH) और एक तीन-चरणीय प्रशिक्षण रणनीति द्वारा समर्थित किया गया है जो मौजूदा बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ LongVT पेपर का एक स्पष्टीकरण दिया गया है, जिसे सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।
बड़ी समस्या: "भूसे के ढेर में सुई" वाला वीडियो
कल्पना कीजिए कि आपको 2 घंटे की फिल्म दी जाती है और आपसे एक बहुत ही विशिष्ट प्रश्न पूछा जाता है: "जब मुख्य पात्र 43वें मिनट पर अपने जूते के फीते बांध रहा था, तब उसने किस रंग का मोजा पहना हुआ था?"
यदि आप केवल सारांश पढ़कर या कुछ यादृच्छिक (random) स्क्रीनशॉट देखकर इसका उत्तर देने का प्रयास करेंगे, तो आपकी संभावना है कि आप गलत अनुमान लगाएंगे। यह समस्या वर्तमान AI मॉडल्स के साथ है जो लंबे वीडियो के साथ सामना करते हैं। वे "हैलुसिनेट" (hallucinate) करने लगते हैं—यानी ऐसी बारीकियों के बारे में बनावटी विवरण देने लगते हैं जो उन्होंने वास्तव में नहीं देखीं—क्योंकि वे पूरे वीडियो को बिना गहराई से देखे, एक साथ याद रखने की कोशिश करते हैं।
समाधान: LongVT (एक "जासूस" AI)
लेखकों ने LongVT नामक एक नया सिस्टम बनाया है। पूरे वीडियो को रटने के बजाय, LongVT एक जासूस या मानव शोधकर्ता की तरह काम करता है।
यह कैसे काम करता है, इसे एक सरल उपमा से समझते हैं:
1. "कोर्स स्कैन" (लाइब्रेरी की खोज)
कल्पना कीजिए कि आप एक विशाल लाइब्रेरी में एक विशिष्ट पुस्तक खोज रहे हैं। आप हर किताब के हर पन्ने को नहीं पढ़ते हैं। पहले, आप गलियारों में चलते हैं, और किताबों की रीढ़ (spines) पर नज़र डालते हैं ताकि उस सामान्य सेक्शन का पता चल सके जहाँ वह किताब हो सकती है।
- पेपर में: LongVT पहले वीडियो का एक "ग्लोबल स्कीम" (global skim) करता है। यह पूरे वीडियो में फैले हुए कुछ फ्रेम देखता है ताकि एक मोटा अंदाज़ा मिल सके कि क्या हो रहा है।
2. "टूल कॉल" (आवर्धक लेंस/Magnifying Glass)
एक बार जब जासूस को लगता है कि, "मुझे यकीन है कि मोजा किचन वाले सीन में बांधा गया था," तो वह केवल अनुमान नहीं लगाता। वह एक आवर्धक लेंस (magnifying glass) निकालता है और केवल उस विशिष्ट किचन सीन पर ज़ूम करता है ताकि उसे करीब से देख सके।
- पेपर में: यह "नेटिव टूल कॉलिंग" (Native Tool Calling) है। LongVT के पास
crop_videoनामक एक इन-बिल्ट टूल है। यदि उसे लगता है कि उत्तर मिनट 40 और 45 के बीच है, तो वह वास्तव में वीडियो के उस 5-मिनट के हिस्से को काट लेता है और उसे उच्च विवरण के साथ फिर से जांचता है।
3. "स्व-सुधार" ( "रुको, मुझे फिर से जांचने दो" वाला क्षण)
कभी-कभी, जासूस गलत जगह पर ज़ूम कर देता है। हो सकता है कि उसे लगा हो कि जूता बांधने का काम किचन में हुआ था, लेकिन वास्तव में वह लिविंग रूम में हुआ था।
- पेपर में: पेपर दिखाता है कि LongVT यह महसूस कर सकता है कि, "ओह, मैंने गलत समय सीमा को देखा। मुझे यहाँ जूता नहीं दिख रहा है।" इसके बाद वह कहता है, "चलो फिर से कोशिश करते हैं," और दूसरे समय (जैसे मिनट 41 के बजाय मिनट 43) को देखने के लिए टूल को दूसरी बार कॉल करता है। इसे iMCoTT (Interleaved Multimodal Chain-of-Tool-Thought) कहा जाता है।
प्रशिक्षण: AI ने सोचना कैसे सीखा
आप केवल एक AI को "जासूस बनो" नहीं कह सकते और उम्मीद नहीं कर सकते कि वह काम करेगा। लेखकों को इसे तीन-चरणीय प्रशिक्षण प्रक्रिया के माध्यम से सिखाना पड़ा:
- कोल्ड स्टार्ट (कक्षा): सबसे पहले, उन्होंने AI को एक विशाल डेटासेट का उपयोग करके बुनियादी बातें सिखाईं जिसे उन्होंने VideoSIAH नाम दिया है। यह डेटासेट "भूसे के ढेर में सुई" वाले प्रश्नों से भरा है। उन्होंने AI को उदाहरण दिखाए कि कैसे समय का अनुमान लगाया जाए, वीडियो की जांच की जाए, और खुद को सुधारा जाए। यह एक छात्र को लाइब्रेरी कैटलॉग का उपयोग करना सिखाने जैसा है, इससे पहले कि उसे स्वतंत्र छोड़ दिया जाए।
- रीइन्फोर्समेंट लर्निंग (अभ्यास का मैदान): इसके बाद, उन्होंने AI को अपने आप अभ्यास करने दिया। हर बार जब उसने सही समय का अनुमान लगाया और सही उत्तर दिया, तो उसे एक "रिवॉर्ड" (पुरस्कार) मिला। यदि उसने गलत अनुमान लगाया या गलत जानकारी दी, तो उसे कोई रिवॉर्ड नहीं मिला। इसने उसे अधिक सटीक होने के लिए प्रशिक्षित किया।
- रिफाइनमेंट (मास्टरक्लास): अंत में, उन्होंने अभ्यास के मैदान से AI के सबसे अच्छे प्रयासों को लिया और उन्हें फिर से सिखाने के लिए नए सबक के रूप में उपयोग किया। इसने उसके कौशल को पुख्ता किया, जिससे वह अधिक तेज़ और विश्वसनीय बन गया।
परिणाम: "सोचने" का एक नया तरीका
पेपर का दावा है कि यह दृष्टिकोण लंबे वीडियो को संभालने के तरीके को बदल देता है।
- पुराना तरीका: AI वीडियो को "याद रखने" की कोशिश करता है और अक्सर चीजें बना देता है (hallucinations) क्योंकि वह अभिभूत (overwhelmed) हो जाता है।
- LongVT का तरीका: AI यह स्वीकार करता है कि वह नहीं जानता, सबूत खोजने जाता है (वीडियो को क्रॉप करके), सबूतों की जांच करता है, और फिर उत्तर देता है।
निष्कर्ष:
LongVT एक ऐसा AI है जो याददाश्त से उत्तर का "अनुमान" लगाने के बजाय, उत्तर को खोजना सीखता है। वह एक लंबे वीडियो को भूसे के ढेर की तरह मानता है, सुई खोजने के लिए एक टूल का उपयोग करता है, और बोलने से पहले अपने काम की दोबारा जांच करता है। यह इसे बहुत सटीक बनाता है और जो उसने देखा है उसके बारे में झूठ बोलने की संभावना को कम करता है।
पेपर यह भी नोट करता है कि इस अतिरिक्त "देखने" के बावजूद, AI अन्य मॉडलों की तुलना में वास्तव में तेज़ है क्योंकि यह उन चीजों के बारे में लंबी, काल्पनिक कहानियाँ लिखने में समय बर्बाद नहीं करता जो उसने नहीं देखीं। वह बस सच पाता है और उत्तर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।