OmniReasoner: Thinking with Long Audio-Video via Native Tool Use
OmniReasoner एक टूल-यूज़ पोस्ट-ट्रेनिंग फ्रेमवर्क है जो ओम्नीमोडल LLMs को लंबे ऑडियो-वीडियो स्ट्रीम पर कुशलतापूर्वक तर्क करने में सक्षम बनाता है, जो विरल साक्ष्यों (sparse evidence) के उच्च-सटीक निरीक्षण के लिए "ज़ूम-इन" टूल को कब बुलाना है, इसका गतिशील निर्णय लेने में सक्षम है, जिसे टेम्पोरल कंसिस्टेंसी के लिए एक नवीन TimeAnchor मैकेनिज्म और स्केलेबल ट्रेनिंग के लिए एक टेम्पोरल ऑगमेंटेड डेटा इंजन द्वारा समर्थित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अंतहीन पुस्तकालय में किसी रहस्य को सुलझाने की कोशिश कर रहे हैं। वह पुस्तकालय हजारों किताबों से भरा है, लेकिन आपको जिस सुराग की जरूरत है वह बहुत सूक्ष्म है: शायद पेज नंबर 4,002 पर फुसफुसाया गया एक अकेला शब्द, या पेज नंबर 12,500 के हाशिए (margin) में छिपा हुआ कोई विशिष्ट चित्र। यदि आप हर एक पेज को एक ही गति से पढ़ने की कोशिश करते हैं, तो आपका मस्तिष्क थक जाएगा, और आप उन छोटी बारीकियों को मिस कर सकते हैं क्योंकि आप पूरी किताब को जल्दी-जल्दी पढ़ रहे होंगे। यह बिल्कुल वही समस्या है जिसका सामना कंप्यूटर तब करते हैं जब वे लंबे वीडियो और ऑडियो को समझने की कोशिश करते हैं। वे "ओमनी-मोडल" (omni-modal) मॉडल हैं, जिसका अर्थ है कि वे देख और सुन सकते हैं, लेकिन जब वीडियो एक घंटे लंबा होता है, तो सबसे महत्वपूर्ण सुराग एक सेकंड का हिस्सा वाला कोई साउंड या एक संक्षिप्त दृश्य क्रिया हो सकती है। यदि कंप्यूटर पूरे एक घंटे को उच्च विवरण (high detail) के साथ प्रोसेस करने की कोशिश करता है, तो उसकी मेमोरी खत्म हो जाती है। यदि वह सब कुछ बहुत तेजी से देखता है, तो वह सुरागों को खो देता है। वैज्ञानिक कंप्यूटरों को बेहतर जासूस बनने के लिए सिखाने की कोशिश कर रहे हैं: कैसे पूरी कहानी को जल्दी से सरसरी तौरकी से देखें, संदिग्ध हिस्से को पहचानें, और फिर केवल वहीं रुककर ध्यान से देखें जहाँ इसकी आवश्यकता है।
यहाँ OmniReasoner आता है, एक नया "सोचने वाला" फ्रेमवर्क जो इन AI जासूसों को एक विशेष उपकरण का उपयोग करना सिखाता है: एक ज़ूम-इन बटन। पूरे एक घंटे के वीडियो को एक साथ घूरने के बजाय, OmniReasoner पहले पूरी टाइमलाइन पर एक त्वरित, कम-गुणवत्ता वाली "झलक" (glance) लेता है, जैसे कि सार समझने के लिए एक किताब के पन्ने पलटना। यदि उसे लगता है कि उत्तर वहीं है, तो वह उत्तर दे देता है। लेकिन यदि उसे लगता है कि किसी विशिष्ट क्षण में कोई सुराग छिपा है—जैसे कि किसी पात्र का कोई विशिष्ट वाक्यांश कहना या मछली का कटोरे में दिखाई देना—तो वह रुक जाता है और ज़ूम-इन के लिए अनुरोध करता है। वह केवल उन कुछ सेकंडों का एक हाई-डेफिनिशन, हाई-स्पीड क्लिप मांगता है। इसके बाद AI उस "ज़ूम किए गए" साक्ष्य को अपने मूल त्वरित झलक के साथ मिलाकर पहेली को सुलझाता है।
यहाँ असली जादू यह है कि AI को पता कैसे चलता है कि कहाँ ज़ूम करना है। अतीत में, कंप्यूटर संघर्ष करते थे क्योंकि वे "फ्रेम" (जैसे पन्नों को गिनना) गिनते थे, लेकिन यदि आप वीडियो को तेज़ या धीमा करते हैं, तो पेज नंबर बदल जाते हैं। OmniReasoner एक चतुर प्रणाली का उपयोग करता है जिसे TimeAnchor कहा जाता है। इसे घड़ी के समय (जैसे, "2 मिनट और 49 सेकंड पर देखें") पर आधारित एक GPS समन्वय (coordinate) के रूप में समझें, न कि एक पेज नंबर के रूप में। इस तरह, चाहे AI धुंधले, फास्ट-फॉरवर्ड किए गए संस्करण को देख रहा हो या क्रिस्टल-क्लियर ज़ूम किए गए संस्करण को, "2:49" हमेशा ठीक उसी क्षण की ओर संकेत करता है। यह सुनिश्चित करता है कि बड़े चित्र (big picture) और क्लोज-अप के बीच स्विच करते समय AI रास्ता न भटके।
AI को यह कौशल सिखाने के लिए, शोधकर्ताओं ने केवल मनुष्यों से हर वीडियो को लेबल करने के लिए नहीं कहा; इसमें बहुत समय लगता। इसके बजाय, उन्होंने एक टेम्पोरल ऑगमेंटेड डेटा इंजन (Temporal Augmented Data Engine) बनाया। एक वीडियो एडिटर की कल्पना करें जो छोटे क्लिप्स लेता है, उन्हें एक लंबी फिल्म में जोड़ता है, और गुप्त रूप से नए जोड़ों (seams) में से एक में एक "सुराग" छिपा देता है। फिर AI को उस छिपे हुए सुराग को खोजने के लिए प्रशिक्षित किया जाता है। कभी-कभी AI को पूरी फिल्म से अनुमान लगाने के लिए कहा जाता है, और कभी-कभी उसे ज़ूम टूल का उपयोग करने के लिए मजबूर किया जाता है। ट्रायल और एरर (रीइन्फोर्समेंट लर्निंग) की एक प्रक्रिया के माध्यम से, AI सीखता है कि ज़ूम टूल का उपयोग करने से बेहतर स्कोर मिलता है, लेकिन केवल तभी जब वास्तव में इसकी आवश्यकता हो।
परिणाम दिखाते हैं कि यह दृष्टिकोण काम करता है। विभिन्न वीडियो और ऑडियो चुनौतियों पर परीक्षण किए जाने पर, OmniReasoner ने उत्तर खोजने में काफी बेहतर प्रदर्शन किया, विशेष रूप से बहुत लंबे वीडियो में जहाँ सुराग दुर्लभ होते हैं। इसने न केवल उत्तर देने में अधिक स्मार्ट होने का प्रदर्शन किया; इसने यह भी सीखा कि कुशल कैसे बनना है, अपना "मस्तिष्क बल" (brain power) केवल उन्हीं क्षणों पर खर्च करना जो महत्वपूर्ण थे। यह पेपर सुझाव देता है कि AI को यह सिखाकर कि उसे कब करीब से देखना है, बजाय इसके कि उसे हर चीज़ को समान रूप से देखने के लिए मजबूर किया जाए, हम लंबे ऑडियो-वीडियो स्ट्रीम के जटिल रहस्यों को हल कर सकते हैं जो पहले बहुत कठिन थे। यह उस AI की ओर एक कदम है जो केवल वीडियो देखता नहीं है, बल्कि वास्तव में उनके बारे में सोचता है, और जानता है कि ठीक कब रुकना है और ध्यान देना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।