LiveStarPro: Proactive Streaming Video Understanding with Hierarchical Memory for Long-Horizon Streams
यह शोध पत्र LiveStarPro को प्रस्तुत करता है, जो एक सक्रिय लाइव स्ट्रीमिंग सहायक है जो स्वायत्त प्रतिक्रिया समय के लिए स्ट्रीमिंग वेरिफिकेशन डिकोडिंग, वृद्धिशील संरेखण के लिए स्ट्रीमिंग कॉज़ल अटेंशन मास्क और कुशल दीर्घकालिक रिकॉल के लिए ट्री-स्ट्रक्चर्ड पदानुक्रमित मेमोरी को संयोजित करने वाले एक नवीन आर्किटेक्चर के माध्यम से लंबी अवधि के स्ट्रीम को संभालने में मौजूदा वीडियो-LLMs की सीमाओं को दूर करता है, जिसे नए OmniStarPro बेंचमार्क द्वारा प्रमाणित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त के साथ एक घंटे लंबे लाइव वीडियो स्ट्रीम देख रहे हैं और उससे बातचीत करने की कोशिश कर रहे हैं। आप चाहते हैं कि वह आपको बताए कि क्या हो रहा है, लेकिन आप नहीं चाहते कि वह लगातार बोलता रहे। आप केवल तभी चाहते हैं जब कुछ महत्वपूर्ण हो। और आप चाहते हैं कि यदि आप बाद में पूछें, तो उसे एक घंटे पहले हुई घटना याद रहे।
वर्तमान AI असिस्टेंट इस मामले में बहुत खराब हैं। या तो वे बिना रुके बोलते रहते हैं (जो उबाऊ और दोहराव वाला होता है), या वे कुछ ही मिनटों के बाद सब कुछ भूल जाते हैं, या फिर वे कब बोलना है, इसे लेकर भ्रमित हो जाते हैं।
LiveStarPro एक नया AI असिस्टेंट है जिसे विशेष रूप से इन समस्याओं को हल करने के लिए डिज़ाइन किया गया है। इसे एक "प्रोएक्टिव स्ट्रीमिंग वीडियो अंडरस्टैंडिंग" सिस्टम के रूप में समझें। यह यहाँ तीन सरल भागों में बताया गया है:
1. "साइलेंस डिटेक्टर" (स्ट्रीमिंग वेरिफिकेशन डिकोडिंग)
समस्या: पुराने AI मॉडल एक विशेष "साइलेंस टोकन" (जैसे एक गुप्त शब्द जिसका अर्थ है "मैं अभी बात नहीं कर रहा हूँ") सीखने की कोशिश करते थे। यह एक कुत्ते को "बैठो" कहने पर भौंकने के लिए सिखाने जैसा था, लेकिन कुत्ता हर चीज़ पर भौंकने लगता था। इससे एक बड़ा असंतुलन पैदा हुआ: AI को 99% समय चुप रहना और केवल 1% समय बोलना सीखना था, जिससे वह भ्रमित हो जाता था।
LiveStarPro का समाधान: चुप रहने के बजाय, LiveStarPro एक कॉन्फिडेंस चेक (विश्वास जांच) का उपयोग करता है।
- उपमा: कल्पना कीजिए कि आप अपने दोस्त को एक फिल्म का दृश्य बता रहे हैं। आप कहते हैं, "एक आदमी चल रहा है।" एक सेकंड बाद, वह आदमी अभी भी चल रहा है। आपको यह कहने की ज़रूरत नहीं है, "एक आदमी अभी भी चल रहा है।"
- यह कैसे काम करता है: LiveStarPro अपने पिछले विवरण की तुलना नए वीडियो फ्रेम से करता है। यदि नया फ्रेम उसके द्वारा दिए गए विवरण के साथ पूरी तरह फिट बैठता है (कम "परप्लेक्सिटी" या भ्रम), तो वह चुप रहता है। यदि दृश्य में महत्वपूर्ण बदलाव आता है (उच्च भ्रम), तो उसे पता चल जाता है कि अब बोलने का समय है और वह विवरण को अपडेट करता है। वह यह तय करता है कि कब बोलना है, यह देखकर कि क्या कहानी वास्तव में बदली है, न कि केवल अनुमान लगाकर।
2. "स्मार्ट ट्रेनिंग" (स्ट्रीमिंग कॉज़ल अटेंशन मास्क)
समस्या: इसे सिखाने के लिए, आप केवल उसे पूरी फिल्म दिखाकर सारांश नहीं मांग सकते। आपको इसे फ्रेम-दर-फ्रेम देखना सिखाना होगा, ठीक वैसे ही जैसे एक इंसान करता है। मानक प्रशिक्षण विधियाँ अक्सर AI को अगले सेकंड का उत्तर देखने के लिए "चीटिंग" करने की अनुमति दे देती हैं, इससे पहले कि वह वास्तव में उस फ्रेम को देखे।
LiveStarPro का समाधान: उन्होंने SCAM नामक एक विशेष प्रशिक्षण विधि बनाई है।
- उपमा: इसे एक "आंखों पर पट्टी बांधकर" किए जाने वाले अभ्यास सत्र के रूप में सोचें। AI को एक फ्रेम दिखाया जाता है और उसे उसका वर्णन करने के लिए कहा जाता है, लेकिन उसे पिछले फ्रेम के लिए लिखे गए विवरण को कॉपी करने के लिए देखना सख्त वर्जित है। उसे केवल वर्तमान में दिखने वाले दृश्यों और उस इतिहास पर निर्भर रहना होगा जो उसने पहले ही बना लिया है।
- परिणाम: यह AI को वास्तविक, चरण-दर-चरण समझ विकसित करने के लिए मजबूर करता है, जिससे वह ऊपर बताए गए "कॉन्फिडेंस चेक" के लिए तैयार हो जाता है।
3. "पेड़ जैसी स्मृति" (ट्री-स्ट्रक्चर्ड हिरार्किकल मेमोरी)
समस्या: मनुष्यों के पास अल्पकालिक स्मृति (5 मिनट पहले क्या हुआ) और दीर्घकालिक स्मृति (पिछले सप्ताह क्या हुआ) होती है। पुराने AI असिस्टेंट के पास एक छोटी "स्टिकी नोट" (स्लाइडिंग विंडो) होती है। एक बार जब नोट भर जाता है, तो वे नए के लिए जगह बनाने के लिए सबसे पुरानी चीज़ों को फेंक देते हैं। यदि आप पूछते हैं, "उस व्यक्ति ने एक घंटे पहले क्या उठाया था?", तो AI को इसका पता नहीं होता क्योंकि उसने वह "स्टिकी नोट" फेंक दिया होता है।
LiveStarPro का समाधान: उन्होंने एक ट्री-स्ट्रक्चर्ड हिरार्किकल मेमोरी (TSHM) बनाई है।
- उपमा: इसे एक स्टिकी नोट के बजाय एक लाइब्रेरी के रूप में समझें।
- अल्पकालिक (डेस्क): AI अपने डेस्क पर सबसे हालिया, विस्तृत फ्रेम रखता है। जब डेस्क बहुत भर जाता है, तो वे चीज़ों को फेंकते नहीं हैं; बल्कि वे उन्हें सारांशित करते हैं। वे "पीक" क्षणों (सबसे रोमांचक हिस्से) और "एंड" क्षणों (घटना का सारांश) को रखते हैं, और बाकी को हटा देते हैं।
- दीर्घकालिक (बुकशेल्फ़):ित: सारांशित घटनाओं को शेल्फ पर फाइल किया जाता है। लेकिन एक अव्यवस्थित ढेर के बजाय, उन्हें एक पेड़ (Tree) में व्यवस्थित किया जाता है। यदि कोई नई घटना किसी पुरानी घटना के समान है, तो उसे उस पुराने इवेंट के "चाइल्ड" ब्रांच के रूप में जोड़ा जाता है।
- रिट्रिवल (पुनर्प्राप्ति): जब आप कोई प्रश्न पूछते हैं, तो AI पूरी लाइब्रेरी की खोज नहीं करता। वह पेड़ की शाखाओं के माध्यम से नीचे जाता है, और तेज़ी से प्रासंगिक "इवेंट चेन" को ढूंढ लेता है। यह उसे घंटों पहले की चीज़ों को याद रखने की अनुमति देता है बिना अभिभूत हुए।
परिणाम: OmniStarPro
यह साबित करने के लिए कि यह काम करता है, शोधकर्ताओं ने केवल छोटे क्लिप्स पर परीक्षण नहीं किया। उन्होंने एक विशाल नया बेंचमार्क बनाया जिसे OmniStarPro कहा जाता है।
- इसमें 15 अलग-अलग वास्तविक दुनिया के परिदृश्य शामिल हैं (जैसे खेल, समाचार और गेमिंग)।
- इसमें घंटों लंबे वीडियो शामिल हैं।
- यह परीक्षण करता है कि क्या AI 30+ मिनट पहले की बारीकियों को याद रख सकता है।
निष्कर्ष:
LiveStarPro पहला AI है जो एक घंटे लंबे लाइव वीडियो को देख सकता है, सटीक रूप से तय कर सकता है कि कब बोलना है (उबाऊ दोहराव से बचते हुए), और यदि आप पूछें तो एक घंटे पहले क्या हुआ था, उसे याद रख सकता है। परीक्षणों में, यह पिछले मॉडलों की तुलना में वीडियो के अर्थ को समझने में 28.9% बेहतर और अपनी प्रतिक्रियाओं के समय (timing) में 18.2% अधिक सटीक पाया गया, और यह सब लाइव स्ट्रीम के साथ तालमेल बिठाने के लिए पर्याप्त तेज़ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।