🤖 machine learning

ProtoKV: Streaming Video Understanding under Delayed Query with Summary-State Memory

ProtoKV एक स्ट्रीमिंग वीडियो समझने वाला फ्रेमवर्क है जो सटीक नियर-विंडो KV कैशिंग और ऐतिहासिक सामग्री के लिए एक निश्चित-क्षमता वाले सारांश-अवस्था मेमोरी के हाइब्रिड दृष्टिकोण के माध्यम से एक निरंतर मेमोरी फुटप्रिंट बनाए रखकर विलंबित प्रश्नों की चुनौती का समाधान करता है, जिससे क्वेरी विलंब बढ़ने के साथ टोकन-रिटेंशन बेसलाइन्स की तुलना में सटीकता में उल्लेखनीय सुधार होता है।

मूल लेखक: Le Tu Ngoc Minh (KAIST), Jinyeong Lim (KAIST), Dongsu Han (KAIST)

प्रकाशित 2026-06-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Le Tu Ngoc Minh (KAIST), Jinyeong Lim (KAIST), Dongsu Han (KAIST)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबे, निरंतर वीडियो स्ट्रीम को देख रहे हैं, जैसे कि 24 घंटे का सुरक्षा कैमरा फीड। आपका काम उस वीडियो में जो हुआ उसके बारे में सवालों के जवाब देना है। समस्या क्या है? आपके पास एक छोटा सा दिमाग (सीमित कंप्यूटर मेमोरी) है और आप वीडियो को रोकने या पीछे जाकर फिर से देखने में सक्षम नहीं हैं। आपको वीडियो देखते रहना होगा जबकि आप किसी के सवाल पूछने का इंतज़ार कर रहे हैं, जो किसी विशिष्ट घटना के मिनटों या घंटों बाद भी हो सकता है।

यह स्ट्रीमिंग वीडियो अंडरस्टैंडिंग (Streaming Video-Understanding) की चुनौती है।

समस्या: "भूलने वाला" दिमाग

अधिकांश वर्तमान सिस्टम इसे एक "स्लाइडिंग विंडो" (sliding window) को पिछले कुछ मिनटों के वीडियो के रूप में रखने की कोशिश करते हैं।

उपमा: कल्पना कीजिए कि आप पानी की एक बाल्टी पकड़े हुए हैं (आपकी मेमोरी)। जैसे-जैसे नया पानी (वीडियो फ्रेम) अंदर आता है, आपको बाल्टी को ओवरफ्लो होने से बचाने के लिए पुराना पानी बाहर निकालना पड़ता है।
खामी: यदि कोई महत्वपूर्ण घटना होती है (जैसे कि किसी चोर ने पर्स चुराया) और उसके बाद किसी के पूछने से पहले 20 मिनट का उबाऊ फुटेज चलता है, तो पुराना पानी (चोर) पहले ही बाल्टी से बाहर निकाला जा चुका होता है। सिस्टम उत्तर भूल जाता है।

अन्य सिस्टम "महत्वपूर्ण क्षणों" (टोकन) की एक सूची रखने की कोशिश करते हैं जिन्हें उन्होंने सहेजा है। लेकिन यदि वीडियो लंबा है, तो उन्हें नए क्षणों के लिए जगह बनाने के लिए लगातार यह निर्णय लेना पड़ता है कि कौन से सहेजे गए क्षणों को फेंक दिया जाए। यदि वे गलत क्षण को फेंक देते हैं, तो उत्तर हमेशा के लिए खो जाता है।

समाधान: ProtoKV (द "समरी नोटबुक")

लेखक ProtoKV नामक एक नया सिस्टम प्रस्तावित करते हैं। हर एक फ्रेम या केवल कुछ विशिष्ट क्षणों को सहेजने के बजाय, ProtoKV एक दो-भाग वाली मेमोरी प्रणाली का उपयोग करता है जो एक स्मार्ट नोटबुक की तरह काम करती है।

1. "हाल का अतीत" (The Exact Window)

वीडियो के सबसे हालिया हिस्से के लिए (मान लीजिए पिछले कुछ मिनट), ProtoKV सब कुछ की एक सटीक, हाई-डेफिनिशन कॉपी रखता है।

उपमा: यह पिछले 5 मिनट में जो हुआ उसकी एक स्पष्ट, हाई-रिज़ॉल्यूशन फोटो रखने जैसा है। यदि आप अभी के बारे में कोई प्रश्न पूछते हैं, तो उत्तर वहीं है, बिल्कुल स्पष्ट।

2. "दूर का अतीत" (The Prototype Bank)

उस चीज़ के लिए जो इस हालिया विंडो से पहले हुई थी, ProtoKV व्यक्तिगत फ्रेमों को सहेजना बंद कर देता है। इसके बजाय, यह सारांश (Summaries) बनाता है।

उपमा: कल्पना कीजिए कि आप एक परेड देख रहे हैं। आपको 2 घंटे पहले के हर एक व्यक्ति का चेहरा याद नहीं रहता। इसके बजाय, आपको याद रहता है: "वहाँ एक मार्चिंग बैंड था," "वहाँ एक विशाल बिल्ली वाला फ्लोट था," और "वहाँ लाल शर्ट पहने लोगों का एक समूह था।"
यह कैसे काम करता है: ProtoKV समान चीजों को "प्रोटोटाइप्स" (Prototypes) में समूहित करता है।
- यदि कोई व्यक्ति चल रहा है, तो ProtoKV एक "चलने वाला व्यक्ति" का सारांश बनाता है।
- यदि वह व्यक्ति 10 मिनट तक चलता है, तो सिस्टम 10 मिनट का वीडियो नहीं सहेजता। यह बस "चलने वाले व्यक्ति" के सारांश को अपडेट करता है कि "यह व्यक्ति लंबे समय से चल रहा है।"
- यह एक "रेसिडुअल" (residual) नोट भी रखता है: "ज्यादातर समय, व्यक्ति सामान्य रूप से चल रहा था, लेकिन बीच-बीच में उसने हाथ हिलाया।" यह हर कदम को सहेजने के बजाय विविधता को कैप्चर करता है।

जादुई ट्रिक: "घोस्ट टोकन" (The Ghost Token)

जब अंततः कोई प्रश्न आता है (जैसे, "लाल शर्ट वाले व्यक्ति ने 30 मिनट पहले क्या किया था?"), तो सिस्टम को इस जानकारी को AI मॉडल को फीड करने की आवश्यकता होती है। लेकिन मॉडल वास्तविक वीडियो फ्रेमों की अपेक्षा करता है, न कि केवल एक सारांश की।

ProtoKV स्यूडो-टोकन्स (Pseudo-Tokens) नामक एक चतुर ट्रिक का उपयोग करता है।

उपमा: कल्पना कीजिए कि आपके पास एक सारांश नोट है जो कहता है "विशाल बिल्ली वाला फ्लोट।" AI को यह दिखाने के लिए, ProtoKV कुछ "घोस्ट" (भूतिया) वीडियो फ्रेम बनाता है जो सारांश नोट्स के आधार पर "विशाल बिल्ली वाले फ्लोट" जैसे दिखते हैं।
ये घोस्ट असली फ्रेम नहीं हैं; वे सारांश के गणितीय पुनर्निर्माण (mathematical reconstructions) हैं। AI मॉडल इन घोस्ट्स को देखता है और उनके साथ बिल्कुल वास्तविक वीडियो फ्रेमों की तरह व्यवहार करता है।
महत्वपूर्ण बात यह है कि सिस्टम गिनता है कि उस सारांश में कितने वास्तविक क्षण शामिल थे। यदि "विशाल बिल्ली वाला फ्लोट" का सारांश 500 वास्तविक सेकंड के वीडियो से बना था, तो सिस्टम AI को बताता है, "यह घोस्ट 500 सेकंड के प्रमाण का प्रतिनिधित्व करता है," ताकि AI उस पर अधिक ध्यान दे सके।

यह बेहतर क्यों है?

लेख का दावा है कि ProtoKV अन्य तरीकों की तुलना में उन चीजों के बारे में उत्तर देने में बहुत बेहतर है जो बहुत पहले हुई थीं (उच्च "डिली" या विलंब)।

पुराना तरीका (स्लाइडिंग विंडो): यदि घटना 30 मिनट पहले हुई थी, तो सिस्टम उसे पहले ही हटा चुका होगा। सटीकता शून्य हो जाती है।
पुराना तरीका (टोकन रिटेंशन): सिस्टम ने विशिष्ट क्षणों को सहेजने की कोशिश की, लेकिन उसे जगह बनाने के लिए उनमें से कुछ को हटाना पड़ा। वे ठीक वही क्षण हटा सकते हैं जब चोर दिखाई दिया था।
ProtoKV: यह घटना के संकल्पना (concept) को कभी नहीं हटाता है। यह बस इसे एक सारांश में संकुचित कर देता है। भले ही 30 मिनट का नया वीडियो आ जाए, "चोर" का सारांश अभी भी वहीं है, नए विवरणों के साथ अपडेट किया गया, एक "घोस्ट" फ्रेम में वापस बदलने के लिए तैयार, ताकि AI प्रश्न का उत्तर दे सके।

परिणाम

लेखकों ने कई वीडियो बेंचमार्क पर इसका परीक्षण किया। उन्होंने पाया कि:

सटीकता (Accuracy): उन घटनाओं के बारे में प्रश्नों पर ProtoKV का स्कोर काफी अधिक था (12.5 अंक तक बेहतर) जो बहुत पहले हुई थीं।
स्थिरता (Stability): जैसे-जैसे घटना और प्रश्न के बीच का समय अंतराल बढ़ता गया, ProtoKV का प्रदर्शन स्थिर रहा, जबकि अन्य तरीकों का प्रदर्शन गिर गया।
गति (Speed): यह अन्य तरीकों की तरह ही तेजी से उत्तर देता है क्योंकि "सारांश" छोटा है और कंप्यूटर की मेमोरी में आसानी से फिट हो जाता है, इसलिए यह सिस्टम को धीमा नहीं करता है।

संक्षेप में, ProtoKV "भूलने" की समस्या को यह समझकर हल करता है कि हर एक विवरण को याद करने की कोशिश करने के बजाय, जो हुआ उसकी कहानी को याद रखा जाए, जिससे यह बिना किसी सुपर-कंप्यूटर की मेमोरी के, दूर के अतीत के बारे में भी प्रश्न का उत्तर देने में सक्षम हो सके।

तकनीकी सारांश: ProtoKV

समस्या विवरण

स्ट्रीमिंग वीडियो अंडरस्टैंडिंग (SVU) के लिए ऐसे सिस्टम की आवश्यकता होती है जो निरंतर वीडियो स्ट्रीम को प्रोसेस कर सकें और सख्त GPU मेमोरी और लेटेंसी सीमाओं के तहत रीयल-टाइम में एसिंक्रोनस (asynchronous) प्रश्नों के उत्तर दे सकें। इस सेटिंग में एक महत्वपूर्ण चुनौती विलंबित प्रश्न (delayed query) है: निर्णायक दृश्य संकेत (decisive visual cues) स्ट्रीम में संक्षिप्त रूप से और जल्दी दिखाई दे सकते हैं, लेकिन प्रश्न बहुत बाद में आता है जब कई अनुवर्ती फ्रेम प्रोसेस किए जा चुके होते हैं।

एक सीमित मेमोरी के तहत, मानक दृष्टिकोणों के सामने एक दुविधा होती है:

स्लाइडिंग विंडो (SWA): यह केवल हाल के टोकन को बनाए रखता है, जो निरंतर मेमोरी की गारंटी देता है लेकिन एक बार विंडो से बाहर होने पर साक्ष्य (evidence) को अपूरणीय रूप से खो देता है।
टोकन रिटेंशन/कंप्रेशन: यह ऐतिहासिक टोकन के एक उपसमुच्चय (subset) को रखने का प्रयास करता है। हालांकि, जैसे-जैसे साक्ष्य ( $\Delta$ ) और प्रश्न के बीच का विलंब बढ़ता है, ये विधियाँ "पोस्ट-एविडेंस अपडेट प्रेशर" से ग्रस्त होती हैं। निर्णायक संकेतों को अक्सर हटा दिया जाता है या पतला (diluted) कर दिया जाता है क्योंकि सिस्टम को क्वेरी-अज्ञेत (query-agnostic) रिटेंशन निर्णय लेने पड़ते हैं क्योंकि उसे यह नहीं पता होता कि भविष्य के कौन से टोकन प्रासंगिक होंगे। एक बार जब एक विशिष्ट टोकन इंस्टेंस को हटा दिया जाता है, तो उससे जुड़ा सूक्ष्म संकेत खो जाता है।

पेपर का तर्क है कि लंबे विलंब के तहत दूर के इतिहास को रिटेन किए गए टोकन इंस्टेंस के सेट के रूप में दर्शाना नाजुक (brittle) है। इसके बजाय, सिस्टम को एक ऐसी प्रक्रिया की आवश्यकता है जो पिछले घटनाओं के विशिष्ट टोकन इंस्टेंस के बजाय उनके साक्ष्य को संरक्षित करे, जिससे बढ़ते विलंब के साथ क्रमिक गिरावट (graceful degradation) संभव हो सके।

कार्यप्रणाली: ProtoKV

ProtoKV एक निरंतर-फुटप्रिंट मेमोरी तंत्र है जिसे स्ट्रीमिंग वीडियो LLMs के लिए डिज़ाइन किया गया है। यह दूर के इतिहास के प्रतिनिधित्व को टोकन रिटेंशन से बदलकर एक दो-स्तरीय ऑनलाइन स्टेट का उपयोग करते हुए एक समरी-स्टेट (summary-state) दृष्टिकोण में परिवर्तित करता है:

1. दो-स्तरीय आर्किटेक्चर

नियर विंडो (सटीक): एक रिंग बफर ( $B_{near}$ ) जो हाल के $W$ फ्रेम्स के सटीक की-वैल्यू (KV) पेयर्स को स्टोर करता है। यह अनुमान के बिना सूक्ष्म, टेम्पोरल रूप से स्थानीय साक्ष्य को सुरक्षित रखता है।
फ़ार मेमोरी (समरी स्टेट): एक निश्चित क्षमता वाला प्रोटोटाइप बैंक ( $B_{far}$ ) जिसका आकार $K_{max}$ है, जो पुराने, हटाए गए इतिहास को एकत्रित करता है। टोकन इंस्टेंस को स्टोर करने के बजाय, यह ऑब्जेक्ट-सेंट्रिक प्रोटोटाइप्स को स्टोर करता है।

2. ऑनलाइन अपडेट तंत्र

जैसे-जैसे वीडियो स्ट्रीम आगे बढ़ती है, टोकन को नियर विंडो से हटाया जाता है और एक कंटिन्युइटी-अवेयर असाइनमेंट के माध्यम से फ़ार मेमोरी में अवशोषित किया जाता है:

असाइनमेंट: हटाए गए टोकन को एक ऑनलाइन कॉस्ट फंक्शन को कम करके एक प्रोटोटाइप $k$ $k$ को सौंपा जाता है जो निम्नलिखित को जोड़ता है:
- की-स्पेस समानता (समान कीज़ वाले टोकन को क्लस्टर करना)।
- स्थानिक निरंतरता (स्थानिक निर्देशांकों का उपयोग करके ट्रैक-संगत जुड़ाव लागू करना)।
- स्टेलेनेस कंट्रोल (उन प्रोटोटाइप्स को असाइनमेंट देने से बचना जिन्हें हाल ही में अपडेट नहीं किया गया है)।
प्रोटोटाइप अपडेट: असाइन किया जाने के बाद, प्रोटोटाइप को एक निरंतर समरी स्टेट के रूप में अपडेट किया जाता है:
- सेंटर्स: की (Key) और वैल्यू (Value) सेंटर्स ( $c_k, p_k$ ) को एक्सपोनेंशियल मूविंग एवरेज (EMA) के माध्यम से अपडेट किया जाता है।
- मास (Mass): एक काउंटर ( $n_k$ ) अवशोषित टोकन की संख्या को ट्रैक करता है।
- रेसिडुअल स्टैटिस्टिक्स: सरल औसत के माध्यम से विशिष्ट संकेतों के नुकसान को रोकने के लिए, ProtoKV रेसिडुअल्स ( $r_K = K - c_k, r_V = V - p_k$ ) के प्रोडक्ट क्वांटाइजेशन (PQ)-आधारित हिस्टोग्राम बनाए रखता है। यह व्यक्तिगत टोकन कोड को स्टोर किए बिना इंट्रा-प्रोटोटाइप विविधता को कैप्चर करता है।
- रखरखाव: बैंक एक हल्के रखरखाव से गुजरता है, जिसमें निष्क्रिय प्रोटोटाइप के लिए मास डिके (mass decay), रेडंडेंट प्रोटोटाइप का विलय, और खाली स्लॉट्स का पुनर्चक्रण शामिल है।

3. क्वेरी-टाइम इंटरफेस: स्यूडो-टोकन सिंथेसिस

क्वेरी के समय, ProtoKV बिना किसी आर्किटेक्चरल बदलाव के मानक अटेंशन मैकेनिज्म को फ़ार मेमोरी को एक्सपोज़ करता है:

स्यूडो-टोकन्स: प्रत्येक प्रोटोटाइप को $S$ स्यूडो-KV टोकन्स में सिंथेसाइज किया जाता है। इन्हें प्रोटोटाइप के सेंटर को संग्रहीत PQ हिस्टोग्राम से डिकोड किए गए प्रतिनिधि रेसिडुअल पैटर्न के साथ जोड़कर बनाया जाता है।
मास-अवेयर बायस: एक प्रोटोटाइप द्वारा संचित टोकन की बहुलता को ध्यान में रखने के लिए, एक लॉग-मास बायस ( $b_k = \log n_k$ ) को अटेंशन लॉजिट्स में जोड़ा जाता है। यह सुनिश्चित करता है कि अधिक साक्ष्य का प्रतिनिधित्व करने वाले प्रोटोटाइप आनुपातिक रूप से अधिक प्रभाव डालें।
फिक्स्ड कॉन्टेक्स्ट: अंतिम कॉन्टेक्स्ट में सटीक नियर-विंडो टोकन और सीमित संख्या में स्यूडो-टोकन्स ( $L_{context} = W + K_{max} \cdot S$ ) शामिल होते हैं, जो स्ट्रीम की लंबाई के बावजूद निरंतर क्वेरी-टाइम लेटेंसी और मेमोरी उपयोग सुनिश्चित करते हैं।

मुख्य योगदान

फ़ार-मेमोरी मैकेनिज्म: दूर के इतिहास को सारांशित करने के लिए रेसिडुअल स्टैटिस्टिक्स से सुसज्जित एक निश्चित-क्षमता वाले, स्पैटियोटेम्पोरल रूप से सुसंगत प्रोटोटाइप बैंक का परिचय, जो टोकन-इंस्टेंस रिटेंशन से हटकर है।
स्यूडो-टोकन सिंथेसिस: निरंतर क्वेरी-टाइम फुटप्रिंट के तहत दूर-इतिहास के साक्ष्य तक पहुँचने के लिए मास-अवेयर वेटिंग के साथ बाउंडेड स्यूडो-KV टोकन को सिंथेसाइज करने का एक ट्रेनिंग-फ्री तरीका।
डिलेड-क्वेरी प्रोटोकॉल: इनवेरिएंट ग्राउंड ट्रुथ को बनाए रखते हुए बढ़ते क्वेरी डिले के खिलाफ SVU मजबूती का मूल्यांकन करने के लिए एक रेट्रोस्पेक्टिव-क्वेरी फ़िल्टरिंग प्रोटोकॉल।

प्रयोगात्मक परिणाम

ProtoKV का मूल्यांकन LLaVA-OV-7B और Qwen2.5-VL-7B बैकबोन का उपयोग करके चार स्ट्रीमिंग वीडियो बेंचमार्क (RVS-Ego, RVS-Movie, OVO-Bench, StreamingBench) पर किया गया।

प्रदर्शन: मैच किए गए मेमोरी बजट के तहत, ProtoKV स्लाइडिंग-विंडो बेसलाइन्स और टोकन-रिटेंशन विधियों (जैसे, InfiniPot-V) को पछाड़ देता है। यह लॉन्ग-डिली (long-delay) रिजीम में टोकन-रिटेंशन बेसलाइन्स की तुलना में 12.5 प्रतिशत अंक तक अधिक सटीकता प्राप्त करता है।
डिले के प्रति मजबूती: जबकि सभी विधियाँ जैसे-जैसे क्वेरी डिले ( $\Delta$ ) बढ़ता है, प्रदर्शन में गिरावट आती है, ProtoKV काफी सपाट गिरावट वक्र (flatter degradation curves) प्रदर्शित करता है। प्रदर्शन का अंतर $\Delta$ बढ़ने के साथ चौड़ा होता जाता है, जो दर्शाता है कि समरी-स्टेट दृष्टिकोण निरंतर पोस्ट-एविडेंस अपडेट प्रेशर के तहत निर्णायक संकेतों को बेहतर ढंग से संरक्षित करता है।
दक्षता: ProtoKV प्रतिस्पर्धी क्वेरी-टाइम TTFT (Time-To-First-Token) बनाए रखता है और ऑफलोडिंग/रिट्रीवल-आधारित बेसलाइन्स (जैसे, ReKV) की तुलना में कम एंड-टू-एंड लेटेंसी प्रदान करता है, जो रिट्रीवल ओवरहेड से जूझते हैं।
ऑफलाइन प्रदर्शन: जब इसे ऑफलाइन वीडियो अंडरस्टैंडिंग बेंचमार्क (VideoMME, MLVU) पर लागू किया जाता है, तो ProtoKV अत्याधुनिक कंप्रेशन विधियों के साथ प्रतिस्पर्धी बना रहता है, जो स्ट्रीमिंग परिदृश्यों से परे इसकी उपयोगिता का सुझाव देता है।

महत्व और दावे

पेपर का दावा है कि ProtoKV स्ट्रीमिंग वीडियो अंडरस्टैंडिंग में एक मौलिक सीमा को संबोधित करता है: लंबे विलंब के तहत टोकन-रिटेंशन रणनीतियों की नाजुकता। विशिष्ट टोकन इंस्टेंस को रिटेन करने के बजाय दूर के इतिहास के समरी-स्टेट को बनाए रखकर, ProtoKV यह सुनिश्चित करता है कि विरल, निर्णायक संकेत कई आगामी अपडेट्स द्वारा ओवरराइट या पतला किए बिना जीवित रह सकें।

लेखक इस डिज़ाइन को विलंबित प्रश्नों (delayed queries) के लिए अनुकूलित बताते हैं जहाँ उत्तर पिछले इवेंट्स के घटित होने पर निर्भर करते हैं न कि तात्कालिक विजुअल कंटेंट पर। परिणाम बताते हैं कि हमेशा-ऑन, क्वेरी-अज्ञेत रखरखाव वाले इंटरैक्टिव सिस्टम के लिए, जो फिक्स्ड ऑन-डिवाइस फुटप्रिंट की आवश्यकता रखते हैं, दूर के इतिहास को एक कॉम्पैक्ट, ऑब्जेक्ट-सेंट्रिक समरी स्टेट के रूप में दर्शाना स्लाइडिंग विंडोज या टोकन सिलेक्शन की तुलना में एक अधिक प्रभावी ऑपरेटिंग पॉइंट है। यह कार्य निरंतर अपडेट प्रेशर के तहत स्थिर स्ट्रीमिंग सिस्टम के लिए समरी-स्टेट मेमोरी के मूल्य को रेखांकित करता है।