तकनीकी सारांश: स्ट्रीमिंग वीडियो समझ के लिए सिमेंटिक-अवेयर एडेप्टिव विजुअल मेमोरी

समस्या की परिभाषा

यह शोध पत्र ऑनलाइन स्ट्रीमिंग वीडियो क्वेश्चन अनswering (StreamingVQA) को संबोधित करता है, जो एक ऐसा कार्य है जहाँ एक मॉडल को एक निरंतर, असीमित वीडियो स्ट्रीम को प्रोसेस करना होता है और जैसे-जैसे वे आते हैं, वास्तविक समय में प्राकृतिक भाषा संबंधी प्रश्नों के उत्तर देने होते हैं। ऑफलाइन सेटिंग्स के विपरीत जहाँ पूरा वीडियो उपलब्ध होता है, स्ट्रीमिंग तीन महत्वपूर्ण बाधाएं लगाती है:

1. भविष्य तक पहुँच का अभाव: मॉडल केवल वर्तमान टाइमस्टैम्प $T$ तक के फ्रेमों तक ही पहुँच सकता है।
2. क्वेरी-अज्ञेय (Query-Agnostic) एनकोडिंग: मेमोरी निर्माण विशिष्ट क्वेरी के ज्ञान के बिना होना चाहिए, क्योंकि क्वेरी अप्रत्याशित रूप से आती हैं।
3. सीमित मेमोरी: वीडियो की लंबाई के बावजूद कुल मेमोरी फुटप्रिंट स्थिर रहना चाहिए।

मौजूदा विधियाँ इन बाधाओं के साथ संघर्ष करती हैं। अधिकांश विजुअल सिमिलैरिटी ह्यूरिस्टिक्स पर टोकन कम्प्रेशन के लिए निर्भर करती हैं, जो सिमेंटिक महत्व को पकड़ने में विफल रहती है, या वे कंप्रेशन के अंतिम होने के बाद KV-कैश स्तर पर रिट्रीवल मैकेनिज्म जोड़ती हैं। यह अलगाव रिटेंशन और रिट्रीवल को समन्वयित करने में कठिन बनाता है, जिससे अक्सर सिमेंटिक रूप से महत्वपूर्ण लेकिन विजुअली रेडंडेंट जानकारी के खो जाने का जोखिम रहता है।

कार्यप्रणाली: SAVEMem

लेखक SAVEMem का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, दो-चरणीय ढांचा (dual-stage framework) है जो क्वेरी-अज्ञेय मेमोरी जनरेशन को क्वेरी-अवेयर रिट्रीवल से अलग करता है। सिस्टम एक स्थिर मेमोरी बजट $B$ के तहत काम करता है और बिना किसी मॉडल फाइन-ट्यूनिंग की आवश्यकता के सिमेंटिक प्रायर्स (priors) इंजेक्ट करने के लिए एक निश्चित "स्यूडो-क्वेश्चन बैंक" का उपयोग करता है।

चरण 1: सिमेंटिक मेमोरी जनरेशन (क्वेरी-अज्ञेय)

इस चरण में, मॉडल जैसे-जैसे फ्रेम आते हैं, ऑनलाइन एक तीन-स्तरीय स्ट्रीमिंग मेमोरी ($M_{short}$, $M_{mid}$, $M_{long}$) बनाता है।

• सिमेंटिक प्रायर (Semantic Prior): केवल विजुअल सिमिलैरिटी पर निर्भर रहने के बजाय, SAVEMem प्रत्येक विजुअल टोकन $v$ को वस्तुओं, क्रियाओं, दृश्यों आदि को कवर करने वाले स्यूडो-क्वेश्चन $Q$ के एक निश्चित बैंक के विरुद्ध एक MaxSim लेट-इंटरेक्शन मैकेनिज्म का उपयोग करके स्कोर करता है: $s(v) = \max_{q \in Q} \cos(v, q)$। यह एक क्वेरी-अज्ञेय अनुमान प्रदान करता है कि क्या सिमेंटिक रूप से महत्वपूर्ण है।
• चयनात्मक विस्मृति (Selective Forgetting) के साथ तीन-स्तरीय पदानुक्रम:
  • शॉर्ट-टर्म ($M_{short}$): एक FIFO बफर जो वर्तमान संदर्भ को बनाए रखने के लिए हालिया फ्रेमों को पूर्ण शुद्धता के साथ सुरक्षित रखता है।
  • मिड-टर्म ($M_{mid}$): जब $M_{short}$ भर जाता है, तो सबसे पुराना फ्रेम टेम्पोरल सिमेंटिक प्रूनिंग से गुजरता है। टोकन हटा दिए जाते हैं यदि वे टेम्पोरल पड़ोसियों द्वारा अच्छी तरह से दर्शाए गए हैं, जब तक कि उनके पास उच्च सिमेंटिक स्कोर ($s(v)$) न हो या वे सीन बाउंड्री पर न हों।
  • लॉन्ग-टर्म ($M_{long}$): जब $M_{mid}$ ओवरफ्लो होता है, तो फ्रेम स्पेशियल सिमेंटिक सिलेक्शन के माध्यम से यहाँ स्थानांतरित हो जाते हैं। यह स्थानिक कवरेज को एक हार्ड कंस्ट्रेंट के रूप में मानता है, और एक बिखरे हुए लेकिन सिमेंटिक रूप से व्यवस्थित उपसमूह को बनाए रखने के लिए उनके सिमेंटिक स्कोर के आधार पर टोकन को रैंक करता है।
  • ग्लोबल बजट प्रवर्तन: एक सिलेक्टिव फॉरगेटिंग चरण यह सुनिश्चित करता है कि कुल टोकन संख्या कभी भी $B$ से अधिक न हो। यदि अधिक होती है, तो $M_{long}$ के सबसे कम स्कोर वाले टोकन को हटा दिया जाता है।

चरण 2: एडेप्टिव मेमोरी रिट्रीवल (क्वेरी-अवेयर)

समय $T$ पर एक उपयोगकर्ता क्वेरी $q$ प्राप्त होने पर, सिस्टम फ्रोजन मेमोरी से प्रासंगिक फ्रेमों को रिट्रीव करता है।

• एंकर-कंडीशन्ड रिसेंसी गेट: सिस्टम पहले यह जांचता है कि क्या क्वेरी तत्काल अतीत को लक्षित करती है। यह शॉर्ट-टर्म एंकर ($M_{short}$) के साथ $q$ के बीच एफिनिटी (affinity) की गणना करता है। यदि यह एफिनिटी (एक रनिंग एवरेज के सापेक्ष) उच्च है, तो सिस्टम पुराने टियर्स को बायपास करते हुए सीधे $M_{short}$ को लौटा देता है। यह गेट वीडियो के विशिष्ट एफिनिटी डिस्ट्रीब्यूशन के आधार पर प्रति क्वेरी अनुकूलित होता है।
• क्वेरी-अवेयर लेट इंटरेक्शन: यदि क्वेरी के लिए ऐतिहासिक संदर्भ की आवश्यकता है, तो सिस्टम $M_{mid} \cup M_{long}$ के बीच क्वेरी और टोकन के बीच एक ColBERT-स्टाइल लेट-इंटरेक्शन स्कोर की गणना करता है। एक फ्रेम के लिए स्कोर उसके टोकन और क्वेरी टोकन के बीच अधिकतम कोसाइन सिमिलरिटी का माध्य (mean) होता है।
• एडेप्टिव रिट्रीवल: फ्रेम को इस स्कोर द्वारा रैंक किया जाता है। रिट्रीव किए गए फ्रेमों की संख्या ($K$) स्कोर डिस्पर्शन (dispersion) के आधार पर अनुकूलित होती है: क्लस्टर्ड स्कोर (डिफ्यूज एविडेंस) के परिणामस्वरूप अधिक फ्रेम रिट्रीव किए जाते हैं, जबकि अच्छी तरह से अलग किए गए स्कोर आक्रामक फ़िल्टरिंग को ट्रिगर करते हैं। अंतिम सेट में हमेशा $M_{short}$ के साथ शीर्ष-रैंक वाले ऐतिहासिक फ्रेम शामिल होते हैं।

मुख्य योगदान

1. दो-चरणीय ढांचा: एक ट्रेनिंग-फ्री आर्किटेक्चर जो क्वेरी-अवेयर रिट्रीवल से सिमेंटिक-अवेयर कंप्रेशन को अलग करता है, जिससे दोनों चरणों को साझा स्कोरिंग मैकेनिज्म (MaxSim) के माध्यम से समन्वयित किया जा सकता है।
2. सिमेंटिक-अवेयर कंप्रिकेशन: विजुअल सिमिलैरिटी के बजाय सिमेंटिक सैलिएंस (salience) के आधार पर दीर्घकालिक प्रतिधारण (retention) को निर्देशित करने के लिए एक स्यूडो-क्वेश्चन बैंक का परिचय।
3. एडेप्टिव रिट्रीवल स्कोप: एक एंकर-कंडीशन्ड रिसेंसी गेट जो डायनामिक रूप से रिट्रीवल स्कोप (शॉर्ट-टर्म बनाम लॉन्ग-टर्म) को एडजस्ट करता है, चाहे क्वेरी वर्तमान को लक्षित कर रही हो या दूर के अतीत को।
4. दक्षता: यह विधि वीडियो की लंबाई के संबंध में सब-लीनियर टोकन ग्रोथ और लगभग फ्लैट पीक GPU मेमोरी उपयोग प्राप्त करती है, जिससे लंबे वीडियो प्रोसेसिंग को एक बजट-बाउंडेड समस्या में बदल दिया जाता है।

प्रयोगात्मक परिणाम

SAVEMem का मूल्यांकन Qwen2.5-VL बैकबोन (3B और 7B पैरामीटर्स) का उपयोग करके OVO-Bench, StreamingBench, और ODV-Bench पर बिना किसी ट्रेनिंग के किया गया।

• OVO-Bench:
  • Qwen2.5-VL-7B बैकबोन पर, SAVEMem ने समग्र स्कोर को 52.27 से 62.69 तक सुधारा, जो हालिया ट्रेनिंग-फ्री विधियों (जैसे FluxMem, HERMES) और प्रतिस्पर्धी ट्रेनिंग-बेस्ड अप्रोच (जैसे ViSpeak) से बेहतर प्रदर्शन करता है।
  • रियल-टाइम विजुअल परसेप्शन (+10.41 पॉइंट्स) और बैकवर्ड ट्रेसिंग (+10.41 पॉइंट्स) में महत्वपूर्ण लाभ देखे गए।
  • विधि ने सूक्ष्म विजुअल विवरणों (OCR, STU, ACR) और हैलुसिनेशन डिटेक्शन के लिए आवश्यक कार्यों में विशेष मजबूती दिखाई।
• StreamingBench और ODV-Bench:
  • दोनों बैकबोन पर निरंतर सुधार देखे गए। 7B मॉडल पर, ODV-Bench स्टैटिक स्कोर 8.7 अंक (48.3 से 57.0) सुधरा।
• दक्षता:
  • 128 फ्रेम पर, SAVEMem ने बैकबोन की तुलना में पीक GPU मेमोरी उपयोग को 48% कम कर दिया (18.5 GB बनाम 35.8 GB), जबकि सब-लीनियर टोकन ग्रोथ बनाए रखी।

महत्व और दावे

शोध पत्र का दावा है कि क्वेरी-अज्ञेय सिमेंटिक कंप्रेशन को क्वेरी-अवेयर एडेप्टिव रिट्रीवल से अलग करना बिना ट्रेनिंग के स्ट्रीमिंग वीडियो समझ को स्केल करने के लिए एक व्यावहारिक दिशा है। कंप्रेशन चरण में सिमेंटिक सिग्नल इंजेक्ट करके और रिट्रीवल स्कोप को प्रति क्वेरी अनुकूलित करके, SAVEMem स्ट्रीमिंग में निहित "परसेप्शन-मेमोरी ट्रेड-ऑफ" को संबोधित करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एक स्थिर मेमोरी बजट लागू करते हुए, महत्वपूर्ण सिमेंटिक जानकारी को बनाए रखते हुए, कमोडिटी GPUs पर असीमित स्ट्रीम को संभालने की अनुमति देता है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि यह विधि उन कार्यों के लिए स्वाभाविक रूप से संवेदनशील है जिनमें व्यापक टेम्पोरल स्कैनिंग (जैसे गिनती करना) की आवश्यकता होती है। वे यह भी नोट करते हैं कि स्यूडो-क्वेश्चन बैंक वर्तमान में जेनेरिक है और डोमेन-अनुकूलित नहीं है, और ट्रेनिंग-फ्री डिज़ाइन दोनों चरणों के संयुक्त अनुकूलन (joint optimization) को रोकता है।