💻 computer science

CoRDS: Coreset-based Representative and Diverse Selection for Streaming Video Understanding

यह शोध पत्र CoRDS का प्रस्ताव करता है, जो स्ट्रीमिंग वीडियो समझ के लिए एक कोरसैट-आधारित विधि है जो एक द्वि-मानदंड उद्देश्य और ऑर्थोगोनैलिटी-संचालित विविधता मानदंड के माध्यम से की-वैल्यू कैश के एक संक्षिप्त, विविध और प्रतिनिधि उपसमूह का चयन करके टोकन-वार ह्यूरिस्टिक प्रूनिंग में सुधार करता है, जिससे निश्चित मेमोरी बजट के तहत कई विजन-लैंग्वेज मॉडल्स और बेंचमार्क में प्रदर्शन में वृद्धि होती है।

मूल लेखक: Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी फिल्म देख रहे हैं, लेकिन आपके पास केवल एक छोटा सा, चिपचिपा नोट (sticky note) है जिस पर आप सबसे महत्वपूर्ण हिस्से लिख सकते हैं ताकि बाद में आप सवालों के जवाब दे सकें। यह चुनौती आधुनिक AI मॉडल्स (जिन्हें विजन-लैंग्वेज मॉडल्स कहा जाता है) के सामने आती है जब वे वास्तविक समय में लंबे वीडियो को समझने की कोशिश करते हैं। वे सब कुछ याद नहीं रख सकते, इसलिए उन्हें अपने मेमोरी को एक छोटे आकार में "कंप्रेस" करना पड़ता है।

यह पेपर एक नई विधि पेश करता है जिसे CoRDS (Coreset-based Representative and Diverse Selection) कहा जाता है ताकि इस समस्या को हल किया जा सके। यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग किया गया है:

समस्या: "हालियाता" का जाल (The "Recency" Trap)

वर्तमान में, अधिकांश AI मॉडल्स एक "स्टिकी नोट" रणनीति का उपयोग करते हैं जो सरल नियमों पर आधारित होती है, जैसे:

"जो नया है उसे रखें": केवल पिछले कुछ सेकंड ही याद रखें।
"जो शोर भरा है उसे रखें": केवल उन हिस्सों को याद रखें जो सबसे अधिक स्पष्ट या चमकदार दिखते हैं।

लेखकों का तर्क है कि यह पूरी फिल्म का सारांश केवल अंतिम दृश्य या सबसे बड़े धमाके वाले दृश्य को याद रखकर बनाने जैसा है। आप उन शांत लेकिन महत्वपूर्ण सुरागों को मिस कर सकते हैं जो 20 मिनट पहले हुए थे, जिनकी बाद में रहस्य सुलझाने के लिए आवश्यकता हो सकती है।

समाधान: "क्यूरेटर" दृष्टिकोण (The "Curator" Approach)

CoRDS खेल बदल देता है। टोकन (वीडियो डेटा के छोटे टुकड़े) को एक-एक करके चुनने के बजाय, यह एक संग्रहालय क्यूरेटर (museum curator) की तरह काम करता है जो पूरे संग्रह का प्रतिनिधित्व करने वाली एक छोटी प्रदर्शनी बनाने की कोशिश कर रहा है।

यहाँ तीन मुख्य तरीके दिए गए हैं जिनका उपयोग CoRDS करता है:

1. "दो हाथों वाला" दृश्य (Joint KV Representation)
कल्पना कीजिए कि वीडियो डेटा के हर टुकड़े के दो पक्ष हैं:

"की" (Key - लेबल): यह AI को बताता है कि अतीत में कहाँ देखना है। (जैसे, "यह लाल कार वाला दृश्य है।")
"वैल्यू" (Value - सामग्री): यह वास्तविक जानकारी है। (जैसे, "लाल कार एक पेड़ से टकरा गई।")

पुराने तरीके अक्सर केवल लेबल या केवल सामग्री को देखते थे। CoRDS इन दोनों को एक साथ देखता है। यह सुनिश्चित करता है कि AI सही मेमोरी को ढूँढ भी सके और उस मेमोरी में सही विवरण भी होें। यह बिल्कुल वैसा ही है जैसे यह सुनिश्चित करना कि आपके पास स्थान का केवल नक्शा (Key) और फोटो (Value) ही नहीं, बल्कि दोनों मौजूद हों।

2. "कमरे को कवर करने" की रणनीति (Coreset Selection)
किसी एक "सर्वश्रेष्ठ" वस्तु को चुनने के बजाय, CoRDS पूछता है: "कौन सा छोटा समूह कमरे के सबसे बड़े हिस्से को कवर करता है?"
यदि आपके पास फर्नीचर से भरा एक कमरा है, तो आप केवल सबसे महंगी कुर्सी नहीं चुनते। आप एक कुर्सी, एक मेज, एक लैंप और एक कालीन चुनते हैं जो, एक साथ मिलकर, पूरे कमरे की शैली का प्रतिनिधित्व करते हैं। CoRDS गणितीय रूप से वीडियो फ्रेमों के एक छोटे समूह को चुनता है जो पूरे वीडियो इतिहास की ज्यामिति (geometry) को "कवर" करता है, यह सुनिश्चित करता है कि कोई भी प्रमुख दृश्य शैली या दृश्य प्रकार छूट न जाए।

3. "नया कोण" का नियम (Orthogonal Diversity)
कभी-कभी, आप ऐसी दो चीजें चुन सकते हैं जो बहुत समान हैं (जैसे दो एक जैसी लाल कुर्सियाँ)। यह जगह बर्बाद करता है। CoRDS के पास इस समस्या को रोकने के लिए एक नियम है: "कुछ ऐसा न चुनें जो हमारे पास पहले से मौजूद चीज़ जैसा ही दिखता हो।"
यह उन वस्तुओं की तलाश करता है जो एक "नया कोण" या एक नई दिशा प्रदान करती हैं। यदि AI के पास पहले से ही एक लाल कार की स्मृति है, तो वह दूसरी लाल कार तब तक नहीं चुनेगा जब तक कि उस हिस्से को कवर करने का वही एकमात्र तरीका न हो। यह सक्रिय रूप से अद्वितीय और अलग क्षणों की तलाश करता है ताकि इसकी मेमोरी विविध (diverse) बनी रहे।

परिणाम: स्मार्ट मेमोरी, न कि सिर्फ अधिक मेमोरी

पेपर ने चार अलग-अलग AI मॉडल्स और पांच अलग-अलग वीडियो बेंचमार्क (लंबे मूवी और लाइव स्ट्रीम सहित) पर इसका परीक्षण किया।

प्रतियोगिता से बेहतर: CoRDS ने मौजूदा तरीकों (जैसे InfiniPot-V और StreamMem) को लगातार हराया जो "हालियाता" या "शोर" के नियमों का उपयोग करते हैं।
छोटा ही सुंदर है: भले ही AI को बहुत कम मेमोरी (केवल 1/16वां हिस्सा रखने के लिए) देने के लिए मजबूर किया गया था, फिर भी CoRDS ने उन मॉडल्स से बेहतर प्रदर्शन किया जिनके पास पुराने तरीकों का उपयोग करके बहुत बड़ी मेमोरी उपलब्ध थी।
"पूर्ण" मॉडल को पछाड़ना: कुछ मामलों में, CoRDS ने उस AI मॉडल से भी बेहतर प्रदर्शन किया जो अनकंप्रेस्ड (uncompressed) वीडियो को याद रखने की कोशिश कर रहा था। यह सुझाव देता है कि वीडियो के "अनावश्यक" या "शोर वाले" हिस्सों को हटाकर, AI वास्तव में महत्वपूर्ण सुरागों पर बेहतर ध्यान केंद्रित कर सकता है (सुई को घास के ढेर में खोजने वाली समस्या को हल करना)।

सारांश

CoRDS को एक वीडियो के स्मार्ट संपादक (editor) के रूप में समझें। केवल उबाऊ हिस्सों को काटने या केवल नवीनतम क्लिप रखने के बजाय, यह सावधानीपूर्वक विविध और प्रतिनिधि क्षणों का चयन करता है जो पूरी कहानी को दर्शाते हैं। यह AI को 1 घंटे के वीडियो के बारे में सवाल पूछने के योग्य बनाता है, ठीक वैसे ही जैसे उसने पूरा वीडियो देखा हो, लेकिन यह बहुत कम कंप्यूटर मेमोरी का उपयोग करता है।

तकनीकी सारांश: CoRDS

समस्या विवरण (Problem Statement)

लार्ज विजन-लैंग्वेज मॉडल्स (VLMs) के साथ स्ट्रीमिंग वीडियो अंडरस्टैंडिंग (SVU) एक महत्वपूर्ण बाधा का सामना कर रहा है: वास्तविक समय में अनबाउंडेड (unbounded) वीडियो स्ट्रीम को प्रोसेस करते समय एक सीमित मेमोरी फुटप्रिंट बनाए रखने की आवश्यकता। ऑफलाइन वीडियो अंडरस्टैंडिंग के विपरीत, जहाँ फ्रेम सैंपलिंग या क्वेरी-आधारित संपीड़न (compression) के लिए पूर्ण संदर्भ उपलब्ध होता है, SVU के लिए एक कॉज़ल (causal) और क्वेरी-अज्ञेय (query-agnostic) प्रोसेसिंग की आवश्यकता होती है जहाँ भविष्य के फ्रेम अज्ञात होते हैं।

मौजूदा समाधान मुख्य रूप से स्थानीय, टोकन-वार ह्यूरिस्टिक्स (जैसे कि हालियापन, टेम्पोरल रिडंडेंसी, या नॉर्म-आधारित सैलिएंसी) का उपयोग करके की-वैल्यू (KV) कैश संपीड़न पर निर्भर करते हैं। शोध पत्र तर्क देता है कि इन विधियों में एक मौलिक सीमा है: वे रिटेन किए गए मेमोरी की वैश्विक प्रतिनिधित्व क्षमता (global representativeness) के लिए स्पष्ट रूप से अनुकूलित नहीं होते हैं। फलस्वरूप, वे संकेत जो व्यक्तिगत रूप से कमजोर हैं लेकिन सामूहिक रूप से महत्वपूर्ण हैं (जैसे कि स्थिर दृश्य विवरण या टेम्पोरली वितरित संरचनाएं), अक्सर हटा दिए जाते हैं क्योंकि उनमें संपीड़न के क्षण में स्थानीय सैलिएंसी की कमी होती है।

कार्यप्रणाली (Methodology): CoRDS

लेखक CoRDS (कोर्सेट-आधारित प्रतिनिधि और विविध चयन - Coreset-based Representative and Diverse Selection) प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री, क्वेरी-अज्ञेय फ्रेमवर्क है जो KV-कैश संपीड़न को एक प्रतिनिधि कोर्सेट चयन समस्या (representative coreset selection problem) के रूप में पुनर्गठित करता है। टोकन को स्वतंत्र रूप से स्कोर करने के बजाय, CoRDS एक छोटा उपसमूह चुनता है जो संचित विजुअल कैश को ज्यामितीय रूप से कवर करता है।

यह विधि तीन मुख्य सिद्धांतों पर कार्य करती है:

1. संयुक्त KV प्रतिनिधित्व और द्वि-मानदंड कवरेज (Joint KV Representation and Bicriteria Coverage)

लेखकों का मानना है कि प्रभावी चयन के लिए कीज़ (Keys) (जो रिट्रीवल स्ट्रक्चर निर्धारित करती हैं) और वैल्यूज़ (Values) (जो अटेंशन द्वारा सूचना को रीड आउट करती हैं) दोनों का ध्यान रखना आवश्यक है।

प्रतिनिधित्व (Representation): टोकन को एक संयुक्त फीचर स्पेस $\phi^{(KV)}_i = [k_i; v_i]$ में दर्शाया जाता है।
उद्देश्य (Objective): एक द्वि-मानदंड दूरी मेट्रिक $d_\alpha(i, S)$ को परिभाषित किया गया है जो की-स्पेस और वैल्यू-स्पेस एप्रोक्सीमेशन एरर के बीच संतुलन बनाते हुए, एक कैंडिडेट टोकन $i$ और चयनित सेट $S$ के बीच की दूरी को मापता है:
$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$
जहाँ $\alpha \in [0, 1]$ ट्रेड-ऑफ को नियंत्रित करता है। अनुभवजन्य परिणाम बताते हैं कि वैल्यूज़ को प्राथमिकता देना ( $\alpha < 0.5$ ) बेहतर प्रदर्शन देता है।
अनुकूलन (Optimization): उपसमूह को एक D2-शैली के फारेस्ट-फर्स्ट (farthest-first) नियम का उपयोग करके ग्रीडी तरीके से चुना जाता है, जो पिछले चुने गए केंद्रों से उनके वर्ग दूरी के आनुपातिक रूप से क्लस्टर सेंटर्स को सीड करता है। यह $k$ -means ऑब्जेक्टिव के लिए $O(\log k)$ एप्रोक्सीमेशन गारंटी प्रदान करता है।

2. गैर-अतिरेक के लिए ऑर्थोगोनल विविधता (Orthogonal Diversity for Non-Redundancy)

एक शुद्ध कवरेज-आधारित चयन एक रेडंडेंट कोर्सेट दे सकता है जहाँ कई टोकन फीचर स्पेस में समान दिशाओं में स्थित होते हैं। इसे संबोधित करने के लिए, CoRDS एक ऑर्थोगोनल एंटी-रेडंडेंसी टर्म पेश करता है।

तंत्र (Mechanism): एक कैंडिडेट टोकन के लिए, विधि वर्तमान में चयनित कीज़ (और वैल्यूज़) के स्पैन के ऑर्थोगोनल रेसिडुअल वेक्टर की गणना करती है।
स्कोरिंग (Scoring): कवरेज स्कोर में एक नॉवेल्टी स्कोर (जो रेसिडुअल के स्क्वेर्ड नॉर्म पर आधारित है) को सॉफ्ट बोनस के रूप में जोड़ा जाता है। यह लॉग-डिटरमिनेंट सबसेट सिलेक्शन से प्रेरित है, जो मोनोटोन सबमॉड्यूलर मैक्सिमाइजेशन के लिए $(1 - e^{-1})$ एप्रोक्सीमेशन की गारंटी देता है।
अंतिम स्कोर (Final Score): चयन स्कोर द्वि-मानदंड दूरी और ऑर्थोगोनल नॉवेल्टी को जोड़ता है:
$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$

3. लेयर-सेलेक्टिव कंप्रेशन और कैस्केड रियूज (Layer-Selective Compression and Cascade Reuse)

कंप्यूटेशनल ओवरहेड को कम करने के लिए:

लेयर चयन (Layer Selection): कोर्सेट सेलेक्टर को केवल निचले 25% डिकोडर लेयर्स पर लागू किया जाता है, जहाँ विजुअल रिडंडेंसी सबसे अधिक होती है। बाद की लेयर्स, जो टास्क-कंडीशन फीचर्स को एनकोड करती हैं, उन्हें अनकंप्रेस्ड छोड़ दिया जाता है।
क्रॉस-लेयर कैस्केड (Cross-Layer Cascade): कोर्सलेट सेलेक्टर के लिए 'एंकर' लेयर्स का एक छोटा सेट पूर्ण चयन करता है। "फॉलोअर" लेयर्स बिना पुनः गणना किए अपने एंकर लेयर्स से चुने गए टोकन इंडेक्स को पुनः उपयोग करती हैं, जिससे लेटेंसी काफी कम हो जाती है और लेयर-विशिष्ट प्रतिनिधित्व सुरक्षित रहता है।

मुख्य योगदान (Key Contributions)

स्ट्रीमिंग कंप्रेशन के लिए कोर्सेट दृष्टिकोण: स्थानीय टोकन प्रूनिंग से हटकर एक क्वेरी-अज्ञेय, कवरेज-ओरिएंटेड फॉर्मुलेशन की ओर बदलाव, जो संचित वीडियो कॉन्टेक्स्ट का प्रतिनिधित्व करने वाला एक कॉम्पैक्ट मेमोरी चुनता है।
संयुक्त KV प्रतिनिधि कवरेज: एक संयुक्त की-वैल्यू प्रतिनिधित्व और एक द्वि-मानदंड ऑब्जेक्टिव का परिचय जो स्पष्ट रूप से रिट्रीवल स्ट्रक्चर (कीज़) और आउटपुट कंटेंट (वैल्यूज़) के बीच संतुलन बनाता है, यह प्रदर्शित करते हुए कि केवल एक स्पेस में चयन करना उप-इष्टतम (suboptimal) है।
ऑर्थोगोनल विविधता: लॉग-डिटरमिनेंट सबसेट सिलेक्शन पर आधारित एक एंटी-रेडंडेंसी मैकेनिज्म जो उन उम्मीदवारों को प्राथमिकता देता है जो फीचर स्पेस में नए दिशाओं में योगदान देते हैं, जिससे रेडंडेंट जानकारी पर टोकन बजट बर्बाद होने से बचता है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन चार ओपन-सोर्स VLMs (Qwen2-VL, Qwen2.5-VL, LLaVA-NeXT-Video) पर पाँच बेंचमार्क्स (EgoSchema, MLVU, VideoMME, OVO-Bench, StreamingBench) पर किया गया।

प्रदर्शन (Performance): फिक्स्ड कैश बजट (3K और 6K टोकन) के तहत, CoRDS लगातार InfiniPot-V और StreamMem जैसे ह्यूरिस्टिक बेसलाइन्स को पछाड़ देता है।
- MLVU पर, CoRDS ने 6K बजट पर सर्वश्रेष्ठ बेसलाइन से +4.2% का सुधार किया।
- आक्रामक कंप्रेशन रेश्यो (1/16) पर, CoRDS अक्सर Full KV (अनकंप्रेस्ड) बेसलाइन के बराबर या उससे बेहतर प्रदर्शन करता है, जो यह सुझाव देता है कि कौन से टोकन रखे जा रहे हैं, यह इस बात से अधिक महत्वपूर्ण है कि कितने टोकन रखे जा रहे हैं।
स्ट्रीमिंग दक्षता (Streaming Efficiency): स्ट्रीमिंग बेंचमार्क्स (OVO-Bench, StreamingBench) में, CoRDS ने बैकवर्ड, रियल-टाइम और फॉरवर्ड ट्रैक्स में लाभ दिखाया, विशेष रूप से उन कार्यों में जिनमें लंबे अंतराल पर बिखरे हुए साक्ष्य (evidence) की आवश्यकता होती है (जैसे कि प्रोस्पेक्टिव रीजनिंग, काउंटिंग)।
कवरेज विश्लेषण (Coverage Analysis): कवरेज क्युमुलेटिव डिस्ट्रीब्यूशन फंक्शन (CDF) विश्लेषण पुष्टि करता है कि CoRDS मूल टोकन सेट के मुकाबले एक अधिक प्रतिनिधि उपसमूह बनाए रखता है, जिसमें ओरिजिनल टोकन सेट के प्रति कम कोसाइन डिस्टेंस देखी गई है।
दक्षता (Efficiency): क्रॉस-लेयर कैस्केड रणनीति एक फ्लैट मेमोरी फुटप्रिंट बनाए रखती है और 1000 सेकंड तक के वीडियो के लिए भी बेसलाइन्स के बराबर या बेहतर प्रीफिल थ्रूपुट प्राप्त करती है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि मेमोरी-कंस्ट्रेंड स्ट्रीमिंग वीडियो अंडरस्टैंडिंग के लिए प्रतिनिधि कोर्सेट चयन, टोकन-वाइज प्रूनिंग की तुलना में एक अधिक प्रभावी सिद्धांत है। एक संयुक्त की-वैल्यू स्पेस में संचित इतिहास के ज्यामितीय कवरेज के लिए स्पष्ट रूप से अनुकूलित करके, CoRDS लॉन्ग-कॉन्टेक्स्ट रीजनिंग में निहित "नीडल-इन-ए-हेस्टैक" (सुई खोजने जैसी) समस्या को कम करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण ट्रेनिंग-फ्री और क्वेरी-अज्ञेय है, जिससे यह बिना री-ट्रेनिंग के मौजूदा ट्रांसफॉर्मर-आधारित VLMs पर तुरंत लागू किया जा सकता है। परिणाम दर्शाते हैं कि स्ट्रीमिंग सेटिंग्स में प्रदर्शन में सुधार केवल कैश साइज बढ़ाने से नहीं, बल्कि विजुअल टोकन के कम रेडंडेंट और अधिक सूचनात्मक उपसमूह को बनाए रखने से आता है। शोध पत्र निष्कर्ष निकालता है कि यह ज्यामितीय ग्राउंडिंग निरंतर धारणा (persistent perception) एजेंटों के लिए ह्यूरिस्टिक-आधारित संपीड़न का एक मौलिक विकल्प प्रदान करती है।