💬 NLP

Sparse-to-Dense: A Free Lunch for Lossless Acceleration of Video Understanding in LLMs

यह शोध पत्र Sparse-to-Dense (StD) को प्रस्तुत करता है, जो एक ट्यूनिंग-मुक्त (tuning-free), प्लग-एंड-प्ले डिकोडिंग रणनीति है जो एक सहयोगी तंत्र का लाभ उठाकर लार्ज लैंग्वेज मॉडल्स में वीडियो समझ को बिना किसी प्रदर्शन हानि के 1.94 $\times$ तक तेज करती है, जहाँ एक तेज़ स्पार्स मॉडल अनुमानित रूप से टोकन को डिकोड करता है और एक धीमा डेंस मॉडल समानांतर में उन्हें सत्यापित करता है।

मूल लेखक: Xuan Zhang, Cunxiao Du, Sicheng Yu, Jiawei Wu, Fengzhuo Zhang, Wei Gao, Qian Liu

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xuan Zhang, Cunxiao Du, Sicheng Yu, Jiawei Wu, Fengzhuo Zhang, Wei Gao, Qian Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी फिल्म (वीडियो) देखने की कोशिश कर रहे हैं और एक सुपर-स्मार्ट AI असिस्टेंट से उसके बारे में सवाल पूछना चाहते हैं। समस्या यह है कि यह असिस्टेंट अविश्वसनीय रूप से विस्तृत है लेकिन साथ ही अविश्वसनीय रूप से धीमा भी है। हर बार जब वह एक नया शब्द सोचने की कोशिश करता है, तो उसे यह सुनिश्चित करने के लिए पूरी फिल्म की स्क्रिप्ट को शुरू से फिर से पढ़ना पड़ता है कि उसने कुछ भी मिस न किया हो। यदि फिल्म एक घंटे लंबी है, तो स्क्रिप्ट बहुत विशाल होगी और असिस्टेंट इसमें फंस जाएगा, जिससे उत्तर देने में बहुत समय लगेगा।

यह पेपर स्पार्स-टू-डेंस (Sparse-to-Dense - STD) नामक एक चतुर ट्रिक पेश करता है ताकि इस असिस्टेंट को उसकी बुद्धिमत्ता को कम किए बिना तेज़ बनाया जा सके। यह कैसे काम करता है, इसके लिए कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है:

समस्या: "अति-तैयार" छात्र

AI को एक टेस्ट देने वाले छात्र के रूप में सोचें। वर्तमान में, वे हर एक शब्द लिखने के लिए, अपना पूरा टेक्स्टबुक (वीडियो डेटा) बाहर निकालते हैं और अगला शब्द तय करने के लिए हर एक पन्ना पढ़ते हैं। यह सटीक है, लेकिन थकाऊ और धीमा है।

अंतर्दृष्टि: "किताब के अधिकांश हिस्से की अभी जरूरत नहीं है"

शोधकर्ताओं ने कुछ दिलचस्प देखा: जब AI लिख रहा होता है, तो उसे वास्तव में हर बार पूरी किताब पढ़ने की आवश्यकता नहीं होती है। वह वास्तव में केवल कुछ विशिष्ट पृष्ठों या वाक्यों पर ध्यान केंद्रित करता है जो वर्तमान विचार के लिए प्रासंगिक हैं। यह वैसा ही है जैसे जब आप एक ईमेल लिख रहे होते हैं; आपको यह तय करने के लिए कि आगे क्या कहना है, अपने पूरे जीवन की कहानी को फिर से पढ़ने की आवश्यकता नहीं होती; आपको बस अपने द्वारा लिखे गए पिछले कुछ वाक्यों को याद रखने की आवश्यकता होती है।

समाधान: "ड्राफ्ट और वेरीफाई" टीम

लेखकों ने काम को तेज़ करने के लिए दो-सदस्यीय टीम बनाई है:

तेज़ ड्राफ्ट्समैन (द स्पार्स मॉडल - The Sparse Model):
एक त्वरित, ऊर्जावान इंटर्न की कल्पना करें। इस इंटर्न को टेक्स्टबुक के केवल सबसे महत्वपूर्ण पृष्ठों ( "top-K" पृष्ठों) को देखने की अनुमति है। क्योंकि वे उबाऊ, अप्रासंगिक हिस्सों को अनदेखा करते हैं, वे बहुत तेज़ी से अनुमानों (speculative tokens) का एक पूरा पैराग्राफ लिख सकते हैं।

नुकसान: क्योंकि वे पन्ने छोड़ रहे हैं, वे कुछ गलतियाँ कर सकते हैं।

सावधान संपादक (द डेंस मॉडल - The Dense Model):
यह मूल, सुपर-स्मार्ट AI है। यह पूरी टेक्स्टबुक पढ़ता है। हालाँकि, एक बार में एक शब्द लिखने के बजाय, यह एक फैक्ट-चेकर (तथ्य-जांचकर्ता) के रूप में कार्य करता है। यह इंटर्न के अनुमानों के पूरे पैराग्राफ को एक साथ देखता है।

यदि इंटर्न ने शब्द सही लिखे हैं, तो संपादक कहता है, "बहुत बढ़िया, इन्हें रखें!" और आगे बढ़ जाता है।
यदि इंटर्न ने कोई गलती की है, तो संपादक उसे ठीक करता है और इंटर्न के अनुमान को वहीं रोक देता है।
महत्वपूर्ण बात यह है कि संपादक को एक शब्द को चेक करने के समय में कई शब्दों को चेक करने का मौका मिलता है।

परिणाम: एक "फ्री लंच"

पेपर इसे "फ्री लंच" कहता है क्योंकि उन्हें बिना किसी सटीकता को खोए एक बड़ा स्पीड बूस्ट (1.94 गुना तेज़) मिलता है।

कोई ट्रेनिंग आवश्यक नहीं: उन्होंने AI को कुछ भी नया नहीं सिखाया या अलग से छोटा AI मॉडल नहीं बनाया। उन्होंने बस मौजूदा AI के मेमोरी पढ़ने के तरीके को बदल दिया।
प्लग-एंड-प्ले: यह एक मानक इंजन को टर्बो-चार्ज्ड इंजन से बदलने जैसा है जो उसी कार में फिट बैठता है। आपको कार को फिर से बनाने की आवश्यकता नहीं है; आपको बस स्विच चालू करना है।

वीडियो के लिए यह क्यों मायने रखता है

वीडियो बहुत बड़े होते हैं। एक घंटे का वीडियो AI के लिए 1,40,000 से अधिक "शब्दों" (टोकन) में बदल सकता है।

पुराना तरीका: AI हर नए शब्द को जेनरेट करने के लिए सभी 1,40,000 शब्दों को पढ़ता है।
नया तरीका (STD): इंटर्न सबसे महत्वपूर्ण 1,000 शब्दों को देखकर एक बार में 9 शब्दों का ड्राफ्ट तैयार करता है। फिर संपादक उन 9 शब्दों को पूरे 1,40,000 शब्दों के विरुद्ध तेज़ी से चेक करता है।

क्योंकि इंटर्न आमतौर पर (व्यक्तिगत शब्दों के लिए लगभग 95% बार) सही होता है, टीम वीडियो को बहुत तेज़ी से पूरा कर लेती है, लेकिन अंतिम उत्तर बिल्कुल वही होता है जैसा कि धीमे, सावधान AI ने अकेले किया होता।

सीमा

पेपर एक भौतिक बाधा का उल्लेख करता है: "टेक्स्टबुक" (वीडियो डेटा) को अभी भी कंप्यूटर की तेज़ मेमोरी (GPU) में फिट होना चाहिए। यदि वीडियो बहुत लंबा है, तो मेमोरी भर सकती है, ठीक वैसे ही जैसे बैग बहुत भारी होने पर बोझ बन जाता है। लेखक सुझाव देते हैं कि भविष्य में, उन्हें और भी लंबे वीडियो को संभालने के लिए "किताब" के कुछ हिस्से को एक धीमी लेकिन बड़ी हार्ड ड्राइव (CPU मेमोरी) पर स्टोर करने की आवश्यकता हो सकती है।

संक्षेप में: उन्होंने AI को यह खोजने का तरीका ढूँढा है जिससे वह यह अनुमान लगाने के लिए वीडियो को "स्किम" (सरसरी निगाह से देख) सके कि आगे क्या होने वाला है, और फिर तुरंत उन अनुमानों को "डबल-चेक" कर सके। यह AI की बुद्धिमत्ता को बदले बिना वीडियो समझने की प्रक्रिया को लगभग दोगुना तेज़ बना देता है।

तकनीकी सारांश: वीडियो-एलएलएम (Video-LLM) त्वरण के लिए स्पार्स-टू-डेंस (STD)

समस्या विवरण
वीडियो लार्ज लैंग्वेज मॉडल्स (Video-LLMs) को लंबे वीडियो अनुक्रमों (sequences) को प्रोसेस करने के दौरान महत्वपूर्ण इन्फरेंस लेटेंसी (inference latency) का सामना करना पड़ता है। यह मुख्य रूप से ऑटो-रिग्रेसिव डिकोडिंग तंत्र के कारण होता है, जहाँ प्रत्येक नया टोकन पिछले सभी टोकनों पर ध्यान (attend) देता है। चूंकि वीडियो अनुक्रमों को अत्यंत लंबे टोकन स्ट्रीम के रूप में दर्शाया जाता है (उदाहरण के लिए, एक 1 घंटे का वीडियो 140,000 से अधिक विजुअल टोकन उत्पन्न कर सकता है), इससे जुड़ा की-वैल्यू (KV) कैश तेजी से बढ़ता है, जो भारी मेमोरी बैंडविड्थ की मांग पैदा करता है और थ्रूपुट (throughput) को कम करता है। जबकि मौजूदा समाधान जैसे KV कैश कम्प्रेशन या क्वांटाइजेशन मौजूद हैं, वे अक्सर ट्रेनिंग और इन्फरेंस के बीच विसंगतियां पैदा करते हैं, जिससे मॉडल का प्रदर्शन गिर जाता है। इसके अलावा, मानक स्पेकुलेटिव डिकोडिंग विधियों के लिए आमतौर पर एक अतिरिक्त "ड्राफ्ट" मॉडल की आवश्यकता होती है, जो बड़े Video-LLMs के लिए गणनात्मक रूप से महंगा और अव्यवहारिक है।

कार्यप्रणाली: स्पार्स-टू-डेंस (STD)
लेखक स्पार्स-टू-डेंस (STD) का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले, ट्रेनिंग-फ्री डिकोडिंग रणनीति है जो वीडियो-एलएलएम की अंतर्निहित अटेंशन स्पर्सिटी (attention sparsity) का लाभ उठाकर लॉसलेस त्वरण (lossless acceleration) प्राप्त करती है। यह विधि बिना किसी आर्किटेक्चरल बदलाव या फाइन-ट्यूनिंग के कार्य करती है।

मुख्य अवलोकन: लेखक देखते हैं कि डिकोडिंग के दौरान वीडियो-एलएलएम में अटेंशन स्कोर अत्यधिक स्पार्स होते हैं। Qwen2-VL-7B जैसे मॉडल्स पर अनुभवजन्य विश्लेषण से पता चलता है कि केवल टॉप- $K$ KV कैश को बनाए रखने से लगभग 95% टोकन के लिए मूल टोकन प्रेडिक्शन सटीकता बनी रहती है। यह सुझाव देता है कि अधिकांश अटेंशन हेड्स अंतिम आउटपुट में न्यूनतम योगदान देते हैं, और हर चरण के लिए पूर्ण KV कैश अनिवार्य रूप से आवश्यक नहीं है।
दोहरी-मॉड्यूल संरचना (Dual-Module Architecture): STD एक ही मॉडल पैरामीटर्स के दो अलग-अलग मोड का उपयोग करता है:
- द स्पार्स मॉडल ( $M_s$ ): यह ड्राफ्ट मॉडल के रूप में कार्य करता है। यह टॉप- $K$ अटेंशन का उपयोग करता है, जो टेक्स्टुअल टोकन से विजुअल टोकन के अटेंशन वेट्स के आधार पर सबसे प्रासंगिक KV कैश का चयन करता है। यह ड्राफ्टिंग चरण के दौरान I/O ओवरहेड को काफी कम कर देता है।
- द डेंस मॉडल ( $M$ ): यह वेरीफायर के रूप में कार्य करता है। यह स्पार्स मॉडल द्वारा प्रस्तावित टोकन को सत्यापित करने के लिए पूर्ण KV कैश (मानक अटेंशन) का उपयोग करता है।
डिकोडिंग प्रक्रिया:
- एक इनपुट सीक्वेंस के लिए, स्पार्स मॉडल $M_s$ ऑटो-रिग्रेसिव रूप से $\gamma$ स्पेकुलेटिव टोकन उत्पन्न करता है।
- डेंस मॉडल $M$ पूर्ण KV कैश के लिए एक सिंगल I/O ऑपरेशन का उपयोग करके इन $\gamma$ टोकनों को समानांतर (parallel) रूप से सत्यापित करता है।
- सत्यापन डेंस मॉडल के प्रेडिक्शन्स से मेल खाने वाले टोकन के सबसे लंबे प्रीफिक्स ( $n$ टोकन) की पहचान करता है और एक अतिरिक्त "बोनस" टोकन को स्वीकार करता है।
- स्वीकृत अनुक्रम को अगले इटरेशन के लिए कॉन्टेक्स्ट में जोड़ दिया जाता है।
KV कैश चयन: दक्षता को अनुकूलित करने के लिए, टेक्स्टुअल टोकन से विजुअल टोकन की ओर निर्देशित औसत अटेंशन स्कोर के आधार पर टॉप- $K$ विजुअल KV कैश का चयन प्रीफिलिंग स्टेज के दौरान किया जाता है। यह डिकोडिंग चरण के दौरान गतिशील, गणना-भारी चयन से बचाता है। यह चयन लेयर्स और अटेंशन हेड्स के बीच विभिन्न स्तरों (granular) पर होता है।

प्रमुख योगदान

लॉसलेस त्वरण (Lossless Acceleration): STD आउटपुट डिस्ट्रीब्यूशन को बदले बिना या मॉडल को पुन: प्रशिक्षित किए बिना इन्फरेंस को तेज करके एक "फ्री लंच" प्रदान करता है।
कोई अतिरिक्त ड्राफ्ट मॉडल नहीं: पारंपरिक स्पेकुलेटिव डिकोडिंग के विपरीत, STD अपने लक्ष्य मॉडल का ही उपयोग ड्राफ्टर के रूप में करता है, बस उसके अटेंशन मैकेनिज्म को डेंस से स्पार्स में बदलकर, जिससे अलग ड्राफ्ट मॉडल को स्टोर करने के लिए अतिरिक्त GPU मेमोरी की आवश्यकता समाप्त हो जाती है।
प्लग-एंड-प्ले कार्यान्वयन: इस विधि के लिए मानक Video-LLMs को स्पार्स समकक्षों में बदलने के लिए केवल मामूली कोड संशोधनों (लगभग 20 लाइनें) की आवश्यकता होती है।
सैद्धांतिक दक्षता: लेखक एक I/O कॉम्प्लेक्सिटी विश्लेषण प्रदान करते हैं जो दिखाता है कि यदि रिटेन (retained) KV पेयर्स के अनुपात के सापेक्ष स्वीकृति दर ( $\alpha$ ) पर्याप्त रूप से उच्च है, तो प्रति टोकन औसत I/O काफी कम होता है।

प्रायोगिक परिणाम
इस विधि का मूल्यांकन अत्याधुनिक Video-LLMs (LLaVA-OneVision-7B और Qwen2-VL-7B-Instruct) पर MLVU और VideoMME बेंचमार्क (शॉर्ट, मीडियम और लॉन्ग वीडियो को कवर करते हुए) का उपयोग करके किया गया।

स्पीडअप: STD ने Qwen2-VL-7B पर 1.94× वॉल-टाइम स्पीडअप और LLaVA-OneVision-7B पर 1.72× स्पीडअप प्राप्त किया।
सटीकता: यह विधि लॉसलेस है, जो सभी बेंचमार्क में मूल डेंस मॉडल के समान सटीकता बनाए रखती है।
तुलना: STD ने LayerSkip (जो डिस्ट्रीब्यूशनल शिफ्ट और कम एक्सेप्टेंस रेट से ग्रस्त था) और Streaming (जो स्ट्रीमिंग अटेंशन का उपयोग करता है) जैसे बेसलाइन्स को पछाड़ दिया। उदाहरण के लिए, Qwen2-VL पर, STD ने 1.61× की तुलना में 1.94× स्पीडअप हासिल किया, जिसमें एक्सेप्टेंस रेट भी अधिक था।
हाइपरपैरामीटर्स: एब्लेशन स्टडीज ने संकेत दिया कि ड्राफ्ट लंबाई ( $\gamma$ ) बढ़ाने से एक बिंदु तक (लगभग $\gamma=9$ ) स्पीडअप में सुधार होता है, जिसके बाद लगातार सही भविष्यवाणियों की संभावना गिर जाती है। इसी तरह, एक इष्टतम $K$ मान स्पार्स मॉडल की गति और ड्राफ्ट की सटीकता के बीच संतुलन बनाता है।

महत्व और दावे
पेपर का दावा है कि STD, LLMs में कुशल लंबे वीडियो प्रोसेसिंग के लिए एक व्यावहारिक, तत्काल समाधान प्रदान करता है। अटेंशन स्पर्सिटी के स्ट्रक्चरल गुण का लाभ उठाकर, यह सटीकता से समझौता किए बिना मानक Video-LLMs को कुशल सिस्टम में निर्बाध रूप से परिवर्तित करने में सक्षम बनाता है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण लंबे वीडियो अनुक्रमों (जैसे, 1 घंटे के वीडियो) के कुशल प्रसंस्करण को अनलॉक करता है जो पहले उच्च इन्फरेंस लेटेंसी से बाधित थे, और यह सब बिना किसी अतिरिक्त ट्रेनिंग या आर्किटेक्चरल संशोधनों के संभव है। लेखकों ने उल्लेख किया है कि हालांकि वर्तमान दृष्टिकोण सभी KV कैश को GPU मेमोरी (HBM) में स्टोर करता है, भविष्य के कार्य और भी बड़े मॉडल्स के लिए क्षमता संबंधी बाधाओं को दूर करने हेतु CPU मेमोरी में ऑफलोडिंग का पता लगा सकते हैं।