🤖 AI

Rethinking Video Token Compression with a Global Codebook: Learning Once, Compressing Everywhere

यह शोध पत्र **ONCE** का प्रस्ताव करता है, जो एक प्लग-इन वीडियो टोकन कंप्रेशन फ्रेमवर्क है जो एक फ्रीक्वेंसी-अवेयर ग्लोबल कोडबुक को एक बार सीखने के माध्यम से महंगी कंप्रेशन प्रक्रिया को ऑफलाइन स्थानांतरित कर देता है, जिससे कुशल, मॉडल-अग्नोस्टिक ऑनलाइन कंप्रेशन सक्षम होता है जो वीडियो अंडरस्टैंडिंग बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए इन्फरेंस लेटेंसी को काफी कम कर देता है।

मूल लेखक: Jiayang He, Tianling Xu, Diancheng Kang, Huaide Jiang, Junyan Bai, Shaoming Zheng, Xuan Song

प्रकाशित 2026-08-04

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiayang He, Tianling Xu, Diancheng Kang, Huaide Jiang, Junyan Bai, Shaoming Zheng, Xuan Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को फिल्में समझना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, आप फिल्म के हर फ्रेम को अर्थ के हजारों छोटे डिजिटल "पिक्सेल" में तोड़ देते हैं, जिन्हें टोकन कहा जाता है। रोबोट फिर यह समझने के लिए कि क्या हो रहा है, टोकन की इस विशाल सूची को एक वाक्य की तरह पढ़ता है। समस्या यह है कि फिल्में लंबी होती हैं, और वे दोहराव से भरी होती हैं। यदि कोई पात्र दस सेकंड तक एक कमरे में स्थिर खड़ा रहता है, तो रोबोट को एक ही "कमरे में खड़ा है" वाले टोकन को हजारों बार पढ़ने के लिए मजबूर किया जाता है। यह एक ऐसी किताब पढ़ने जैसा है जहाँ जगह भरने के लिए "द" शब्द को दस लाख बार दोहराया गया हो; यह रोबोट की मानसिक शक्ति को बर्बाद करता है और उसे सवाल पूछने में अविश्वसनीय रूप से धीमा बना देता है। वैज्ञानिक इसे ठीक करने के लिए रोबोट को वीडियो देखते समय उबाऊ हिस्सों को छोड़ने या समान हिस्सों को मिलाने के लिए प्रशिक्षित करके इसे ठीक करने की कोशिश कर रहे हैं, लेकिन इसके लिए आमतौर पर रोबोट को हर एक नया वीडियो देखते समय अतिरिक्त गणित करने की आवश्यकता होती है, जो अभी भी बहुत धीमा और महंगा है।

यह शोध पत्र इस तरह से निपटने का एक नया तरीका पेश करता है जिसे ONCE कहा जाता है। रोबोट को हर नया वीडियो देखते समय सॉर्टिंग और स्किपिंग करने का कठिन काम देने के बजाय, शोधकर्ताओं ने भारी काम को रोबोट के वीडियो देखने से पहले ही करने का निर्णय लिया। उन्होंने एक "ग्लोबल कोडबुक" (Global Codebook) बनाई, जो अनिवार्य रूप से सबसे सामान्य दृश्य पैटर्न का एक विशाल, पूर्व-निर्मित इंडेक्स है जो हजारों घंटों के वीडियो से लिया गया है। इसे एक लाइब्रेरी की तरह समझें जहाँ हर किताब पहले से ही सही शेल्फ में व्यवस्थित है। जब एक नया मूवी आती है, तो रोबate को इसे शून्य से व्यवस्थित करने की आवश्यकता नहीं होती; वह बस अपने पूर्व-निर्मित इंडेक्स में पैटर्न को देखता है, प्रासंगिक "शेल्फ" उठाता है, और उन्हें औसत (average) निकाल लेता है। यह रोबोट को वीडियो बहुत तेज़ी से प्रोसेस करने की अनुमति देता है क्योंकि यह केवल एक त्वरित लुकअप है न कि एक जटिल गणना। शोधकर्ताओं ने पाया कि यह तरीका अविश्वसनीय रूप से अच्छा काम करता है, विशेष रूप से तब जब उन्हें बहुत कम टोकन का उपयोग करने के लिए मजबूर किया जाता है, जिससे रोबोट तेज़ रहता है बिना यह भूले कि वह क्या देख रहा है।

समस्या: रोबोट का अभिभूत मस्तिष्क

वीडियो लार्ज लैंग्वेज मॉडल्स (Video-LLMs) सुपर-पावर्ड जासूसों की तरह होते हैं जो वीडियो देख सकते हैं और उसके बारे में सवालों के जवाब दे सकते हैं। ऐसा करने के लिए, वे वीडियो को टोकन की एक लंबी स्ट्रिंग में बदल देते हैं। लेकिन यहाँ एक पेंच है: यदि आप जासूस को दो घंटे की फिल्म खिलाते हैं, तो टोकन की स्ट्रिंग इतनी लंबी हो जाती है कि वह जासूस की याददाश्त को अभिभूत (overwhelm) कर देती है।

इससे भी बदतर यह है कि फिल्में दोहराव से भरी होती हैं। यदि कोई दृश्य पांच मिनट तक सोफे पर बैठी बिल्ली को दिखाता है, तो वीडियो एनकोडर हजारों टोकन उत्पन्न करता है जो सभी "सोफे पर बिल्ली" कहते हैं। जासूस को उन सभी को पढ़ना पड़ता है, भले ही वे सभी एक जैसे हों। मौजूदा तरीके इस समस्या को ठीक करने का प्रयास करते हैं ताकि जासूस वीडियो देखते समय टोकन को "प्रून" (काटना) या "मर्ज" (मिलाना) कर सके। लेकिन यह जासूस को हर एक फिल्म देखते समय अपने नोट्स को रोकने और पुनर्गठित करने के लिए कहने जैसा है। इसमें हर बार अतिरिक्त समय और ऊर्जा लगती है, और व्यवस्थित करने के नियम इस बात पर निर्भर करते हैं कि आप कौन सा जासूस (मॉडल) उपयोग कर रहे हैं।

समाधान: ONCE और "ग्लोबल कोडबुक"

इस शोध पत्र के लेखक, जियायांग हे और उनकी टीम ने एक अलग दृष्टिकोण प्रस्तावित किया। उन्होंने पूछा: "क्या होगा यदि हम सभी के लिए एक बार व्यवस्थित कर दें, बजाय इसके कि जासूस को हर बार यह करने के लिए कहा जाए?"

उन्होंने ONCE (ऑफलाइन-टू-ऑनलाइन वीडियो टोकन कम्प्रेशन) नामक एक प्रणाली बनाई। यह कैसे काम करता है, इसके लिए एक सरल उपमा दी गई है:

कल्पना कीजिए कि आप एक लाइब्रेरियन हैं जिसे लाखों किताबें छांटनी हैं।

पुराना तरीका (मौजूदा तरीके): जब भी किताबों की नई खेप आती है, आपको रुकना पड़ता है, हर एक किताब को पढ़ना पड़ता है, यह तय करना पड़ता है कि कौन सी समान हैं, और फिर उन्हें शेल्फ में रखने से पहले उन्हें भौतिक रूप से समूहित करना पड़ता है। प्रत्येक खेप के लिए इसमें बहुत समय लगता है।
ONCE का तरीका: कोई भी नई खेप आने से पहले, आप अपने पास मौजूद किताबों के एक विशाल संग्रह का अध्ययन करने में समय बिताते हैं। आप एक "मास्टर इंडेक्स" (ग्लोबल कोडबुक) बनाते हैं जिसमें आपके द्वारा देखी गई हर सामान्य प्रकार की किताब (जैसे, "एक्शन हीरो," "कुकिंग शो," "नेचर डॉक्यूमेंट्री") सूचीबद्ध होती है। आप एक नियम भी बनाते हैं: "यदि कोई किताब 'नेचर डॉक्यूमेंट्री' जैसी दिखती है, तो उसे बिन ए (Bin A) में डालें।"

अब, जब किताबों की नई खेप (एक नया वीडियो) आती है, तो आपको उन सभी को ध्यान से पढ़ने की आवश्यकता नहीं होती। आप बस जल्दी से प्रत्येक पुस्तक पर एक नज़र डालते हैं, अपने "मास्टर इंडेक्स" की जाँच करते हैं कि वह किस बिन में आती है, और उसे वहां डाल देते हैं। फिर आप बिन ए की सभी किताबों को एक एकल नोट में सारांशित करते हैं। यह अविश्वसनीय रूप से तेज़ है क्योंकि आप हर नई खेप के लिए नए सिरे से सॉर्टिंग के नियम नहीं बना रहे हैं; आप केवल उन नियमों का उपयोग कर रहे हैं जो आपने एक बार सीखे थे।

यह विस्तार से कैसे काम करता है

ऑफलाइन लर्निंग ("एक बार" वाला हिस्सा): शोधकर्ताओं ने वीडियो के एक विशाल डेटासेट (LLaVA-Video-178K) का विश्लेषण किया। उन्होंने केवल यादृच्छिक (random) पैटर्न नहीं चुने; उन्होंने यह सुनिश्चित किया कि वे वीडियो के विभिन्न समय (टेम्पोरल स्ट्रैटिफिकेशन) से पैटर्न कैप्चर करें और उन्हें कितनी बार देखा गया उसके आधार पर भारित (weight) करें। फिर उन्होंने एक ग्लोबल कोडबुक बनाने के लिए "ऑप्टिमल ट्रांसपोर्ट" नामक गणितीय तकनीक का उपयोग किया जिसमें 8,192 प्रतिनिधि "प्रोटोटाइप" (या कोडवर्ड्स) शामिल हैं। यह कोडबुक दृश्य दुनिया के एक मानचित्र के रूप में कार्य करती है।
ऑनलाइन कम्प्रेशन ("हर जगह" वाला हिस्सा): जब एक नया वीडियो आता है, तो सिस्टम कुछ भी नया प्रशिक्षित नहीं करता है। यह बस वीडियो के विजुअल टोकन को देखता है और पूछता है, "यह मेरे 8,192 प्रोटोटाइप्स में से किसके जैसा दिखता है?" यह उन सबसे अधिक बार दिखने वाले प्रोटोटाइप्स को चुनता है जो वीडियो में दिखाई देते हैं, सभी वीडियो टोकन को इन प्रोटोटाइप्स में पुन: असाइन करता है, और फिर उन्हें औसत निकाल लेता है। यह हजारों टोकन को एक छोटी, प्रबंधनीय संख्या (जैसे 256 या 512) में बदल देता है, बिना मूल अर्थ खोए।

उन्होंने क्या पाया

टीम ने दो अलग-अलग AI मॉडल्स (LLaVA-OneVision-7B और Qwen3.5-9B) का उपयोग करके चार अलग-अलग वीडियो समझ बेंचमार्क (MVBench, EgoSchema, Video-MME, और LongVideoBench) पर ONCE का परीक्षण किया।

गति: परिणाम आश्चर्यजनक थे। ONCE ने भाषा मॉडल को करने वाले काम को प्री-कंप्यूटेशन (prefill FLOPs) के मामले में लगभग 96% कम कर दिया। वास्तविक दुनिया के संदर्भ में, इसने सिस्टम को बिना कम्प्रेशन के चलाने की तुलना में औसतन 2.96 गुना तेज़ बना दिया।
सटीकता: आमतौर पर, जब आप डेटा काटकर किसी सिस्टम को तेज़ बनाते हैं, तो वह कम बुद्धिमान हो जाता है। लेकिन ONCE आश्चर्यजनक रूप से स्मार्ट था। जब टोकन बजट बहुत कम (केवल 32, 64, या 128 टोकन) था, तो ONCE ने अन्य संपीड़न विधियों की तुलना में उच्च स्कोर प्राप्त किया। यह घटनाओं की गिनती करने या अवस्था परिवर्तन (state changes) को पहचानने जैसे कार्यों में विशेष रूप से अच्छा था।
दक्षता: सिस्टम ने मुख्य AI मॉडल को फिर से प्रशिक्षित किए बिना यह गति प्राप्त की। कोडबुक को एक बार सीखा गया था और फिर इसका उपयोग हर चीज़ के लिए किया गया।

उन्होंने क्या खारिज किया

यह शोध पत्र स्पष्ट रूप से इस विचार का खंडन करता है कि संपीड़न (compression) हर वीडियो के लिए "ऑनलाइन" (वीडियो प्लेबैक के दौरान) किया जाना चाहिए। उन्होंने दिखाया कि इन्फरेंस (देखते समय) के दौरान भारी काम करना अक्षम और अनावश्यक है। उन्होंने यह भी प्रदर्शित किया कि केवल रैंडम टोकन चुनना या हर वीडियो के लिए टोकन का एक निश्चित सेट उपयोग करना उनके तरीके जितना प्रभावी नहीं है, जो विशिष्ट वीडियो के लिए सही प्रोटोटाइप का चयन करते हुए भी स्थिर समूहीकरण नियमों को बनाए रखता है।

इसके अलावा, उन्होंने पाया कि "ग्लोबल कोडबुक" केवल प्रशिक्षण उदाहरणों को संग्रहीत नहीं करती है; यह एक पुन: प्रयोज्य संरचना सीखती है। यहाँ तक कि उन वीडियो पर परीक्षण करने के बाद भी जिन्हें उसने पहले कभी नहीं देखा था (एक पब्लिक-वीडियो स्ट्रेस टेस्ट), कोडबुक ने रैंडम ग्रुपिंग की तुलना में बेहतर प्रदर्शन किया, जिससे पता चलता है कि इसने वास्तव में दृश्य पैटर्न के अंतर्निहित "व्याकरण" को कैप्चर किया है।

निचोड़

लेखक सुझाव देते हैं कि ONCE वीडियो AI के बारे में सोचने का एक नया तरीका प्रदान करता है: AI को हर नए वीडियो के लिए अधिक कठिन परिश्रम कराने के बजाय, हम इसे दृश्य पैटर्न की एक सार्वभौमिक भाषा सिखा सकते हैं, और फिर इसे आवश्यकता पड़ने पर उस भाषा को धाराप्रवाह और तेज़ी से बोलने दे सकते हैं। हालांकि इस विधि के लिए अलग-अलग AI मॉडल्स के लिए एक अलग कोडबुक की आवश्यकता होती है (क्योंकि वे चीजों को अलग तरह से "देखते" हैं), परिणाम बताते हैं कि यह "एक बार सीखें, हर जगह संकुचित करें" वाला दृष्टिकोण वीडियो AI को बिना उसकी समझ खोए तेज़ और अधिक कुशल बनाने का एक शक्तिशाली तरीका है। शोध पत्र निष्कर्ष निकालता है कि यह लंबे वीडियो को समझने को व्यावहारिक बनाने की दिशा में एक आशाजनक कदम है।

तकनीकी सारांश: ग्लोबल कोडबुक (ONCE) के साथ वीडियो टोकन संपीड़न पर पुनर्विचार

समस्या विवरण

वीडियो लार्ज लैंग्वेज मॉडल्स (Video-LLMs) वीडियो इनपुट को विजुअल टोकन्स के सघन अनुक्रमों (dense sequences) के रूप में प्रस्तुत करते हैं, जहाँ अनुक्रम की लंबाई टेम्पोरल और स्पेशियल रेजोल्यूशन के साथ बढ़ती है। यह घनत्व दो प्राथमिक बाधाएं उत्पन्न करता है:

कंप्यूटेशनल रेडंडेंसी (Computational Redundancy): पड़ोसी फ्रेम और पैच अक्सर दोहराव वाली दृश्य जानकारी रखते हैं, जिससे बाद के लैंग्वेज मॉडल प्रोसेसिंग में अनावश्यक गणना होती है।
मौजूदा विधियों की अक्षमता: वर्तमान टोकन संपीड़न तकनीकें (प्रूनिंग और मर्जिंग) इन्फरेंस के दौरान ऑनलाइन कार्य करती हैं। वे पहले सघन विजुअल फीचर्स उत्पन्न करती हैं और फिर उन्हें प्रत्येक इनपुट वीडियो के लिए स्वतंत्र रूप से संपीड़ित करती हैं। यह दृष्टिकोण हर वीडियो के लिए टोकन महत्व या समानता का अनुमान लगाने हेतु बार-बार प्रति-वीडियो गणना करता है, विभिन्न वीडियो के बीच संपीड़न ज्ञान साझा करने में विफल रहता है, और अक्सर मॉडल-विशिष्ट डिजाइनों (जैसे, अटेंशन-आधारित महत्व) पर निर्भर करता है जो सामान्यीकरण (generalizability) को सीमित करते हैं।

कार्यप्रणाली: ONCE फ्रेमवर्क

लेखक ONCE का प्रस्ताव करते हैं, जो एक प्लग-इन वीडियो टोकन संपीड़न फ्रेमवर्क है जो प्रतिमान को ऑनलाइन, इंस्टेंस-विशिष्ट संपीड़न से ऑफलाइन-टू-ऑनलाइन दृष्टिकोण की ओर स्थानांतरित करता है। मुख्य विचार एक फ्रीज़्ड विजुअल फीचर स्पेस में एक पुन: प्रयोज्य (reusable), फ्रीक्वेंसी-अवेयर ग्लोबल कोडबुक को एक बार सीखना और फिर हल्के ऑनलाइन संपीड़न के लिए इसे पुनः उपयोग करना है।

1. ऑफलाइन चरण: एक बार सीखना (Learning Once)

ONCE एक बड़े पैमाने के वीडियो कॉर्पस (जैसे, LLaVA-Video-178K) से बिना Video-LLM पैरामीटर्स को अपडेट किए एक ग्लोबल विजुअल कोडबुक $\mathcal{C} = [c_1, \dots, c_K]^T$ सीखता है।

टेम्पोरल स्ट्रैटिफाइड कॉर्पस स्केचिंग (Temporally Stratified Corpus Sketching): यूनिफॉर्म सैंपलिंग के बजाय, टेम्पोरल विविधता को बनाए रखने के लिए ट्रेनिंग कॉर्पस को टाइमलाइन के साथ स्ट्रैटिफाइड किया जाता है। वीडियो को बिन्स में विभाजित किया जाता है, और स्फेरिकल लॉयड अपडेट्स (spherical Lloyd updates) नॉर्मलाइज्ड टोकन्स को स्थानीय समूहों में विभाजित करते हैं। प्रत्येक समूह को एक वेटेड स्केच टोकन ( $r_u$ ) और एक सोर्स-टोकन काउंट वेट ( $w_u$ ) द्वारा दर्शाया जाता है।
बैलेंस्ड ग्लोबल कोडबुक फिटिंग: कोडबुक को डोमिनेंट विजुअल पैटर्न द्वारा ओवरवेल्म होने से बचाने के लिए, ONCE एक बैलेंस्ड असाइनमेंट रणनीति अपनाता है। यह एक प्रभावी वेट $\omega_u$ को परिभाषित करता है जो सोर्स-टोकन मास और कैटेगरी फ्रीक्वेंसी के लिए लॉन्ग-टेल करेक्शन को शामिल करता है।
ऑप्टिमाइज़ेशन: कोडबुक असाइनमेंट को एक एंट्रॉपी-रेगुलराइज्ड ऑप्टिमल ट्रांसपोर्ट समस्या के रूप में तैयार किया गया है (जिसे Sinkhorn iterations के माध्यम से हल किया जाता है)। यह कोडवर्ड्स के संतुलित उपयोग को सुनिश्चित करता है जबकि हाई-मास रिप्रेजेंटेटिव्स के महत्व को भी सुरक्षित रखता है। परिणामी कोडबुक ट्रेनिंग के बाद फिक्स्ड हो जाता है।

2. ऑनलाइन चरण: हर जगह संपीड़न (Compressing Everywhere)

इन्फरेंस के दौरान, फ्रीज़्ड कोडबुक किसी भी इनपुट वीडियो के लिए एक ग्रुपिंग प्रायर (grouping prior) के रूप में कार्य करता है।

एक्टिव कोडवर्ड सिलेक्शन: एक नए वीडियो के लिए, सघन विजुअल टोकन्स को ग्लोबल कोडबुक में निकटतम कोडवर्ड्स के साथ मैच किया जाता है। सिस्टम असाइनमेंट की फ्रीक्वेंसी ( $n_k$ ) गिनता है और उच्चतम फ्रीक्वेंसी वाले टॉप- $B$ एक्टिव कोडवर्ड्स ( $K_B$ ) को चुनता है। यह वर्तमान वीडियो की विशिष्ट सामग्री के अनुसार ग्लोबल ज्योमेट्री को अनुकूलित करता है।
री-असाइनमेंट और टोकन पूलिंग: सोर्स टोकन्स को चयनित एक्टिव कोडवर्ड्स में पुन: असाइन किया जाता है। टोकन्स के प्रत्येक समूह को मूल सोर्स एम्बेडिंग्स के मीन पूलिंग (mean pooling) के माध्यम से एक सिंगल कंटीन्यूअस टोकन में संपीड़ित किया जाता है।
आउटपुट: आउटपुट कंटीन्यूअस टोकन्स का एक कॉम्पैक्ट अनुक्रम है (डिस्क्रीट इंडेक्स नहीं), जो उनके संबंधित एक्टिव कोडवर्ड्स की फ्रीक्वेंसी के क्रम में होता है। अनुक्रम की लंबाई $M$ इस प्रकार है कि $M \le \min(N, B)$ , जहाँ $N$ मूल टोकन काउंट है और $B$ बजट है।

मुख्य अंतर: डिस्क्रीट टोकनाइज़र (जैसे, VQ-VAE) के विपरीत, ONCE फीचर्स को डिस्क्रीट कोड्स से नहीं बदलता है। इसके बजाय, यह ग्रुपिंग स्ट्रक्चर को परिभाषित करने के लिए कोडबुक का उपयोग करता है, जबकि संपीड़ित प्रतिनिधित्व इनपुट वीडियो के फीचर्स का एक कंटीन्यूअस एग्रीगेशन बना रहता है।

मुख्य योगदान

ऑफलाइन-टू-ऑनलाइन प्रतिमान: एक ऐसा फ्रेमवर्क जो एक कॉर्पस-लेवल ग्रुपिंग प्रायर को एक बार सीखता है और अनदेखे वीडियो के लिए इसे पुनः उपयोग करता है, जिससे प्रति-वीडियो संपीड़न रणनीति अनुकूलन की आवश्यकता समाप्त हो जाती है।
ग्लोबल कोडबुक लर्निंग: सोर्स-काउंट-वेटेड स्केचेस से एक बैलर्ड ग्लोबल कोडबुक सीखने की विधि, जो बजट-अवेयर सिलेक्शन और सोर्स-टोकन मीन पूलिंग का उपयोग करती है।
प्लग-एंड-प्ले एफिशिएंसी: यह विधि अपने संपीड़न तंत्र के संबंध में मॉडल-अग्नोस्टिक है (जब तक कि फीचर स्पेस फ्रीज़्ड है) और काफी कम इन्फरेंस लेटेंसी के साथ प्रतिस्पर्धी सटीकता प्राप्त करती है।

प्रयोगात्मक परिणाम

लेखकों ने दो बैकबोन (LLaVA-OneVision-7B और Qwen3.5-9B) का उपयोग करके चार बेंचमार्क (MVBench, EgoSchema, Video-MME, LongVideoBench) पर ONCE का मूल्यांकन किया।

एक्यूरेसी-एफिशिएंसी ट्रेड-ऑफ:
- टाइट टोकन बजट ( $B \in \{32, 64, 128\}$ ) के तहत, ONCE ने सभी बेंचमार्क में तुलना किए गए सभी संपीड़न बेसलाइन्स (ForestPrune और FastVID सहित) के बीच उच्चतम सटीकता प्राप्त की।
- बड़े बजट ( $B=512, 1024$ ) पर, ONCE प्रतिस्पर्धी बना रहा, हालांकि कुछ इनपुट-एडैप्टिव बेसलाइन्स ने विशिष्ट परिदृश्यों में कभी-कभी इसे पीछे छोड़ दिया।
इन्फरेंस लेटेंसी:
- ONCE ने तुलना किए गए तरीकों में सबसे कम इन्फरेंस लेटेंसी प्राप्त की।
- $B=512$ पर, ONCE ने विजुअल-टोकन प्रीफिल FLOPs को लगभग 96% कम कर दिया और डेंस इन्फरेंस की तुलना में (2.96 ± 1.21)× (मीन ± स्टैंडर्ड डेविएशन) का एंड-टू-एंड स्पीडअप प्राप्त किया।
- मेमोरी उपयोग में मामूली कमी (~15%) देखी गई, जो मुख्य रूप से कम किए गए सीक्वेंस लेंथ के कारण है, हालांकि मॉडल वेट्स रेजिडेंट रहे।
जनरलाइजेशन (Generalization): दृष्टिकोण सफलतापूर्वक Qwen3.5-9B बैकबोन पर ट्रांसफर हुआ, जिसमें उसी कॉर्पस पर प्रशिक्षित एकल कोडबुक का उपयोग किया गया, जो विभिन्न मॉडल आर्किटेक्चर के बीच मजबूती (robustness) को प्रदर्शित करता है।

महत्व और दावे

पेपर का दावा है कि ONCE वीडियो-LLM संपीड़न की मौलिक अक्षमता को संबोधित करता है, जो संपीड़न को एक अतिरिक्त, दोहराव वाली इन्फरेंस-स्टेज गणना के रूप में मानता है। ऑफलाइन चरण में ग्रुपिंग लॉजिक के भारी काम को स्थानांतरित करके, ONCE:

संपीड़न ज्ञान को विशिष्ट इनपुट वीडियो से अलग (decouple) करता है, जिससे ज्ञान का पुन: उपयोग संभव होता है।
इन्फरेंस के दौरान संपीड़न निर्णयों के कंप्यूटेशनल ओवरहेड को कम करता है।
कॉर्पस-लेवल सांख्यिकी का लाभ उठाकर टोकन एग्रीगेशन को निर्देशित करता है, जिससे उच्च कार्य प्रदर्शन बना रहता है, विशेष रूप से जब टोकन बजट सीमित हो।

लेखक नोट करते हैं कि हालांकि यह विधि प्रीफिल लागत को काफी कम कर देती है, लेकिन एंड-टू-एंड स्पीडअप विजुअल एनकोडिंग और डिकोडिंग चरणों द्वारा सीमित है, जो अपरिवर्तित रहते हैं। वे यह भी स्वीकार करते हैं कि फिक्स्ड कोडबुक लक्षित बैकबोन के विजुअल फीचर स्पेस के लिए विशिष्ट है और वर्तमान में यह विधि प्रारंभिक विजुअल एनकोडर की लागत को कम नहीं करती है।