🤖 AI

InfoTok: Adaptive Discrete Video Tokenizer via Information-Theoretic Compression

इन्फो-टोक (InfoTok) एक सूचना-सैद्धांतिक ढांचे और एक ट्रांसफार्मर-आधारित अनुकूली संकुचक (adaptive compressor) को पेश करता है जो सूचनात्मक समृद्धि के आधार पर वीडियो टोकन को गतिशील रूप से आवंटित करता है, जिससे प्रदर्शन को बनाए रखते हुए अत्याधुनिक संपीड़न दरें प्राप्त होती हैं।

मूल लेखक: Haotian Ye, Qiyuan He, Jiaqi Han, Puheng Li, Jiaojiao Fan, Zekun Hao, Fitsum Reda, Yogesh Balaji, Huayu Chen, Sheng Liu, Angela Yao, James Zou, Stefano Ermon, Haoxiang Wang, Ming-Yu Liu

प्रकाशित 2026-03-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haotian Ye, Qiyuan He, Jiaqi Han, Puheng Li, Jiaojiao Fan, Zekun Hao, Fitsum Reda, Yogesh Balaji, Huayu Chen, Sheng Liu, Angela Yao, James Zou, Stefano Ermon, Haoxiang Wang, Ming-Yu Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही धीमी इंटरनेट कनेक्टिविटी के माध्यम से अपने दोस्त को एक लंबी, जटिल फिल्म भेजने की कोशिश कर रहे हैं।

पुराना तरीका (फिक्स्ड टोकनाइज़र - Fixed Tokenizers):
वर्तमान में, अधिकांश वीडियो AI सिस्टम फिल्म के हर हिस्से के साथ एक जैसा व्यवहार करते हैं। कल्पना कीजिए कि आपके पास एक नियम है: "चाहे फिल्म में कुछ भी हो जाए, आपको हर एक सेकंड का वर्णन करने के लिए 100 पोस्टकार्ड भेजने ही होंगे।"

समस्या: यदि फिल्म में एक कुत्ता एक घंटे तक शांति से सो रहा है, तो आप एक सोते हुए कुत्ते का वर्णन करने के लिए 90 पोस्टकार्ड बर्बाद कर रहे हैं। यदि अचानक फिल्म में एक उग्र बिल्ली की लड़ाई दिखाई देती है, तो आपके पास सबसे रोमांचक हिस्से के लिए केवल 10 पोस्टकार्ड बचते हैं, इसलिए आपको सभी महत्वपूर्ण विवरण छोड़ने पड़ते हैं।
परिणाम: या तो आप उबाऊ हिस्सों पर बैंडविड्थ बर्बाद करते हैं या रोमांचक हिस्सों के महत्वपूर्ण विवरण खो देते हैं। यह अक्षम है।

नया तरीका (InfoTok):
यह शोध पत्र InfoTok पेश करता है, जो एक प्रसिद्ध गणितीय सिद्धांत (शैनन के सूचना सिद्धांत - Shannon's Information Theory) से प्रेरित एक स्मार्ट सिस्टम है। एक निश्चित संख्या में पोस्टकार्ड भेजने के बजाय, InfoTok एक स्मार्ट एडिटर की तरह काम करता है जो यह तय करता है कि दृश्य कितना "व्यस्त" (busy) होने के आधार पर कितना विवरण भेजना है।

यह यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "स्मार्ट राउटर" (संपादक/The Editor)

वीडियो को पानी की एक धारा के रूप में सोचें।

उबाऊ दृश्य (जैसे सोता हुआ कुत्ता या स्थिर दीवार) एक शांत, धीमी गति वाली धारा की तरह हैं। उन्हें वर्णन करने के लिए बहुत कम पानी की आवश्यकता होती है।
रोमांचक दृश्य (जैसे कार दुर्घटना या डांस बैटल) एक उग्र झरने की तरह हैं। अराजकता को पकड़ने के लिए उन्हें बहुत अधिक पानी की आवश्यकता होती है।

InfoTok के पास एक स्मार्ट राउटर है जो वीडियो को देखता है और पूछता है: "अभी वास्तव में कितनी जानकारी हो रही है?"

यदि दृश्य उबाऊ है, तो राउटर कहता है, "केवल 20 पोस्टकार्ड भेजें।"
यदि दृश्य अराजक है, तो राउटर कहता है, "80 पोस्टकार्ड भेजें!"

यह सुनिश्चित करता है कि आप उबाऊ हिस्सों पर कभी जगह बर्बाद न करें, और आपके पास रोमांचक हिस्सों के लिए हमेशा पर्याप्त जगह हो।

2. "एडेप्टिव कंप्रेसर" (पैकिंग विशेषज्ञ/The Packing Expert)

एक बार जब राउटर यह तय कर लेता है कि कितने पोस्टकार्ड भेजने हैं, तो एडेप्टिव कंप्रेसर अपना काम शुरू करता है।

कल्पना कीजिए कि आपके पास वस्तुओं से भरा एक सूटकेस है (वीडियो डेटा)।
कंप्रेसर हर वस्तु को देखता है और पूछता है, "क्या यह वस्तु महत्वपूर्ण है?"
यह सबसे अधिक "सूचना-समृद्ध" (information-rich) वस्तुओं को रखता है (चलती हुई बिल्ली, बदलती रोशनी) और अनावश्यक चीजों को हटा देता है (स्थिर बैकग्राउंड, सोते हुए कुत्ते के बाल जो हिले नहीं)।
फिर यह केवल आवश्यक वस्तुओं को उस संख्या में पैक करता है जितनी अनुमति राउटर ने दी थी।

3. "ELBO" (क्रिस्टल बॉल/The Crystal Ball)

कंप्यूटर को बिना पूरा वीडियो देखे कैसे पता चलता है कि क्या "महत्वपूर्ण" है?
शोध पत्र में ELBO (एविडेंस लोअर बाउंड) नामक एक गणितीय ट्रिक का उपयोग किया गया है। इसे एक क्रिस्टल बॉल के रूप में सोचें जो भविष्यवाणी करती है कि वीडियो के अगले फ्रेम का अनुमान लगाना कितना कठिन होगा।

यदि क्रिस्टल बॉल कहती है, "अगले क्षण क्या होगा इसका अनुमान लगाना बहुत आसान है (क्योंकि कुत्ता सो रहा है)," तो सिस्टम जान जाता है कि उसे बहुत कम टोकन की आवश्यकता है।
यदि क्रिस्टल बॉल कहती है, "अगले क्षण क्या होगा इसका अनुमान लगाना असंभव है (क्योंकि बिल्ली कूद पड़ी है)," तो सिस्टम जान जाता है कि आश्चर्य को वर्णित करने के लिए उसे कई टोकन की आवश्यकता है।

यह एक बड़ी बात क्यों है?

शोधकर्ताओं ने वास्तविक वीडियो पर इसका परीक्षण किया और पाया:

यह जगह बचाता है: वे बिना किसी पिक्चर क्वालिटी को खोए "पोस्टकार्डों" (टोकन) की संख्या को 20% तक कम कर सके।
यह तेज़ है: पुराने तरीके सही मात्रा का अनुमान लगाने के लिए ट्रायल और एरर (थोड़ा भेजना, जांचना, अधिक भेजना, जांचना) का उपयोग करते थे। InfoTok तुरंत जान जाता है। यह पिछले स्मार्ट तरीकों की तुलना में 2.3 गुना अधिक कुशल है।
यह अधिक स्मार्ट है: यह केवल संपीड़न (compression) नहीं करता; यह जटिलता को समझता है। एक स्थिर पेंटिंग के वीडियो को भारी रूप से कंप्रेस किया जाता है; एक फुटबॉल मैच के वीडियो को पूरी कार्रवाई बनाए रखने के लिए हल्का कंप्रेस किया जाता है।

निचोड़ (The Bottom Line)

InfoTok एक कठोर, 'एक ही आकार सबके लिए उपयुक्त' (one-size-fits-all) शिपिंग बॉक्स से एक स्मार्ट, आकार बदलने वाले सूटकेस में अपग्रेड करने जैसा है। यह आपके पास बहुत सारा सामान पैक करने के लिए होने पर अपने आप फैलता है और कम सामान होने पर सिकुड़ जाता है, यह सुनिश्चित करता है कि आपके पास महत्वपूर्ण चीजों के लिए कभी जगह खत्म न हो और उबाऊ चीजों पर कभी जगह बर्बाद न हो। यह AI वीडियो प्रोसेसिंग को तेज़, सस्ता और लंबी फिल्में संभालने में सक्षम बनाता है।

यहाँ शोध पत्र "INFOTOK: ADAPTIVE DISCRETE VIDEO TOKENIZER VIA INFORMATION-THEORETIC COMPRESSION" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान डिस्क्रीट वीडियो टोकनाइज़र एक मौलिक बाधा का सामना कर रहे हैं: वे फिक्स्ड-रेट कंप्रेशन (fixed-rate compression) का उपयोग करते हैं, जिसका अर्थ है कि वे वीडियो की वास्तविक सामग्री की जटिलता की परवाह किए बिना प्रत्येक वीडियो फ्रेम को एक पूर्व निर्धारित संख्या में टोकन में मैप करते हैं।

अक्षमता (Inefficiency): सरल, स्थिर वीडियो (जैसे सोता हुआ कुत्ता) अत्यधिक संकुचित (over-compressed) हो जाते हैं क्योंकि उनमें अनावश्यक टोकन होते हैं, जबकि जटिल, गतिशील वीडियो (जैसे लड़ाई का दृश्य) अपर्याप्त टोकनों के कारण सूचना हानि (information loss) का शिकार होते हैं।
मौजूदा एडेप्टिव विधियों की उप-इष्टतमता (Sub-optimality of Existing Adaptive Methods): एडेप्टिव टोकनाइज़ेशन के हालिया प्रयास (जैसे ElasticTok) अनुमानी (heuristic), डेटा-अज्ञेय (data-agnostic) प्रशिक्षण (जैसे समान रैंडम मास्किंग) पर निर्भर करते हैं (जैसे इष्टतम लंबाई खोजने के लिए बाइनरी सर्च)। लेखक सैद्धांतिक रूप से सिद्ध करते हैं कि ये विधियाँ पक्षपाती (biased) हैं, जिससे अपेक्षित टोकन लंबाई पुनर्निर्माण गुणवत्ता के लिए सैद्धांतिक इष्टतम से काफी अधिक हो जाती है।
लक्ष्य: एक सिद्धांत आधारित, अनुकूल एडेप्टिव वीडियो टोकनाइज़ेशन ढांचा विकसित करना जो वीडियो की सूचनात्मक समृद्धि (informational richness) के आधार पर टोकन को गतिशील रूप से आवंटित करे, जिससे पुनर्निर्माण गुणवत्ता से समझौता किए बिना रेडंडेंसी (redundancy) को कम किया जा सके।

2. कार्यप्रणाली: INFOTOK (Methodology: INFOTOK)

लेखक INFOTOK प्रस्तावित करते हैं, जो शैनन के सूचना सिद्धांत (Shannon's Information Theory) और सोर्स कोडिंग थ्योरम (Source Coding Theorem) पर आधारित है। मुख्य अंतर्दृष्टि यह है कि किसी वीडियो $x$ के लिए इष्टतम टोकन लंबाई उसके नेगेटिव लॉग-लाइकलहुड ( $- \log p(x)$ ) के समानुपाती होनी चाहिए, जो इसकी सूचना सामग्री का प्रतिनिधित्व करता है।

यह ढांचा तीन मुख्य घटकों से बना है:

A. सैद्धांतिक आधार (Theoretical Foundation)

शोध पत्र कठोरता से सिद्ध करता है कि:

फिक्स्ड-लेंथ टोकनाइज़र उप-इष्टतम हैं क्योंकि वे विभिन्न वीडियोों की परिवर्तनशील सूचना घनत्व (information density) को अनदेखा करते हैं।
मौजूदा डेटा-अज्ञेय एडेप्टिव राउटर (जो समान वितरण का उपयोग करते हैं) पक्षपाती हैं। वे मॉडल को कम-सूचना वाले डेटा के लिए टोकन लंबाई कम करने के लिए प्रोत्साहित करने में विफल रहते हैं, जिसके परिणामस्वरूप अपेक्षित टोकन लंबाई सैद्धांतिक इष्टतम ( $H_C(D)$ ) से बहुत अधिक हो सकती है।

B. राउटर (ELBO-आधारित लंबाई चयन) (The Router: ELBO-Based Length Selection)

एक विशिष्ट वीडियो के लिए इष्टतम टोकन संख्या $N_x$ निर्धारित करने के लिए, जो कि गणनात्मक रूप से कठिन (intractable) लॉग-लाइकलहुड गणनाओं का उपयोग करता है, INFOTOK एविडेंस लोअर बाउंड (ELBO) को एक सरोगेट के रूप में उपयोग करता है।

तंत्र (Mechanism): राउटर एक पूर्व-प्रशिक्षित फिक्स्ड-लेंथ एनकोडर-डिकोडर से प्राप्त ELBO का उपयोग करके इनपुट वीडियो $x$ की सूचना जटिलता का अनुमान लगाता है।
सूत्र (Formula): टोकन लंबाई $r_\beta(N_x|x) = \delta(\beta \cdot \frac{\text{ELBO}(x)}{E[\text{ELBO}(x)]})$ द्वारा निर्धारित की जाती है, जहाँ $\beta$ एक कंप्रेशन फैक्टर है जो औसत टोकन बजट को नियंत्रित करता है।
लाभ: यह सिस्टम को कम-जटिलता वाले फ्रेमों के लिए छोटी अनुक्रमों और उच्च-जटिलता वाले फ्रेमों के लिए लंबी अनुक्रमों को गतिशील रूप से आवंटित करने की अनुमति देता है, जो सूचना-सैद्धांतिक इष्टतमता के अनुरूप है।

C. एडेप्टिव कंप्रेसर (The Adaptive Compressor)

एक बार $N_x$ निर्धारित हो जाने के बाद, सिस्टम को फिक्स्ड-लेंथ लेटेंट एम्बेडिंग्स $h$ को $N_x$ लंबाई के अनुक्रम में संकुचित करना होगा।

लाइकलहुड-आधारित प्रूनिंग (Likelihood-Based Pruning): साधारण ट्रंकेशन या रैंडम मास्किंग के बजाय, कंप्रेसर प्रति-टोकन लॉग-लाइकलहुड (ELBO के माध्यम से अनुमानित) के आधार पर एक बाइनरी मास्क की गणना करता है।
प्रक्रिया: यह उच्चतम सूचना सामग्री (उच्चतम लॉग-लाइकलहुड) वाले शीर्ष $N_x$ टोकन को सुरक्षित रखता है और बाकी को हटा देता है।
आर्किटेक्चर: कंप्रेसर और डिकोम्प्रेशर को ट्रांसफॉर्मर लेयर्स (विशेष रूप से ब्लॉक-कॉज़ल अटेंशन के साथ 8-लेयर ViT) के रूप में लागू किया गया है जो मास्क किए गए टोकनों से शेष सक्रिय टोकनों में सूचना को पुनर्वितरित करना सीखते हैं।
ओवरहेड (Overhead): मास्क को टोकन अनुक्रम के हिस्से के रूप में संग्रहीत किया जाता है, जिससे टोकन लंबाई में नगण्य ओवरहेड (~5%) जुड़ता है।

D. INFOTOK-Flex

बिना रिट्रेनिंग के विभिन्न कंप्रेशन आवश्यकताओं को संभालने के लिए, लेखक INFOTOK-Flex पेश करते हैं। इस वेरिएंट को विभिन्न कंप्रेशन फैक्टर्स ( $\beta$ ) के मिश्रण के साथ प्रशिक्षित किया जाता है, जिससे एक ही मॉडल इन्फरेंस के समय विभिन्न लक्षित बिटरेट (BPP) के अनुकूल हो सकता है।

3. प्रमुख योगदान (Key Contributions)

सैद्धांतिक प्रमाण: एक कठोर प्रमाण जो दर्शाता है कि मौजूदा फिक्स्ड-रेट और डेटा-अज्ञेय एडेप्टिव टोकनाइज़र सूचना-सैद्धांतिक इष्टतमता की तुलना में स्वाभाविक रूप से पक्षपाती और अक्षम हैं।
INFOTOK ढांचा: एक नवीन आर्किटेक्चर जो गतिशील टोकन लंबाई चयन के लिए ELBO-आधारित राउटर और लाइकलहुड-जागरूक टोकन प्रूनिंग के लिए ट्रांसफॉर्मर-आधारित एडेप्टिव कंप्रेसर को एकीकृत करता है।
दक्षता: यह विधि पिछले एडेप्टिव तरीकों द्वारा उपयोग किए जाने वाले महंगे बाइनरी सर्च की आवश्यकता को समाप्त करती है, जिसमें ELBO गणना के लिए केवल एक अतिरिक्त डिकोडर पास की आवश्यकता होती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: महत्वपूर्ण टोकन बचत प्रदर्शित करते हुए पुनर्निर्माण गुणवत्ता में सुधार या उसे बनाए रखते हुए सशक्त अनुभवजन्य सत्यापन।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने TokenBench और DAVIS डेटासेट पर INFOTOK का मूल्यांकन किया, और इसकी तुलना फिक्स्ड-लेंथ टोकनाइज़र (Cosmos, OmniTokenizer) और एडेप्टिव बेसलाइन (ElasticTok) से की।

टोकन दक्षता (Token Efficiency):
- INFOTOK, पुनर्निर्माण गुणवत्ता (PSNR, SSIM, LPIPS, FVD) में बिना किसी कमी के, अत्याधुनिक फिक्स्ड-लेंथ टोकनाइज़र (Cosmos) की तुलना में ~20% टोकन बचाता है।
- एक निश्चित कंप्रेशन दर पर, INFOTOK, ElasticTok की तुलना में 2.3× कंप्रेशन दर सुधार के साथ बेहतर प्रदर्शन करता है (समान गुणवत्ता के साथ 2.3 गुना कम टोकन प्राप्त करता है)।
पुनर्निर्माण गुणवत्ता (Reconstruction Quality):
- BPP16 = 0.81 पर, INFOTOK TokenBench पर 30.08 का PSNR (ElasticTok के 28.26 के मुकाबले) और 49 का FVD (ElasticTok के 141 के मुकाबले) प्राप्त करता है।
- INFOTOK फिक्स्ड-लेंथ Cosmos टोकनाइज़र (PSNR 30.01) के प्रदर्शन से मेल खाता है, लेकिन केवल 0.81 BPP (Cosmos के 1.00 BPP के मुकाबले) का उपयोग करता है।
इन्फरेंस दक्षता (Inference Efficiency):
- ElasticTok को टोकन ब्लॉक्स पर बाइनरी सर्च की आवश्यकता होती है, जिससे प्रति वीडियो 12 नेटवर्क फॉरवर्ड इवैल्यूएशन (NFEs) होते हैं।
- INFOTOK को केवल 2 NFEs (ELBO अनुमान के लिए 1, डिकोडिंग के लिए 1) की आवश्यकता होती है, जिसके परिणामस्वरूप इन्फरेंस लेटेंसी में ~11× कमी आती है (1.23s बनाम 13.45s प्रति वीडियो)।
एब्लेशन स्टडीज (Ablation Studies):
- ELBO-आधारित राउटर, एक "ऑप्टिमल" ओरेकल (Oracle) के लगभग समान प्रदर्शन करता है जो सर्वोत्तम टोकन लंबाई खोजने के लिए व्यापक खोज करता है, जो इसके सैद्धांतिक दृष्टिकोण की पुष्टि करता है।
- लाइकलहुड-आधारित टोकन प्रूनिंग, रैंडम मास्किंग (R2L) या स्पैटियली डिस्पर्स्ड मास्किंग (Jump) की तुलना में काफी बेहतर प्रदर्शन करती है।

5. महत्व और भविष्य का प्रभाव (Significance and Future Impact)

लंबे वीडियो के लिए स्केलेबिलिटी: बिना गुणवत्ता खोए टोकन काउंट को 20-50% तक कम करके, INFOTOK लंबे वीडियो अनुक्रमों को प्रोसेस करना संभव बनाता है, जो अन्यथा द्विघातीय जटिलता (quadratic complexity) द्वारा सीमित होते हैं।
एकीकृत मल्टी-मोडल मॉडल: यह ढांचा विजन और लैंग्वेज टास्क को एक अधिक कुशल, सूचना-सघन प्रतिनिधित्व प्रदान करके एकीकृत करने का एक सिद्धांत आधारित तरीका प्रदान करता है जो लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ बेहतर तालमेल रखता है।
सामान्यीकरण (Generalizability): हालांकि यह वीडियो पर केंद्रित है, सूचना-सैद्धांतिक सिद्धांत किसी भी डेटा मोडैलिटी पर लागू होते हैं जिसमें परिवर्तनशील सूचना घनत्व होता है, जैसे ऑडियो या 3D पॉइंट क्लाउड्स।
पैराडाइम शिफ्ट: यह शोध पत्र क्षेत्र को हेयुरिस्टिक, ट्रायल-एंड-एरर एडेप्टिव टोकनाइजेशन से सूचना सिद्धांत पर आधारित एक सिद्धांत-संचालित दृष्टिकोण की ओर ले जाता है।

निष्कर्षतः, INFOTOK वीडियो रिप्रजेंटेशन लर्निंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो सिद्ध करता है कि सूचना सिद्धांत द्वारा संचालित एडेप्टिव टोकनाइजेशन वर्तमान अत्याधुनिक विधियों की तुलना में निकट-इष्टतम कंप्रेशन दक्षता और बेहतर पुनर्निर्माण गुणवत्ता प्राप्त कर सकता है।