💻 computer science

DCVC-MB: Neural B-Frame Video Compression using State Space Models

यह शोध पत्र DCVC-MB को प्रस्तुत करता है, जो B-फ्रेम्स के लिए एक न्यूरल वीडियो संपीड़न फ्रेमवर्क है जो द्विदिश भविष्यवाणी (bidirectional prediction) के लिए स्टेट-स्पेस मॉडल और मौजूदा न्यूरल कोडेक्स तथा VTM जैसे पारंपरिक मानकों की तुलना में बिटरेट में महत्वपूर्ण कमी प्राप्त करने के लिए एक एंट्रॉपी-अवेयर स्किपिंग मैकेनिज्म का लाभ उठाता है।

मूल लेखक: Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy

प्रकाशित 2026-07-17

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने एक दोस्त को एक धीमी इंटरनेट स्पीड के माध्यम से एक विशाल, हाई-डेफिनिशन मूवी भेजना चाह रहे हैं। यदि आप केवल हर एक फ्रेम को अलग तस्वीर के रूप में भेजते हैं, तो फ़ाइल बहुत बड़ी हो जाएगी, और आपका दोस्त अनंत काल तक प्रतीक्षा करता रह जाएगा। यह वीडियो कंप्रेशन (video compression) का दैनिक संघर्ष है: वीडियो फ़ाइलों को एक धुंधले मलबे में बदले बिना उनके आकार को प्रबंधनीय बनाने का तरीका। दशकों से, इंजीनियरों ने इसे एक "कीफ्रेम" (एक पूर्ण चित्र) और फिर अगले कुछ फ्रेमों के लिए केवल बदलावों को भेजने के माध्यम से हल किया है, जैसे कि एक "P-फ्रेम" जो कहता है, "बैकग्राउंड वैसा ही रहा, लेकिन आदमी ने अपना हाथ हिलाया।"

लेकिन एक "B-फ्रेम" में इस्तेमाल होने वाला एक स्मार्ट तरीका है। अतीत को देखकर भविष्य का अनुमान लगाने के बजाय, एक B-फền दोनों अतीत और भविष्य को देखता है ताकि यह पता लगाया जा सके कि बीच में वास्तव में क्या हो रहा है। यह एक फिल्म के दृश्य की कहानी का अनुमान लगाने के लिए पिछले अध्याय को पढ़ने और साथ ही अगले अध्याय को भी पढ़ने जैसा है। हालांकि यह जगह बचाने में कमाल करता है, लेकिन कंप्यूटर को यह करना सिखाना बेहद कठिन रहा है। पिछले प्रयासों ने या तो कंप्यूटर के दिमाग को बहुत अधिक गणित के बोझ से थका दिया या भविष्य की जानकारी का प्रभावी ढंग से उपयोग करने में विफल रहे। यह शोध पत्र कंप्यूटर विज्ञान के उस विशिष्ट कोने—न्यूरल वीडियो कंप्रेशन—में गहराई से उतरता है, ताकि यह देखा जा सके कि क्या हम अंततः AI को इन "भविष्य को देखने वाले" फ्रेमों का कुशलतापूर्वक उपयोग करना सिखा सकते हैं।

शोध का बड़ा विचार: AI को दोनों तरफ देखना सिखाना

DCVC-MB (जिसका अर्थ है DCVC-Mamba) के पीछे के शोधकर्ताओं ने एक नया वीडियो कंप्रेशन सिस्टम बनाया है जो अंततः आधुनिक AI के साथ "B-फ्रेम" को बेहतर तरीके से काम करने लायक बनाता है। उनके दृष्टिकोण को वीडियो डेटा के लिए एकतरफा सड़क को दो-तरफा सुपरहाइवे में अपग्रेड करने के रूप में सोचें।

पुराने तरीके की समस्या
अधिकांश वर्तमान AI कोडेक एक ऐसे ड्राइवर की तरह हैं जो केवल रियरव्यू मिरर (पीछे देखने वाले शीशे) में देखते हैं। वे केवल "P-फ्रेम" का उपयोग करते हैं, जो वर्तमान की भविष्यवाणी करने के लिए अतीत को संदर्भ देते हैं। वे "B-फ्रेम" (जो अतीत और भविष्य दोनों को संदर्भ देते हैं) को अनदेखा कर देते हैं क्योंकि एक साथ दोनों तरफ देखने के लिए आवश्यक गणित आमतौर पर कंप्यूटर के लिए बहुत भारी होता है, विशेष रूप से 1080p जैसे उच्च रिज़ॉल्यूशन पर। B-फ्रेम के उपयोग के पिछले प्रयास "ट्रांसफॉर्मर" (Transformers) पर निर्भर थे, जो एक प्रकार का मॉडल है जो वीडियो बड़ा होने पर तेजी से धीमा और अधिक मेमोरी-हंग्री हो जाता है। यह एक शब्द खोजने के लिए एक पूरी लाइब्रेरी की हर एक किताब को पढ़ने जैसा है; यह एक छोटी शेल्फ के लिए काम करता है लेकिन पूरे शहर के लिए विफल हो जाता है।

"Mamba" का जादू
लेखकों ने Mamba (एक प्रकार का स्टेट स्पेस मॉडल) नामक एक नया इंजन पेश किया है। यदि ट्रांसफॉर्मर एक भारी ट्रक की तरह हैं जो रास्ता लंबा होने पर ट्रैफिक में फंस जाता है, तो Mamba एक चिकना, इलेक्ट्रिक स्कूटर है जो सड़क कितनी भी लंबी हो, निरंतर गति से दौड़ता है।

यह कैसे काम करता है: सिस्टम अतीत के एक फ्रेम ( $t-1$ ) और भविष्य के एक फ्रेम ( $t+1$ ) को लेता है और उन्हें बीच के फ्रेम ( $t$ ) को पूरी तरह से पुनर्गठित करने के लिए आपस में जोड़ देता है।
नवाचार: उन्होंने इस फ्यूजन को करने के लिए Mamba का उपयोग किया। चूंकि Mamba कुशल है, यह कंप्यूटर मेमोरी खत्म किए बिना उच्च-रिज़ॉल्यूशन वाले वीडियो (720p और 1080p) को संभाल सकता है, जो कि पिछले "ट्रांसफॉर्मर" तरीकों के लिए संभव नहीं था।

"स्किप" (Skip) का तरीका
सिस्टम को और भी तेज़ बनाने के लिए, उन्होंने एडेप्टिव लेटेंट स्किपिंग (Adaptive Latent Skipping) नामक एक चतुर "आलसी" फीचर जोड़ा है।

उपमा: कल्पना कीजिए कि आप अपने दोस्त को एक पेंटिंग का वर्णन कर रहे हैं। यदि पेंटिंग का एक हिस्सा सिर्फ एक उबाऊ, ठोस नीला आसमान है, तो आपको उसके हर एक पिक्सेल का वर्णन करने की आवश्यकता नहीं है। आप बस कहते हैं, "यह नीला है।"
तकनीक: AI उस डेटा को देखता है जिसे उसे भेजना है। यदि डेटा का एक हिस्सा "उबाऊ" (सांख्यिकीय रूप से अनुमानित) है, तो वह उसे भेजने से पूरी तरह बच जाता है। इससे चित्र की गुणवत्ता पर बहुत अधिक असर नहीं पड़ता है लेकिन यह वीडियो को कंप्रेस करने में लगने वाले समय को लगभग 9 गुना (मानक फ्रेम के लिए) और 5 गुना (जटिल B-फ्रेम के लिए) कम कर देता है।

"ओपन" (Open) रणनीति
उन्होंने यह भी बदला कि वीडियो को कैसे विभाजित किया जाता है। पारंपरिक तरीके अक्सर वीडियो को कठोर खंडों (Closed Group of Pictures) में लॉक कर देते हैं। लेखकों ने एक "Open GoP" रणनीति का परीक्षण किया, जहाँ एक खंड के अंतिम फ्रेम को अगले खंड के पहले फ्रेम को झांकने की अनुमति दी जाती है। यह एक पाठक को उस वाक्य को पूरा करने देने जैसा है जो अगले पैराग्राफ में जा रहा है, जिससे कहानी का प्रवाह बेहतर होता है और अधिक स्थान बचता है।

उन्होंने क्या पाया

टीम ने अपने नए DCVC-MB सिस्टम का परीक्षण वर्तमान गोल्ड स्टैंडर्ड के खिलाफ किया: पारंपरिक VTM-19.0 कोडेक और सर्वश्रेष्ठ मौजूदा AI कोडेक (DCVC-DC और DCVC-FM)।

परिणाम: नया सिस्टम एक स्पष्ट विजेता है। पिछले सर्वश्रेष्ठ AI कोडेक की तुलना में, DCVC-MB ने फ़ाइल के आकार (BD-rate के रूप में मापा गया) को औसतन 8.98% से 9.21% तक कम कर दिया।
दिग्गजों को पछाड़ना: जब इसकी तुलना शक्तिशाली पारंपरिक VTM-19.0 कोडेक से की गई, तो नया AI सिस्टम और भी प्रभावशाली रहा। इसने पारंपरिक कोडेक के "लो डिले" (Low Delay) संस्करण को 30.45% से और "रैंडम एक्सेस" (Random Access) संस्करण को 1.81% से मात दी।
दृश्य गुणवत्ता: साइड-बाय-साइड तुलना में, नया सिस्टम पुराने AI तरीकों की तुलना में बहुत कम बिट्स का उपयोग करते हुए भी सूक्ष्म विवरणों (जैसे जर्सी की सिलवटें या दीवार की बनावट) को बहुत बेहतर तरीके से सुरक्षित रखता है।

यह क्या नहीं करता
पेपर इस बात पर ध्यान देने में सावधानी बरतता है कि क्या काम नहीं करता है। सिस्टम कभी-कभी अत्यधिक एनिमेटेड कंटेंट या बहुत तेज़, अराजक गति वाले वीडियो के साथ संघर्ष करता है जो उन प्राकृतिक वीडियो जैसा नहीं दिखता जिन पर AI को प्रशिक्षित किया गया था। इन विशिष्ट "डोमेन गैप" मामलों में, AI भविष्य का सही अनुमान नहीं लगा पाता है, जिससे पुराने, सरल तरीकों की तुलना में गुणवत्ता थोड़ी खराब हो सकती है।

यह क्यों मायने रखता है

यह शोध पत्र सुझाव देता है कि अब हमें "स्मार्ट" AI कंप्रेशन और "फास्ट" कंप्रेशन के बीच चुनाव करने की आवश्यकता नहीं है। Mamba आर्किटेक्चर का उपयोग करके, लेखकों ने दिखाया है कि हम अंततः कंप्यूटर को क्रैश किए बिना न्यूरल नेटवर्क में शक्तिशाली "दोनों तरफ देखने" (B-frame) की रणनीति का उपयोग कर सकते हैं। उन्होंने केवल सुझाव नहीं दिया; उन्होंने इसे मापा भी है, यह साबित करते हुए कि उनकी विधि स्थान और समय दोनों की महत्वपूर्ण बचत करती है, जो हमें सबसे धीमी कनेक्शन पर भी अल्ट्रा-हाई-क्वालिटी वीडियो स्ट्रीम करने के एक कदम और करीब लाती है।

तकनीकी सारांश: DCVC-MB: स्टेट स्पेस मॉडल का उपयोग करके न्यूरल बी-फ्रेम वीडियो संपीड़न

समस्या विवरण

जबकि पारंपरिक वीडियो कोडेक (जैसे VVC, HEVC) द्विदिश भविष्यवाणी (B-frames) के माध्यम से महत्वपूर्ण संपीड़न लाभ प्राप्त करते हैं, न्यूरल वीडियो कोडेक (NVCs) मुख्य रूप से एकदिशीय P-फ्रेम संरचनाओं पर निर्भर रहे हैं। B-फ्रेमों को शामिल करने के मौजूदा प्रयास दो प्राथमिक समस्याओं के कारण संघर्ष कर रहे हैं:

अप्रभावी फ्यूजन (Ineffective Fusion): पिछले तरीके द्विदिश टेम्पोरल जानकारी को कुशलतापूर्वक फ्यूज करने में विफल रहते हैं, जिससे वे अक्सर P-फ्रेम-ओनली दृष्टिकोणों की तुलना में कम प्रदर्शन करते हैं।
कंप्यूटेशनल जटिलता (Computational Complexity): ट्रांसफार्मर-आधारित आर्किटेक्चर, जो लंबी दूरी की निर्भरता (long-range dependencies) को पकड़ने में सक्षम हैं, रिज़ॉल्यूशन के साथ द्विघातीय ( $O(N^2)$ ) रूप से स्केल करते हैं। इससे उच्च रिज़ॉल्यूशन (720p, 1080p) पर अत्यधिक मेमोरी खपत (VRAM सीमाओं से अधिक) और कंप्यूटेशनल लागत होती है, जिससे वे वास्तविक दुनिया के परिनियोजन के लिए अव्यवहारिक हो जाते हैं।

कार्यप्रणाली (Methodology)

लेखक DCVC-MB (DCVC-Mamba) प्रस्तावित करते हैं, जो स्टेट स्पेस मॉडल (SSMs) का उपयोग करके विशेष रूप से B-फ्रेम कोडिंग के लिए डिज़ाइन किया गया एक न्यूरल वीडियो कोडेक फ्रेमवर्क है। यह आर्किटेक्चर DCVC-DC फ्रेमवर्क पर आधारित है लेकिन अतीत और भविष्य की टेम्पोरल जानकारी तक एक साथ पहुंच सक्षम करने के लिए इसमें मौलिक परिवर्तन किए गए हैं।

मुख्य आर्किटेक्चरल घटक

Mamba के माध्यम से द्विदिश फीचर फ्यूजन (Bidirectional Feature Fusion via Mamba):
- पिछले फ्रेम ( $X_{t-1}$ ) से एक एकल डिकोडेड पिक्चर बफर (DPB) का उपयोग करने वाले पिछले मॉडलों के विपरीत, DCVC-MB दो DPB बनाए रखता है: एक पिछले फ्रेम ( $X_{t-1}$ ) से और एक भविष्य के फ्रेम ( $X_{t+1}$ ) से।
- इन फीचर्स को बाइडायरेक्शनल मंबा ब्लॉक (BMB) का उपयोग करके फ्यूज किया जाता है। मंबा आर्किटेक्चर ट्रांसफार्मर की द्विघातीय जटिलता ( $O(N^2)$ ) की तुलना में रैखिक जटिलता ( $O(N)$ ) प्रदान करता है, जो उच्च रिज़ॉल्यूशन पर कुशल प्रसंस्करण को सक्षम बनाता है।
- फ्यूजन प्रक्रिया में संदर्भ फ्रेमों (reference frames) को संयोजित करना, उन्हें 2D CNN के माध्यम से एम्बेड करना, उन्हें टोकनाइज़ करना और अनुक्रम को SSM के माध्यम से प्रोसेस करना शामिल है। SSM सीखने योग्य मापदंडों ( $A, B, C$ ) के साथ एक डिस्क्रीटाइज्ड ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) का उपयोग करके सिस्टम डायनेमिक्स को मॉडल करता है।
- जटिल द्विदिश निर्भरताओं को कैप्चर करने के लिए, मॉडल एक स्पेशियल-फर्स्ट बाइडायरेक्शनल (Spatial-First Bidirectional) विधि का उपयोग करता है, जो फॉरवर्ड और बैकवर्ड रो-मेजर स्कैन में टोकन को प्रोसेस करता है और आउटपुट को जोड़ता है।
अनुकूली लेटेंट स्किपिंग (Adaptive Latent Skipping):
- एंट्रॉपी कोडिंग समय को कम करने के लिए, फ्रेम के भीतर लेटेंट तत्वों के मानक विचलन ( $\sigma$ ) के आधार पर एक सापेक्ष थ्रेसहोल्डिंग रणनीति का उपयोग करते हुए यह फ्रेमवर्क एक अनुकूली लेटेंट स्किपिंग तंत्र नियोजित करता है।
- जिन लेटेंट्स का $\sigma_i < \text{mean}(\sigma)$ है, उन्हें स्किप (एक माध्य मान द्वारा प्रतिस्थापित) कर दिया जाता है, जबकि अन्य को एनकोड किया जाता है। यह असममित गणना (asymmetric computation) पेश किए बिना एंट्रॉपी कोडिंग समय को P-फ्रेमों के लिए लगभग 9 $\times$ और B-फ्रेमों के लिए 5 $\times$ कम कर देता है।
कैनोनिकल पोजीशन एम्बेडिंग (Canonical Position Embedding):
- प्रशिक्षण (256 $\times$ 256) और अनुमान (1080p तक) के बीच रिज़ॉल्यूशन बेमेल को संबोधित करने के लिए, लेखक मानक पिक्सेल-कोऑर्डिनेट पोजीशन एम्बेडिंग्स के स्थान पर कैनोनिकल पोजीशन एम्बेडिंग्स का उपयोग करते हैं।
- स्थानिक निर्देशांकों को पिक्सेल मानों के बजाय एक कैनोनिकल इमेज प्लेन ( $x, y \in [0, 1]$ ) में सामान्यीकृत किया जाता है। यह सुनिश्चित करता है कि पोजीशनल हार्मोनिक्स विभिन्न रिज़ॉल्यूशन में सुसंगत रहें, जिससे प्रशिक्षण रिज़ॉल्यूशन के प्रति ओवरफिटिंग रुकती है।
अनुमान-समय अनुकूलन (Inference-Time Optimizations):
- Open GoP: यह अनुमति देता है कि ग्रुप ऑफ पिक्चर्स (GoP) का अंतिम B-फ्रेम अगले GoP के I-फ्रेम को रेफर करे, जिससे टेम्पोरली करीब के संदर्भ मिलते हैं।
- द्विदिश कोडिंग (Bidirectional Coding): विषम-इंडेक्स वाले GoPs को फॉरवर्ड और बैकवर्ड दोनों दिशाओं में एनकोड करता है, और कम दर-विकृति (rate-distortion) लागत वाले परिणाम का चयन करता है। सम-इंडेक्स वाले GoPs रैखिक जटिलता बनाए रखने के लिए एक क्लोज्ड कॉन्फ़िगरेशन का उपयोग करते हैं।

मुख्य योगदान

नया आर्किटेक्चर: स्टेट स्पेस मॉडल (Mamba) पर आधारित एक द्विदिश फीचर फ्यूजन आर्किटेक्चर का परिचय, जो उच्च रिज़ॉल्यूशन पर कुशल B-फ्रेम कोडिंग को सक्षम बनाता है जहाँ ट्रांसफार्मर-आधारित दृष्टिकोण मेमोरी बाधाओं के कारण विफल हो जाते हैं।
IBP फ्रेम रणनीति: IBP फ्रेम ऑर्डरिंग का उपयोग करके रैंडम एक्सेस (RA) वीडियो कोडिंग के लिए एक बेस न्यूरल कंप्रेशन मॉडल का कार्यान्वयन।
दक्षता तंत्र: एंट्रॉपी कोडिंग को तेज करने के लिए एक अनुकूली एंट्रॉपी-आधारित लेटेंट-स्किपिंग तकनीक का विकास और उच्च प्रदर्शन के लिए अनुमान-समय रणनीतियों (Open GoP और द्विदिश कोडिंग) का एकीकरण।
रिज़ॉल्यूशन सामान्यीकरण: कैनोनिकल पोजीशन एम्बेडिंग्स का उपयोग यह सुनिश्चित करने के लिए किया जाता है कि मॉडल कम-रिज़ॉल्यूशन प्रशिक्षण डेटा से उच्च-रिज़ॉल्यूशन अनुमान डेटा तक प्रभावी ढंग से सामान्यीकृत हो सके।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन मानक डेटासेट्स (HEVC, UVG, MCL-JCV) पर RGB BT.709 रूपांतरण का उपयोग करके किया गया, जिसमें VTM-19.0 (LDP और RA कॉन्फ़िगरेशन) और अत्याधुनिक NVCs (DCVC-DC, DCVC-FM) के विरुद्ध तुलना की गई।

पारंपरिक कोडेक बनाम प्रदर्शन: DCVC-MB, VTM-19.0-LDP पर 30.45% और VTM-19.0-RA (Inter-GoP=16) पर 1.81% तक BD-रेट कटौती प्राप्त करता है।
न्यूरल कोडेक बनाम प्रदर्शन: मॉडल पिछले न्यूरल वीडियो कोडेक (विशेष रूप से DCVC-FM) की तुलना में औसतन 8.98% और मजबूत VTM-19.0-RA बेंचमार्क पर 20.19% की BD-रेट कटौती प्रदर्शित करता है।
दक्षता: मंबा फ्यूजन मॉडल की रैखिक स्केलिंग 1080p पर पूर्ण B-फ्रेम पाइपलाइन को 13.8GB VRAM के भीतर फिट होने देती है, जबकि एक तुलनीय ट्रांसफार्मर आर्किटेक्चर 40GB से अधिक की आवश्यकता होती है।
एब्लेशन अध्ययन (Ablation Studies): प्रयोग पुष्टि करते हैं कि मंबा फ्यूजन मॉडल अधिकांश BD-रेट लाभ ( $-4.55\%$ ) के लिए जिम्मेदार है, जिसमें अनुमान-समय रणनीतियाँ अतिरिक्त सुधार प्रदान करती हैं। कैनोनिकल पोजीशन एम्बेडिंग्स को अनदेखे रिज़ॉल्यूशन के लिए सामान्यीकरण हेतु महत्वपूर्ण पाया गया।

महत्व और दावे

यह शोध दावा करता है कि DCVC-MB द्विदिश भविष्यवाणी की संपीड़न दक्षता और डीप लर्निंग मॉडल की कंप्यूटेशनल व्यवहार्यता के बीच के अंतर को सफलतापूर्वक पाटकर न्यूरल वीडियो संपीड़न में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

लेखक तर्क देते हैं कि:

स्केलेबिलिटी: Mamba का लाभ उठाकर, फ्रेमवर्क उच्च रिज़ॉल्यूशन (720p, 1080p) पर व्यावहारिक B-फ्रेम कोडिंग प्राप्त करता है, जो उन मेमोरी बाधाओं को दूर करता है जिन्होंने पिछले द्विदिश NVCs को सीमित किया था।
प्रतिस्पर्धात्मकता: DCVC-MB पहले NVC है जो मजबूत VTM-19.0-RA कॉन्फ़िगरेशन को भी पीछे छोड़ देता है, जो यह दर्शाता है कि न्यूरल दृष्टिकोण अब रैंडम एक्सेस परिदृश्यों में अग्रणी पारंपरिक कोडेक के साथ प्रतिस्पर्धा कर सकते हैं या उनसे बेहतर प्रदर्शन कर सकते हैं।
व्यावहारिकता: अनुकूली लेटेंट स्किपिंग और अनुमान-समय अनुकूलन के माध्यम से, विधि उच्च संपीड़न प्रदर्शन और कम एनकोडिंग/डिकोडिंग समय के बीच संतुलन बनाती है, जिससे न्यूरल वीडियो संपीड़न व्यावहारिक परिनियोजन के करीब पहुँच जाता है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि विशिष्ट डेटासेट्स (जैसे MCL-JCV) पर प्रदर्शन कम हो सकता है क्योंकि प्रशिक्षण डेटा (प्राकृतिक वीडियो) और परीक्षण डेटा (अत्यधिक गति वाले एनिमेटेड कंटेंट) के बीच डोमेन गैप है, और RGB प्रशिक्षण की तुलना में YUV420 अनुकूलन अभी भी एक चुनौती है।