Data-driven Video Codec with Implicit Neural Representations

कल्पना कीजिए कि आप अपने एक दोस्त को एक विशाल, हाई-डेफिनिशन मूवी भेजने की कोशिश कर रहे हैं। डिजिटल मीडिया की दुनिया में, हम आमतौर पर वीडियो और ऑडियो को रंगीन टाइलों (पिक्सेल) के एक विशाल मोज़ेक और ध्वनि तरंगों के एक अलग स्ट्रीम की तरह देखते हैं। पारंपरिक वीडियो कोडेक (codecs) कुशल आर्काइविस्ट की तरह होते हैं जो इस मोज़ेक को देखते हैं, सभी उबाऊ, दोहराए जाने वाले पैटर्न को ढूंढते हैं, और इसे कम टाइलों का उपयोग करके फिर से बनाने के लिए एक बहुत ही चतुर निर्देश सेट लिखते हैं। वे अविश्वसनीय रूप से कुशल हैं, लेकिन वे पिक्सेल के एक निश्चित ग्रिड पर निर्भर करते हैं।

अब, एक अलग दृष्टिकोण की कल्पना करें। टाइलों को खुद स्टोर करने के बजाय, क्या होगा यदि आप एक एकल, सुपर-स्मार्ट रेसिपी (विधि) स्टोर करें? यह रेसिपी एक गणितीय फलन (mathematical function) है जो, जब आप उससे पूछेंगे "इस विशिष्ट स्थान पर इस विशिष्ट समय पर पिक्सेल का रंग क्या है?", तो वह तुरंत उस सटीक रंग और ध्वनि के साथ उत्तर देगी। यह इम्प्लिसिट न्यूरल रिप्रेजेंटेशन (Implicit Neural Representations - INRs) की दुनिया है। इसे ऐसे समझें जैसे किसी रोबोट को कैनवास की फोटो लेने के बजाय ब्रशस्ट्रोक (ब्रश चलाने के तरीके) को सीखकर एक पेंटिंग को याद करने के लिए सिखाना। यदि रोबोट रेसिपी को पूरी तरह से जानता है, तो आप पूरी मूवी को फिर से बनाने के लिए केवल उस रेसिपी (रोबोट का "मस्तिष्क" या वेट्स) को सहेज सकते हैं। यह शोध पत्र इस बात की जांच करता है कि क्या हम इस "रेसिपी" विधि का उपयोग करके वीडियो और ऑडियो दोनों को एक ही मस्तिष्क में एक साथ स्टोर कर सकते हैं, और क्या हम उस मस्तिष्क को उपयोगी बनाने के लिए पर्याप्त छोटा कर सकते हैं।

"एक-मस्तिष्क" वाला वीडियो कोडेक

नेपाल के त्रिभुवन विश्वविद्यालय के शोधकर्ताओं ने एक साहसी प्रश्न पूछा: क्या हम एक एकल न्यूरल नेटवर्क—एक डिजिटल मस्तिष्क—बना सकते हैं जो एक ही समय में वीडियो प्लेयर और साउंड सिस्टम दोनों होने का काम सीख सके? आमतौर पर, वीडियो और ऑडियो को अलग-अलग प्रणालियों द्वारा संभाला जाता है। यहाँ, उन्होंने SIREN (Sinusoidal Representation Network) नामक एक एकीकृत नेटवर्क बनाया।

इस नेटवर्क को एक जादुई अनुवादक के रूप में समझें। आप इसमें निर्देशांक (coordinates) फीड करते हैं: आप चित्र में कहाँ हैं (x, y), मूवी का कौन सा फ्रेम है (t), और ध्वनि के लिए समय का सटीक क्षण (T)। बदले में, नेटवर्क उस सटीक क्षण पर उस पिक्सेल का रंग और ध्वनि की तीव्रता उत्सर्जित करता है। लाखों पिक्सेल वाली फ़ाइल को सहेजने के बजाय, वे नेटवर्क के "वेट्स" (weights) को सहेजते हैं—जो अनिवार्य रूप से गणितीय सेटिंग्स हैं जो उस अनुवादक को काम करने के योग्य बनाती हैं।

हालाँकि, एक समस्या थी। वीडियो और ऑडियो बहुत अलग चीजें हैं। वीडियो धीरे-धीरे बदलता है (जैसे एक व्यक्ति का चलना), जबकि ऑडियो अविश्वसनीय रूप से तेजी से बदलता है (जैसे एक वायलिन के तार का कंपन)। शोधकर्ताओं ने पाया कि नेटवर्क की एक एकल "पहली परत" (first layer) दोनों को अच्छी तरह से नहीं संभाल सकती थी। यह एक ही जोड़ी चश्मे से किताब पढ़ने और सिम्फनी सुनने की कोशिश करने जैसा था; दोनों ही स्पष्ट रूप से काम नहीं कर पा रहे थे। इसलिए, उन्होंने नेटवर्क को शुरुआत में दो अलग-अलग "चश्मे" (इनिशियलाइजेशन लेयर्स) दिए—एक धीमी गति वाले वीडियो के लिए ट्यून किया गया और दूसरा तेज़ गति वाले ऑडियो के लिए—इससे पहले कि उन्हें एक साझा मस्तिष्क में मिला दिया जाए।

कंप्रेशन का जादू का खेल

इस विचार की सबसे बड़ी समस्या यह है कि "रेसिपी" (प्रशिक्षित नेटवर्क) अक्सर बहुत बड़ी होती है। वास्तव में, एक छोटी वीडियो के लिए, रेसिपी स्वयं वीडियो फ़ाइल से भी बड़ी हो सकती है! इसे ठीक करने के लिए, टीम ने तीन-चरणीय कंप्रेशन पाइपलाइन का उपयोग किया:

1. शिक्षक और छात्र (The Teacher and the Student): सबसे पहले, उन्होंने वीडियो को पूरी तरह से याद करने के लिए एक बड़े, जटिल "टीचर" नेटवर्क को प्रशिक्षित किया। यह टीचर बहुत बड़ा था (लगभग 9.05 MiB)। फिर, उन्होंने नॉलेज डिस्टिलेशन (Knowledge Distillation) नामक तकनीक का उपयोग किया। कल्पना कीजिए कि टीचर वीडियो को एक छोटे, सरल "स्टूडेंट" नेटवर्क को समझा रहा है। स्टूडेंट केवल कच्चा वीडियो नहीं सीखता; वह टीचर के जवाबों की नकल करना सीखता है। इसने मॉडल को काफी छोटा कर दिया।
2. क्वांटाइजेशन (Quantization - राउंडिंग का खेल): नेटवर्क के वेट्स आमतौर पर उच्च सटीकता (जैसे 32-बिट नंबर) के साथ स्टोर किए जाते हैं। शोधकर्ताओं ने इन नंबरों को कम बिट्स (जैसे 16-बिट पूर्णांक) में राउंड डाउन करने का परीक्षण किया। यह एक बहुत ही सटीक रेसिपी को सरल बनाने जैसा है जो कहती है "1.000001 ग्राम नमक डालें" और उसे "1 ग्राम नमक डालें" में बदल देती है। उन्होंने 1-बिट (बहुत मोटा) से लेकर 32-बिट (बहुत सटीक) तक सब कुछ टेस्ट किया। उन्होंने पाया कि एक बार जब वे 16 बिट्स पर पहुँच गए, तो गुणवत्ता में सुधार होना बंद हो गया। इससे ऊपर जाने से वीडियो बेहतर नहीं दिखा, लेकिन इससे नीचे जाने से यह बहुत खराब दिखने लगा।
3. लॉसलेस पैकिंग (Lossless Packing): अंत में, उन्होंने LZMA2 नामक एक मानक कंप्रेशन टूल का उपयोग किया (वही जिसका उपयोग .xz फाइलों में किया जाता है) ताकि बिना किसी जानकारी को खोए शेष डेटा को ज़िप किया जा सके।

परिणाम: एक मिला-जुला अनुभव

टीम ने इन परीक्षणों को कई लघु वीडियो पर किया। यहाँ उनके निष्कर्ष दिए गए हैं:

• आकार की जीत: एक टेस्ट वीडियो के लिए, जिसका आकार 6.08 MiB था, उनका अंतिम संकुचित (compressed) मॉडल 2.33 MiB का था। यह एक कंप्रेशन अनुपात 2.61 है। वे वीडियो और ऑडियो को मूल फ़ाइल के आधे से भी कम आकार की फ़ाइल में सफलतापूर्वक समेटने में सफल रहे।
• गुणवत्ता का समझौता: वीडियो की गुणवत्ता ठीक थी लेकिन बहुत शानदार नहीं। उनके द्वारा टेस्ट किए गए सर्वश्रेष्ठ वीडियो ने 28.72 dB का PSNR (एक गुणवत्ता माप जहाँ उच्च मान बेहतर होता है) और 0.75 का SSIM प्राप्त किया। ऑडियो ठीक था, जिसका PSNR 24.18 dB था।
• "लघु वीडियो" की समस्या: यह सबसे महत्वपूर्ण निष्कर्ष है। क्योंकि नेटवर्क का एक निश्चित आकार होता है (इसे काम करने के लिए एक निश्चित मात्रा में "मस्तिष्क" की आवश्यकता होती है), छोटे वीडियो को कंप्रेस करने पर वे वास्तव में बड़े हो जाते हैं। एक नन्ही 5-सेकंड की क्लिप के लिए, संकुचित फ़ाइल मूल फ़ाइल से बड़ी थी। यह विधि केवल तभी जगह बचाना शुरू करती है जब वीडियो इतना लंबा हो कि वह निश्चित लागत (fixed cost) को न्यायसंगत ठहरा सके।
• दिग्गजों से तुलना: जब उन्होंने अपने तरीके की तुलना उद्योग मानकों H.264 और HEVC (कोडेक जिनका उपयोग YouTube और Netflix द्वारा किया जाता है) से की, तो उनका तरीका हार गया। पारंपरिक कोडेक वीडियो को कंप्रेस करने में बहुत बेहतर थे, अक्सर 10 या उससे अधिक के कारक से। नया तरीका केवल तभी पारंपरिक कोडेक की गुणवत्ता से मेल खाता था जब उन पारंपरिक कोडेक को उनके सबसे निचले, सबसे "दानेदार" (grainy) गुणवत्ता सेटिंग्स पर सेट किया गया हो।

यह क्यों मायने रखता है (भले ही यह पूर्ण न हो)

लेखक अपनी सीमाओं के बारे में बहुत ईमानदार हैं। वे स्वीकार करते हैं कि फिलहाल, यह तरीका YouTube या Netflix को बदलने के लिए तैयार नहीं है। इसे प्रशिक्षित करने में बहुत समय लगता है (एक एकल वीडियो को "सिखाने" के लिए हजारों घंटों के कंप्यूटर समय की आवश्यकता होती है) और यह तेज़ गति वाले दृश्यों के साथ संघर्ष करता है।

हालाँकि, उन्होंने कुछ अनूठा खोजा: फ़ाइल का आकार स्थिर रहता है। पारंपरिक वीडियो में, यदि आप मूवी की लंबाई दोगुनी कर देते हैं, तो फ़ाइल का आकार भी दोगुना हो जाता है। इस पद्धति के साथ, फ़ाइल का आकार लगभग समान रहता है चाहे वीडियो 1 मिनट का हो या 1 घंटा लंबा हो (एक बार जब यह एक निश्चित न्यूनतम लंबाई पार कर लेता है)। यह सुझाव देता है कि बहुत लंबे, उच्च-रिज़ॉल्यूशन वाले कंटेंट के लिए, यह दृष्टिकोण एक दिन बहुत कुशल हो सकता है।

उन्होंने एक वर्किंग प्रोटोटाइप भी बनाया जो वेब ब्राउज़र में चलता है, जो यह दिखाता है कि मानक वेब तकनीकों का उपयोग करके इन "न्यूरल वीडियो रेसिपीज़" को इंटरनेट पर प्रशिक्षित करना, भेजना और चलाना संभव है।

संक्षेप में, इस शोध पत्र ने कोई नया वीडियो फॉर्मेट नहीं बनाया जिसने वर्तमान दिग्गजों को हरा दिया हो। इसके बजाय, इसने यह साबित किया कि आप एक वीडियो और उसके साउंडट्रैक को एक एकल गणितीय मस्तिष्क के भीतर स्टोर कर सकते हैं, और आप उस मस्तिष्क को बिना चित्र को नष्ट किए एक उपयोगी आकार में सिकोड़ सकते हैं। यह एक ऐसे भविष्य की ओर एक आशाजनक कदम है जहाँ हम केवल पिक्सेल नहीं भेजते, बल्कि उन्हें कल्पना करने के निर्देश भेजते हैं।