GVC-RT: Towards Real-Time Generative Video Compression at Ultra-Low Bitrates
GVC-RT एक रियल-टाइम जनरेटिव वीडियो कोडेक है जो एक एसिमेट्रिक आर्किटेक्चर और लाइटवेट डी-टोकेनाइज़र का उपयोग करके अल्ट्रा-लो बिटरेट कंप्रेशन के साथ स्टेट-ऑफ-द-आर्ट फिडेलिटी प्राप्त करता है, जिससे इन्फरेंस-टाइम बॉटलनैक्स समाप्त हो जाते हैं और 55 fps से अधिक पर 1080p वीडियो प्रोसेसिंग सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक दोस्त को एक फिल्म भेजने की कोशिश कर रहे हैं, लेकिन आपका इंटरनेट कनेक्शन इतना धीमा है कि आप प्रति सेकंड केवल कुछ छोटे पोस्टकार्ड ही भेज सकते हैं। वीडियो कंप्रेशन की दुनिया में, यह "अल्ट्रा-लो बिटरेट" (ultra-low bitrate) की चुनौती है। दशकों से, वैज्ञानिक वीडियो डेटा को छोटे और छोटे पैकेटों में समेटने की कोशिश कर रहे हैं। पारंपरिक तरीके एक फोटोकॉपी मशीन की तरह काम करते हैं: वे हर एक पिक्सेल को बिल्कुल समान रखने की कोशिश करते हैं। लेकिन जब आप किसी फोटो को बहुत अधिक सिकोड़ देते हैं, तो वह एक धुंधले और ब्लॉक वाले मलबे में बदल जाती है।
हाल ही में, "जेनरेटिव वीडियो कंप्रेशन" (Generative Video Compression) नामक एक नया दृष्टिकोण उभरा है। केवल पिक्सेल की नकल करने के बजाय, ये सिस्टम एक कुशल कलाकार की तरह काम करते हैं। वे कुछ रफ स्केच (जिसे "कोड" कहा जाता है) भेजते हैं और रिसीवर के कंप्यूटर को बताते हैं, "हे, तुम जानते हो कि एक जहाज कैसा दिखता है? बस यहाँ एक बहुत अच्छा जहाज बना दो।" यह बहुत कम डेटा के साथ भी शानदार, वास्तविक दिखने वाली छवियां बनाता है। हालाँकि, इसमें एक पेंच है: रिसीवर की ओर मौजूद "कलाकार" आमतौर पर एक विशाल, धीमा, सुपर-कंप्यूटर मस्तिष्क होता है। चित्र बनाने में इतना समय लगता है कि आप वीडियो को रियल-टाइम में नहीं देख सकते। यह एक मास्टर पेंटर की तरह है जिसे एक सिंगल फ्रेम को पूरा करने में तीन दिन लग जाते हैं। बड़ा सवाल यह रहा है कि क्या हम इस कलात्मक जादू को इतना तेज़ बना सकते हैं कि वीडियो को उसके भेजे जाने के दौरान ही देखा जा सके?
यहीं पर एक नया पेपर GVC-RT पेश करता है, जो इस "कलाकार" को एक सामान्य वीडियो प्लेयर की गति प्रदान करने के लिए डिज़ाइन किया गया है। शोधकर्ताओं ने, जिनका नेतृत्व तियानजियन डांग और सहयोगियों ने किया था, महसूस किया कि पुराना तरीका बहुत भारी था। उन्होंने तीन मुख्य कारणों की पहचान की कि क्यों ये जेनरेटिव सिस्टम इतने धीमे थे: वीडियो को "स्केच" (टोकनाइज़ेशन) में बदलने की प्रक्रिया बहुत भारी थी, स्केच के स्टाइल से मिलान सुनिश्चित करने की प्रक्रिया (अलाइनमेंट) बहुत जटिल थी, और स्केच को वापस तस्वीर में बदलने का अंतिम चरण (डी-टोकनाइज़ेशन) बहुत महंगा था।
इसे ठीक करने के लिए, उन्होंने एक चतुर "एसिमेट्रिक" (asymmetric) दृष्टिकोण के साथ अपने सिस्टम को पूरी तरह से पुनर्गठित किया। इसे एक हाई-स्टेक टेलीफोन गेम की तरह सोचें जहाँ संदेश भेजने वाला व्यक्ति (एनकोडर) एक तेज़, सरल धावक है, लेकिन संदेश प्राप्त करने वाला व्यक्ति (डिकोडर) एक शक्तिशाली, रचनात्मक चित्रकार है। पुराने सिस्टमों में, धावक को चित्रकार का काम भी करना पड़ता था, जिससे सब कुछ धीमा हो जाता था। GVC-RT में, धावक केवल आवश्यक जानकारी लेता है और उसे सौंप देता है। "जेनरेटिव अलाइनमेंट" का भारी काम—यह सुनिश्चित करना कि रिसीवर को वास्तव में कौन सा स्टाइल इस्तेमाल करना है—पूरी तरह से ट्रेनिंग फेज (प्रशिक्षण चरण) में स्थानांतरित कर दिया गया है। यह ऐसा है जैसे चित्रकार को खेल शुरू होने से पहले ही धावक के विशिष्ट हाथों के संकेतों को पूरी तरह पहचानने के लिए सिखाया जाए, ताकि वास्तविक खेल के दौरान उन्हें स्पष्टीकरण के लिए रुककर पूछना न पड़े।
इसके अलावा, उन्होंने उस विशाल, धीमे चित्रकार को एक "डिस्टिल्ड" (distilled) संस्करण—एक हल्का कलाकार जो उतना ही प्रतिभाशाली है लेकिन बहुत तेज़ चलता है—से बदल दिया। उन्होंने इस हल्के कलाकार को एक भारी, धीमे मास्टर की नकल करके प्रशिक्षित किया, जिससे उसने बिना किसी भारी कंप्यूटेशनल लागत के उसी उच्च-गुणवत्ता वाले परिणाम देने का हुनर सीखा।
परिणाम प्रभावशाली हैं। टीम ने एक मानक, शक्तिशाली होम कंप्यूटर ग्राफिक्स कार्ड (NVIDIA RTX 4090) पर अपने सिस्टम का परीक्षण किया। उन्होंने पाया कि GVC-RT हाई-डेफिनिशन 1080p वीडियो के लिए 123.1 फ्रेम्स प्रति सेकंड (fps) की दर से एनकोड कर सकता है और 55.1 fps की दर से डिकोड कर सकता है। आपके संदर्भ के लिए, एक मानक फिल्म 24 या 30 fps पर चलती है, इसलिए यह सिस्टम अतिरिक्त जगह के साथ रियल-टाइम स्ट्रीमिंग को संभालने के लिए पर्याप्त तेज़ है। गुणवत्ता के मामले में, इसने पिछले सर्वश्रेष्ठ मॉडल (GLC-Video) को काफी पीछे छोड़ दिया, जिससे डेटा उपयोग में लगभग 12.4% से 48.8% तक की बचत हुई और यह मानवीय आंखों को उतना ही अच्छा या उससे भी बेहतर लगा।
पेपर का सुझाव है कि भारी "टोकनाइज़ेशन" चरणों को हटाकर और जटिल स्टाइल-मैचिंग को ट्रेनिंग फेज में स्थानांतरित करके, उन्होंने उच्च-गुणवत्ता वाले, कलात्मक वीडियो कंप्रेशन और रियल-टाइम स्पीड के बीच के अंतर को सफलतापूर्वक पाट दिया है। हालांकि वे स्वीकार करते हैं कि उनका सिस्टम अभी भी शक्तिशाली कंज्यूमर हार्डवेयर पर निर्भर है, वे यह प्रदर्शित करते हैं कि रियल-टाइम जेनरेटिव वीडियो कंप्रेशन अब केवल सुपरकंप्यूटरों का सपना नहीं है, बल्कि एक वास्तविकता है जिसे आज के गेमिंग सेटअप में मिलने वाले उपकरणों पर चलाया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।