NAE-VC: Neural Arithmetic Encoding as a Learned Replacement for CABAC in Modern Video Codecs
NAE-VC एक मॉड्यूलर, लर्नड एंट्रॉपी कोडिंग फ्रेमवर्क है जो H.264, H.265 और H.266 कोडेक्स में मानक CABAC इंजन को एक न्यूरल आर्किटेक्चर से बदल देता है जो मौजूदा वीडियो कोडिंग मानकों के साथ पूर्ण अनुकूलता बनाए रखते हुए महत्वपूर्ण बिटरेट बचत प्राप्त करने के लिए कॉन्टेक्स्ट एग्रीगेशन, गॉसियन मिक्सचर मॉडलिंग और हाइपरप्रायर्स का संयोजन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया के किसी दूसरे कोने में अपने दोस्त को एक विशाल, हाई-डेफिनिशन मूवी भेजने की कोशिश कर रहे हैं। इंटरनेट को जाम किए बिना इसे संभव बनाने के लिए, आपको फ़ाइल को जितना हो सके उतना छोटा करना होगा। इस प्रक्रिया को वीडियो कम्प्रेशन (video compression) कहा जाता है। इसे एक यात्रा के लिए सूटकेस पैक करने जैसा समझें: आप सब कुछ अंदर तो डालना चाहते हैं, लेकिन आप चीजों को बेतरतीब ढंग से नहीं फेंक सकते; आपको कपड़ों को कसकर मोड़ने और व्यवस्थित करने की एक स्मार्ट प्रणाली की आवश्यकता है ताकि कुछ भी बर्बाद न हो।
वीडियो की दुनिया में, इस "स्मार्ट पैकिंग सिस्टम" का एक अंतिम, महत्वपूर्ण चरण है जिसे एन्ट्रॉपी कोडिंग (entropy coding) कहा जाता है। यह वह बिल्कुल अंतिम चरण है जहाँ कंप्यूटर तय करता है कि डेटा को 1s और 0s की स्ट्रीम में ठीक से कैसे लिखा जाए। दशकों से, उद्योग ने एक विशिष्ट, हाथ से तैयार की गई विधि का उपयोग किया है जिसे CABAC (कॉन्टेक्स्ट-बेस्ड एडेप्टिव बाइनरी अरिथमेटिक कोडिंग) कहा जाता है। आप CABAC को एक बहुत अनुभवी, लेकिन थोड़े कठोर लाइब्रेरियन के रूप में देख सकते हैं जिसने किताबों को व्यवस्थित करने के लिए एक विशाल नियम पुस्तिका याद कर रखी है। यह अच्छा है, लेकिन यह निश्चित नियमों का पालन करता है और डेटा के अजीब या नए पैटर्न के अनुकूल आसानी से नहीं ढल सकता। इस बीच, न्यूरल नेटवर्क (कंप्यूटर सिस्टम जो मस्तिष्क की तरह सीखते हैं) की एक नई लहर ने दिखाया है कि वे पैटर्न की भविष्यवाणी करने में बहुत बेहतर हो सकते हैं, लेकिन आमतौर पर उन्हें पूरे वीडियो सिस्टम को शुरू से बदलने की आवश्यकता होती है, जो लाइब्रेरी बदलने के लिए पूरा पुस्तकालय ही फिर से बनाने जैसा है।
यह शोध पत्र एक चतुर मध्य मार्ग पेश करता है जिसे NAE-VC कहा जाता है। पूरे पुस्तकालय को गिराने के बजाय, शोधकर्ताओं ने एक "न्यूरल लाइब्रेरियन" बनाया है जो पुराने, नियम-बद्ध लाइब्रेरियन (CABAC) को बदल सकता है जबकि वीडियो सिस्टम के अन्य सभी हिस्सों को बिल्कुल वैसा ही रखता है। उन्होंने इस नए सिस्टम का परीक्षण वीडियो मानकों की तीन पीढ़ियों (H.264, H.265, और H.266) पर किया और पाया कि यह पुराने तरीके की तुलना में फ़ाइल के आकार को लगातार और अधिक कम करता है, जिससे यह साबित होता है कि सबसे अच्छे हाथ से बनाए गए नियमों में भी सुधार की गुंजाइश है यदि आप सीखने वाले कंप्यूटर को कमान संभालने दें।
समस्या: कठोर लाइब्रेरियन
वर्षों से, वीडियो कोडेक्स (सॉफ्टवेयर जो वीडियो को कंप्रेस करता है) अंतिम पैकिंग करने के लिए CABAC पर निर्भर रहे हैं। CABAC एक ऐसे लाइब्रेरियन की तरह है जिसने एक विशाल, हस्तलिखित नियम पुस्तिका याद कर ली है। जब कोई नया डेटा आता है, तो लाइब्रेरियन यह अनुमान लगाने के लिए कि अगला हिस्सा आने की कितनी संभावना है, एक विशिष्ट इंडेक्स की जाँच करता है। यदि डेटा सामान्य है, तो वे इसे एक छोटे कोड के साथ लिखते हैं; यदि यह दुर्लभ है, तो वे लंबे कोड का उपयोग करते हैं।
समस्या यह है कि यह नियम पुस्तिका निश्चित (fixed) है। इसे वर्षों पहले मनुष्यों द्वारा डिज़ाइन किया गया था और यह इस आधार पर नहीं बदल सकती कि कौन सी फिल्म देखी जा रही है। यह भी जटिल डेटा को सरल "हाँ/नहीं" (बाइनरी) प्रश्नों में तोड़ देता है, जिससे वास्तविक वीडियो में पाए जाने वाले समृद्ध, जटिल पैटर्न खो जाते हैं। यह एक जटिल पेंटिंग का वर्णन करने की कोशिश करने जैसा है जिसमें केवल यह पूछकर कि "क्या यह लाल है?" या "क्या यह नीला है?" एक समय में एक पिक्सेल के आधार पर, बजाय इसके कि पूरे ब्रशस्ट्रोक को समझा जाए।
समाधान: एक सीखने वाला लाइब्रेरियन
शोधकर्ताओं ने NAE-VC (न्यूरल अरिथमेटिक एनकोडिंग फॉर वीडियो कम्प्रेशन) प्रस्तावित किया। उस कठोर लाइब्रेरियन को एक सुपर-स्मार्ट, सीखने वाले AI सहायक से बदलने की कल्पना करें। यह AI सहायक केवल एक नियम नहीं देखता; यह पूरी तस्वीर को देखता है।
AI सहायक डेटा को पैक करने का निर्णय लेने से पहले सुराग इकट्ठा करने के तीन विशेष तरीके अपनाता है:
- स्पेशियल कॉन्टेक्स्ट (Spatial Context): यह पड़ोसियों को देखता है। जैसे आप वर्तमान कमरे को देखकर अगले कमरे के बारे में जान सकते हैं, AI अगले हिस्से का अनुमान लगाने के लिए वर्तमान पिक्सेल के आसपास के पिक्सेल्स को देखता है।
- चैनल कॉन्टेक्स (Channel Context): यह फ्रीक्वेंसी को देखता है। वीडियो डेटा में विवरण की विभिन्न "परतें" (जैसे संगीत में बास और ट्रेबल) होती हैं। AI समझता है कि ये परतें एक-दूसरे से कैसे संबंधित हैं।
- टेम्पोरल कॉन्टेक्स (Temporal Context): यह अतीत को देखता है। यदि आप एक गेंद के हिलने का वीडियो देख रहे हैं, तो AI जानता है कि गेंद अगले फ्रेम में संभवतः उसी स्थान पर होगी। यह बेहतर अनुमान लगाने के लिए इस गति का उपयोग करता है।
AI इन सभी सुरागों को मल्टी-हेड क्रॉस-अटेंशन (इसे एक बैठक में चार अलग-अलग विशेषज्ञों के रूप में सोचें, जिनमें से प्रत्येक अलग प्रकार के सुराग पर ध्यान केंद्रित करता है, और फिर सर्वोत्तम भविष्यवाणी पर वोट करता है) का उपयोग करके जोड़ता है। केवल "हाँ या ना" का अनुमान लगाने के बजाय, AI एक गौसियन मिक्सचर मॉडल (Gaussian Mixture Model) की भविष्यवाणी करता है। सरल शब्दों में, इसका मतलब है कि यह केवल एक नंबर का अनुमान नहीं लगाता; यह संभावनाओं के एक पूरे बादल का अनुमान लगाता है, यह समझते हुए कि डेटा कुछ अलग-अलग तरीकों से क्लस्टर (समूहबद्ध) हो सकता है। यह इसे डेटा को बहुत अधिक मजबूती से पैक करने की अनुमति देता है।
परिणाम: बिट्स की बचत
शोधकर्ताओं ने इस नए "न्यूरल लाइब्रेरियन" को तीन अलग-अलग वीडियो मानकों: H.264, H.265, और H.266 के लिए संदर्भ सॉफ्टवेयर में बदलकर परीक्षण किया। उन्होंने बाकी सब कुछ बिल्कुल समान रखा ताकि वे देख सकें कि क्या नया लाइब्रेरियन वास्तव में बेहतर है।
परिणाम हर जगह सुसंगत थे:
- H.264 (पुराना मानक): नए सिस्टम ने "ऑल-इंट्रा" मोड (जहाँ प्रत्येक फ्रेम स्वतंत्र है) में फ़ाइल के आकार में लगभग 4.82% की बचत की और "लो-डिली" मोड (जहाँ फ्रेम एक-दूसरे पर निर्भर होते हैं) में 6.15% की बचत की।
- H.265 (मध्यम मानक): इसने 3.67% (ऑल-इंट्रा) और 4.93% (लो-डिली) की बचत की।
- H.266 (नवीनतम, सबसे उन्नत मानक): भले ही यह मानक पहले से ही एक बहुत ही परिष्कृत प्रणाली रखता है, फिर भी नए AI ने 2.41% (ऑल-इंट्रा) और 3.28% (लो-डिली) की बचत करने में सफलता प्राप्त की।
शोध पत्र एक स्पष्ट पैटर्न का सुझाव देता है: मूल सिस्टम जितना उन्नत था, सुधार की गुंजाइश उतनी ही कम थी। H.264, जो सबसे पुराना और सरल है, उसमें AI के पास सुधार के लिए सबसे अधिक "हेडरूम" था। हालाँकि, तथ्य यह है कि AI ने नए H.266 में 2% से अधिक की बचत की, यह एक बड़ी बात है। यह बताता है कि चाहे मनुष्य नियम पुस्तिका को कितनी भी अच्छी तरह से डिज़ाइन करें, एक सीखने वाला सिस्टम उन पैटर्न को ढूंढ सकता है जिन्हें वे चूक गए थे।
इसका क्या अर्थ है
अध्ययन दिखाता है कि बेहतर कम्प्रेशन प्राप्त करने के लिए आपको पूरे वीडियो सिस्टम को फेंकने की आवश्यकता नहीं है। आप केवल "पैकिंग" वाले हिस्से को एक स्मार्ट, सीखने वाले AI के साथ सर्जिकल तरीके से बदल सकते हैं।
शोधकर्ताओं ने यह भी जांचा कि क्या इससे वीडियो बेहतर दिखता है। उन्होंने पाया कि बचत केवल गणित का भ्रम नहीं थी; वीडियो वास्तव में मानव आंखों को बेहतर लगा (VMAF और MS-SSIM जैसे मेट्रिक्स द्वारा मापा गया)। AI उन महत्वपूर्ण विवरणों को संरक्षित करने में बेहतर था जो वीडियो को शार्प और नेचुरल दिखाते हैं।
एक दिलचस्प खोज यह है कि नया सिस्टम तब सबसे अच्छा काम करता है जब गति (जैसे खेल के खेल या फिल्म में) होती है क्योंकि यह "टेम्पोरल कॉन्टेक्स" (अतीत को देखना) का उपयोग करके स्मार्ट अनुमान लगा सकता है। स्थिर दृश्यों में, सुधार कम है, लेकिन फिर भी मौजूद है।
एक चुनौती
इस अतिरिक्त बुद्धिमत्ता की एक कीमत है। नए सिस्टम को चलाने के लिए अधिक कंप्यूटर पावर की आवश्यकता होती है। पुराने H.264 मानक के लिए, एनकोडिंग समय (वीडियो को कंप्रेस करने में लगने वाला समय) लगभग 4 गुना बढ़ गया। पहले से ही जटिल H.266 के लिए, समय केवल लगभग 15% बढ़ा। यह सुझाव देता है कि यह तकनीक आधुनिक, उच्च-स्तरीय वीडियो सिस्टम के लिए सबसे व्यावहारिक है जहाँ कंप्यूटर पहले से ही कड़ी मेहनत कर रहा है, या क्लाउड सर्वर के लिए जहाँ स्टोरेज स्पेस बचाने के लिए गति कम महत्वपूर्ण है।
संक्षेप में, यह शोध पत्र साबित करता है कि वीडियो कम्प्रेशन के अंतिम चरण को लर्निंग AI के साथ बदलकर, हम अपने मौजूदा वीडियो मानकों से अधिक दक्षता निकाल सकते हैं, जिससे हमारे वीडियो बिना अगली पीढ़ी की वीडियो तकनीक की प्रतीक्षा किए छोटे और स्पष्ट हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।