OmniVR: Joint Video-Audio Conditional Generation for Restoring Degraded Historical Films
OmniVR एक अग्रणी 22B-पैरामीटर वाला संयुक्त ऑडियो-वीडियो जनरेटिव मॉडल है जो ऐतिहासिक फिल्मों के क्षय को पुनर्स्थापित करने के लिए इस कार्य को एक एकीकृत मल्टीमॉडल DiT के भीतर कंडीशनल जनरेशन के रूप में तैयार करता है, जो क्रॉस-मोडल निरंतरता और प्राकृतिक रंगीकरण सुनिश्चित करते हुए दृश्य और श्रव्य दोनों प्रकार के क्षरणों को एक साथ संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक समय यात्री हैं जिसके पास एक जादुई कैमरा है जो केवल अतीत को देख सकता है। आपको एक सदी पुरानी एक पुरानी, धूल भरी फिल्म रील मिलती है। जब आप इसे चलाते हैं, तो चित्र धुंधला, टिमटिमाता हुआ और ब्लैक-एंड-व्हाइट होता है, और ध्वनि एक कड़कड़ाहट और हिसिंग (hissing) के शोर से भरी होती है जो ऐसा लगता है जैसे किसी टिन के डिब्बे के अंदर से आ रही हो। दशकों तक, वैज्ञानिकों ने इन फिल्मों को ठीक करने की कोशिश की है, लेकिन वे वीडियो और ऑडियो को दो अलग-अलग समस्याओं के रूप में देखते रहे हैं। उनके पास वीडियो को साफ करने के लिए कलाकारों की एक टीम है और शोर को ठीक करने के लिए ऑडियो इंजीनियरों की एक अलग टीम है, जो एक-दूसरे से अलग काम करती है। समस्या यह है कि वास्तविक दुनिया में, वीडियो और ऑडियो सबसे अच्छे दोस्त होते हैं; वे एक-दूसरे को प्रभावित करते हैं। यदि ऑडियो अस्पष्ट है, तो यह बताना कठिन हो जाता है कि कोई पात्र फुसफुसा रहा है या वह बस दूर है। यदि वीडियो धुंधला है, तो यह बताना कठिन हो जाता है कि क्या कोई ध्वनि प्रभाव क्रिया (action) से मेल खाता है।
यह शोध पत्र एक नए प्रकार के "डिजिटल रिस्टोरर" का परिचय देता है जिसे OmniVR कहा जाता है। इसे दो अलग-अलग मरम्मत टीमों के रूप में नहीं, बल्कि एक अकेले, अत्यंत बुद्धिमान जासूस के रूप में सोचें जो मूल दृश्य वास्तव में कैसा दिखता था और कैसा सुनाई देता था, यह पता लगाने के लिए धुंधली तस्वीर और शोर भरी आवाज़ को एक साथ देखता है। शोधकर्ताओं ने इस जासूस को एक विशाल, 22-बिलियन-पैरामीटर वाले मस्तिष्क (एक प्रकार का AI मॉडल) का उपयोग करके बनाया है, जिसे मूल रूप से शून्य से नई फिल्में बनाने के लिए सिखाया गया था। चीजें बनाने के बजाय, उन्होंने इस मस्तिष्क को "अन-डिफ्यूज़" (un-diffuse) करना सिखाया, यानी पुराने फिल्म के खराब हिस्सों का उपयोग सुराग के रूप में करके साफ हिस्सों का पुनर्निर्माण करना। उन्होंने केवल धुंधलेपन या हिसिंग को ठीक नहीं किया; उन्होंने वीडियो और ऑडियो को एक-दूसरे से बात करने के योग्य बनाया, जिससे यह सुनिश्चित हुआ कि जब कोई पात्र अपने होंठ हिलाता है, तो आवाज पूरी तरह से मेल खाती है, और जब संगीत बढ़ता है, तो दृश्य सही महसूस होता है।
बड़ी समस्या: एक पक्ष को ठीक करना पर्याप्त क्यों नहीं है
ऐतिहासिक फिल्में टाइम कैप्सूल की तरह होती हैं, लेकिन वे अक्सर टूटी हुई होती हैं। शोध पत्र बताता है कि ये पुरानी फिल्में एक दोहरी मार झेलती हैं: वीडियो धुंधला, दानेदार और टिमटिमाता हुआ हो जाता है, जबकि ऑडियो हिसिंग, क्लिप्ड और रुक-रुक कर आने वाला होता है। लेखकों ने कुछ ऐसा देखा जो पिछले तरीकों ने मिस कर दिया था: क्षति एक ही समय में होती है। आप केवल वीडियो को ठीक नहीं कर सकते और उम्मीद नहीं कर सकते कि ध्वनि जादू से बेहतर हो जाएगी, या इसके विपरीत। वास्तव में, यदि आप वीडियो को ठीक करते हैं लेकिन ऑडियो को टूटा हुआ छोड़ देते हैं (या इसके विपरीत), तो वे तालमेल खो देते हैं। यह अपने साथी के साथ नाचने की कोशिश करने जैसा है जो एक अलग बीट पर चल रहा है; परिणाम अजीब और अप्राकृतिक लगता है।
शोधकर्ताओं ने पाया कि उनके द्वारा अध्ययन किए गए अधिकांश पुराने क्लिप्स में, आँखें और कान दोनों एक साथ पीड़ित थे। उन्होंने यह भी खोजा कि एक AI मॉडल का मस्तिष्क, जिसे वीडियो और ऑडियो को एक साथ उत्पन्न करने के लिए डिज़ाइन किया गया है, वास्तव में "क्रॉस-वायरिंग" (cross-wiring) रखता है। मॉडल का ऑडियो हिस्सा वीडियो पर ध्यान देता है, और वीडियो हिस्सा ऑडियो पर ध्यान देता है। यदि आप ऑडियो को शांत कर देते हैं, तो वीडियो जनरेशन बदल जाता है। इसका मतलब है कि वास्तव में एक फिल्म को बहाल करने के लिए, आपको ऑडियो और वीडियो को एक-दूसरे की मदद करने देना होगा, न कि उन्हें अजनबियों की तरह मानना होगा।
समाधान: तीन चरणों की एक टीम
OmniVR बनाने के लिए, लेखकों ने एक "मूवी-मेकर" AI को "मूवी-रिस्टोरर" AI में बदलने के लिए तीन-चरणीय रणनीति बनाई।
1. "नकली पुरानी फिल्म" का कारखाना
सबसे पहले, टीम को AI को यह सिखाने की आवश्यकता थी कि एक टूटी हुई पुरानी फिल्म कैसी दिखती है। चूंकि वे प्रशिक्षण के लिए पर्याप्त वास्तविक टूटी हुई फिल्में (जिनकी सटीक 'पहले और बाद की' प्रतियां हों) नहीं ढूंढ सके, इसलिए उन्होंने एक डिजिटल कारखाना बनाया। उन्होंने उच्च-गुणवत्ता वाले, आधुनिक वीडियो और ऑडियो लिए और उन्हें जानबूझकर खराब कर दिया। उन्होंने वीडियो में डिजिटल खरोंच, धूल, फ्लिकर और धुंधलापन जोड़ा, और ऑडियो में हिस, पॉपिंग और दबी हुई आवाज़ जोड़ी। उन्होंने सुनिश्चित किया कि ये "नकली" नुकसान बिल्कुल वैसे ही दिखें और सुनाई दें जैसे इतिहास की किताबों में पाए जाते हैं। इसने AI को उन समस्याओं को ठीक करने का अभ्यास करने की अनुमति दी जो उसने पहले कभी नहीं देखी थीं, जिससे वह एक असली चेहरे और एक धुंधले ढेर के बीच अंतर पहचानना सीख सका।
2. "साइलेंट पार्टनर" का तरीका
जिस AI से उन्होंने शुरुआत की थी, वह एक विशाल मॉडल है जिसे टेक्स्ट विवरण (जैसे "एक दौड़ती हुई बिल्ली") से फिल्में बनाने के लिए डिज़ाइन किया गया है। वे पूरे मॉडल को फिर से प्रशिक्षित नहीं करना चाहते थे क्योंकि इसमें बहुत समय लगता और यह अपनी रचनात्मकता खो सकता था। इसके बजाय, उन्होंने एक चतुर तरीका अपनाया। उन्होंने AI से कहा: "अपनी फिल्में बनाने की क्षमता बनाए रखें, लेकिन अब, टेक्स्ट विवरण सुनने के बजाय, उस टूटी हुई फिल्म को सुनें जो हम आपको दे रहे हैं।"
उन्होंने ऐसा करने के लिए खराब वीडियो और खराब ऑडियो को AI के "कानों" (इसके इनपुट चैनलों) में फीड किया, जबकि "मस्तिष्क" को काफी हद तक समान रखा। उन्होंने प्रॉम्प्ट एनीलिंग (prompt annealing) नामक एक विशेष तकनीक का भी उपयोग किया। कल्पना कीजिए कि AI एक नई भाषा सीख रहा है। शुरू में, उन्होंने इसे दृश्यों के मूल टेक्स्ट विवरणों को पढ़ने दिया ताकि यह सहज बना रहे। फिर, धीरे-धीरे, उन्होंने उन विवरणों को एक एकल, निश्चित निर्देश से बदल दिया: "इसे स्पष्ट, तीक्ष्ण और सिंक्रोनाइज़्ड बनाएं।" इसने AI को "नई चीजें बनाने" से "पुरानी चीजों को ठीक करने" की ओर सुचारू रूप से संक्रमण करने में मदद की, बिना अपनी रचनात्मक चमक खोए।
3. लंबे वीडियो के लिए "एंकर" (Anchor)
पुरानी फिल्में बहुत लंबी हो सकती हैं, लेकिन AI एक बार में केवल छोटे टुकड़ों (लगभग 5 सेकंड या 121 फ्रेम) को प्रोसेस कर सकता है। यदि आप इन टुकड़ों को बस जोड़ देते हैं, तो एक टुकड़े का अंत दूसरे के शुरू होने से थोड़ा अलग दिख सकता है, जिससे वीडियो में उछाल या रंग बदल सकता है। इसे ठीक करने के लिए, लेखकों ने एक "फर्स्ट-फ्रेम एंकर" का उपयोग किया। जब AI एक टुकड़ा ठीक करना समाप्त करता है, तो वह अपने द्वारा बनाए गए अंतिम फ्रेम को लेता है और उसे अगले टुकड़े के लिए "स्टार्टिंग पॉइंट" के रूप में उपयोग करता है। यह एक रिले रेस की तरह है जहाँ धावक अगले व्यक्ति को बैटन सौंपता है; अगला धावक ठीक वहीं से शुरू होता है जहाँ पिछला व्यक्ति छोड़ा था। यह लंबी फिल्मों के लिए भी वीडियो को सुचारू और निरंतर बनाए रखता है।
उन्होंने क्या पाया: बहाली के लिए एक नया मानक
टीम ने परीक्षण किया कि OmniVR ने उनके द्वारा बनाए गए एक नए बेंचमार्क OmniVRBench पर, जिसमें 200 वास्तविक ऐतिहासिक क्लिप शामिल हैं। उन्होंने अपने तरीके की तुलना मौजूदा सर्वश्रेष्ठ उपकरणों से की, जो आमतौर पर वीडियो और ऑडियो को अलग-अलग ठीक करते हैं या केवल ब्लैक-एंड-व्हाइट फिल्मों में रंग जोड़ते हैं।
परिणाम स्पष्ट थे: OmniVR पहली विधि है जो सफलतापूर्वक वीडियो, ऑडियो और रंग तीनों को एक साथ ठीक करती है।
- दृश्य गुणवत्ता (Visual Quality): एक पैमाने पर जो मापता है कि छवि कितनी "प्राकृतिक" और तीक्ष्ण दिखती है, OmniVR ने अन्य किसी भी विधि की तुलना में काफी अधिक स्कोर किया। इसने केवल धुंधलेपन को ही नहीं हटाया; इसने त्वचा की बनावट और कपड़े के पैटर्न जैसे सूक्ष्म विवरणों को भी वापस जोड़ा जो खो गए थे।
- ऑडियो गुणवत्ता (Audio Quality): बहाल की गई ध्वनि बहुत स्पष्ट थी, जिसमें हिस कम था और वॉल्यूम बेहतर था। यह एक इंसान के बोलने जैसा लग रहा था न कि एक टिन के डिब्बे में रोबोट की तरह।
- सिंक्रोनाइज़ेशन (Synchronization): क्योंकि वीडियो और ऑडियो को एक साथ ठीक किया गया था, इसलिए होंठ शब्दों के साथ पूरी तरह से मेल खाते थे। अन्य विधियों में अक्सर ऑडियो अच्छा सुनाई देता था लेकिन होंठ तालमेल से बाहर दिखते थे, या इसके विपरीत।
- रंग (Color): इसने केवल यादृच्छिक रंग नहीं जोड़े; इसने ऐसे तर्कसंगत रंग जोड़े जो दृश्य की रोशनी और मूड से मेल खाते थे, जिससे ब्लैक-एंड-व्हाइट फिल्में ऐसी लगने लगीं जैसे वे रंगीन शूट की गई हों।
शोधकर्ताओं ने यह भी दिखाया कि केवल एक वीडियो फिक्सर और एक ऑडियो फिक्सर को मिलाना (एक "कैस्केड" दृष्टिकोण) उतना प्रभावी नहीं था। अलग-अलग उपकरण एक-दूसरे से बात नहीं कर सकते थे, इसलिए वे अक्सर ऐसी गलतियाँ करते थे जिनसे संयुक्त मॉडल बच जाता है। उदाहरण के लिए, एक अलग ऑडियो फिक्सर समय को इतना बदल सकता है कि वह वीडियो के साथ तालमेल से बाहर हो जाए, लेकिन OmniVR ने उन्हें एक साथ लॉक रखा।
निष्कर्ष
OmniVR यह सिद्ध करता है कि इतिहास को बहाल करना केवल एक चित्र या ध्वनि फ़ाइल को साफ करने के बारे में नहीं है; यह दोनों के बीच के संबंध को समझने के बारे में है। वीडियो और ऑडियो को एक एकल, परस्पर जुड़े हुए कहानी के रूप में मानकर, मॉडल उन विवरणों को भी वापस ला सकता है जिन्हें पहले खोया हुआ माना जाता था। हालांकि शोध पत्र में उल्लेख किया गया है कि अत्यधिक क्षतिग्रस्त फिल्में (जहाँ फ्रेम पूरी तरह से गायब हैं) अभी भी कठिन हो सकती हैं, और AI कभी-कभी अंतराल भरने के लिए थोड़े विवरणों को "हैलुसिनेट" (hallucinate) कर सकता है, लेकिन परिणाम एक बड़ी छलांग हैं। यह अतीत को वापस लाने का एक तरीका प्रदान करता है, केवल एक स्थिर छवि के रूप में नहीं, बल्कि एक जीवित, सांस लेते हुए, सिंक्रोनाइज़्ड अनुभव के रूप में। कोड और मॉडल को जनता के लिए जारी किया जा रहा है, जिसका अर्थ है कि अब कोई भी इस "समय-यात्रा करने वाले जासूस" का उपयोग करके अपनी पुरानी यादों को बहाल कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।