OmniForcing: Unleashing Real-time Joint Audio-Visual Generation
OmniForcing एक नवीन फ्रेमवर्क पेश करता है जो उच्च-विलंबता वाले द्विदिशीय ऑडियो-विजुअल डिफ्यूजन मॉडल्स को एसिमेट्रिक ब्लॉक-कॉज़ल अलाइनमेंट, ऑडियो सिंक टोकन्स और जॉइंट सेल्फ-फोर्सिंग डिस्टिलेशन का उपयोग करके एक रियल-टाइम स्ट्रीमिंग ऑटोरेग्रेसिव जनरेटर में संकुचित करता है, ताकि प्रशिक्षण अस्थिरता को दूर किया जा सके और उच्च निष्ठा के साथ 25 FPS जनरेशन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल ऑर्केस्ट्रा का संचालन करने की कोशिश कर रहे हैं जहाँ वायलिन वादक (वीडियो) बहुत धीरे बजा रहे हैं, एक नोट को पूरा करने में लंबा समय ले रहे हैं, जबकि ड्रमर (ऑडियो) एक उन्मत्त, तीव्र-गति वाला सोलो बजा रहे हैं।
समस्या:
वर्तमान में, वीडियो और ध्वनि को एक साथ बनाने वाले सर्वश्रेष्ठ AI मॉडल एक ऐसे पूर्णतावादी कंडक्टर (संचालक) की तरह काम करते हैं जो अगला हिस्सा शुरू करने से पहले पूरे गाने को शुरू से अंत तक सुनने से इनकार कर देता है। वे यह सुनिश्चित करने के लिए पूरी टाइमलाइन को एक साथ देखते हैं कि ड्रम ठीक उसी समय बजें जब वायलिन की गूँज बढ़ती है। यह अद्भुत गुणवत्ता तो बनाता है, लेकिन यह अविश्वत रूप से धीमा है। यदि आप 5 सेकंड का क्लिप बनाना चाहते हैं, तो कंप्यूटर आपको पहला फ्रेम दिखाने से पहले 3 मिनट तक सोचने में लगा सकता है। यह वैसा ही है जैसे पिज्जा ऑर्डर करना और फिर आपको अपना पहला टुकड़ा काटने से पहले शेफ को पूरी ब्रेड की लोफ बेक करने के लिए इंतजार करना पड़े।
समाधान: OmniForcing
OmniForcing के पीछे के शोधकर्ताओं ने एक ऐसा सिस्टम बनाना चाहा जो बिना उस सटीक तालमेल को खोए, रियल-टाइम (जैसे कि एक लाइव स्ट्रीम) में वीडियो और ऑडियो बना सके। वे एक नया ऑर्केस्ट्रा शुरू से नहीं बनाना चाहते थे; वे उस धीमे, पूर्णतावादी कंडक्टर को मौके पर ही सुधार (improvise) करना सिखाना चाहते थे।
यहाँ उन्होंने इसे कैसे किया, कुछ सरल उपमाओं का उपयोग करते हुए:
1. "मैक्रो-ब्लॉक" रणनीति (समय क्षेत्र)
वीडियो और ऑडियो अलग-अलग गति से चलते हैं। वीडियो एक स्लाइड शो की तरह है (3 फ्रेम प्रति सेकंड), जबकि ऑडियो एक तेज़ प्रवाह है (25 फ्रेम प्रति सेकंड)।
- पुराना तरीका: उन्हें फ्रेम-दर-फ्रेम मिलाने की कोशिश करना एक जैकेट की ज़िप लगाने जैसा है जिसके एक तरफ के दांत बड़े हैं और दूसरी तरफ के छोटे। यह बस फिट नहीं बैठता।
- OmniForcing का तरीका: उन्होंने "टाइम ज़ोन" (जिन्हें मैक्रो-ब्लॉक कहा जाता है) बनाए। हर फ्रेम को मिलाने के बजाय, वे सामग्री को 1-सेकंड के टुकड़ों में समूहबद्ध करते हैं। प्रत्येक 1-सेकंड के टुकड़े में, वीडियो के पास 3 फ्रेम होते हैं और ऑडियो के पास 25 फ्रेम होते हैं। वे इस 1-सेकंड के टुकड़े को समय की एक एकल "इकाई" (unit) के रूप में देखते हैं। यह AI को बेमेल टुकड़ों को संरेखित करने में फंसे बिना, समय में सुचारू रूप से आगे बढ़ने की अनुमति देता है।
2. "ग्लोबल प्रीफिक्स" (लंगर/एंकर)
जब आप एक कहानी शुरू करते हैं, तो आपको एक शुरुआत की आवश्यकता होती है। AI में, वीडियो और ऑडियो का सबसे पहला सेकंड विशेष होता है क्योंकि यह आगे आने वाली हर चीज़ के लिए स्वर निर्धारित करता है।
- उपमा: कल्पना कीजिए कि एक जहाज अपनी यात्रा शुरू कर रहा है। पहले कुछ सेकंड "लंगर" (anchor) की तरह होते हैं जो इंजन के गर्म होने तक जहाज को अपनी जगह पर थामे रखते हैं। OmniForcing शुरुआत में एक विशेष "ग्लोबल प्रीफिक्स" ब्लॉक बनाता है। यह ब्लॉक पूरे भविष्य के वीडियो के लिए दृश्यमान होता है। यह एक सिस्टम प्रॉम्प्ट या एक "थीम सॉन्ग" की तरह कार्य करता है जिसे AI लगातार याद रखता है, जिससे यह सुनिश्चित होता है कि वीडियो और ऑडियो पहले मिलीसेकंड से ही तालमेल में रहें।
3. "ऑडियो सिंक" (शॉक एब्जॉर्बर)
यह सबसे चतुर हिस्सा है। क्योंकि ऑडियो बहुत तेज़ है और वीडियो बहुत धीमा है, जब AI केवल वही अनुमान लगाने की कोशिश करता है जो उसने अब तक सुना है (बिना आगे देखे), तो वह भ्रमित हो जाता है।
- समस्या: कल्पना कीजिए कि आप एक ड्रमर हैं जो ताल बनाए रखने की कोशिश कर रहे हैं, लेकिन आप केवल पिछले 2 सेकंड का संगीत देख सकते हैं। यदि आप एक बीट चूक जाते हैं, तो पूरा रिदम अराजकता में बदल जाता है। गणितीय शब्दों में, इससे "ग्रेडिएंट एक्सप्लोजन" (AI गुस्सा होकर क्रैश हो जाता है) होता है।
- समाधान: शोधकर्ताओं ने "सिंक टोकन्स" जोड़े हैं। इन्हें ऑडियो स्ट्रीम के बिल्कुल सामने रखे गए शॉक एब्जॉर्बर या कुशन के रूप में समझें। ये वास्तविक ध्वनि का प्रतिनिधित्व नहीं करते; वे केवल "डमी" टोकन हैं जो भ्रम को सोख लेते हैं। वे एक सुरक्षा जाल के रूप में कार्य करते हैं, जिससे AI को एक स्थिर स्थान मिलता है ताकि जब डेटा कम हो, तो वह घबराए नहीं। वे एक विशेष "Identity RoPE" (एक प्रकार का पोजीशन टैग) का भी उपयोग करते हैं जो इन कुशनों को बताता है: "आपका कोई समय नहीं है, आप यहाँ केवल मदद के लिए हैं।"
4. "स्व-सुधारने वाला" लूप (अभ्यास)
आमतौर पर, जब AI वीडियो बनाता है, तो वह एक छोटी सी गलती करता है, फिर उस गलती का उपयोग अगले फ्रेम को बनाने के लिए करता है, जिससे गलतियों का एक सिलसिला (जैसे "टेलीफोन" का खेल) शुरू हो जाता है।
- समाधान: OmniForcing "जॉइंट सेल्फ-फोर्सिंग" नामक तकनीक का उपयोग करता है। कल्पना कीजिए कि एक छात्र नाटक का अभ्यास कर रहा है। केवल स्क्रिप्ट पढ़ने के बजाय, छात्र पूरा दृश्य निभाता है, एक गलती करता है, और फिर तुरंत उसे सुधारता है, जबकि शिक्षक (मूल धीमा AI) उसे देखता रहता है। AI वास्तविक समय में अपनी गलतियों को सुधारना सीखता है, जिससे यह सुनिश्चित होता है कि लंबे समय तक वीडियो और ऑडियो पूरी तरह से सिंक्रनाइज़ रहें।
परिणाम
इन ट्रिक्स को मिलाकर, OmniForcing एक धीमे, ऑफलाइन मॉडल को एक रियल-टाइम स्ट्रीमिंग इंजन में बदल देता है।
- पहले: 5-सेकंड का क्लिप बनाने में 197 सेकंड (3 मिनट से अधिक) लगते थे।
- बाद में: इसे जनरेट करने में 5.7 सेकंड लगते हैं, और यह 25 फ्रेम प्रति सेकंड की दर से स्ट्रीम कर सकता है (जैसे कि एक लाइव टीवी प्रसारण)।
संक्षेप में: OmniForzing एक धीमे, पूर्णतावादी शेफ को, जिसे पूरा भोज पकाने के बाद ही परोसना होता है, एक कुशल स्ट्रीट-फूड वेंडर बनने की शिक्षा देने जैसा है जो आपके ऑर्डर करते ही आपको एक गर्म, स्वादिष्ट और पूरी तरह से सिंक्रनाइज़ भोजन परोस सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।