FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts
यह शोधपत्र FoleyDirector प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो DiT-आधारित वीडियो-टू-ऑडियो जनरेशन में सटीक, सूक्ष्म टेम्पोरल नियंत्रण प्राप्त करने के लिए स्ट्रक्चर्ड टेम्पोरल स्क्रिप्ट्स और एक नवीन टेम्पोरल फ्यूजन मॉड्यूल का लाभ उठाता है, जो उच्च ऑडियो फिडेलिटी बनाए रखते हुए मल्टी-इवेंट परिदृश्यों और ऑफ-स्क्रीन साउंड सिंथेसिस की चुनौतियों को प्रभावी ढंग से संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मूक फिल्म (silent movie) देख रहे हैं। पुराने दिनों में, एक मानव "फोली आर्टिस्ट" (Foley artist) स्टूडियो में बैठकर, स्क्रीन देखते हुए, मैन्युअल रूप से ध्वनियाँ उत्पन्न करता था: कदमों की आहट के लिए अजवाइन (celery) को कुचलना, गरज के लिए धातु की एक शीट को हिलाना, या जब कार दिखाई दे तो हॉर्न बजाना।
अब, कल्पना कीजिए कि आपके पास एक रोबोट है जो इसे स्वचालित रूप से कर सकता है। लेकिन यहाँ एक समस्या है, वर्तमान के अधिकांश रोबोट थोड़े अनाड़ी हैं। यदि आप उन्हें कहते हैं, "कार का हॉर्न बजाओ," तो वे शायद पूरे 10 सेकंड तक हॉर्न बजाते रहेंगे, या यदि कार किसी पेड़ के पीछे छिपी है तो वे उसे पूरी तरह से मिस कर सकते हैं। उन्हें यह बताने में कठिनाई होती है कि, "केवल सेकंड 5 और 6 के बीच हॉर्न बजाएं, और अन्यथा शांत रहें।"
FoleyDirector ऐसा है जैसे आपको एक सटीक स्क्रिप्ट और एक निर्देशक की छड़ी (director's baton) दी जा रही हो। यह एक नया AI सिस्टम है जो आपको यह नियंत्रित करने देता है कि वीडियो में कब और क्या ध्वनियाँ होंगी, भले ही वह ध्वनि स्क्रीन पर दिखाई न दे रही हो।
यह कैसे काम करता है, यहाँ सरल उपमाओं के साथ समझाया गया है:
1. समस्या: "धुंधला" रोबोट
वर्तमान वीडियो-टू-ऑडियो AI एक ऐसे संगीतकार की तरह है जो गाना तो सुन सकता है लेकिन शीट म्यूजिक (संगीत की लिपि) नहीं पढ़ सकता। वह सामान्य माहौल (जैसे, "यह एक व्यस्त सड़क है") तो समझ जाता है, लेकिन वह आपको ठीक-ठीक नहीं बता सकता कि सायरन कब बजा या कुत्ता कब भौंका। यदि दृश्य संकेत कमजोर है (जैसे कोई छोटी वस्तु या स्क्रीन से बाहर की चीज़), तो रोबोट भ्रमित हो जाता है और या तो चुप रहता है या बेतरतीब शोर मचाता है।
2. समाधान: "संरचित स्क्रिप्ट" (Structured Script - STS)
लेखकों ने महसूस किया कि केवल रोबोट को "एक व्यस्त सड़क" जैसा अस्पष्ट विवरण देने के बजाय, हमें उसे एक मिनट-दर-मिनट स्क्रिप्ट देनी चाहिए, ठीक वैसे ही जैसे एक फिल्म निर्देशक अभिनेताओं को स्क्रिप्ट देता है।
- उपमा: कल्पना कीजिए कि आप एक नाटक निर्देशित कर रहे हैं। केवल यह कहने के बजाय कि, "नाटक के दौरान शोर मचाओ," आप साउंड वाले को एक स्क्रिप्ट सौंपते हैं जिसमें लिखा है:
- 0:00–0:05: शांति।
- 0:05–0:06: कार हॉर्न (तेज़)।
- 0:06–0:10: शांति।
- 0:10–0:12: बिल्ली का म्याऊँ करना।
- AI इसका उपयोग कैसे करता है: FoleyDirector वीडियो को छोटे 1-सेकंड के टुकड़ों में तोड़ देता है। प्रत्येक टुकड़े के लिए, यह एक विशिष्ट "स्क्रिप्ट" बनाता है जो बताता है कि वास्तव में क्या होना चाहिए। यह AI को एक रोडमैप देता है, ताकि उसे पता चल सके कि शोर कब शुरू करना है और कब बंद करना है।
3. जादुई गोंद: "स्क्रिप्ट-गाइडेड फ्यूजन" (Script-Guided Fusion)
अब, AI के पास वीडियो है, सामान्य टेक्स्ट विवरण है, और यह नई विस्तृत स्क्रिप्ट भी है। लेकिन आप इन्हें बिना AI को उलझाए कैसे मिलाएंगे?
- उपमा: AI को एक शेफ (chef) के रूप में सोचें। वीडियो मुख्य सामग्री (स्टेक) है। स्क्रिप्ट मसाला है। यदि आप केवल मसाले को ऊपर से डाल देते हैं, तो वे अच्छी तरह से नहीं मिल पाएंगे।
- नवाचार: FoleyDirector एक विशेष "फ्यूजन मॉड्यूल" (एक स्मार्ट मिक्सिंग बाउल) का उपयोग करता है जो स्क्रिप्ट को खाना पकाने की प्रक्रिया में ही मिला देता है। यह Interleaved RoPE नामक तकनीक का उपयोग करता है, जो एक ज़िप की तरह है। यह "स्क्रिप्ट निर्देशों" को "वीडियो टाइमलाइन" में ज़िप कर देता है ताकि वे पूरी तरह से संरेखित (aligned) रहें। AI केवल स्क्रिप्ट को सुनता नहीं है; यह ध्वनि बनाते समय स्क्रिप्ट के समय (timing) को महसूस भी करता है।
4. "अदृश्य" ध्वनियों को संभालना: "बी-फ्रेम" (Bi-Frame) ट्रिक
कभी-कभी, आप ऐसी ध्वनि चाहते हैं जो स्क्रीन पर नहीं है। शायद कोई पात्र बात कर रहा है, लेकिन आप दूर से कुत्ते के भौंकने की आवाज़ सुनना चाहते हैं (ऑफ-स्क्रीन)। या शायद आप चाहते हैं कि एक पात्र हंसे, लेकिन वीडियो में वह रो रहा है (एक काउंटरफैक्चुअल स्थिति)।
- उपमा: कल्पना कीजिए कि एक मंच पर दो अभिनेता हैं।
- अभिनेता A (इन-फ्रेम): वीडियो का पूरी तरह से अनुसरण करता है। यदि वीडियो में कुत्ता दिखता है, तो अभिनेता A भौंकता है।
- अभिनेता B (आउट-ऑफ-फ्रेम): वीडियो को अनदेखा करता है और केवल आपकी स्क्रिप्ट सुनता है। यदि आपकी स्क्रिप्ट कहती है "ऑफ-स्क्रीन कुत्ता भौंक रहा है," तो अभिनेता B भौंकता है, भले ही वीडियो में बिल्ली दिख रही हो।
- नवाचार: FoleyDirector इन दोनों "अभिनेताओं" को समानांतर (parallel) रूप से चलाता है। यह दृश्य ध्वनियों के लिए वीडियो को गाइड करने देता है, लेकिन अदृश्य ध्वनियों के लिए आपकी स्क्रिप्ट को गाइड करने देता है। फिर, यह उन्हें सहजता से एक साथ जोड़ देता है। यह जटिल कहानी कहने की अनुमति देता है, जैसे कि एक हॉरर फिल्म जहाँ आप एक राक्षस के आने की आहट सुनते हैं, भले ही आप उसे अभी देख न पा रहे हों।
5. परिणाम: आप निर्देशक बनते हैं
इससे पहले, AI एक रेडियो स्टेशन की तरह था जो अपनी मर्जी से कुछ भी बजा रहा था। FoleyDirector के साथ, आप निर्देशक हैं।
- आप AI को बता सकते हैं: "पहले 3 सेकंड के लिए शांति, फिर एक ट्रेन का हॉर्न, और फिर फिर से शांति।"
- आप इसे बता सकते हैं: "वीडियो में बाघ दिख रहा है, लेकिन मैं चाहता हूँ कि वह बिल्ली की तरह म्याऊँ करे।"
यह क्यों महत्वपूर्ण है
यह केवल शानदार साउंड इफेक्ट्स बनाने के बारे में नहीं है। यह नियंत्रण (control) के बारे में है।
- फिल्म निर्माताओं के लिए: आप सब कुछ फिर से रिकॉर्ड किए बिना पोस्ट-प्रोडक्शन में खराब ऑडियो को ठीक कर सकते हैं।
- कथाकारों (Storytellers) के लिए: आप ऐसे इमर्सिव अनुभव बना सकते हैं जहाँ ध्वनि केवल दृश्यों का अनुसरण नहीं करती, बल्कि भावनाओं को संचालित करती है।
- पहुंच (Accessibility) के लिए: यह दृष्टिबाधित लोगों के लिए सटीक ध्वनि विवरण उत्पन्न करने में मदद कर सकता है, जो बिल्कुल सही समय के साथ दृश्य में क्या हो रहा है, उसका वर्णन करता है।
संक्षेप में, FoleyDirector AI साउंड जनरेशन के "ब्लैक बॉक्स" को हटाकर उसे खोल देता है, और आपको रिमोट कंट्रोल थमा देता है ताकि आप ध्वनि के उस सिम्फनी (symphony) का संचालन ठीक वैसे ही कर सकें जैसे आप चाहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।