⚡ electrical engineering

Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

यह शोध पत्र एक चरण-दर-चरण वीडियो-से-ऑडियो संश्लेषण विधि का प्रस्ताव करता है जो महंगी मल्टी-रेफरेंस डेटासेट की आवश्यकता के बिना, विशिष्ट और यथार्थवादी ध्वनि घटनाओं को क्रमिक रूप से उत्पन्न करने के लिए नेगेटिव ऑडियो गाइडेंस का लाभ उठाता है, जिससे ध्वनि की पृथक्करणीयता और समग्र ऑडियो गुणवत्ता में वृद्धि होती है।

मूल लेखक: Akio Hayakawa, Masato Ishii, Takashi Shibuya, Yuki Mitsufuji

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Akio Hayakawa, Masato Ishii, Takashi Shibuya, Yuki Mitsufuji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फिल्म का दृश्य देख रहे हैं जहाँ एक मूस (moose) जंगल में चल रहा है, तालाब में छपाछप कर रहा है और सुँघते हुए आवाज़ निकाल रहा है। पुराने दिनों में, फिल्म निर्माण के दौरान, एक "फोली आर्टिस्ट" (Foley artist) स्टूडियो में बैठकर मैन्युअल रूप से इन ध्वनियों को एक-एक करके परत दर परत जोड़ता था: पहले कदमों की आहट, फिर पानी की छपाछप, फिर सुँघने की आवाज़, और अंत में पत्तों की सरसराहट। वे अंतिम ऑडियो ट्रैक को एक सैंडविच की तरह बनाते थे, जिसमें एक समय में एक स्वादिष्ट परत जोड़ी जाती थी ताकि वह वास्तविक लगे।

आज, कंप्यूटर इसे स्वचालित रूप से करने की कोशिश कर सकते हैं। वे वीडियो देखते हैं और अनुमान लगाते हैं कि ध्वनि कैसी होनी चाहिए। लेकिन वर्तमान के अधिकांश AI मॉडल एक अनाड़ी शेफ की तरह हैं जो एक ही बड़े निवाले में पूरा सैंडविच बनाने की कोशिश करता है। वे एक एकल ऑडियो ट्रैक निकालते हैं जो सब कुछ एक साथ करने की कोशिश करता है। यदि AI पानी की आवाज़ भूल जाता है, या गलती से कदमों की आवाज़ को बहुत ज़ोर से दोहरा देता है, तो निर्माता को पूरा ट्रैक फेंककर फिर से शुरू करना पड़ता है। ऐसा कोई तरीका नहीं है जिससे आप बिना बाकी चीज़ों को खराब किए बस "पानी की आवाज़ जोड़ने" का काम कर सकें।

यह शोध पत्र एक नई विधि पेश करता है जिसे नेगेटिव ऑडियो गाइडेंस (Negative Audio Guidance) के माध्यम से स्टेप-बाय-स्टेप वीडियो-टू-ऑडियो सिंथेसिस कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग यहाँ दिया गया है:

1. समस्या: "इको चैंबर" (Echo Chamber) प्रभाव

वर्तमान AI मॉडल वीडियो देखने और यह कहने में बहुत अच्छे हैं कि, "मुझे एक मूस दिख रहा है, इसलिए मैं मूस की आवाज़ बनाऊँगा।" लेकिन यदि आप उनसे दूसरी आवाज़, जैसे "पक्षियों का चहचहाना," बनाने के लिए कहते हैं, तो वे अक्सर भ्रमित हो जाते हैं। वे सोचते रहते हैं, "ओह, वहाँ अभी भी एक मूस है!" और वे गलती से पक्षियों की आवाज़ में भी मूस के कदमों की आवाज़ फिर से जोड़ देते हैं। यह एक चित्रकार से जंगल के चित्र में नीला आकाश जोड़ने के लिए कहने जैसा है, लेकिन चित्रकार बार-बार पेड़ों को नीला रंग देने लगता है क्योंकि वह जंगल पर बहुत अधिक केंद्रित है।

2. समाधान: "नेगेटिव ऑडियो गाइडेंस" (NAG)

लेखकों ने एक स्मार्ट ट्रिक बनाई है जिसे नेगेटिव ऑडियो गाइडेंस कहा जाता है। इसे एक "दोहराना मना है" (Do Not Repeat) के संकेत के रूप में सोचें।

यहाँ उनके द्वारा प्रस्तावित चरण-दर-चरण प्रक्रिया दी गई है:

चरण 1: AI वीडियो देखता है और पहली ध्वनि (जैसे, मूस के कदमों की आहट) उत्पन्न करता है।
चरण 2: अब, AI को अगली ध्वनि (जैसे, पानी की छपाछप) जोड़नी है। शुरू करने से पहले, यह अपने द्वारा बनाई गई पहली ध्वनि को सुनता है।
जादुई ट्रिक: पहली ध्वनि को केवल अनदेखा करने के बजाय, AI इसे एक "नेगेटिव गाइड" के रूप में उपयोग करता है। यह अनिवार्य रूप से कहता है, "मैं जानता हूँ कि मूस के कदमों की आवाज़ कैसी है। अब, मैं पानी की छपाछप बनाऊँगा, लेकिन मैं कदमों की आवाज़ से सक्रिय रूप से दूर हटूँगा (push away)।"

यह एक संगीतकार के एक नया वाद्य यंत्र बजाने जैसा है। वे पहले से बज रहे ड्रम की ताल को सुनते हैं और सचेत रूप से एक ऐसी धुन बजाते हैं जो ड्रम के इर्द-गिर्द फिट बैठती है, यह सुनिश्चित करते हुए कि वे गलती से वही लय न दोहरा दें। AI इस "दूर धकेलने" वाले बल का उपयोग यह सुनिश्चित करने के लिए करता है कि नई ध्वनि विशिष्ट हो और पहले से मौजूद ध्वनि के साथ ओवरलैप न हो।

3. उन्होंने AI को कैसे सिखाया (महंगे डेटा के बिना)

आमतौर पर, AI को यह करने के लिए सिखाने हेतु आपको एक विशाल लाइब्रेरी की आवश्यकता होती है जहाँ किसी ने पहले से ही कदमों की आहट, पानी और हवा की आवाज़ों को अलग-अलग ट्रैक के रूप में रिकॉर्ड किया हो। ऐसा डेटा ढूँढना बहुत कठिन और महंगा है।

लेखकों ने एक चतुर तरीका निकाला। उन्होंने AI को एक "विभाजन" (splitting) खेल के माध्यम से सिखाया:

उन्होंने एक सामान्य वीडियो लिया जिसमें एक लंबा ऑडियो ट्रैक था।
उन्होंने ऑडियो को दो ऐसे टुकड़ों में काट दिया जो एक-दूसरे के ऊपर न आते हों (जैसे, पहले 4 सेकंड और अगले 4 सेकंड)।
उन्होंने AI को सिखाया: "यहाँ वीडियो और पहले 4 सेकंड का ऑडियो है। अब, अनुमान लगाओ कि अगले 4 सेकंड की आवाज़ कैसी होगी, लेकिन यह सुनिश्चित करो कि यह पहले 4 सेकंड जैसा बिल्कुल न हो।"

उसी वीडियो के गैर-अतिव्यापी (non-overlapping) हिस्सों पर प्रशिक्षण देकर, AI ने वातावरण के "वाइब" (vibe) को पहचानना सीखा (जैसे जंगल या मौसम), बिना केवल सटीक ध्वनियों की नकल किए। इसने उन्हें मानक, आसानी से उपलब्ध वीडियो डेटासेट का उपयोग करके सिस्टम को प्रशिक्षित करने में सक्षम बनाया।

4. परिणाम: एक बेहतर "ऑडियो सैंडविच"

जब उन्होंने इस विधि का परीक्षण किया, तो परिणाम प्रभावशाली थे:

अलगाव (Separation): ध्वनियाँ बहुत स्पष्ट थीं। कदमों की आवाज़ पक्षियों की आवाज़ में नहीं मिली, और पानी की आवाज़ कदमों की आवाज़ जैसी नहीं लगी।
गुणवत्ता (Quality): सभी ध्वनियों का अंतिम मिश्रण बहुत अधिक वास्तविक और उच्च गुणवत्ता वाला लगा, तुलना में जब AI ने एक ही बार में सब कुछ बनाने की कोशिश की होती।
नियंत्रण (Control): यह वास्तविक दुनिया के फोली आर्टिस्ट के कार्यप्रवाह (workflow) की नकल करता है, जिससे उपयोगकर्ताओं को जटिल साउंडस्केप को परत-दर-परत बनाने, विशिष्ट ध्वनियों को जोड़ने या सुधारने की अनुमति मिलती है, बिना पूरे ट्रैक को खराब किए।

संक्षेप में, यह शोध पत्र AI को एक बेहतर साउंड डिज़ाइनर बनने का तरीका देता है। पूरी फिल्म का साउंडट्रैक एक साथ अनुमान लगाने के बजाय, अब यह इसे टुकड़ों में बना सकता है, यह जानते हुए कि इसने पहले क्या बनाया है और इसे क्या दोहराने से बचना है।

तकनीकी सारांश: नेगेटिव ऑडियो गाइडेंस के माध्यम से स्टेप-बाय-स्टेप वीडियो-टू-ऑडियो सिंथेसिस

समस्या विवरण
वर्तमान वीडियो-टू-ऑडियो (V2A) जनरेशन मॉडल आमतौर पर एक ही पास में एक एकल, पूर्ण ऑडियो ट्रैक उत्पन्न करते हैं। जबकि ये मॉडल इनपुट वीडियो के साथ उच्च सिमेंटिक और टेम्पोरल एलाइनमेंट प्राप्त करते हैं, इनमें क्रमिक शोधन (incremental refinement) के लिए तंत्रों का अभाव है। पारंपरिक फोली (Foley) वर्कफ्लो में, कलाकार एक मिश्रित ऑडियो ट्रैक बनाने के लिए पूरक ध्वनियों (जैसे, कदमों की आहट, कपड़े की सरसराहट) को लेयर करते हैं। मौजूदा V2A मॉडल इस संवादात्मक प्रक्रिया की नकल नहीं कर सकते; यदि कोई उत्पन्न ट्रैक विशिष्ट घटनाओं को छोड़ देता है, तो पूरे ट्रैक को फिर से जेनरेट करना पड़ता है। इसके अलावा, मानक कंडीशनल लर्निंग के माध्यम से स्टेप-बाय-स्टेप जनरेशन प्राप्त करने के लिए लागतपूर्ण मल्टी-रेफरेंस वीडियो-ऑडियो डेटासेट (जहाँ एक ही वीडियो कई अलग-अलग, गैर-अतिव्यापी ऑडियो ट्रैक्स के साथ जुड़ा होता है) की आवश्यकता होगी, जिन्हें बड़े पैमाने पर प्राप्त करना कठिन है।

कार्यप्रणाली
लेखक नेगेटिव ऑडियो गाइडेंस (NAG) द्वारा संचालित एक स्टेप-बाय-स्टेप वीडियो-टू-ऑडियो (V2A) सिंथेसिस फ्रेमवर्क प्रस्तावित करते हैं। यह दृष्टिकोण पूरक ऑडियो ट्रैक्स के इटरेटिव जनरेशन को सक्षम बनाता है जो पहले से उत्पन्न ट्रैक्स में मौजूद ध्वनियों को दोहराए बिना गायब ध्वनि घटनाओं को भरते हैं।

कॉन्सेप्ट नेगेशन फॉर्मूलेशन (Concept Negation Formulation):
मुख्य चुनौती एक वीडियो $V$ , एक टेक्स्ट प्रॉम्प्ट $C_2$ , और एक पहले से उत्पन्न ऑडियो ट्रैक $x^{(1)}$ पर आधारित एक लक्षित ऑडियो $x^{(2)}$ उत्पन्न करना है, ताकि $x^{(2)}$ , $V$ और $C_2$ के साथ संरेखित हो लेकिन $x^{(1)}$ में मौजूद अवधारणाओं (concepts) को बाहर रखे। लेखक इसे एक कॉन्सेप्ट नेगेशन समस्या के रूप में तैयार करते हैं, जो $x^{(1)}$ को एक नेगेटिव कंडीशन ( $\neg x^{(1)}$ ) के रूप में मानकर लक्षित वितरण $p(x^{(2)} | V, C_2, x^{(1)})$ का अनुमान लगाता है।
गाइडेड फ्लो डेरिवेशन (Guided Flow Derivation):
फ्लो-मैचिंग मॉडल और क्लासिफायर-फ्री गाइडेंस पर आधारित, लेखक एक नया गाइडेंस फॉर्मूलेशन निकालते हैं। वे लक्षित संभाव्यता वितरण को शामिल करने के लिए एक टर्म को डिकंपोज करते हैं जो जनरेशन को कंडीशनिंग ऑडियो $x^{(1)}$ से दूर धकेलता है। परिणामी गाइडेड फ्लो $\tilde{u}_{\theta, \psi}(x_t)$ में शामिल है:

एक अनकंडीशनल फ्लो टर्म।
एक मानक गाइडेंस टर्म जो वीडियो $V$ और टेक्स्ट $C_2$ के प्रति निष्ठा (fidelity) को मजबूत करता है।
एक नेगेटिव ऑडियो गाइडेंस (NAG) टर्म: $\beta (u_\theta(x_t, t, V, C_2) - u_{\theta, \psi}(x_t, t, V, \emptyset, x^{(1)}))$ । यह टर्म सैंपलिंग ट्राजेक्टरी को $x^{(1)}$ की ध्वनिक सामग्री (acoustic content) से दूर धकेलता है।

प्रशिक्षण रणनीति (कोई विशेष डेटा नहीं):
मल्टी-रेफरेंस डेटासेट की आवश्यकता से बचने के लिए, लेखक ऑडियो-कंडीशनिंग ब्रांच (पैरामीटर $\psi$ द्वारा पैरामीटराइज्ड) को एक ही वीडियो से गैर-अतिव्यापी ऑडियो सेगमेंट (non-overlapping audio segments) का उपयोग करके प्रशिक्षित करते हैं।

आर्किटेक्चर: वे MMAudio (एक प्री-ट्रेंड फ्लो-मैचिंग V2A मॉडल) के लिए अनुकूलित एक कंट्रोलनेट-शैली (ControlNet-style) के आर्किटेक्चर का उपयोग करते हैं। ऑडियो कंडीशनिंग को सिंगल-मोडल ट्रांसफार्मर ब्लॉक्स के माध्यम से इंजेक्ट किया जाता है जो संदर्भ ऑडियो $x^{(1)}$ से फीचर्स निकालते हैं और उन्हें मुख्य ब्रांच में जोड़ते हैं।
डेटा निर्माण: एक मानक सिंगल-रेफरेंस डेटासेट (जैसे, VGGSound) से, वे दो गैर-अतिव्यापी 4-सेकंड के सेगमेंट सैंपल करते हैं: एक लक्ष्य ( $x_{tgt}$ ) के रूप में और एक कंडीशन ( $x_{cond}$ ) के रूप में। यह मॉडल को वेवफॉर्म की नकल करने के बजाय साझा ध्वनिक संदर्भ (वातावरण, टिम्बर, रिकॉर्डिंग स्थितियाँ) सीखने के लिए मजबूर करता है, जिससे यह इन्फरेंस के दौरान एक "रिपल्सिव प्रायर" (repulsive prior) के रूप में कार्य करने में सक्षम होता है।

इन्फरेंस प्रक्रिया (Inference Process):
जनरेशन इटरेटिव रूप से आगे बढ़ता है। $k$ -वें स्टेप के लिए, सभी पहले से उत्पन्न ट्रैक्स का कम्पोजिट ऑडियो ( $\sum_{l=1}^{k-1} x^{(l)}$ ) को नेगेटिव कंडीशनिंग सिग्नल $x^{(1)}$ के रूप में उपयोग किया जाता है ताकि अगला पूरक ट्रैक $x^{(k)}$ उत्पन्न किया जा सके।

प्रमुख योगदान

स्टेप-बाय-स्टेप सिंथेसिस फॉर्मूलेशन: यह पेपर V2A जनरेशन को एक एकल वीडियो के लिए कई पूरक ट्रैक्स बनाने की एक इटरेटिव प्रक्रिया के रूप में तैयार करता है, जो फोली-शैली के इंटरैक्टिव ऑथरिंग को सक्षम बनाता है।
नेगेटिव ऑडियो गाइडेंस (NAG): एक अभिनव गाइडेंस तंत्र जो सैंपलिंग के दौरान ऑडियो-कंडीशनिंग ब्रांच का नेगेटिव उपयोग करता है ताकि अनुक्रमिक ट्रैक्स में ध्वनियों के दोहराव को रोका जा सके। महत्वपूर्ण बात यह है कि इसे मानक सिंगल-रेफरेंस ऑडियो-विजुअल डेटासेट्स का उपयोग करके गैर-अतिव्यापी सेगमेंट सैंपलिंग के माध्यम से प्रशिक्षित किया जा सकता है।
बेहतर सेपेरेबिलिटी और गुणवत्ता: यह विधि प्रदर्शित करती है कि ऐसे विशिष्ट, उच्च-गुणवत्ता वाले ऑडियो ट्रैक उत्पन्न करना संभव है जो सामग्री में ओवरलैप नहीं होते हैं, जो स्वतंत्र जनरेशन या टेक्स्ट-आधारित नेगेटिव प्रॉम्प्टिंग पर निर्भर बेसलाइन्स से बेहतर प्रदर्शन करते हैं।

परिणाम
लेखकों ने अपने द्वारा निर्मित नए डेटासेट, Multi-Caps VGGSound पर अपने तरीके का मूल्यांकन किया, जिसमें विभिन्न ध्वनि घटनाओं का वर्णन करने वाले कई अलग-अलग कैप्शन के साथ वीडियो जोड़े गए हैं।

ऑब्जेक्टिव मेट्रिक्स (Objective Metrics):
- कम्पोजिट ऑडियो: प्रस्तावित विधि ने Seeing-and-Hearing, FoleyCrafter और मानक MMAudio जैसे बेसलाइन्स की तुलना में फ्रेट डे डिस्टेंस (FD), KL डाइवर्जेंस और टेम्पोरल एलाइनमेंट (DeSync) में सर्वश्रेष्ठ स्कोर प्राप्त किया। यह "इंडिपेंडेंट जनरेशन" (बिना संदर्भ के ट्रैक जेनरेट करना) और "नेगेटिव प्रॉम्प्टिंग के साथ स्टेप-बाय-स्टेप" (पिछले साउंड्स को बाहर करने के लिए टेक्स्ट का उपयोग करना) से बेहतर रहा।
- इंडिविजुअल ट्रैक्स: विधि ने वैनिला MMAudio की तुलना में ऑडियो सेपेरेबिलिटी (CLAP ऑडियो-ऑडियो समानता द्वारा मापा गया) में महत्वपूर्ण सुधार किया। जबकि नेगेटिव प्रॉम्प्टिंग ने सेपेरेबिलिटी में सुधार किया, लेकिन ऑडियो क्वालिटी और टेक्स्ट एलाइनमेंट को कम कर दिया। NAG ने उच्च ऑडियो क्वालिटी और वीडियो-टेक्स्ट एलाइनमेंट बनाए रखते हुए बेहतर सेपेरेबिलिटी हासिल की।
सब्जेक्टिव इवैल्यूएशन (Subjective Evaluation):
- यूजर स्टडीज ने दिखाया कि अंतिम कम्पोजिट ऑडियो में ऑडियो क्वालिटी, सिमेंटिक एलाइनमेंट और टेम्पोरल एलाइनमेंट के लिए प्रस्तावित विधि को प्राथमिकता दी गई।
- इंडिविजुअल ट्रैक्स के लिए, विधि ने सेपेरेबिलिटी के लिए काफी उच्च रेटिंग और ऑडियो क्वालिटी एवं टेक्स्ट फिडेलिटी के लिए मामूली रूप से उच्च रेटिंग प्राप्त की।
स्केलेबिलिटी (Scalability): जनरेशन स्टेप्स (2 से 5 कैप्शन) को बदलते हुए विश्लेषण ने दिखाया कि NAG के लाभ (विशेष रूप से सेपेरेबिलिटी में) तब अधिक स्पष्ट हो जाते हैं जब आवश्यक ऑडियो इवेंट्स की संख्या बढ़ती है, बिना समग्र फिडेलिटी को कम किए।

महत्व और दावे
यह पेपर दावा करता है कि यह कार्य ऑटोमेटेड फोली की एक महत्वपूर्ण बाधा को हल करता है: पूरी सीक्वेंस को पुन: उत्पन्न किए बिना ऑडियो ट्रैक्स को इंटरैक्टिव रूप से रिफाइन करने में असमर्थता। NAG को पेश करके, लेखक उपयोगकर्ताओं को एक ऐसा वर्कफ़्लो सक्षम करते हैं जहाँ वे पारंपरिक फोली कलाकारों की तरह स्टेप-बाय-स्टेप कई ध्वनि घटनाओं को रच सकते हैं, लेकिन बिना श्रम-गहन मल्टी-रेफरेंस ट्रेनिंग डेटा की आवश्यकता के। यह विधि उच्च-गुणवत्ता वाले जेनेरेटिव मॉडल्स और व्यावहारिक, कंट्रोलेबल साउंड डिज़ाइन के बीच के अंतर को पाटती है, यह सुनिश्चित करती है कि उत्पन्न ध्वनियाँ न केवल वीडियो के साथ सिमेंटिक रूप से संरेखित हैं बल्कि एक कम्पोजिट मिक्स में एक-दूसरे से भी अलग हैं। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण व्यावहारिक है क्योंकि यह मौजूदा प्री-ट्रेंड मॉडल्स और मानक डेटासेट्स का लाभ उठाता है, जिससे विशेष, कठिन-से-प्राप्त मल्टी-ट्रैक ऑडियो-वीडियो पेयर्स की आवश्यकता नहीं होती है।

1. समस्या: "इको चैंबर" (Echo Chamber) प्रभाव

2. समाधान: "नेगेटिव ऑडियो गाइडेंस" (NAG)

3. उन्होंने AI को कैसे सिखाया (महंगे डेटा के बिना)

4. परिणाम: एक बेहतर "ऑडियो सैंडविच"

तकनीकी सारांश: नेगेटिव ऑडियो गाइडेंस के माध्यम से स्टेप-बाय-स्टेप वीडियो-टू-ऑडियो सिंथेसिस

इसी तरह के और पेपर