🤖 machine learning

Training-Free Multimodal Guidance for Video to Audio Generation

यह शोध पत्र एक नवीन प्रशिक्षण-मुक्त बहुविध मार्गदर्शन तंत्र (training-free multimodal guidance mechanism) प्रस्तावित करता है जो वीडियो, ऑडियो और टेक्स्ट के बीच एकीकृत संरेखण को लागू करने के लिए मोडैलिटी एम्बेडिंग्स का लाभ उठाता है, जिससे बिना किसी महंगी पुन: प्रशिक्षण की आवश्यकता के वीडियो-से-ऑडियो पीढ़ी की बोधगम्य गुणवत्ता और अर्थपूर्ण सुसंगतता में सुधार होता है।

मूल लेखक: Eleonora Grassucci, Giuliano Galadini, Giordano Cicchetti, Aurelio Uncini, Fabio Antonacci, Danilo Comminiello

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eleonora Grassucci, Giuliano Galadini, Giordano Cicchetti, Aurelio Uncini, Fabio Antonacci, Danilo Comminiello

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मूक फिल्म का क्लिप है। आप एक कुत्ते को भौंकते हुए, एक कार को टकराते हुए, या बारिश गिरते हुए देख सकते हैं, लेकिन स्क्रीन पूरी तरह से शांत है। आपका लक्ष्य जो आप देखते हैं उससे मेल खाने वाले सटीक साउंड इफेक्ट्स बनाना है। यह वीडियो-टू-ऑडियो (V2A) जनरेशन की चुनौती है।

लंबे समय तक, कंप्यूटर को यह सिखाना ऐसा था जैसे किसी कुत्ते को बोलने के लिए मजबूर करने के लिए उसे हजारों घंटों के वीडियो और ऑडियो को एक साथ याद करने के लिए कहना। यह महंगा, धीमा और भारी मात्रा में डेटा की मांग करने वाला काम था।

हाल ही में, कुछ स्मार्ट शोधकर्ताओं ने एक "ट्रेनिंग-फ्री" दृष्टिकोण (जैसे कि Seeing&Hearing नामक विधि) का उपयोग किया। उन्होंने एक पूर्व-प्रशिक्षित "अनुवादक" (translator) का उपयोग किया जो एक तस्वीर को देख सकता था और उसके ध्वनि का अनुमान लगा सकता था। हालांकि, यह अनुवादक थोड़ा अनाड़ी था। यह वीडियो की तुलना ऑडियो से केवल एक-पर-एक (one-on-one) करता था (जैसे एक कुत्ते की फोटो को भौंकने की आवाज से मिलाना)। कभी-कभी, यह भ्रमित हो जाता था, जिससे स्टेटिक शोर या ऐसी आवाजें पैदा होती थीं जो दृश्य से पूरी तरह मेल नहीं खाती थीं, क्योंकि यह पूरे चित्र को नहीं देख रहा था।

नया समाधान: "वॉल्यूम" कंपास (The "Volume" Compass)

इस शोध पत्र के लेखक एक नई, चतुर तकनीक प्रस्तावित करते हैं जिसे मल्टीमॉडल डिफ्यूजन गाइडेंस (MDG) कहा जाता है। उन्होंने कंप्यूटर के लिए एक नया दिमाग नहीं बनाया; इसके बजाय, उन्होंने मौजूदा दिमाग को एक बेहतर कंपास दिया।

यह कैसे काम करता है, एक सरल उपमा (analogy) का उपयोग करके देखें:

1. तीन दोस्त (वीडियो, ऑडियो, टेक्स्ट)
कल्पना कीजिए कि तीन दोस्त एक बड़े, खाली कमरे में खड़े हैं:

दोस्त V एक वीडियो पकड़े हुए है।
दोस्त A एक ध्वनि पकड़े हुए है।
दोस्त T एक टेक्स्ट विवरण (जैसे "एक कुत्ता भौंक रहा है") पकड़े हुए है।

2. पुराना तरीका (पेयरवाइज मैचिंग)
पुराना तरीका ऐसा था जैसे दोस्त V से दोस्त A से हाथ मिलाने के लिए कहना, और फिर अलग से दोस्त A को दोस्त T से हाथ मिलाने के लिए कहना। यदि हाथ मिलाना "ठीक" लग रहा था, तो कंप्यूटर सोचता था, "बहुत बढ़िया, यह मेल खाता है!" लेकिन कभी-कभी, हाथ मिलाना ठीक लग सकता था भले ही दोस्त वास्तव में अजनबी हों। इससे गलत मेल खाने वाली ध्वनियाँ उत्पन्न होती थीं।

3. नया तरीका (वॉल्यूम)
नया तरीका इन तीनों दोस्तों को एक साथ खड़े होकर एक आकार बनाने के लिए कहता है।

यदि वे तीनों एक ही चीज के बारे में बात कर रहे हैं (एक कुत्ता भौंक रहा है), तो वे एक-दूसरे के करीब खड़े होते हैं, जिससे एक छोटा, सघन आकार बनता है। इस स्थिति में "वॉल्यूम" (वह स्थान जो वे घेरते हैं) छोटा होता है।
यदि वे अलग-अलग चीजों के बारे में बात कर रहे हैं (एक कुत्ता, एक कार दुर्घटना, और "बारिश"), तो वे एक-दूसरे से दूर खड़े होते हैं, जिससे एक विशाल, फैला हुआ आकार बनता है। इस स्थिति में "वॉल्यूम" बड़ा होता है।

जादुई ट्रिक:
कंप्यूटर का काम ध्वनि उत्पन्न करना है। जैसे-जैसे यह ध्वनि बनाता है, यह लगातार वीडियो, टेक्स्ट और उस ध्वनि के बीच बनने वाले "वॉल्यूम" की जांच करता रहता है।

यदि वॉल्यूम बड़ा है, तो कंप्यूटर जानता है, "ओह, ये मेल नहीं खा रहे हैं!" और यह ध्वनि को बदलने के लिए उसे धकेलता है।
यह ध्वनि को तब तक एडजस्ट करता रहता है जब तक कि वॉल्यूम छोटा न हो जाए, जिसका अर्थ है कि तीनों दोस्त अपनी समझ में पूरी तरह से संरेखित (aligned) हैं।

यह विशेष क्यों है?

कोई नया प्रशिक्षण नहीं: आपको कंप्यूटर को नई चीजें सिखाने के लिए दिन बिताने की आवश्यकता नहीं है। आप बस इस "वॉल्यूम कंपास" को किसी भी मौजूदा ऑडियो जनरेटर में प्लग कर सकते हैं। यह एक कार में जीपीएस जोड़ने जैसा है जिसमें पहले से ही इंजन है; आप इंजन को फिर से नहीं बनाते, आप बस यह सुनिश्चित करते हैं कि वह सही दिशा में चले।
बेहतर गुणवत्ता: अपने परीक्षणों में, लेखकों ने दिखाया कि यह विधि बहुत स्पष्ट और अधिक यथार्थवादी ध्वनियाँ बनाती है।
- उदाहरण: जब पानी के नीचे के दृश्य के लिए ध्वनि उत्पन्न की जा रही थी, तो पुराने तरीके ने इसे स्टेटिक शोर जैसा बना दिया। नए तरीके ने सफलतापूर्वक पानी के नीचे की दबी हुई, बुलबुले वाली ध्वनियाँ उत्पन्न कीं।
स्क्रिप्ट पर टिके रहना: नया तरीका यह सुनिश्चित करता है कि ध्वनि न केवल वीडियो से मेल खाती है, बल्कि आपके द्वारा दिए गए किसी भी टेक्स्ट विवरण से भी मेल खाती है, जिससे सब कुछ अर्थपूर्ण रूप से सुसंगत रहता है।

परिणाम

शोधकर्ताओं ने इसका परीक्षण दो बड़े डेटासेट (वीडियो क्लिप्स के संग्रह) पर किया:

VGGSound: विशिष्ट ध्वनि घटनाओं वाले वीडियो का एक संग्रह।
AudioCaps: एक संग्रह जहाँ ध्वनि हमेशा वीडियो में सीधे दिखाई नहीं देती है (एक कठिन परीक्षण)।

दोनों मामलों में, उनके "वॉल्यूम कंपास" विधि ने उच्च गुणवत्ता वाली ऑडियो बनाई जो अधिक स्वाभाविक महसूस हुई और पिछले सर्वोत्तम तरीकों की तुलना में दृश्य दृश्य से बेहतर मेल खाती थी। इसने साबित कर दिया कि यह देखने के बजाय कि वीडियो, ऑडियो और टेक्स्ट आपस में एक समूह के रूप में कैसे फिट होते हैं (केवल जोड़ों के रूप में नहीं), आप AI को बहुत बेहतर, अधिक यथार्थवादी साउंडस्केप बनाने के लिए निर्देशित कर सकते हैं, और इसके लिए पूरे सिस्टम को फिर से प्रशिक्षित करने की आवश्यकता नहीं है।

तकनीकी सारांश: वीडियो-से-ऑडियो जनरेशन के लिए ट्रेनिंग-फ्री मल्टीमॉडल गाइडेंस

समस्या विवरण (Problem Statement)
वीडियो-टू-ऑडियो (V2A) जनरेशन का लक्ष्य मूक वीडियो से यथार्थवादी और अर्थपूर्ण रूप से संरेखित ऑडियो तैयार करना है, जो वीडियो संपादन, फोली साउंड डिजाइन और सहायक मल्टीमीडिया जैसे अनुप्रयोगों के लिए महत्वपूर्ण है। जबकि हालिया डिफ्यूजन-आधारित दृष्टिकोणों ने प्रभावशाली परिणाम प्राप्त किए हैं, वे महत्वपूर्ण सीमाओं का सामना करते हैं। मौजूदा विधियों में आमतौर पर बड़े पैमाने के युग्मित (paired) डेटासेट पर वीडियो और ऑडियो मॉडल के महंगे जॉइंट ट्रेनिंग की आवश्यकता होती है, जिन्हें एकत्र करना महंगा होता है और जिनमें अक्सर सावधानीपूर्वक प्रीप्रोसेसिंग की आवश्यकता वाले अर्थहीन जोड़े होते हैं। वैकल्पिक रूप से, Seeing&Hearing जैसे ट्रेनिंग-फ्री दृष्टिकोण पेयरवाइज कोसाइन समानता (जैसे, ImageBind के माध्यम से) पर निर्भर करते हैं। हालांकि, पेयरवाइज एलाइनमेंट वैश्विक मल्टीमॉडल सुसंगतता (global multimodal coherence) को पकड़ने में विफल हो सकता है, जिससे ऐसे गाइडेंस सिग्नल मिलते हैं जिनमें ज्यामितीय निरंतरता (geometric consistency) की कमी होती है और जिसके परिणामस्वरूप अर्थपूर्ण रूप से गलत संरेखित या शोर वाला ऑडियो जनरेशन होता है।

कार्यप्रणाली: मल्टीमॉडल डिफ्यूजन गाइडेंस (MDG)
लेखक एक नया, ट्रेनिंग-फ्री तंत्र प्रस्तावित करते हैं जिसे मल्टीमॉडल डिफ्यूजन गाइडेंस (MDG) कहा जाता है, जो बैकबोन या एनकोडर को पुनरप्रशिक्षित (retrain) किए बिना प्रीट्रेंड ऑडियो डिफ्यूजन मॉडल को निर्देशित करता है। मुख्य नवाचार पेयरवाइज समानता पर निर्भर रहने के बजाय मोडैलिटी एम्बेडिंग्स द्वारा स्पैन किए गए 'ज्यामितीय आयतन' (geometric volume) का लाभ उठाना है।

आयतन के माध्यम से ज्यामितीय संरेखण (Geometric Alignment via Volume):
पेयरवाइज कोसाइन समानता के माध्यम से वीडियो, ऑडियो और टेक्स्ट एम्बेडिंग्स ( $e_v, e_a, e_p$ ) को संरेखित करने के बजाय, यह विधि उन्हें एनकोडर्स (GRAM) का उपयोग करके एक साझा लेटेंट स्पेस में मैप करती है। यह एक मैट्रिक्स $Z = [e_v, e_a, e_p]$ बनाता है और ग्राम मैट्रिक्स $K = Z^\top Z$ की गणना करता है। इन एम्बेडिंग्स द्वारा स्पैन किए गए उच्च-आयामी पैरेललेलोपिपेड (parallelotope) का आयतन $V = \sqrt{\det K}$ द्वारा परिभाषित किया जाता है।

अंतर्ज्ञान (Intuition): जब तीनों मोडैलिटीज एक ही सिमेंटिक कंटेंट को संदर्भित करती हैं, तो उनके एम्बेडिंग्स एक कम-आयतन वाली कॉन्फ़िगरेशन बनाते हैं। इसके विपरीत, बेमेल ट्रिपलेट्स (mismatched triplets) एक बड़ा आयतन उत्पन्न करते हैं।

ट्रेनिंग-फ्री गाइडेंस सिग्नल:
MDG एक लेटेंट डिफ्यूजन मॉडल (जैसे, AudioLDM) की सैंपलिंग (डिनोइजिंग) प्रक्रिया के दौरान एक प्लग-एंड-प्ले कंट्रोल सिग्नल के रूप में कार्य करता है।

प्रत्येक डिनोइजिंग स्टेप $t$ पर, मॉडल एक क्लीन ऑडियो लेटेंट $\tilde{z}_0$ का अनुमान लगाता है।
इस लेटेंट से ऑडियो एम्बेडिंग $e_a$ निकाली जाती है।
फिक्स्ड वीडियो एम्बेडिंग $e_v$ , टेक्स्ट एम्बेडिंग $e_p$ , और वर्तमान ऑडियो एम्बेडिंग $e_a$ का उपयोग करके आयतन $V$ की गणना की जाती है।
लेटेंट को इस आयतन को कम करने के लिए अपडेट किया जाता है: $z_t \leftarrow z_t - \eta \nabla_{z_t} V$ ।
यह पुनरावृत्ति प्रक्रिया ऑडियो जनरेशन को एक ऐसे प्रतिनिधित्व की ओर निर्देशित करती है जो दृश्य और पाठ्य इनपुट के साथ संयुक्त रूप से संगत है, जिससे त्रि-मोडल निरंतरता (tri-modal consistency) लागू होती है।

दक्षता (Efficiency):
इस दृष्टिकोण के लिए किसी भी युग्मित प्रशिक्षण डेटा, जॉइंट ट्रेनिंग, या डिफ्यूजन बैकबोन में संशोधन की आवश्यकता नहीं है। कम्प्यूटेशनल ओवरहेड न्यूनतम है, जो केवल एम्बेडिंग्स के लिए $O(D)$ और प्रति स्टेप $3 \times 3$ वॉल्यूम गणना के लिए $O(1)$ जोड़ता है।

मुख्य योगदान (Key Contributions)

नया सैंपलिंग स्ट्रैटेजी: एक नया ट्रेनिंग-फ्री सैंपलिंग स्ट्रैटेजी पेश करना जो लेटेंट मल्टीमॉडल गाइडेंस का उपयोग करता है, जिसमें किसी भी बड़े पैमाने के युग्मित प्रशिक्षण डेटा, जॉइंट ट्रेनिंग या बैकबोन संशोधन की आवश्यकता नहीं है।
वॉल्यूम-आधारित त्रि-मोडल ऑब्जेक्टिव: V2A जनरेशन के लिए एक संयुक्त गाइडेंस तंत्र का प्रस्ताव जो पेयरवाइज एलाइनमेंट से आगे बढ़कर वीडियो, ऑडियो और टेक्स्ट के बीच वॉल्यूम-आधारित एलाइनमेंट ऑब्जेक्टिव का उपयोग करके प्रीट्रेंड डिफ्यूजन मॉडल को निर्देशित करता है।
प्रदर्शन में सुधार: यह प्रदर्शन करना कि वॉल्यूम-गाइडेड इन्फरेंस, मजबूत मल्टीमॉडल निरंतरता को बढ़ावा देने और सिमेंटिक ड्रिफ्ट को कम करने के लिए पूर्ववर्ती कोसाइन-आधारित अलाइनर्स (जैसे ImageBind) से बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम (Experimental Results)
विधि का मूल्यांकन VGGSound (इन-डोमेन) और AudioCaps (आउट-डोमेन) डेटासेट पर किया गया, जिसमें SpecVQGAN, Diff-Foley, और ट्रेनिंग-फ्री Seeing&Hearing फ्रेमवर्क सहित बेसलाइन्स के साथ तुलना की गई।

अनुभूति गुणवत्ता और संरेखण (Perceptual Quality and Alignment): VGGSound पर, MDG ने 6.04 का फ्रेट (Fréchet) ऑडियो डिस्टेंस (FAD) प्राप्त किया, जो Seeing&Hearing (7.80) और SpecVQGAN (7.74) से काफी बेहतर है। इसने 2.60 के फ्रेट ऑडियो-विजुअल डिस्टेंस (FAVD) और 3.40 के पर्कसेप्चुअल इवैल्यूएटर ऑफ ऑडियो-विजुअल सिंक्रोनाइज़ेशन (PEAVS) स्कोर के साथ बेहतर ऑडियो-विजुअल सुसंगतता भी दिखाई।
सामान्यीकरण (Generalization): चुनौतीपूर्ण AudioCaps डेटासेट पर (जहाँ ध्वनि स्रोत दृश्यमान नहीं हो सकते हैं), MDG ने लगभग सभी मेट्रिक्स में Seeing&Hearing से बेहतर प्रदर्शन करना जारी रखा, जो डोमेन शिफ्ट के प्रति मजबूती प्रदर्शित करता है।
सिमेंटिक निरंतरता (Semantic Consistency): वॉल्यूम मेट्रिक और क्रॉस-मोडल कोसाइन समानता के विश्लेषण ने पुष्टि की कि MDG पेयरवाइज-आधारित विधियों की तुलना में स्रोत वीडियो और कैप्शन के साथ सिमेंटिक रूप से अधिक संरेखित ऑडियो उत्पन्न करता है। स्पेक्ट्रोग्राम के गुणात्मक विश्लेषण से पता चला कि MDG संरचित, संदर्भ-उपयुक्त ऑडियो उत्पन्न करता है, जबकि बेसलाइन्स अक्सर ब्रॉडबैंड शोर में बदल जाते हैं।

महत्व (Significance)
यह पेपर दावा करता है कि MDG एक हल्का, प्रभावी समाधान प्रदान करता है जो जॉइंट ट्रेनिंग की कम्प्यूटेशनल और डेटा बाधाओं को दूर करता है और पेयरवाइज एलाइनमेंट की ज्यामितीय विसंगतियों को संबोधित करता है। इन्फरेंस के दौरान मोडैलिटीज के बीच एक एकीकृत ज्यामितीय संरचना को लागू करके, यह विधि सिद्ध करती है कि मूल जेनेरेटिव आर्किटेक्चर को संशोधित किए बिना या महंगे युग्मित डेटासेट की आवश्यकता के बिना उच्च-गुणवत्ता वाला, सिमेंटिक रूप से सुसंगत ऑडियो उत्पन्न किया जा सकता है। यह मल्टीमॉडल डिफ्यूजन मॉडल्स के लिए एक शक्तिशाली कंट्रोल सिग्नल के रूप में वॉल्यूम-आधारित ज्यामितीय बाधाओं की उपयोगिता को प्रमाणित करता है।

नया समाधान: "वॉल्यूम" कंपास (The "Volume" Compass)

यह विशेष क्यों है?

परिणाम

इसी तरह के और पेपर