⚡ electrical engineering

Embedding-Space Diffusion for Zero-Shot Environmental Sound Classification

यह शोध पत्र जनरेटिव मॉडल्स को अनुकूलित और प्रस्तुत करके ज़ीरो-शॉट एनवायर्नमेंटल साउंड क्लासिफिकेशन की अल्प-अन्वेषित चुनौती को संबोधित करता है, विशेष रूप से यह प्रदर्शित करता है कि क्लास ऑक्जिलरी डेटा पर आधारित एक नवीन डिफ्यूजन मॉडल कई ऑडियो डेटासेट्स में मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।

मूल लेखक: Ysobel Sims, Alexandre Mendes, Stephan Chalup

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ysobel Sims, Alexandre Mendes, Stephan Chalup

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: मशीन को उन चीजों को पहचानना सिखाना जिन्हें उसने कभी नहीं देखा

कल्पना कीजिए कि आप एक बच्चे को जानवरों की पहचान करना सिखा रहे हैं। आप उसे शेर, बाघ और भालू की तस्वीरें दिखाते हैं। आप उसे समझाते हैं कि ये "बड़े बिल्लियाँ" या "जंगल के निवासी" हैं। फिर, आप बच्चे को एक चिड़ियाघर में ले जाते हैं और उसे एक चीता दिखाते हैं।

बच्चे ने पहले कभी चीता नहीं देखा है। हालांकि, क्योंकि वह "बड़ी बिल्ली" और "जंगल" की अवधारणा को समझता है, इसलिए वह अनुमान लगा सकता है, "यह निश्चित रूप से एक चीता होगा!"

यह जीरो-शॉट लर्निंग (Zero-Shot Learning) है। यह एक कंप्यूटर की वह क्षमता है जिससे वह उन चीजों को पहचान सकता है जिन पर उसे स्पष्ट रूप से प्रशिक्षित नहीं किया गया है, और इसके लिए वह उन समान चीजों के ज्ञान का उपयोग करता है जिन्हें उसने पहले देखा है।

हालांकि कंप्यूटर तस्वीरों के साथ यह करने में बहुत अच्छे हो रहे हैं (जैसे कि एक नई तरह की कार को पहचानना), लेकिन वे ध्वनियों के साथ अभी भी संघर्ष कर रहे हैं। यदि आप किसी पक्षी की नई तरह की पुकार या किसी विशिष्ट मशीन के शोर की रिकॉर्डिंग बजाते हैं जिसे कंप्यूटर ने पहले नहीं सुना है, तो यह आमतौर पर अनुमान लगाने में विफल रहता है कि वह क्या है।

समाधान: एक "ध्वनि कल्पना" मशीन (A "Sound Imagination" Machine)

न्यूकैसल विश्वविद्यालय के शोधकर्ताओं ने इसे ठीक करने की कोशिश की। उन्होंने देखा कि छवियों की दुनिया में, एक नया प्रकार का AI जिसे डिफ्यूजन मॉडल (Diffusion Model) कहा जाता है (वही तकनीक जो AI आर्ट जनरेटर के पीछे है), शून्य से नई छवियां बनाने में अद्भुत है।

उन्होंने पूछा: क्या हम इस "कल्पना" की शक्ति का उपयोग कंप्यूटर को नई ध्वनियों को समझने में मदद करने के लिए कर सकते हैं?

उन्होंने ZeroDiffusion नामक एक नई प्रणाली बनाई। यह कैसे काम करती है, यहाँ चरण-दर-चरण बताया गया है:

1. शब्दकोश (एम्बेडिंग्स - Embeddings)

सबसे पहले, कंप्यूटर को यह समझने के लिए एक तरीके की आवश्यकता है कि एक ध्वनि का अर्थ क्या है, न कि केवल यह कि वह कैसी सुनाई देती है।

उपमा: कल्पना कीजिए कि हर ध्वनि (जैसे "कुत्ते का भौंकना" या "बारिश गिरना") को संख्याओं के एक गुप्त कोड में अनुवादित किया जाता है।
इस कोड में, समान चीजें एक-दूसरे के करीब होती हैं। "कुत्ते" का कोड "भेड़िए" के कोड के बहुत करीब है, लेकिन "पियानो" के कोड से दूर है।
शोधकर्ताओं ने ध्वनियों के नामों को इन संख्यात्मक कोडों में बदलने के लिए एक पूर्व-मौजूद शब्दकोश (Word2Vec) का उपयोग किया।

2. "ध्वनि कल्पना" (डिफ्यूजन मॉडल - The Diffusion Model)

यही उनके नए आविष्कार का मुख्य हिस्सा है।

उपमा: कल्पना कीजिए कि आपके पास मिट्टी का एक डिब्बा है। आप जानते हैं कि "कुत्ता" कैसा दिखता है और "बिल्ली" कैसी दिखती है। लेकिन आपने कभी "लोमड़ी" नहीं देखी है।
डिफ्यूजन मॉडल एक मास्टर मूर्तिकार की तरह कार्य करता है जिसने कुत्तों और बिल्लियों की मिट्टी का अध्ययन किया है। यह एक खाली टुकड़े (रैंडम नॉइज़) को लेता है और "लोमड़ी" के निर्देशों के आधार पर, हवा से एक नकली लोमड़ी को तराशता है।
कंप्यूटर की दुनिया में, यह रैंडम नॉइज़ और "लोमड़ी" के संख्या कोड को लेता है, और एक नकली ऑडियो एम्बेडिंग (एक नकली संख्या कोड) बनाता है जो बिल्कुल वैसा ही दिखता है जैसा कि एक असली लोमड़ी की ध्वनि का कोड होगा, भले ही कंप्यूटर ने कभी असली लोमड़ी की आवाज नहीं सुनी हो।

3. अंतिम परीक्षण

एक बार जब कंप्यूटर इन नई, अनदेखी ध्वनियों के लिए हजारों "नकली" उदाहरण बना लेता है, तो वह उन्हें उन वास्तविक उदाहरणों के साथ मिला देता है जिन्हें वह पहले से जानता था। इसके बाद, यह एक अंतिम क्लासिफायर (निर्णय लेने वाला) को इस मिश्रण पर प्रशिक्षित करता है।

परिणाम: जब कंप्यूटर अंततः एक असली लोमड़ी की आवाज सुनता है, तो वह कहता है, "मैंने एक नकली लोमड़ी पहले देखी है! मैं जानता हूँ कि यह क्या है!"

प्रयोग: साउंड ओलंपिक्स (The Sound Olympics)

शोधकर्ताओं ने अपने नए "ध्वनि कल्पना" मशीन का परीक्षण छह अलग-अलग साउंड डेटासेट्स पर तीन अन्य विधियों के विरुद्ध किया। इन डेटासेट्स में शामिल थे:

शहर के शोर (ट्रैफिक, सायरन, ड्रिल)।
प्रकृति की आवाजें (पक्षी, बारिश, हवा)।
संगीत की शैलियाँ (रॉक, जैज़, शास्त्रीय)।

उन्होंने अपने नए तरीके (ZeroDiffusion) की तुलना निम्नलिखित से की:

पुराना मानक (ALE): एक सरल, विश्वसनीय तरीका जो कुछ भी "कल्पना" नहीं करता है।
"जिम्नास्ट" (LisGAN): एक जटिल तरीका जो ध्वनियाँ उत्पन्न करने की कोशिश करता है लेकिन इसे नियंत्रित करना कठिन है।
"पुल निर्माता" (CADA-VAE): एक अन्य तरीका जो ध्वनि कोड को अर्थ कोड से जोड़ने का प्रयास करता है।

परिणाम: कौन जीता?

विजेता: ZeroDiffusion समग्र चैंपियन था। इसने सभी छह डेटासेट्स पर उच्चतम औसत स्कोर प्राप्त किया।
आश्चर्य: कंप्यूटर विज़न (छवियों) की दुनिया में, डिफ्यूजन मॉडल प्रसिद्ध हैं। यह पेपर सिद्ध करता है कि वे ध्वनि के लिए भी उतने ही अच्छे काम करते हैं।
चुनौती: हालांकि ZeroDiffusion सबसे सटीक था, लेकिन यह थोड़ा "मूड स्विंग" वाला था। कभी-कभी यह शानदार प्रदर्शन करता था, और अन्य समय में यह थोड़ा असंगत था (जैसे कि एक छात्र जो एक दिन 'A' ग्रेड पाता है और अगले दिन 'C')। पुराना, सरल तरीका (ALE) कम सटीक था लेकिन बहुत स्थिर और विश्वसनीय था।

यह क्यों महत्वपूर्ण है?

इस पेपर से पहले, किसी ने भी सफलतापूर्वक डिफ्यूजन मॉडल का उपयोग कंप्यूटर को बिना प्रशिक्षण डेटा के नई ध्वनियाँ सीखने में मदद करने के लिए नहीं किया था।

प्रथम: यह पहली बार है जब इस विशिष्ट प्रकार के AI का पर्यावरणीय ध्वनियों पर परीक्षण किया गया है।
नए बेंचमार्क: उन्होंने तीन विशिष्ट साउंड डेटासेट्स के लिए नए परीक्षण नियम बनाए हैं जिन्हें पहले इस तरह से टेस्ट नहीं किया गया था।
लचीलापन: कुछ AI के विपरीत जो केवल चित्रों के लिए काम करते हैं, यह तरीका किसी भी ध्वनि पर काम करता है, चाहे वह पक्षी हो, कार हो या कोई वाद्य यंत्र।

सारांश

यह पेपर ZeroDiffusion पेश करता है, जो कंप्यूटर को उन ध्वनियों को पहचानना सिखाने का एक नया तरीका है जिन्हें उसने कभी नहीं सुना है, और इसके लिए उसे गणितीय रूप से यह "कल्पना" करने के लिए कहा जाता है कि वे ध्वनियाँ कैसी दिखेंगी। यह मौजूदा विधियों की तुलना में औसतन बेहतर प्रदर्शन करता है, जो यह सिद्ध करता है कि AI आर्ट के लिए उपयोग की जाने वाली शक्तिशाली "कल्पना" तकनीक AI सुनने के लिए भी एक गुप्त हथियार है।

तकनीकी सारांश: एम्बेडिंग-स्पेस डिफ्यूजन फॉर ज़ीरो-शॉट एनवायर्नमेंटल साउंड क्लासिफिकेशन

समस्या विवरण (Problem Statement)
ज़ीरो-शॉट लर्निंग (ZSL) का लक्ष्य सीमान्तिक जानकारी (semantic information) का लाभ उठाकर अनदेखी श्रेणियों (unseen classes) को वर्गीकृत करने में सक्षम बनाना है, जो प्रशिक्षण और परीक्षण सेटों के बीच के अंतर को पाटता है। जबकि कंप्यूटर विज़न में ZSL पर महत्वपूर्ण शोध हुआ है, पर्यावरणीय ऑडियो में इसका अनुप्रयोग कम खोजा गया है और मौजूदा अध्ययनों में खराब प्रदर्शन करता है। वर्तमान पर्यावरणीय ऑडियो ZSL विधियाँ मुख्य रूप से गैर-जनरेटिव दृष्टिकोणों (जैसे कि कम्पैटिबिलिटी नेटवर्क) पर निर्भर करती हैं या विज़न कार्यों में देखे गए जनरेटिव मॉडल्स की सफलता का उपयोग करने में विफल रहती हैं। इसके अलावा, ZSL में मौजूदा जनरेटिव दृष्टिकोण अक्सर विशिष्ट मोडैलिटीज (छवियों और पाठ) से जुड़े बड़े, पूर्व-प्रशिक्षित मॉडल्स (जैसे कि स्टेबल डिफ्यूजन) पर निर्भर करते हैं, जो ऑडियो डोमेन में उनकी प्रयोज्यता को सीमित करते हैं जहाँ ऐसे पूर्व-प्रशिक्षित आधार मौजूद नहीं हो सकते हैं या जहाँ फीचर डेटा को प्री-ट्रेनिंग के दौरान अनदेखा रहना चाहिए।

कार्यप्रणाली (Methodology)
यह शोध पत्र ZeroDiffusion का प्रस्ताव करता है, जो एम्बेडिंग स्पेस के भीतर पूरी तरह से संचालित होने वाला एक नवीन जनरेटिव तरीका है, जो पूर्व-प्रशिक्षित जनरेटिव मॉडल्स की आवश्यकता को समाप्त करता है। कार्यप्रणाली में तीन प्राथमिक चरण शामिल हैं:

एम्बेडिंग जनरेशन (Embedding Generation):
- क्लास एम्बेडिंग्स ( $\sigma(z)$ ): क्लास लेबल्स को एक पूर्व-प्रशिक्षित Word2Vec मॉडल का उपयोग करके 300-आयामी वेक्टर्स में परिवर्तित किया जाता है। इन एम्बेडिंग्स को समृद्ध करने के लिए, अधिकांश डेटासेट्स (ARCA23K-FSD और GTZAN को छोड़कर, आकार या जॉनर संबंधी बाधाओं के कारण) के लिए समानार्थी शब्दों (synonyms) को जोड़ा जाता है।
- ऑडियो एम्बेडिंग्स ( $\tau(w)$ ): लॉग मेल स्पेक्ट्रोग्राम से 128-आयामी ऑडियो एम्बेडिंग्स निकालने के लिए एक संशोधित YAMNet मॉडल को देखे गए (seen) क्लासेस पर प्रशिक्षित किया जाता है। यह सुनिश्चित करता है कि फीचर एक्सट्रैक्टर प्री-ट्रेनिंग के दौरान अनजाने में अनदेखी (unseen) क्लासेस को न देख ले।
डिफ्यूजन मॉडल ट्रेनिंग (Diffusion Model Training):
- एक हल्का, फुली कनेक्टेड न्यूरल नेटवर्क एक डिफ्यूजन मॉडल के रूप में प्रशिक्षित किया जाता है जो क्लास ऑक्जिलरी डेटा पर कंडिशन किया गया होता है।
- इनपुट: मॉडल एक नॉइज़-इंजेक्टेड ऑडियो एम्बेडिंग ( $\tilde{\tau}(w)$ ) को एक जिटरड (jittered) क्लास एम्बेडिंग ( $\tilde{\sigma}(z)$ ) के साथ जोड़कर (concatenate) लेता है।
- उद्देश्य: मॉडल क्लास एम्बेडिंग पर कंडिशन होकर, नॉइजी इनपुट से मूल ऑडियो एम्बेडिंग को पुनर्गठित (reconstruct) करना सीखता है।
- लॉस फंक्शन: प्रशिक्षण उद्देश्य पाँच घटकों को जोड़ता है: मीन स्क्वेर्ड एरर (पुनर्निर्माण), मैक्सिमम मीन डिसपैरिटी (डिस्ट्रीब्यूशन अलाइनमेंट), वेरिएंस लॉस (विविधता), ग्लोबल सेंट्रॉइड अलाइनमेंट, और कोसाइन सिमिलरिटी लॉस (डायरेक्शनल अलाइनमेंट)।
- जनरेशन: एक बार प्रशिक्षित होने के बाद, मॉडल रैंडम नॉइज़ और उनके संबंधित क्लास एम्बेडिंग्स को फीड करके अनदेखी (unseen) क्लासेस के लिए सिंथेटिक ऑडियो एम्बेडिंग्स उत्पन्न करता है।
क्लासिफायर ट्रेनिंग (Classifier Training):
- एक नॉन-लीनियर कम्पैटिबिलिटी नेटवर्क (एट्रीब्यूट लेबल एम्बेडिंग, ALE पर आधारित) को देखी गई (seen) क्लासेस के वास्तविक ऑडियो एम्बेडिंग्स और अनदेखी (unseen) क्लासेस के लिए जनरेट किए गए सिंथेटिक एम्बेडिंग्स के संयोजन का उपयोग करके प्रशिक्षित किया जाता है।
- क्लासिफायर एक समानता फलन $f(w, z)$ सीखना जाता है जो फीचर डेटा को क्लास लेबल्स में मैप करता है, बिना कभी अनदेखी क्लासेस के वास्तविक ऑडियो सैंपल्स को देखे।

प्रायोगिक सेटअप (Experimental Setup)
यह अध्ययन छह डेटासेट्स: ESC-50, ARCA23K-FSD, FSC22, UrbanSound8k, TAU Urban Acoustics 2019, और GTZAN पर चार विधियों का मूल्यांकन करता है।

बेसलाइन्स (Baselines):
- नॉन-लीनियर ALE: पर्यावरणीय ऑडियो के लिए एक स्टेट-ऑफ-द-आर्ट नॉन-जनरेटिव बेसलाइन।
- CADA-VAE: कंप्यूटर विज़न से अनुकूलित एक क्रॉस-अलाइन्ड और डिस्ट्रीब्यूशन-अलाइन्ड वेरिएशनल ऑटोएन्कोडर।
- LisGAN: एक लीवरेजिंग इनवेरिएंट साइड जनरेटिव एडवरसैरियल नेटवर्क, जिसे इंडक्टिव सेटिंग (ट्रांसडक्टिव घटकों को हटाकर) के लिए अनुकूलित किया गया है।
प्रोटोकॉल: प्रयोग दस अलग-अलग रैंडम सीड्स के साथ दस बार दोहराए गए। ESC-50 के लिए मानक नॉन-लीनियर ALE विभाजन का उपयोग किया गया, जबकि अन्य डेटासेट्स के लिए नए रैंडम विभाजन बनाए गए।

प्रमुख परिणाम (Key Results)

प्रदर्शन (Performance): ZeroDiffusion ने सभी छह डेटासेट्स में उच्चतम औसत सटीकता (34.86%) प्राप्त की, जिसने नॉन-लीनियर ALE बेसलाइन (32.27%), CADA-VAE (31.37%), और LisGAN (29.36%) को पीछे छोड़ दिया।
डेटासेट विशिष्टता (Dataset Specifics):
- ZeroDiffusion ने ARCA23K-FSD और TAU Urban Acoustics 2019 पर महत्वपूर्ण सुधार दिखाया।
- इसने UrbanSound8k और GTZAN पर बेसलाइन्स के साथ प्रतिस्पर्धी प्रदर्शन किया।
- ESC-50 और FSC22 पर परिणाम मिश्रित थे; ZeroDiffusion हर फोल्ड पर सभी विधियों से लगातार बेहतर नहीं रहा, और FSC22 टेस्ट सेट्स पर प्रदर्शन काफी अस्थिर था।
स्थिरता (Stability): जनरेटिव विधियों (ZeroDiffusion सहित) ने नॉन-जनरेटिव ALE बेसलाइन की तुलना में रन के दौरान उच्च स्टैंडर्ड डेविएशन प्रदर्शित किया। उदाहरण के लिए, CADA-VAE ने UrbanSound8k पर 8.08% तक का स्टैंडर्ड डेविएशन दिखाया, जबकि ALE लगभग 1% पर रहा।
डेटा डिपेंडेंसी (Data Dependency): लेखकों ने देखा कि ZeroDiffusion का प्रदर्शन डेटासेट के आकार के साथ सह-संबंधित था। प्रति क्लास अधिक सैंपल वाले डेटासेट्स (जैसे TAU 2019 जिसमें 1,440 सैंपल्स/क्लास हैं) ने बेहतर परिणाम दिए, जबकि छोटे डेटासेट्स (ESC-50 जिसमें 40 सैंपल्स/क्लास हैं) में अस्थिरता देखी गई।

योगदान और महत्व (Contributions and Significance)
यह शोध पत्र निम्नलिखित योगदानों का दावा करता है:

एम्बेडिंग-स्पेस के लिए प्रथम डिफ्यूजन (First Embedding-Space Diffusion for ZSL): बिना किसी पूर्व-प्रशिक्षित जनरेटिव मॉडल (जैसे स्टेबल डिफ्यूजन) पर निर्भर रहे, एम्बेडिंग स्पेस में काम करने वाला पहला डिफ्यूजन-आधारित ज़ीरो-शॉट लर्निंग तरीका पेश करता है, जो इसे मोडैलिटी-एग्नोस्टिक बनाता है।
नया स्टेट-ऑफ-द-आर्ट (New State-of-the-Art): छह विविध ऑडियो डेटासेट्स पर मौजूदा विधियों से बेहतर प्रदर्शन करते हुए, ज़ीरो-शॉट एनवायरमेंटल साउंड क्लासिफिकेशन के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है।
नए बेंचमार्क्स (New Benchmarks): FSC22, ARCA23K-FSD, और TAU Urban Acoustics 2019 के लिए पहले ज़ीरो-शॉट लर्निंग बेंचमार्क प्रदान करता है।
व्यापक तुलना (Comprehensive Comparison): ज़ीरो-शॉट एनवायरमेंटल साउंड क्लासिफिकेशन के लिए GANs (LisGAN), VAEs (CADA-VAE), और डिफ्यूजन मॉडल्स की पहली सीधी तुलना प्रदान करता है।

महत्व और सीमाएं (Significance and Limitations)
लेखक इस कार्य को ऑडियो में ज़ीरो-शॉट लर्निंग के लिए डिफ्यूजन मॉडल्स को एक आशाजनक दृष्टिकोण के रूप में स्थापित करने के रूप में देखते हैं, जो भविष्य के अनुसंधान के लिए एक आधार प्रदान करता है। हालाँकि, पेपर जनरेटिव विधियों की विश्वसनीयता के संबंध में विनम्र है। यह स्पष्ट रूप से स्वीकार करता है कि हालांकि ZeroDiffusion सटीकता में सुधार करता है, लेकिन यह गैर-जनरेटिव बेसलाइन्स की तुलना में उच्च वेरिएंस और अस्थिरता से ग्रस्त है, विशेष रूप से छोटे डेटासेट्स पर। लेखक सुझाव देते हैं कि ज़ीरो-शॉट लर्निंग में सैद्धांतिक गारंटी की कमी और डेटासेट के आकार पर निर्भरता भविष्य की समझ के लिए महत्वपूर्ण क्षेत्र हैं। यह कार्य जनरेटिव मॉडल्स की अस्थिरता को हल करने का दावा नहीं करता है, बल्कि यह प्रदर्शित करता है कि पर्याप्त डेटा उपलब्ध होने पर वे उच्च सटीकता के लिए अपनी क्षमता दिखा सकते हैं।