⚡ electrical engineering

Unfolded Recursive Expectation-Maximization Neural Network For Speaker Tracking

यह शोध पत्र एक डीप अनफोल्डेड रिकर्सिव एक्सपेक्टेशन-मैक्सिमाइजेशन (REM) न्यूरल नेटवर्क प्रस्तावित करता है जो हल्के गूँज वाले वातावरण में एकल चलते हुए वक्ता को मजबूती से ट्रैक करने के लिए क्लासिकल CREM बेसलाइन्स से बेहतर प्रदर्शन करने हेतु स्टेप साइज नेटवर्क के माध्यम से एक एडेप्टिव अपडेट पॉलिसी सीखता है।

मूल लेखक: Rina Veler, Sharon Gannot

प्रकाशित 2026-07-30

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rina Veler, Sharon Gannot

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक भीड़भाड़ वाले कमरे में हैं, और एक ही दोस्त का पीछा करने की कोशिश कर रहे हैं जो चलते हुए बातें कर रहा है, जबकि दीवारें गूँज रही हैं और चारों ओर शोर भरा हुआ है। आपका मस्तिष्क इंजीनियरिंग का एक चमत्कार है, जो लगातार यह अनुमान लगाता है कि वह आवाज़ कहाँ से आ रही है, शोर को फ़िल्टर करता है, और आपके दोस्त के हिलने पर हर सेकंड अपने अनुमान को अपडेट करता है। यही साउंड सोर्स लोकलाइजेशन (SSL) यानी ध्वनि स्रोत स्थानीयकरण की चुनौती है। दशकों से, वैज्ञानिकों ने कंप्यूटर को यह करने के लिए सिखाने की कोशिश की है, लेकिन यह बेहद कठिन काम है। पारंपरिक तरीके घास के ढेर में सुई खोजने के समान हैं जहाँ हर एक तिनके को एक-एक करके जाँचा जाता है; वे शांत कमरों में तो ठीक काम करते हैं, लेकिन जब कमरे में गूँज (reverberation) होती है या स्रोत हिल रहा होता है, तो वे भ्रमित हो जाते हैं।

इस समस्या को हल करने के लिए, शोधकर्ताओं ने डीप न्यूरल नेटवर्क्स (DNNs) का उपयोग करना शुरू कर दिया है, जो मानव मस्तिष्क से प्रेरित कंप्यूटर सिस्टम हैं जो भारी मात्रा में डेटा से पैटर्न सीखते हैं। हालाँकि, ये "ब्लैक बॉक्स" सिस्टम समझने में कठिन हो सकते हैं और कभी-कभी गलत अनुमान लगा सकते हैं। एल्गोरिदम अनफोल्डिंग (Algorithm Unfolding) नामक एक चतुर मध्य मार्ग उभरा है। इसे इस तरह सोचें: एक क्लासिक, चरण-दर-चरण गणितीय रेसिपी को लेकर उसके प्रत्येक चरण को एक न्यूरल नेटवर्क की परत (layer) में बदल देना। इस तरह, कंप्यूटर उस रेसिपी का पालन करना सीखता है, लेकिन वह कठिन परिस्थितियों में निर्देशों को तुरंत बदलने (tweak करने) के लिए भी सीख सकता है। यह शोध पत्र ऑडियो विज्ञान के इसी विशिष्ट क्षेत्र में गहराई से उतरता है, जिसका लक्ष्य एक ऐसा कंप्यूटर बनाना है जो शोर वाले और गूँजते हुए कमरे में एक चलते हुए वक्ता को उसी सहजता से ट्रैक कर सके जैसे एक मानव श्रोता करता है।

पेपर का मुख्य विचार: एक स्मार्ट, स्व-समायोजित ट्रैकर

लेखक, रीना वेलर और शेरोन गनोट (बार-इलान यूनिवर्सिटी), एक नया सिस्टम प्रस्तावित करते हैं जिसे वे अनफोल्डेड रिकर्सिव एक्सपेक्टेशन-मैक्सिमाइज़ेशन (REM) न्यूरल नेटवर्क कहते हैं। उन्होंने क्या किया, इसे समझने के लिए, आइए उस समस्या को देखें जिसे वे ठीक कर रहे हैं।

कल्पio कि आप धुंधली तस्वीरों की एक श्रृंखला का उपयोग करके एक चलती हुई कार को ट्रैक करने की कोशिश कर रहे हैं। आपके पास एक गणितीय सूत्र है जो आपको नई फोटो के आधार पर कार के स्थान के बारे में अपने अनुमान को अपडेट करने के लिए बताता है। लेकिन एक पेंच है: आपको नई फोटो पर कितना भरोसा करना चाहिए बनाम अपने पुराने अनुमान पर? यदि आप नई फोटो पर बहुत अधिक भरोसा करते हैं, तो एक क्षणिक धुंधलेपन के कारण आपको लग सकता है कि कार सड़क के दूसरी ओर कूद गई है। यदि आप पुराने अनुमान पर बहुत अधिक भरोसा करते हैं, तो आप कार के मोड़ लेने पर ध्यान नहीं दे पाएंगे।

अतीत में, वैज्ञानिकों ने इस भरोसे के स्तर के लिए एक "फिक्स्ड शेड्यूल" (निश्चित समय सारणी) का उपयोग किया था। यह कुछ ऐसा था जैसे कहना, "पहले 10 सेकंड के लिए, नई फोटो पर 50% भरोसा करें; अगले 10 सेकंड के लिए, इस पर 40% भरोसा करें," चाहे कार वास्तव में तेज चल रही हो, धीमी हो रही हो, या स्थिर बैठी हो। यह स्थिर वस्तुओं के लिए तो काम करता है लेकिन गतिशील चीजों के लिए पूरी तरह विफल हो जाता है।

यह पेपर क्या करता है:
लेखकों ने एक डीप लर्निंग नेटवर्क बनाया है जो इस ट्रैकिंग प्रक्रिया को "अनफोल्ड" करता है। एक निश्चित शेड्यूल का उपयोग करने के बजाय, उन्होंने नेटवर्क को एक स्टेप साइज नेटवर्क (Step Size Network) सिखाया। यह सिस्टम का एक विशेष हिस्सा है जो वर्तमान स्थिति को देखता है—आवाज़ कैसे बदल रही है, सिस्टम कितना आश्वस्त है, और समय क्या है—और निर्णय लेता है, "अभी, मुझे नए डेटा पर थोड़ा भरोसा करना चाहिए," या "अभी, मुझे अपने पुराने अनुमान पर अधिक भरोसा करना चाहिए।"

उन्होंने नेटवर्क को समय और संदर्भ का बोध कराने के लिए फीचर-वाइज लीनियर मॉड्यूलेशन (FiLM) और पोजीशनल एनकोडिंग नामक तकनीक का उपयोग किया। यह एक ट्रैकर को स्मार्ट चश्मे देने जैसा है जो न केवल वर्तमान फ्रेम को देख सकता है, बल्कि पिछले कुछ फ्रेमों के "वाइब" (भाव) को भी समझ सकता है, जिससे वह अपनी रणनीति को तुरंत समायोजित कर सकता है।

उन्हें क्या मिला:
शोधकर्ताओं ने एक सिम्युलेटेड दुनिया में अपने सिस्टम का परीक्षण किया। उन्होंने एक वर्चुअल कमरा बनाया जिसमें एक अकेला वक्ता 0.5 मीटर/सेकंड की निरंतर गति से या तो एक सीधी रेखा में या एक वृत्त में चल रहा था। उन्होंने दो प्रकार के कमरे बनाए: एक जो पूरी तरह से शांत (anechoic) था और एक जिसमें भारी गूँज थी (RT60 = 0.3 s)। उन्होंने नेटवर्क को सिखाने के लिए 8,000 ट्रेनिंग सैंपल्स और 2,000 वैलिडेशन सैंपल्स का उपयोग किया।

परिणाम उत्साहजनक थे। शांत कमरे में, उनके नए नेटवर्क ने औसत त्रुटि (रूट मीन स्क्वायर एरर, या RMSE) 0.25 मीटर हासिल की, जो लगभग एक बड़े कदम की लंबाई के बराबर है। गूँज वाले कमरे में, त्रुटि बढ़कर 0.55 मीटर हो गई।

जब उन्होंने पुराने तरीके (जिसे CREM कहा जाता है, जो एक निश्चित "भरोसे के स्तर" या स्टेप साइज का उपयोग करता है: 0.25, 0.5, या 0.75) के साथ इसकी तुलना की, तो नया नेटवर्क जीत गया।

शांत कमरे में, 0.5 के स्टेप साइज वाले पुराने तरीके में 0.67 मीटर की त्रुटि थी, और 0.75 के साथ यह 1.44 मीटर तक पहुँच गई। नया नेटवर्क बहुत अधिक सटीक था।
गूँज वाले कमरे में, पुराना तरीका और भी संघर्ष करता दिखा, जहाँ स्टेप साइज के आधार पर त्रुटियाँ 0.74 से 0.86 मीटर के बीच थीं, जबकि नया नेटवर्क 0.55 मीटर पर बना रहा।

शायद सबसे महत्वपूर्ण बात यह थी कि नया नेटवर्क अधिक स्थिर था। गूँज वाले कमरे में, पुराना तरीका वक्ता को 0.5-मीटर के दायरे के भीतर रखने में (स्टेप साइज के आधार पर) 87% से 97% बार विफल रहा, जबकि नया नेटवर्क केवल 56% बार विफल हुआ।

"अहा!" वाला क्षण (The "Aha!" Moment):
सबसे दिलचस्प खोज यह थी कि नेटवर्क ने वास्तव में क्या सीखा। शांत कमरे में, नेटवर्क ने स्वाभाविक रूप से एक कम "भरोसे" वाले मान (लगभग 0.25) का उपयोग करना सीखा, जो सबसे अच्छा प्रदर्शन करने वाले फिक्स्ड सेटिंग के समान था। लेकिन गूँज वाले कमरे में, इसने बहुत अधिक सतर्क होना सीखा, और अपने भरोसे के स्तर को घटाकर 0.02 से 0.1 के बीच कर दिया। इससे पता चलता है कि नेटवर्क ने समझ लिया कि शोर वाले और गूँजते वातावरण में, एक विकृत ध्वनि स्नैपशॉट से डरने के बजाय अपने संचित इतिहास (accumulated history) पर भरोसा करना अधिक सुरक्षित है।

सीमाएँ:
यह ध्यान रखना महत्वपूर्ण है कि ये परिणाम सिमुलेशन से आए हैं। डेटा एक कंप्यूटर प्रोग्राम का उपयोग करके बनाया गया था जो कमरे में ध्वनि तरंगों की नकल करता है, न कि वास्तविक घर में वास्तविक माइक्रोफोन से। सिमुलेशन में वक्ता निरंतर वेग (constant velocity) से चला, जिसका अर्थ है कि वह अचानक रुका नहीं, शुरू नहीं हुआ या दिशा नहीं बदली। लेखक स्वीकार करते हैं कि हालांकि यह तरीका एक महत्वपूर्ण प्रगति है, फिर भी इसे अत्यधिक गूँज वाली वास्तविक दुनिया की स्थितियों और अप्रत्याशित रूप से चलने वाले वक्ताओं के साथ परीक्षण करने की आवश्यकता है।

संक्षेप में, यह पेपर सुझाव देता है कि कंप्यूटर को केवल एक कठोर नियम पुस्तिका का पालन करने के बजाय, इस बारे में "सोचना" सिखाकर कि उसे नई जानकारी पर कितना भरोसा करना चाहिए, हम शोर भरे वातावरण में आवाजों को ट्रैक करने के लिए बहुत बेहतर सिस्टम बना सकते हैं। यह एक कठोर रोबोट से एक अधिक सहज, अनुकूलन योग्य श्रोता बनने की ओर एक कदम है।

तकनीकी सारांश: स्पीकर ट्रैकिंग के लिए अनफोल्डेड रिकर्सिव एक्सपेक्टेशन-मैक्सिमाइजेशन न्यूरल नेटवर्क

समस्या विवरण
यह शोध पत्र हल्के प्रतिध्वनि (reverberant) वाले वातावरण में एक एकल चलते हुए वक्ता (speaker) को मजबूती से ट्रैक करने की चुनौती को संबोधित करता है। पारंपरिक साउंड सोर्स लोकलाइजेशन (SSL) विधियाँ जैसे कि SRP-PHAT, MUSIC, और मैक्सिमम लाइक्लीहुड एस्टीमेशन (MLE), प्रतिकूल ध्वनिक स्थितियों में संघर्ष करती हैं, जबकि विशुद्ध रूप से डेटा-संचालित डीप न्यूरल नेटवर्क (DNNs) अक्सर व्याख्यात्मकता (interpretability) की कमी रखते हैं। विशेष रूप से, मौजूदा बैच-ओरिएंटेड DNN दृष्टिकोण, जैसे कि स्थिर स्रोत क्लस्टरिंग के लिए एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) का उपयोग करना, उन टेम्पोरल निरंतरता (temporal consistency) को बनाए रखने में विफल रहते हैं जो गतिशील स्पीकर ट्रैकिंग के लिए आवश्यक है। इसके अतिरिक्त, रिकर्सिव वेरिएंट्स, जैसे कि कैपे और मोलिन्स (Cappé and Moulines) का REM (CREM), फिक्स्ड-स्टेप-साइज़ डिके शेड्यूल पर निर्भर करते हैं। गतिशील ट्रैकिंग परिदृश्यों में जहाँ वक्ता की स्थिति समय के साथ बदलती है, ये फिक्स्ड शेड्यूल उप-इष्टतम (suboptimal) होते हैं, क्योंकि स्टेप साइज ( $\gamma_t$ ) को पूर्व-निर्धारित ह्यूरिस्टिक के बजाय अंतर्निहित गतिकी (dynamics) के अनुसार अनुकूलित होना चाहिए।

कार्यप्रणाली (Methodology)
लेखक एक डीप अनफोल्डेड रिकर्सिव EM (REM) नेटवर्क प्रस्तावित करते हैं जो एक एनकोडर-डिकोडर आर्किटेक्चर के भीतर समाहित है। यह दृष्टिकोण CREM की इटरेटिव प्रक्रिया को डिफरेंशिएबल लेयर्स में "अनफोल्ड" करता है, जिससे नेटवर्क को एक एडेप्टिव, डेटा-संचालित अपडेट पॉलिसी सीखने की अनुमति मिलती है।

समस्या का निरूपण (Problem Formulation): सिस्टम माइक्रोफ़ोन जोड़ों से प्राप्त पेयर-वाइज रिलेटिव फेज रेशियो (PRP) फीचर्स का उपयोग करके प्राप्त सिग्नल को मॉडल करता है। ध्वनिक वातावरण को एक कॉम्प्लेक्स गॉसियन मिश्रण मॉडल (CGMM) के रूप में मॉडल किया गया है जिसमें दो घटक हैं: एक चलते हुए वक्ता के लिए और एक शोर/स्प्यूरियस अनुमानों के लिए।
रिकर्सिव EM (CREM) आधार: क्लासिकल CREM एल्गोरिदम पर्याप्त सांख्यिकी (sufficient statistics) को रिकर्सिव रूप से संचित करके फ्रेम-दर-फ्रेम मापदंडों को अपडेट करता है। मुख्य अपडेट नियम एक समय-परिवर्तनीय स्मूथिंग कोएफिशिएंट (स्टेप साइज) $\gamma_t$ का उपयोग करता है, जो वर्तमान अवलोकनों के विरुद्ध पिछले सूचना के संतुलन को बनाए रखता है।
अनफोल्डेड आर्किटेक्चर:
- एनकोडर-डिकोडर फ्रेमवर्क: नेटवर्क उम्मीदवार स्थानिक स्थितियों को प्रारंभिक PRP वेक्टर (एनकोडर) में मैप करता है और रिफाइंड PRP अनुमानों को वापस स्थानिक निर्देशांकों (डिकोडर) में अनुवादित करता है। यह संरचना ऑनलाइन ट्रैकिंग को सुगम बनाती है।
- स्टेप-साइज़ नेटवर्क: प्राथमिक नवाचार एक सब-नेटवर्क है जो फिक्स्ड $\gamma_t$ को एक सीखे गए, एडेप्टिव फंक्शन से बदल देता है। यह नेटवर्क फीचर-वाइज लीनियर मॉड्यूलेशन (FiLM) और पोजीशनल एनकोडिंग (PE) का उपयोग करता है। यह वर्तमान समय सूचकांक, पिछले मॉडल मापदंडों ( $\psi, \sigma^2$ ) और ऑब्जर्वेशन हिस्ट्री ( $\phi, \Delta\phi$ ) से युक्त एक कंडीशनिंग वेक्टर का उपयोग करके स्केलिंग ( $\alpha$ ) और शिफ्टिंग ( $\beta$ ) पैरामीटर उत्पन्न करता है। ये पैरामीटर इंटरमीडिएट फीचर्स को मॉड्युलेट करते हैं ताकि एक स्केलर स्टेप साइज $\gamma_t \in [0, 1]$ आउटपुट किया जा सके।
- ट्रेनिंग ऑब्जेक्टिव: नेटवर्क को एक टाइम-वेटेड कंपोजिट लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है। इसमें बड़े शुरुआती ऑफसेट्स के खिलाफ ग्रेडिएंट्स को स्थिर करने के लिए एक लॉगरिदमिक डिस्टेंस एरर और PRP एलाइनमेंट के लिए एक कोसाइन सिमिलरिटी टर्म शामिल है। प्रारंभिक अभिसरण (convergence) अवधि के दौरान लॉस वेट्स पर एक लीनियर वॉर्मअप शेड्यूल लागू किया जाता है।

मुख्य योगदान

एल्गोरिदम अनफोल्डिंग: यह पेपर इटरेटिव CREM एल्गोरिदम को एक डिफरेंशिएबल न्यूरल नेटवर्क में बदलकर व्याख्यात्मकता और डेटा-संचालित प्रदर्शन के बीच के अंतर को पाटता है।
एडेप्टिव स्टेप-साइज़ पॉलिसी: क्लासिकल REM के विपरीत, जो फिक्स्ड डिके शेड्यूल का उपयोग करता है, प्रस्तावित विधि टेम्पोरल कॉन्टेक्स्ट और कन्वर्जेंस स्टेट के आधार पर एक डायनेमिक स्टेप-साइज़ पॉलिसी सीखती है।
हाइब्रिड आर्किटेक्चर: रिकर्सिव पर्याप्त सांख्यिकी अपडेट के साथ एनकोडर-डिकोडर संरचना का एकीकरण ऑफलाइन बैच प्रोसेसिंग की आवश्यकता के बिना ऑनलाइन ट्रैकिंग को सक्षम बनाता है।

प्रायोगिक परिणाम
प्रस्तावित विधि का मूल्यांकन वॉल स्ट्रीट जर्नल (WSJ) कॉर्पस से प्राप्त एक सिंथेटिक डेटासेट पर किया गया, जो विभिन्न आयामों और प्रतिध्वनि समय ($RT60 = 0 $s और$ 0.3$ s) वाले कमरों में 0.5 m/s की गति से चलते हुए एकल वक्ता का अनुकरण करता है।

प्रदर्शन: एनोइकोइक (anechoic) और प्रतिध्वनि (reverberant) दोनों स्थितियों में, अनफोल्डेड नेटवर्क ने क्लासिकल CREM बेसलाइन की तुलना में कम रूट मीन स्क्वायर एरर (RMSE) प्राप्त किया।
- एनोइकोइक स्थितियों में, नेटवर्क ने 0.25 m का RMSE प्राप्त किया, जो उच्च स्टेप साइज वाले फिक्स्ड-स्टेप बेसलाइन्स से बेहतर प्रदर्शन करता है और सर्वश्रेष्ठ फिक्स्ड स्टेप साइज ( $\gamma=0.25$ ) के प्रदर्शन से मेल खाता है।
- प्रतिध्वनि स्थितियों ($RT60=0.3$ s) में, नेटवर्क ने 0.55 m का RMSE प्राप्त किया, जो सभी फिक्स्ड-स्टेप बेसलाइन्स (जो 0.74 m से 0.86 m के बीच थे) से काफी बेहतर था।
एरर डिस्ट्रीब्यूशन: प्रस्तावित विधि का एरर डिस्ट्रीब्यूशन बेसलाइन की तुलना में निचले मानों पर अधिक केंद्रित था, जो उच्च स्थिरता को दर्शाता है।
सीखा गया व्यवहार: सीखे गए मापदंडों के विश्लेषण से पता चला कि नेटवर्क ध्वनिक वातावरण के आधार पर $\gamma_t$ को गतिशील रूप से समायोजित करता है। एनोइकोइक परिदृश्यों में, $\gamma_t$ 0.25 के आसपास उतार-चढ़ाव करता था, जबकि प्रतिध्वनि स्थितियों में, यह घटकर 0.02–0.1 की रेंज में आ गया, जिससे ट्रैकिंग प्रक्रिया प्रभावी रूप से स्थिर हो गई।

महत्व और दावे
पेपर का दावा है कि प्रस्तावित अनफोल्डेड नेटवर्क गतिशील ध्वनिक परिदृश्यों के लिए हाइब्रिड दृष्टिकोणों की क्षमता प्रदर्शित करता है। एक एडेप्टिव अपडेट पॉलिसी को सीखकर, मॉडल गतिशील स्रोत ट्रैकिंग में ह्यूरिस्टिक स्टेप-साइज़ शेड्यूल्स की सीमाओं को दूर करता है। परिणाम दर्शाते हैं कि विधि क्लासिकल रिकर्सिव विधि की तुलना में ट्रैकिंग सटीकता और कन्वर्जेंस स्पीड दोनों में सुधार करती है। लेखक नोट करते हैं कि हालांकि विधि आशाजनक है, अत्यधिक प्रतिध्वनि वाली स्थितियों और परिवर्तनशील वक्ता वेग एवं प्रक्षेपवक्र (trajectories) वाले परिदृश्यों को संबोधित करने के लिए भविष्य के कार्य की आवश्यकता है।

पेपर का मुख्य विचार: एक स्मार्ट, स्व-समायोजित ट्रैकर

इसी तरह के और पेपर