Deep Learning Based Relative Transfer Matrix Estimation for Multiple Sources and Multiple Microphones

कल्पना कीजिए कि आप एक भीड़भाड़ वाले, गूँजने वाले कमरे में हैं जहाँ तीन अलग-अलग लोग एक साथ बात कर रहे हैं, और पृष्ठभूमि में एक तेज़ एयर कंडीशनर गुनगुना रहा है। आपके पास माइक्रोफ़ोन की एक टीम है जो केवल एक विशिष्ट आवाज़ को रिकॉर्ड करने की कोशिश कर रही है। यह "रोबोट ऑडिशन" और सुनने में सहायता करने वाले उपकरणों (हियरिंग एड्स) का दैनिक संघर्ष है: शोर और अन्य आवाजों के अराजक मिश्रण से एक अकेली आवाज़ को कैसे अलग किया जाए? ऐसा करने के लिए, कंप्यूटरों को कमरे के "ध्वनिक फिंगरप्रिंट" (अकॉस्टिक फिंगरप्रिंट) को समझने की आवश्यकता होती है—कि ध्वनि दीवारों से कैसे टकराती है और एक वक्ता से माइक्रोफ़ोन तक कैसे पहुँचती है। वैज्ञानिक इसे "ट्रांसफर फंक्शन" कहते हैं। लेकिन जब कई लोग एक ही समय में बात कर रहे होते हैं, तो गणित जटिल हो जाता है। इस अराजकता को संभालने के लिए "रिलेटिव ट्रांसफर मैट्रिक्स" (ReTM) नामक एक नया, अधिक शक्तिशाली उपकरण बनाया गया था। ReTM को एक मास्टर मैप की तरह समझें जो कंप्यूटर को ठीक-ठीक बताता है कि दो अलग-अलग माइक्रोफ़ोन समूहों के बीच ध्वनि कैसे चलती है, चाहे कोई भी बोल रहा हो। यदि हम इस मानचित्र का सटीक अनुमान लगा सकें, तो हम शोर भरी रिकॉर्डिंग को साफ कर सकते हैं, रोबोटों को बेहतर सुनने में मदद कर सकते हैं, और टेलीकॉन्फ्रेंस को एकदम स्पष्ट बना सकते हैं।

यह शोध पत्र कंप्यूटर को "डीप लर्निंग" नामक एक विशेष प्रकार की मानसिक शक्ति का उपयोग करके उस मानचित्र को बनाना सिखाने के बारे में है। पुराने जमाने के गणितीय सूत्रों का उपयोग करने के बजाय, जो जटिल शोर के साथ संघर्ष करते हैं, लेखकों ने तीन अलग-अलग प्रकार के कृत्रिम तंत्रिका नेटवर्क (आर्टिफिशियल न्यूरल नेटवर्क) को प्रशिक्षित किया ताकि वे माइक्रोफ़ोन की रिकॉर्डिंग को देख सकें और ReTM मानचित्र का अनुमान लगा सकें। उन्होंने इन डिजिटल दिमागों का परीक्षण एक विशिष्ट आयाम (6 × 7 × 3 मीटर) और 500 मिलीसेकंड के रेवरबरेशन समय वाले एक सिम्युलेटेड कमरे में किया, जिसमें दो या तीन ध्वनि स्रोत (जैसे व्हाइट नॉइज़, संगीत या भाषण) और 12 तक माइक्रोफ़ोन वाले परिदृश्य शामिल थे।

शोधकर्ताओं ने पाया कि उनके नए तरीके पारंपरिक, कोवेरिएंस-आधारित पद्धति की तुलना में इस मानचित्र का अनुमान लगाने में आम तौर पर बेहतर हैं। उन्होंने सिग्नल-टू-डिस्टॉर्शन रेशियो (SDR) और मीन स्क्वायर एरर (MSE) सहित पांच अलग-अलग मेट्रिक्स का उपयोग करके सफलता को मापा। एक मॉडल, जिसे FuSNet कहा जाता है, जो एक विशिष्ट प्रकार के फ़िल्टर का उपयोग करता है, तब सबसे अच्छा प्रदर्शन करता है जब शोर एकसमान (जैसे व्हाइट नॉइज़) होता है, और एक परीक्षण में 29.13 dB का SDR प्राप्त करता है। एक अन्य मॉडल, SCoNet, जो आवृत्ति-आधारित दृष्टिकोण का उपयोग करता है, ने भी बहुत अच्छा प्रदर्शन किया, और अक्सर पुराने तरीके को पीछे छोड़ दिया। हालाँकि, शोध पत्र एक मोड़ की ओर संकेत करता है: जबकि FuSNet मानचित्र का अनुमान लगाने में चैंपियन था, यह अंतिम लक्ष्य यानी भाषण को साफ करने में पूरी तरह से सफल नहीं रहा। जब टीम ने वास्तव में भाषण से शोर हटाने के लिए इन मानचित्रों का उपयोग करने की कोशिश की, तो FuSNet के परिणाम गिर गए, जिससे काफी प्रतिध्वनि (इको) रह गई। इसके विपरीत, अन्य मॉडलों, विशेष रूप से एक LSTM-आधारित नेटवर्क जिसे LAeNet कहा जाता है, ने उच्चतम भाषण स्पष्टता प्राप्त की, जिससे उनके परीक्षणों में SDR औसतन 10.55 dB बढ़ गया।

लेखक सावधानीपूर्वक यह स्पष्ट करते हैं कि ये परिणाम सिमुलेशन से आए हैं, वास्तविक दुनिया के फील्ड परीक्षणों से नहीं। वे स्पष्ट रूप से इस विचार का खंडन करते हैं कि पारंपरिक तरीका ही जाने का एकमात्र रास्ता है, यह दिखाते हुए कि डीप लर्निंग बेहतर सटीकता प्रदान कर सकता है, विशेष रूप से टाइम डोमेन में। हालाँकि, वे इस विचार को भी खारिज करते हैं कि सबसे अच्छा मानचित्र अनुमानक (मैप एस्टिमेटर) स्वतः ही सबसे अच्छा स्पीच क्लीनर होता है; "सबसे अच्छा" मॉडल विशिष्ट कार्य पर निर्भर करता है। शोध पत्र निष्कर्ष निकालता है कि हालांकि ये डीप लर्निंग फ्रेमवर्क ऑडियो प्रोसेसिंग के भविष्य के लिए आशाजनक उपकरण हैं, लेकिन वक्ताओं को अलग करने या प्रतिध्वनि को पूरी तरह से हटाने जैसे वास्तविक जीवन के अनुप्रयोगों के लिए उन्हें पूर्ण बनाने हेतु अभी भी बहुत काम किया जाना बाकी है।