⚡ electrical engineering

Brain-Informed Speech Separation for Cochlear Implants

यह शोध पत्र कोक्लियर इम्प्लांट्स के लिए एक हल्का, कम-विलंबता वाला मस्तिष्क-सूचित स्पीच सेपरेशन (speech separation) तरीका प्रस्तावित करता है जो अटेंडेड स्पीकर को मजबूती से बढ़ाने और लेबल-परम्यूटेशन अस्पष्टता को हल करने के लिए ऑडियो मिश्रणों को ईईजी-व्युत्पन्न (EEG-derived) अटेंशन संकेतों के साथ संलयित करता है, जिससे ऑडियो-ओनली बेसलाइन की तुलना में सिग्नल-टू-इंटरफेरेंस रेश्यो में बेहतर सुधार प्राप्त होता है।

मूल लेखक: Tom Gajecki, Jonas Althoff, Waldo Nogueira

प्रकाशित 2026-02-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tom Gajecki, Jonas Althoff, Waldo Nogueira

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शोर-शराबे वाली, भीड़भाड़ वाली पार्टी में हैं ("कॉकटेल पार्टी" समस्या)। आप अपने दोस्त को सुनने की कोशिश कर रहे हैं, लेकिन बैकग्राउंड का शोर और अन्य बातचीत उनकी आवाज़ को दबा रही है। उन लोगों के लिए जो कोक्लियर इम्प्लांट्स (CIs) का उपयोग करते हैं—जो सीधे तंत्रिका (nerve) तक विद्युत संकेत भेजकर सुनने की क्षमता बहाल करने में मदद करते हैं—यह स्थिति विशेष रूप से कठिन होती है। वर्तमान उपकरण एक स्मार्ट रेडियो की तरह हैं जो पूरे कमरे की आवाज़ को कम कर सकते हैं, लेकिन वे यह नहीं बता सकते कि आप किस आवाज़ को सुनना चाहते हैं। वे सब कुछ समान रूप से प्रोसेस करते हैं।

यह शोध पत्र इस समस्या को हल करने का एक नया तरीका प्रस्तावित करता है, जो डिवाइस को एक "मस्तिष्क संबंध" (brain connection) प्रदान करता है। यहाँ उनके विचार का सरल विवरण दिया गया है:

1. समस्या: डिवाइस को नहीं पता कि आप किसकी ओर देख रहे हैं

एक मानक कोक्लियर इम्प्लांट को मिश्रित सब्जियों के एक थैले के आधार पर सूप बनाने की कोशिश करने वाले शेफ के रूप में सोचें। शेफ सब्जियों को काट तो सकता है, लेकिन उसे यह नहीं पता कि आप वास्तव में क्या खाना चाहते हैं। यदि आप गाजर (आपके दोस्त की आवाज़) पर ध्यान केंद्रित करना चाहते हैं लेकिन शेफ आलू (बैकग्राउंड शोर) भी मिलाता रहता है, तो सूप का स्वाद खराब हो जाता है।

वर्तमान AI समाधान आवाज़ों को अलग करने की कोशिश करते हैं, लेकिन उनमें एक "अनुमान लगाने का खेल" (guessing game) वाली समस्या होती है। वे कह सकते हैं, "ठीक है, मैंने आवाज़ों को अलग कर दिया है, लेकिन मुझे यह नहीं पता कि आपका दोस्त कौन है और अजनबी कौन है।" उपयोगकर्ता या कोई अलग सिस्टम अनुमान लगाता है, जो धीमा और त्रुटिपूर्ण होता है।

2. समाधान: एक "ब्रेन-कंपास" (Brain-Compass)

लेखकों ने एक ऐसा सिस्टम बनाया है जो EEG (इलेक्ट्रोएन्सेफालोग्राफी) का उपयोग करता है, जो मस्तिष्क की विद्युत गतिविधि को मापता है।

उपमा: कल्पना करें कि आपका मस्तिष्क एक स्पॉटलाइट है। जब आप अपने दोस्त पर ध्यान केंद्रित करते हैं, तो आपका मस्तिष्क स्वाभाविक रूप से एक विशिष्ट पैटर्न में "चमकता" है जो उनकी आवाज़ को ट्रैक करता है।
नवाचार: नया सिस्टम एक "ब्रेन-कंपास" की तरह काम करता है। यह आपके मस्तिष्क से इस "स्पॉटलाइट" सिग्नल को पढ़ता है और कोक्लियर इम्प्लांट को ठीक-ठीक बताता है कि किसे रखना है और किसे अनदेखा करना है।

3. यह कैसे काम करता है: "लाइटवेट फ्यूजन" (Lightweight Fusion)

शोधकर्ताओं ने एक छोटा, तेज़ कंप्यूटर प्रोग्राम (एक न्यूरल नेटवर्क) बनाया जो दो काम एक साथ करता है:

यह शोर भरी ऑडियो (पार्टी का शोर) को सुनता है।
यह "ब्रेन-कंपास" सिग्नल (आप किस पर ध्यान दे रहे हैं) को पढ़ता है।

सिर्फ अनुमान लगाने के बजाय, सिस्टम इन दोनों इनपुट्स को फ्यूज (fuse) करता है। यह एक ऐसे शेफ की तरह है जिसके पास न केवल सब्जियों का थैला है, बल्कि आपसे एक नोट भी है कि "मुझे केवल गाजर चाहिए।" सिस्टम फिर विशेष रूप से उस आवाज़ के लिए एक साफ "विद्युत रेसिपी" (इलेक्ट्रोडोग्राम) तैयार करता है जिस पर आप ध्यान केंद्रित कर रहे हैं।

मुख्य लाभ: क्योंकि मस्तिष्क का सिग्नल सिस्टम को बताता है कि उसे कौन सी आवाज़ चुननी है, इसलिए सिस्टम को अनुमान लगाने की आवश्यकता नहीं होती। यह दो भ्रमित करने वाले विकल्पों के बजाय एक ही सही आउटपुट प्रदान करता है।

4. प्रशिक्षण की चुनौती: "शोर भरी कक्षा"

यहाँ पेचीदा हिस्सा है: वास्तविक दुनिया में, मस्तिष्क के सिग्नल बहुत अव्यवस्थित होते हैं। आप अपना सिर हिला सकते हैं, पसीना आ सकता है, या आपका ध्यान भटक सकता है, जिससे "ब्रेन-कंपास" सिग्नल धुंधला या अविश्वसनीय हो जाता है। यदि आप केवल एक परफेक्ट कंपास के साथ काम करने के लिए रोबोट को प्रशिक्षित करते हैं, तो वह विफल हो जाएगा जैसे ही कंपास थोड़ा डगमगाएगा।

इसे ठीक करने के लिए, लेखकों ने करिकुलम लर्निंग (Curriculum Learning) नामक शिक्षण पद्धति का उपयोग किया।

उपमा: कल्पना करें कि आप एक छात्र को गाड़ी चलाना सिखा रहे हैं।
- खराब शिक्षक: छात्र को केवल एक आदर्श, खाली हाईवे पर गाड़ी चलाने देता है। जब वह बारिश वाली सड़क पर पहुँचता है, तो दुर्घटनाग्रस्त हो जाता है।
- इस शोध पत्र का शिक्षक: छात्र को एक आदर्श हाईवे से शुरू करता है, लेकिन धीरे-धीरे बारिश, फिर कोहरा, फिर भारी ट्रैफिक पेश करता है। महत्वपूर्ण बात यह है कि वे इन स्थितियों को रैंडमली (randomly) मिक्स करते हैं। कभी छात्र आदर्श मौसम में गाड़ी चलाता है, तो कभी तूफान में।
परिणाम: "मिक्स्ड करिकुलम" के साथ प्रशिक्षित मॉडल बहुत अधिक मजबूत (robust) बना। इसने आदर्श मस्तिष्क संकेतों और अव्यवस्थित संकेतों, दोनों को संभालने के लिए खुद को ढाल लिया। यह केवल एक प्रकार के मौसम के लिए ओवरफिट नहीं हुआ।

5. परिणाम

बेहतर श्रवण: जब मस्तिष्क का सिग्नल विश्वसनीय था, तो नए सिस्टम ने मानक ऑडियो-ओनली सिस्टम की तुलना में आवाज़ों को बहुत बेहतर तरीके से अलग किया।
छोटा और तेज़: सिस्टम बहुत छोटा (पुराने वाले के लगभग समान आकार का) और अविश्वसनीय रूप से तेज़ (केवल 2 मिलीसेकंड का विलंब) है, जिसका अर्थ है कि यह सैद्धांतिक रूप से वास्तविक इम्प्लांट हार्डवेयर पर बिना किसी देरी के चल सकता है।
मजबूती (Robustness): भले ही "ब्रेन सिग्नल" थोड़ा शोर भरा (मध्यम सहसंबंध/correlation) था, फिर भी "मिक्स्ड करिकुलम" के साथ प्रशिक्षित सिस्टम अच्छा प्रदर्शन करता रहा, जबकि अन्य तरीके विफल हो गए।

सारांश

यह शोध पत्र कोक्लियर इम्प्लांट्स के लिए एक "ब्रेन-इंफॉर्म्ड" अपग्रेड प्रस्तुत करता है। केवल शोर सुनने के बजाय, डिवाइस अब यह सुनता है कि आपका मस्तिष्क किस चीज़ पर ध्यान दे रहा है। AI को वास्तविक दुनिया के शोर भरे मस्तिष्क संकेतों (एक "मिक्स्ड करिकुलम" का उपयोग करके) को संभालने के लिए प्रशिक्षित करके, उन्होंने एक ऐसा सिस्टम बनाया है जो स्मार्ट, अधिक विश्वसनीय और शोर भरे कमरे में किसी एक आवाज़ पर ध्यान केंद्रित करने में उपयोगकर्ताओं की बेहतर मदद करने में सक्षम है।

नोट: शोध पत्र स्पष्ट रूप से कहता है कि हालांकि उन्होंने इस अध्ययन के लिए एक "प्रॉक्सी" (एक सिमुलेशन) का उपयोग किया है, अगला कदम वास्तविक उपयोगकर्ताओं से वास्तविक मस्तिष्क डेटा के साथ इसका परीक्षण करना है।

तकनीकी सारांश: कॉक्लियर इंप्लांट्स के लिए ब्रेन-इन्फॉर्म्ड स्पीच सेपरेशन

1. समस्या विवरण

कॉक्लियर इंप्लांट्स (CIs) ने गंभीर से अत्यधिक श्रवण हानि के उपचार में क्रांति ला दी है, फिर भी उपयोगकर्ता "कॉकटेल पार्टी" परिदृश्यों में संघर्ष करते हैं जहाँ कई वक्ता एक साथ ओवरलैप होते हैं। पारंपरिक ध्वनि कोडिंग रणनीतियाँ (जैसे ACE) श्रोता की संज्ञानात्मक स्थिति या चयनात्मक ध्यान का स्पष्ट रूप से लाभ उठाए बिना ध्वनिक ऊर्जा को विद्युत उत्तेजना (electrical stimulation) में मैप करती हैं। हालाँकि डीप लर्निंग ने एंड-टू-एंड CI प्रोसेसिंग पाइपलाइनों को सक्षम किया है जिससे मजबूती बढ़ी है, मानक ऑडियो-ओनली मॉडल इस बात के प्रति अनभिज्ञ रहते हैं कि श्रोता को किस विशिष्ट वक्ता पर ध्यान देना चाहिए। इसके अतिरिक्त, कई स्रोतों को अलग करने से "लेबल-परम्यूटेशन एम्बिग्युटी" (label-permutation ambiguity) उत्पन्न हो सकती है, जहाँ मॉडल वक्ताओं को मनमाने ढंग से आउटपुट असाइन करता है, जिसके लिए बाहरी चयन तंत्र की आवश्यकता होती है।

यह शोध पत्र प्रस्तावित करता है कि इलेक्ट्रोएन्सेफलोग्राफी (EEG) शीर्ष-डाउन (top-down) जानकारी का एक सिद्धांतपूर्ण स्रोत प्रदान करती है, क्योंकि कॉर्टिकल प्रतिक्रियाएं प्रतिस्पर्धी वक्ताओं की तुलना में लक्षित वक्ता के एनवेलप (envelope) को अधिक मजबूती से ट्रैक करती हैं। चुनौती इन शोर वाले, परिवर्तनशील और आर्टिफैक्ट-प्रोन (artifact-prone) EEG-व्युत्पन्न ध्यान संकेतों (attention cues) को एक CI-विशिष्ट प्रोसेसिंग पाइपलाइन में एकीकृत करने में निहित है जो कच्चे वेवफॉर्म के बजाय इलेक्ट्रोडोग्राम्स (उत्तेजना पैटर्न) आउटपुट करती है, जबकि कम विलंबता (latency) और हार्डवेयर व्यवहार्यता बनाए रखती है।

2. कार्यप्रणाली

सिस्टम आर्किटेक्चर

लेखक DeepACE परिवार पर आधारित एक कॉम्पैक्ट, कॉज़ल, एंड-टू-एंड ब्रेन-इन्फॉर्म्ड स्पीच सेपरेशन सिस्टम का प्रस्ताव करते हैं। आर्किटेक्चर में शामिल हैं:

ऑडियो एनकोडर: एक कनवल्शनल एनकोडर जो मोनाउरल मिश्रण $x(n)$ को फीचर्स $F_{audio}$ में मैप करता है।
EEG एनकोडर: एक अलग एनकोडर जो अटेंशन क्यू $e(n)$ को प्रोसेस करके फीचर्स $F_{EEG}$ जनरेट करता है।
लाइटवेट फ्यूजन लेयर: दोनों मोडैलिटीज को एलिमेंट-वाइज मल्टीप्लिकेशन ( $F_{fused} = F_{audio} \odot F_{EEG}$ ) के माध्यम से फ्यूज किया जाता है।
मास्क जनरेटर और डिकोडर: एक टेम्पोरल कनवल्शनल नेटवर्क एक सिंगल मास्क बनाता है जिसे ऑडियो फीचर्स पर लागू किया जाता है, जिन्हें फिर एक सिंगल अटेंडेड-सोर्स इलेक्ट्रोडोग्राम $\hat{p}_{att}$ में डिकोड किया जाता है।

प्रमुख डिजाइन विकल्प: बेसलाइन ऑडियो-ओनली मॉडल (जो दो स्रोत आउटपुट करता है और एम्बिग्युटी को हल करने के लिए परम्यूटेशन-इनवेरिएंट ट्रेनिंग की आवश्यकता होती है) के विपरीत, यह ब्रेन-इन्फॉर्म्ड मॉडल अटेंशन क्यू द्वारा निर्देशित एक सिंगल आउटपुट उत्पन्न करता है, जो स्वाभाविक रूप से लेबल-परम्यूटेशन एम्बिग्युटी को हल करता है।

प्रशिक्षण रणनीति: करिकुलम लर्निंग (Curriculum Learning)

यह पहचानते हुए कि वास्तविक EEG संकेत शोर, कम SNR और अंतर-श्रोता परिवर्तनशीलता के कारण खराब होते हैं, लेखक मजबूती में सुधार के लिए करिकुलम लर्निंग का उपयोग करते हैं। वे तीन रणनीतियों की तुलना करते हैं:

नो करिकुलम (ओरेकल - Oracle): केवल स्वच्छ संकेतों (clean cues) पर प्रशिक्षण (अपार सीमा संदर्भ)।
प्लेन करिकुलम (Plain Curriculum): प्रशिक्षण के दौरान क्यू में प्रोग्रेसिव रूप से गाऊसी शोर (Gaussian noise) का परिचय।
मिक्सड करिकुलम (Mixed Curriculum): एक संभावabilistic सैंपलिंग रणनीति जहाँ मॉडल प्रत्येक एपोक (epoch) में स्वच्छ संकेतों (30%), शेड्यूल्ड डिग्रेडेड संकेतों (65%), और इंटरमीडिएट नॉइज़ स्तरों (5%) के संपर्क में आता है। यह एक एकल क्यू रिजीम के प्रति ओवरफिटिंग को रोकता है।

डेटा और मूल्यांकन

डेटासेट: Libri2Mix (16 kHz) से दो-वक्ता मिश्रण।
क्यू जनरेशन: एक प्रॉक्सी अटेंशन क्यू को लक्षित स्पीच एनवेलप को रेक्टिफाई और ब्लॉक-एवरेज करके जनरेट किया जाता है, फिर उसे अपसैंपल किया जाता है। यह पूर्ण ऑडिटरी अटेंशन डिकोडिंग (AAD) फ्रंट-एंड की आवश्यकता के बिना क्यू विश्वसनीयता के डाउनस्ट्रीम प्रभाव को आइसोलेट करता है।
मेट्रिक्स: प्रदर्शन का मूल्यांकन इलेक्ट्रोडोग्राम डोमेन में निम्नलिखित का उपयोग करके किया जाता है:
- सिग्नल-टू-इंटरफेरेंस रेशियो इम्प्रूवमेंट ( $SIR_i$ ): मिश्रण के सापेक्ष एरर रिडक्शन को मापता है।
- लीनियर क्रॉस-कोरिलेशन (LCC): इलेक्ट्रोड्स के बीच टेम्पोरल एनवेलप पैटर्न के संरक्षण को मापता है, जो CI धारणा के लिए महत्वपूर्ण है।

3. प्रमुख योगदान

कॉम्पैक्ट EEG-अकूस्टिक फ्यूजन मॉडल: एक लाइटवेट नेटवर्क (~167k पैरामीटर्स) जो एक सिंगल अटेंडेड इलेक्ट्रोडोग्राम बनाने के लिए ऑडियो और EEG फीचर्स को फ्यूज करता है, जिससे आउटपुट सिलेक्शन की आवश्यकता समाप्त हो जाती है और परम्यूटेशन एम्बिग्युटी से बचा जा सकता है।
मिक्सड करिकुलम रणनीति: एक अभिनव प्रशिक्षण दृष्टिकोण जो मॉडल को विभिन्न डिग्री के क्यू डिग्रेडेशन के संपर्क में लाता है। यह स्थिर प्रदर्शन लाभ प्रदान करता है, भले ही EEG-स्पीच सहसंबंध मध्यम हो, जो अविश्वसनीय न्यूरल संकेतों के व्यावहारिक बॉटलनेक को संबोधित करता है।
CI-विशिष्ट बेंचमार्किंग: यह कार्य वेवफॉर्म एन्हांसमेंट के बजाय इलेक्ट्रोडोग्राम डोमेन (उत्तेजना स्तरों) पर केंद्रित है, जो यह सीधा आकलन प्रदान करता है कि अटेंशन क्यू कैसे CI-विशिष्ट प्रोसेसिंग में सुधार कर सकते हैं।

4. परिणाम

बेसलाइन बनाम प्रदर्शन: ओरेकल (परफेक्ट) क्यू के साथ, ब्रेन-इन्फॉर्म्ड मॉडल सभी इनपुट सिग्नल-टू-इंटरफेरेंस रेशियो (SIR) स्तरों पर ऑडियो-ओनली बेसलाइन से लगातार बेहतर प्रदर्शन करता है, और उच्च $SIR_i$ प्राप्त करता है।
क्यू डिग्रेडेशन के प्रति मजबूती:
- प्लेन करिकुलम: प्रदर्शन शुरू में क्यू सहसंबंध ( $\rho$ ) के साथ बढ़ता है लेकिन उच्च $\rho$ पर गिर जाता है, जो भारी डिग्रेड किए गए डेटा पर प्रशिक्षण के बाद क्लीन क्यूज़ के प्रति कम जनरलाइजेशन को दर्शाता है।
- मिक्सड करिकुलम: यह रणनीति क्यू सहसंबंध की पूरी रेंज में सबसे स्थिर प्रदर्शन प्रदान करती है। यह उच्च $SIR_i$ और लीनियर क्रॉस-कोरिलेशन (LCC) स्कोर बनाए रखता है, भले ही क्यू शोर वाले हों, और प्लेन करिकुलम में देखे गए प्रदर्शन ड्रॉप से बचता है जब क्यू स्वच्छ होते हैं।
टेम्पोरल प्रिजर्वेशन: मिक्सड करिकुलम दृष्टिकोण सभी इलेक्ट्रोड्स में उच्चतम LCC प्राप्त करता है, जो सुझाव देता है कि यह CI में स्पीच इंटेलिजिबिलिटी के लिए आवश्यक टेम्पोरल मॉड्यूलेशन पैटर्न को बेहतर ढंग से संरक्षित करता है।
दक्षता: प्रस्तावित मॉडल ऑडियो-ओनली बेसलाइन (~~171k पैरामीटर्स) की तुलना में थोड़ा छोटा (~~167k पैरामीटर्स) है और 2 ms की कम एल्गोरिथमिक लेटेंसी बनाए रखता है।

5. महत्व और दावे

यह पेपर दावा करता है कि श्रवण और न्यूरल संकेतों को जोड़ना संज्ञानात्मक रूप से अनुकूलन योग्य (cognitively adaptive) CI प्रोसेसिंग के लिए एक आशाजनक मार्ग प्रदान करता है। प्राथमिक महत्व यह प्रदर्शित करने में है कि:

अटेंशन क्यू मल्टी-टॉकर परिदृश्यों में व्यवहारिक रूप से प्रासंगिक वक्ता की ओर एन्हांसमेंट को प्रभावी ढंग से निर्देशित कर सकते हैं।
ट्रेनिंग स्ट्रैटेजी आर्किटेक्चर जितनी ही महत्वपूर्ण है। "मिक्सड करिकुलम" को एक महत्वपूर्ण सिद्धांत के रूप में हाइलाइट किया गया है, जहाँ क्यू विश्वसनीयता (आर्टिफैक्ट्स और अटेंशन डायनेमिक्स के कारण) उतार-चढ़ाव वाली होती है।
अपने कॉम्पैक्ट आकार और कम लेटेंसी के कारण, यह दृष्टिकोण हार्डवेयर-प्रतिबंधित परिनियोजन (deployment) के लिए व्यवहार्य बना हुआ है।

सीमाएं और दायरा:
लेखक स्पष्ट रूप से नोट करते हैं कि अध्ययन एक प्रॉक्सी अटेंशन क्यू का उपयोग करता है जो लक्षित स्पीच से व्युत्पन्न है, न कि वास्तविक EEG जो एक AAD मॉडल के माध्यम से प्रोसेस किया गया हो। फलस्वरूप, परिणाम फ्यूजन मैकेनिज्म और प्रशिक्षण रणनीति की क्षमता को मापते हैं, लेकिन यह वास्तविक न्यूरल नॉइज़ के साथ पूर्ण एंड-टू-एंड सिस्टम का प्रतिनिधित्व नहीं करते हैं। वास्तविक EEG डेटा के साथ सिस्टम को मान्य करने और ऑनलाइन AAD फ्रंट-एंड को एकीकृत करने के लिए भविष्य के कार्य की आवश्यकता है।