⚡ electrical engineering

BanglaRobustNet: A Hybrid Denoising-Attention Architecture for Robust Bangla Speech Recognition

यह शोध पत्र BanglaRobustNet को प्रस्तुत करता है, जो एक हाइब्रिड Wav2Vec-BERT आर्किटेक्चर है जो शोर वाले और विविध वक्ता परिवेशों में बांग्ला स्पीच रिकग्निशन की सटीकता में महत्वपूर्ण सुधार करने के लिए डिफ्यूजन-आधारित डिनोइजिंग और स्पीकर-कंडीशन्ड क्रॉस-अटेंशन को संयोजित करता है।

मूल लेखक: Md Sazzadul Islam Ridoy, Mubaswira Ibnat Zidney, Sumi Akter, Md. Aminur Rahman

प्रकाशित 2026-01-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Md Sazzadul Islam Ridoy, Mubaswira Ibnat Zidney, Sumi Akter, Md. Aminur Rahman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "BanglaRobustNet" पेपर का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: अलग-अलग लहजों से भरा एक शोर वाला कमरा

कल्पना कीजिए कि आप एक भीड़भाड़ वाले, शोर वाले बाज़ार में अपने एक दोस्त को बोलने की कोशिश कर रहे हैं। इसे और कठिन बनाने के लिए, आपके दोस्त का एक अनोखा लहजा (accent) है, और वे बहुत तेज़ी से बोल रहे हैं। अब, कल्पना कीजिए कि आप एक कंप्यूटर हैं जो यही काम करने की कोशिश कर रहा है।

यह पेपर बताता है कि जबकि कंप्यूटर शोर वाले कमरों में भी अंग्रेजी समझने में माहिर हैं, वे बांग्ला के मामले में बुरी तरह संघर्ष करते हैं।

डेटा की कमी: कंप्यूटर लाखों किताबें पढ़कर सीखते हैं। अंग्रेजी के लिए, लाखों "किताबें" (ऑडियो डेटा) उपलब्ध हैं। बांग्ला के लिए, केवल कुछ सौ ही हैं। यह एक लाइब्रेरी के बजाय केवल एक पर्चे (pamphlet) को पढ़कर भाषा सीखने जैसा है।
शोर और विविधता: वास्तविक दुनिया की बांग्ला स्पीच बहुत अव्यवस्थित होती है। यह ट्रैफिक के शोर, संगीत और कई अलग-अलग बोलियों (जैसे सिलहेटी या चितगाव) के साथ आती है। मौजूदा कंप्यूटर भ्रमित हो जाते हैं, शब्दों को मिला देते हैं या पूरी तरह से खो जाते हैं, और अक्सर 30% से अधिक बार विफल हो जाते हैं।

समाधान: BanglaRobustNet

शोधकर्ताओं ने एक नया सिस्टम बनाया है जिसे BanglaRobustNet कहा जाता है। इस सिस्टम को बांग्ला भाषा के लिए विशेष रूप से डिज़ाइन किया गया एक सुपर-स्मार्ट, विशेषज्ञ श्रोता समझें। यह उल्लेखित समस्याओं को हल करने के लिए दो मुख्य "सुपरपावर्स" का उपयोग करता है।

सुपरपावर 1: "जादुई नॉइज़-कैंसलिंग हेडफ़ोन" (डिफ्यूजन-आधारित डिनोइजिंग)

कल्पना कीजिए कि आप एक ऐसी पेंटिंग देख रहे हैं जो कीचड़ से ढकी हुई है। एक सामान्य इरेज़र (eraser) कीचड़ को तो हटा देगा लेकिन उसके नीचे के पेंट को भी मिटा सकता है, जिससे चित्र खराब हो जाएगा।

BanglaRobustNet ऑडियो को साफ करने के लिए एक डिफ्यूजन मॉडल (Diffusion Model) का उपयोग करता है।

यह कैसे काम करता है: केवल रगड़ने के बजाय, यह एक कुशल कलाकार (restorer) की तरह काम करता है। इसे पता है कि एक "साफ" बांग्ला ध्वनि कैसी होनी चाहिए। यह धीरे-धीरे शोर (ट्रैफिक, भीड़ का शोर) की परतों को हटा देता है।
विशेष स्पर्श: महत्वपूर्ण बात यह है कि इसमें एक "सेफ्टी नेट" है जो यह सुनिश्चित करता है कि यह गलती से बांग्ला की अनूठी ध्वनियों (जैसे विशिष्ट सांस वाली व्यंजन या लंबे स्वर) को न मिटा दे। यह शब्दों को धुंधला किए बिना शोर को साफ करता है।

सुपरपावर 2: "सोशल कैमेलियन" (कॉन्टेक्स्टुअल क्रॉस-अटेंशन)

कल्पना कीजिए कि आप एक कहानी सुन रहे हैं। यदि आप जानते हैं कि कहानी सुनाने वाला एक गुस्सैल बूढ़ा व्यक्ति है, तो आप एक गहरी, धीमी आवाज़ की उम्मीद करेंगे। यदि वह एक तेज़ बोलने वाला किशोर है, तो आप एक अलग लय की उम्मीद करेंगे।

मौजूदा कंप्यूटर अक्सर हर आवाज़ के साथ एक जैसा व्यवहार करते हैं, जिससे भ्रम होता है जब लहजे या उम्र बदलती है। BanglaRobustNet में कॉन्टेक्स्टुअल क्रॉस-अटेंशन (Contextual Cross-Attention) मॉड्यूल है।

यह कैसे काम करता है: शब्दों को लिखने की कोशिश करने से पहले ही, यह वक्ता का एक त्वरित "स्नैपशॉट" लेता है। यह पूछता है: क्या यह व्यक्ति पुरुष है या महिला? क्या वे युवा हैं या वृद्ध? क्या वे सिलहेती या मानक लहजे में बोलते हैं?
परिणाम: इसके बाद यह तुरंत उस विशिष्ट व्यक्ति के अनुरूप अपनी सुनने की रणनीति को बदल लेता है। यह एक गिरगिट (chameleon) की तरह है जो उस व्यक्ति के साथ पूरी तरह घुलने-मिलने के लिए अपना रंग बदल लेता है, जिससे बोलियों या उम्र के अंतर के कारण सिस्टम का भ्रमित होना बहुत कठिन हो जाता है।

उन्होंने इसे कैसे सिखाया (प्रशिक्षण)

आप कंप्यूटर को केवल एक किताब देकर यह उम्मीद नहीं कर सकते कि वह सीख जाएगा; आपको उसे प्रशिक्षित करना होगा। शोधकर्ताओं ने एक तीन-चरणों वाला प्रशिक्षण शिविर (training camp) इस्तेमाल किया:

बुनियादी बातें: उन्होंने कंप्यूटर को बुनियादी बातें सिखाने के लिए सामान्य स्पीच डेटा से शुरुआत की।
अराजकता का प्रशिक्षण (Chaos Training): उन्होंने सिस्टम पर ज़ोरदार, शोर वाला शोर (ट्रैफिक, संगीत, भीड़) डाला ताकि उसे विकर्षणों (distractions) को अनदेखा करना सिखाया जा सके।
अंतिम परीक्षा: उन्होंने विभिन्न लहजों और उम्र के वास्तविक बांग्ला वक्ताओं पर इसका परीक्षण किया, इसे विशेष चुनौतियों के लिए सटीक बनाने के लिए फाइन-ट्यून किया।

परिणाम: एक नया चैंपियन

पेपर का दावा है कि यह नया सिस्टम मौजूदा मॉडलों (जैसे Whisper या Wav2Vec) की तुलना में एक बड़ा सुधार है।

साफ स्पीच: शांत कमरों में, इसने प्रतिस्पर्धा की तुलना में लगभग 12% कम गलतियाँ कीं।
शोर वाली स्पीच: शोर वाले, अराजक वातावरण में, इसमें 18% का सुधार हुआ।
बोलियाँ: इसने विभिन्न क्षेत्रीय लहजों को 15% कम त्रुटियों के साथ संभाला।

निष्कर्ष:
BanglaRobustNet एक कंप्यूटर को हाई-टेक, नॉइज़-कैंसलिंग हेडफ़ोन और एक ऐसे अनुवादक देने जैसा है जो जानता है कि कौन बोल रहा है। यह केवल शब्दों को नहीं सुनता; यह संदर्भ, लहजे और वातावरण को समझता है, जिससे यह अब तक का सबसे सटीक बांग्ला स्पीच रिकॉग्नाइज़र बन जाता है। शोधकर्ताओं ने इसका कोड सभी के उपयोग के लिए खुला रखा है, इस उम्मीद में कि यह उन अन्य भाषाओं की मदद करेगा जो समान संघर्षों का सामना कर रही हैं।

तकनीकी सारांश: BanglaRobustNet

समस्या विवरण
25 करोड़ से अधिक लोगों द्वारा बोली जाने वाली भाषा होने के बावजूद, बांग्ला स्वचालित भाषण पहचान (ASR) में एक कम-संसाधन वाली भाषा बनी हुई है, जिसमें अंग्रेजी के लिए उपलब्ध 10,000+ घंटों की तुलना में केवल लगभग 500 घंटे का लेबल किया गया डेटा उपलब्ध है। मौजूदा अत्याधुनिक मॉडल, जैसे कि Wav2Vec 2.0 और Whisper, पर्यावरणीय शोर, बोली संबंधी विविधताओं और जटिल ध्वन्यात्मकता के कारण उच्च शब्द त्रुटि दर (WER)—जो शोर वाले वातावरण में 30% से अधिक है—के कारण वास्तविक दुनिया के बांग्ला परिवेश में संघर्ष करते हैं। वर्तमान मॉडल अक्सर बांग्ला-विशिष्ट ध्वन्यात्मक विशेषताओं (जैसे कि महाप्राण व्यंजन और अनुनासिक स्वर) को संरक्षित करने में विफल रहते हैं और लिंग, आयु और बोली के संबंध में वक्ता की परिवर्तनशीलता के प्रति प्रभावी रूप से अनुकूलित नहीं होते हैं।

कार्यप्रणाली: BanglaRobustNet आर्किटेक्चर
यह शोध पत्र BanglaRobustNet का प्रस्ताव करता है, जो एक हाइब्रिड आर्किटेक्चर है जिसे स्व-पर्यवेक्षित (self-supervised) Wav2Vec-BERT बैकबोन पर बनाया गया है। यह प्रणाली एक मल्टी-स्टेज प्रशिक्षण पाइपलाइन में एकीकृत दो प्राथमिक नवाचारों के माध्यम से ध्वनिक शोर और वक्ता की विविधता को संबोधित करने के लिए डिज़ाइन की गई है:

डिफ्यूजन-आधारित डीनोइजिंग मॉड्यूल (DBDM):
- यह मॉड्यूल ध्वनिक विशेषताओं से पर्यावरणीय शोर को पुनरावृत्ति (iteratively) से हटाने के लिए डिनाइजिंग डिफ्यूजन प्रोबेबिलिस्टिक मॉडल्स (DDPMs) को अनुकूलित करता है, जबकि ध्वन्यात्मक अखंडता को बनाए रखता है।
- यह स्पष्ट ध्वन्यात्मक निरंतरता बाधाओं (phonetic consistency constraints) के साथ एक U-Net आर्किटेक्चर का उपयोग करता है। एक पूर्व-प्रशिक्षित बांग्ला फोन क्लासिफायर ( $\Phi$ ) यह सुनिश्चित करता है कि डीनोइजिंग प्रक्रिया महत्वपूर्ण बांग्ला फोनिम्स (जैसे /ph/, /th/, /kh/) को विकृत न करे।
- प्रशिक्षण उद्देश्य मानक डिफ्यूजन लॉस के साथ एक ध्वन्यात्मक निरंतरता लॉस ( $L_{phonetic}$ ) को जोड़ता है।
कॉन्टेक्स्टुअल क्रॉस-अटेंशन मॉड्यूल (CCAM):
- वक्ता की परिवर्तनशीलता को संभालने के लिए, मॉडल एक मल्टी-टास्क न्यूरल नेटवर्क का उपयोग करके वक्ता एम्बेडिंग (लिंग, आयु समूह और बोली) निकालता है।
- ये एम्बेडिंग क्रॉस-अटेंशन तंत्र के माध्यम से ट्रांसफार्मर आउटपुट को कंडिशन करती हैं। वक्ता एम्बेडिंग को प्रोजेक्ट किया जाता है और ट्रांसफार्मर के क्वेरी वेक्टर्स के साथ तत्व-वार (element-wise) गुणा किया जाता है, जिससे मॉडल बोलने वाले के आधार पर अपनी पहचान रणनीति को गतिशील रूप से अनुकूलित कर पाता है।
- एक वक्ता निरंतरता लॉस ( $L_{speaker}$ ) लागू किया जाता है ताकि यह सुनिश्चित हो सके कि मॉडल वक्ता के गुणों को सही ढंग से वर्गीकृत करता है।
प्रशिक्षण रणनीति:
- मॉडल को एक संयुक्त उद्देश्य फलन (composite objective function) का उपयोग करके एंड-टू-एंड प्रशिक्षित किया जाता है: $L_{total} = L_{CTC} + \alpha_1 L_{phonetic} + \alpha_2 L_{speaker} + \alpha_3 L_{consistency}$ ।
- प्रशिक्षण तीन चरणों में होता है: (1) बड़े अंग्रेजी डेटासेट्स (Librispeech/OpenSLR) पर कंट्रास्टिव प्री-ट्रेनिंग, (2) शोर वाले बांग्ला ऑडियो पर डिफ्यूजन ट्रेनिंग, और (3) Common Voice Bangla और BengaliSR डेटासेट्स पर संयुक्त अनुकूलन (joint optimization)।
- डेटा ऑग्मेंटेशन में स्पीड परटर्बेशन, वॉल्यूम स्केलिंग, और विभिन्न सिग्नल-टू-नॉइज़ रेशियो (SNR) पर वास्तविक दुनिया के शोर (ट्रैफिक, भीड़, संगीत) को जोड़ना शामिल है।

प्रमुख योगदान
लेखक तीन विशिष्ट योगदानों की पहचान करते हैं:

ध्वन्यात्मक-जागरूक डीनोइजिंग (Phonetic-Aware Denoising): एक नवीन डिफ्यूजन-आधारित दृष्टिकोण जो पर्यावरणीय शोर को दबाता है जबकि कड़ाई से बांग्ला-विशिष्ट ध्वन्यात्मक विशेषताओं को संरक्षित करता है, जिससे ट्रांसक्रिप्शन सटीकता में सुधार होता है।
वक्ता-कंडीशन्ड अटेंशन (Speaker-Conditioned Attention): एक क्रॉस-अटेंशन तंत्र जो ध्वनिक विशेषताओं को वक्ता एम्बेडिंग पर कंडिशन करता है, जिससे बिना किसी वक्ता-विशिष्ट पुन: प्रशिक्षण के विविध बोलियों, लिंगों और आयु समूहों में मजबूत प्रदर्शन सक्षम होता है।
अनुभवजन्य बेंचमार्क (Empirical Benchmarks): मौजूदा बेसलाइन्स की तुलना में महत्वपूर्ण त्रुटि दर में कमी का प्रदर्शन, जो बांग्ला ASR के लिए एक नया प्रदर्शन मानक स्थापित करता है।

प्रायोगिक परिणाम
मूल्यांकन Mozilla Common Voice Bangla v20, OpenSLR Bengali, और एक क्यूरेटेड डायलेक्ट डेटासेट (Bhasha-bichitra) पर किया गया, जिसमें 0 से 10 dB के बीच SNR वाले शोर वाले टेस्ट सेट्स भी शामिल थे।

स्वच्छ भाषण प्रदर्शन (Clean Speech Performance): BanglaRobustNet ने 12.3% का WER और 5.7% का कैरेक्टर एरर रेट (CER) प्राप्त किया, जो Whisper-Large (WER 28.86%) और Wav2Vec-BERT (WER 14.42%) से बेहतर प्रदर्शन करता है।
शोर के प्रति मजबूती (Noise Robustness): शोर वाली स्थितियों (5 dB SNR) में, मॉडल ने WER को घटाकर 24.3% कर दिया, जबकि Whisper-Small के लिए यह 65.0% था। 0 dB SNR पर, इसने 42.4% का WER बनाए रखा, जबकि बेसलाइन्स पूरी तरह विफल रहे (100% WER)।
सापेक्ष सुधार (Relative Improvements): सिस्टम ने स्वच्छ स्थितियों में 12%, शोर वाली स्थितियों में 18%, और बोलियों में 15% की सापेक्ष WER कमी प्रदर्शित की।
दक्षता (Efficiency): मॉडल RTX 3060 पर 0.16 का रियल-टाइम फैक्टर (RTF) प्राप्त करता है, जिसका क्वांटाइज्ड फुटप्रिंट 2.1GB है जो मोबाइल पर तैनाती के लिए उपयुक्त है।

महत्व और दावे
यह शोध पत्र BanglaRobustNet को बांग्ला बोलने वालों के लिए स्पीच रिकग्निशन को सुलभ और विश्वसनीय बनाने की दिशा में एक महत्वपूर्ण कदम के रूप में प्रस्तुत करता है, जो एक ऐसा समुदाय है जो ऐतिहासिक रूप से ASR तकनीकों से वंचित रहा है। लेखक दावा करते हैं कि सीमित डेटा, समृद्ध ध्वन्यात्मकता और वास्तविक दुनिया के शोर की परस्पर जुड़ी चुनौतियों को संबोधित करके, यह मॉडल कम-संसाधन वाले, शोर-प्रवण भाषाई परिवेशों के लिए एक नया बेंचमार्क स्थापित करता है।

महत्वपूर्ण रूप से, लेखक इस बात पर जोर देते हैं कि यह कार्य केवल मेट्रिक सुधार तक सीमित नहीं है; इसे सशक्तिकरण के एक कार्य के रूप में तैयार किया गया है। मॉडल और कोड को ओपन-सोर्स करके, लेखकों का लक्ष्य शोधकर्ताओं और स्थानीय समुदायों के लिए बाधाओं को कम करना है, जिससे न केवल बांग्ला के लिए बल्कि समान बाधाओं का सामना कर रहे अन्य कम-संसाधन वाली भाषाओं के लिए भी सहयोग और अनुकूलन को बढ़ावा मिले। घोषित अंतिम लक्ष्य है "उन आवाजों को बुलंद करना जिन्हें बहुत अक्सर AI चर्चा से बाहर रखा गया है।"