⚡ electrical engineering

Explanations for Automatic Speech Recognition

यह शोध पत्र मौजूदा व्याख्यात्मक एआई (Explainable AI) तकनीकों, विशेष रूप से सांख्यिकीय दोष स्थानीयकरण (Statistical Fault Localization) और कारण संबंधी (Causal) विधियों को अनुकूलित करके, न्यूरल नेटवर्क-आधारित स्वचालित वाक् पहचान (Automatic Speech Recognition) में गुणवत्ता मूल्यांकन की चुनौती का समाधान करता है, ताकि ट्रांसक्रिप्शन के लिए न्यूनतम और पर्याप्त ऑडियो फ्रेम स्पष्टीकरण उत्पन्न किए जा सकें, जिससे सिस्टम की समझ और विश्वास में वृद्धि हो सके।

मूल लेखक: Xiaoliang Wu, Peter Bell, Ajitha Rajan

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaoliang Wu, Peter Bell, Ajitha Rajan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, लेकिन रहस्यमय, रोबोटिक मित्र है जो आपकी आवाज़ सुनता है और आपके द्वारा बोले गए शब्दों को टाइप करता है। यह एक ऑटोमैटिक स्पीच रिकग्निशन (ASR) सिस्टम है। कभी-कभी, यह रोबोट बिल्कुल वही टाइप करता है जो आपने कहा था। अन्य समय में, यह गलतियाँ करता है।

समस्या यह है कि ये रोबोट "ब्लैक बॉक्स" की तरह हैं। आप उनके दिमाग के अंदर झाँककर यह नहीं देख सकते कि क्यों रोबोट ने "pear" के बजाय "apple" टाइप किया। यह शोध पत्र उस ब्लैक बॉक्स को खोलने का एक तरीका पेश करता है और कहता है, "हे, यहाँ वह सटीक हिस्सा है जिसकी वजह से आपकी आवाज़ ने रोबोट को उस विशिष्ट चुनाव को करने के लिए प्रेरित किया।"

यहाँ एक सरल विवरण दिया गया कि शोधकर्ताओं ने क्या किया, जिसमें कुछ रोज़मर्रा के उदाहरणों का उपयोग किया गया है।

बड़ी चुनौती: यह कठिन क्यों है?

आमतौर पर, जब हम कंप्यूटर के निर्णय को समझाने की कोशिश करते हैं, तो हम "क्या यह बिल्ली है या कुत्ता?" जैसे सरल विकल्पों को देखते हैं। लेकिन बोलना (speech) बहुत जटिल होता है।

परिवर्तनीय लंबाई (Variable Length): एक वाक्य छोटा या लंबा हो सकता है। यह एक फिल्म के कथानक को विशिष्ट फ्रेम दिखाकर समझाने की कोशिश करने जैसा है, लेकिन हर बार फिल्म की लंबाई बदल जाती है।
धुंधले क्षेत्र (Gray Areas): यदि आप कहते हैं "I'd like an apple" और रोबोट लिखता है "I like apple," तो क्या यह एक गलती है? एक इंसान कह सकता है, "लगभग सही है!" लेकिन एक कंप्यूटर आमतौर पर कहता है, "गलत।" शोधकर्ताओं को कंप्यूटर को यह सिखाना पड़ा कि "लगभग सही" किसे माना जाए, इससे पहले कि वे त्रुटियों (errors) को समझा सकें।

समाधान: "स्मोकिंग गन" (Smoking Gun) को खोजना

शोधकर्ताओं ने X-ASR नामक एक टूल बनाया। इस टूल को एक जासूस के रूप में सोचें जो अपराध स्थल पर "स्मोकिंग गन" (अपराध का निर्णायक सबूत) खोजने की कोशिश कर रहा है। अपराध स्थल ऑडियो रिकॉर्डिंग है, और "बंदूक" ध्वनि का वह विशिष्ट छोटा सा हिस्सा है जिसने रोबोट को वह लिखने के लिए प्रेरित किया जो उसने लिखा।

उन्होंने शून्य से नए जासूसी तरीके नहीं बनाए; उन्होंने इमेज रिकग्निशन (जैसे तस्वीरों में बिल्लियों को पहचानना) के लिए उपयोग किए जाने वाले तीन प्रसिद्ध तरीकों को उधार लिया और उन्हें ऑडियो के लिए अनुकूलित किया।

यहाँ उपयोग किए गए तीन तरीके दिए गए हैं, जिन्हें सरल भाषा में समझाया गया है:

1. SFL (Statistical Fault Localisation) – "'क्या होगा अगर' वाला खेल"

कल्पना कीजिए कि आपके पास कागज पर एक लंबा वाक्य लिखा है। यह पता लगाने के लिए कि कौन सा शब्द सबसे महत्वपूर्ण है, आप एक खेल खेलते हैं:

आप काले टेप का एक टुकड़ा लेते हैं और यादृच्छिक (random) शब्दों को ढक देते हैं।
आप रोबोट से पूछते हैं: "क्या वाक्य अभी भी समझ में आता है?"
यदि आप "apple" शब्द को ढक देते हैं और रोबोट अचानक अपना मन बदल लेता है, तो वह शब्द महत्वपूर्ण था।
SFL इसे हजारों बार करता है, सांख्यिकीय रूप से यह पता लगाता है कि कौन से विशिष्ट "फ्रेम" (ध्वनि के छोटे हिस्से) रोबोट के निर्णय के लिए सबसे संभावित दोषी हैं।

2. Causal – "दोष मढ़ने वाला खेल" (The 'Blame Game')

यह तरीका थोड़ा अधिक परिष्कृत है। यह पूछता है: "यदि मैं ध्वनि के इस विशिष्ट टुकड़े को हटा दूँ, तो क्या रोबot का उत्तर बदल जाएगा?"

यह उस सबसे छोटे संभव परिवर्तन की तलाश करता है जिसकी आवश्यकता रोबोट के निर्णय को बदलने के लिए होती है।
यदि केवल एक छोटे से ध्वनि अंश को हटाने से पूरा वाक्य बदल जाता है, तो उस अंश को एक उच्च "ज़िम्मेदारी स्कोर" मिलता है। यह ऐसा है जैसे कहना, "इस घटना के पीछे केवल तुम ही जिम्मेदार हो।"
शोधकर्ताओं ने पाया कि यह तरीका बहुत सख्त और सटीक है, जो अक्सर सबसे छोटा संभव स्पष्टीकरण ढूंढता है।

3. LIME – "स्थानीय मानचित्र" (The 'Local Map')

LIME एक लोकप्रिय तरीका है जो एक जटिल निर्णय के आसपास एक सरल, समझने में आसान मानचित्र बनाता है।

कल्पना करें कि आप एक जटिल शहर (AI मॉडल) में खो गए हैं। LIME केवल उस ब्लॉक का एक सरल, सपाट मानचित्र बनाता है जहाँ आप खड़े हैं ताकि आपको समझने में मदद मिल सके कि आप कहाँ हैं।
इस शोध पत्र में, उन्होंने महत्वपूर्ण ध्वनियों की रैंकिंग करने के लिए LIME का उपयोग किया, लेकिन उन्होंने इसे अन्य दो तरीकों की तरह महत्वपूर्ण ध्वनियों की सबसे छोटी सूची खोजने के लिए संशोधित किया।

प्रयोग: परीक्षण के लिए उतारना

शोधकर्ताओं ने इन तीन "जासूसों" का तीन अलग-अलग स्पीच रोबोट्स (Google, Sphinx, और Deepspeech) पर 100 अलग-अलग वॉयस सैंपल का उपयोग करके परीक्षण किया।

उन्होंने जासूसों को दो चीजों पर मापा:

आकार (Size): स्पष्टीकरण कितना छोटा है? (एक छोटा स्पष्टीकरण बेहतर है क्योंकि इसका मतलब है कि टूल ने सटीक कारण ढूंढ लिया है, न कि अनावश्यक शोर का ढेर)।
निरंतरता (Consistency): यदि आप टूल से एक ही वॉयस क्लिप को तीन अलग-अलग रोबोट्स को समझाने के लिए कहते हैं, तो क्या वह ऑडियो के उन्हीं हिस्सों की ओर इशारा करता है?

उन्हें क्या मिला

विजेता: SFL और Causal तरीके सबसे अच्छे थे। उन्होंने LIME पद्धति की तुलना में बहुत छोटे और अधिक सुसंगत स्पष्टीकरण पाए।
"Causal" का लाभ: Causal तरीका सबसे सटीक था, जो अक्सर ऑडियो का सबसे छोटा संभव हिस्सा ढूंढ लेता था जो मायने रखता था।
समझौता (Trade-off): "सत्यता" के बारे में कंप्यूटर कितना सख्त था, इसके बीच एक समझौता था। यदि कंप्यूटर बहुत सख्त था (केवल पूर्ण मिलान स्वीकार करता था), तो स्पष्टीकरण बड़े हो जाते थे। यदि वह थोड़ा उदार था, तो स्पष्टीकरण छोटे हो जाते थे।
सही संतुलन: शोधकर्ताओं ने निष्कर्ष निकाला कि "Bert" नामक एक उदार समानता जांच के साथ SFL का उपयोग करना सबसे अच्छा विकल्प है। इसने एक छोटा, स्पष्ट स्पष्टीकरण दिया जो विभिन्न रोबोटों में सुसंगत था।

मुख्य निष्कर्ष

यह शोध पत्र रोबोट को ठीक करने या उन्हें पूर्ण बनाने का दावा नहीं करता है। इसके बजाय, यह हमें एक टॉर्च देता है। यह हमें ठीक से देखने की अनुमति देता है कि ध्वनि का कौन सा क्षण (split-second) स्पीच रिकग्निशन सिस्टम को एक विशिष्ट ट्रांसक्रिप्शन करने का कारण बना। यह हमें सिस्टम को बेहतर ढंग से समझने में मदद करता है और अंततः, इस पर अधिक भरोसा करने में भी।

शोधकर्ता स्वीकार करते हैं कि यह केवल पहला कदम है। वे भविष्य में "ब्लैक बॉक्स" के और भी गहरे अंदर देखने की योजना बना रहे हैं, लेकिन फिलहाल, उन्होंने सफलतापूर्वक एक ऐसा टूल बनाया है जो वॉयस रिकॉर्डिंग में "स्मोकिंग गन" की ओर इशारा कर सकता है।

तकनीकी सारांश: ऑटोमैटिक स्पीच रिकग्निशन (X-ASR) के लिए स्पष्टीकरण

समस्या विवरण
दैनिक जीवन में ऑटोमैटिक स्पीच रिकग्निशन (ASR) की व्यापकता ने सिस्टम की गुणवत्ता और जवाबदेही के संबंध में चिंताओं को बढ़ा दिया है। न्यूरल नेटवर्क-आधारित ASR सिस्टम अक्सर "ब्लैक बॉक्स" के रूप में कार्य करते हैं जिनके आंतरिक स्टेट्स (internal states) सुलभ नहीं होते, जिससे गुणवत्ता सुनिश्चित करना या विफलता के कारणों को समझना कठिन हो जाता है। जबकि एक्सप्लेनेबल एआई (XAI) तकनीकें, विशेष रूप से इमेज क्लासिफिकेशन के लिए, तेजी से विकसित हुई हैं, वे ASR ट्रांसक्रिप्शन पर लागू होने पर महत्वपूर्ण चुनौतियों का सामना करती हैं। सरल वर्गीकरण लेबल के विपरीत, ट्रांसक्रिप्शन परिवर्तनशील-लंबाई वाले अनुक्रम (variable-length sequences) होते हैं जहाँ शुद्धता का निर्णय केवल बाइनरी मिलान के बजाय मामूली विचलन की अनुमति देने वाले सिमेंटिक तुलनाओं पर आधारित होता है। मौजूदा व्याख्या योग्य मॉडल (जैसे LIME में उपयोग किया जाने वाला लीनियर रिग्रेशन) परिवर्तनशील-लंबाई वाले आउटपुट अनुक्रमों को संभालने में संघर्ष करते हैं। स्पीच के लिए वर्तमान व्हाइट-बॉक्स दृष्टिकोण अक्सर मॉडल-विशिष्ट होते हैं और ट्रांसक्रिप्शन की स्वयं व्याख्या करने में विफल रहते हैं, जिससे गुणवत्ता मूल्यांकन के लिए उनकी उपयोगिता सीमित हो जाती है।

कार्यप्रणाली: X-ASR फ्रेमवर्क
लेखक X-ASR का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे ऑडियो फ्रेम्स के एक न्यूनतम और पर्याप्त उपसमूह (subset) की पहचान करके ASR ट्रांसक्रिप्शन के लिए स्पष्टीकरण उत्पन्न करने के लिए डिज़ाइन किया गया है जो एक विशिष्ट ट्रांसक्रिप्शन का कारण बनते हैं। यह फ्रेमवर्क दो प्राथमिक चरणों में कार्य करता है:

ट्रांसक्रिप्शन का वर्गीकरण: चूंकि ASR आउटपुट पूरी तरह से बाइनरी (सही/गलत) नहीं होते, इसलिए फ्रेमवर्क एक उपयोगकर्ता-निर्धारित थ्रेशोल्ड ( $T$ ) का उपयोग करके संदर्भ ट्रांसक्रिप्शन के साथ समानता के आधार पर लेबल असाइन करता है। दो समानता मेट्रिक्स समर्थित हैं:
- वर्ड एरर रेट (WER): यह इंसर्शन (insertions), डिलीशन (deletions) और सब्स्टीट्यूशन (substitutions) के आधार पर समानता को स्कोर करता है।
- BERT: यह ओरिजिनल और परटर्बड (perturbed) ट्रांसक्रिप्शन के बीच सेंटेंस BERT का उपयोग करके सिमेंटिक वेक्टर्स के बीच कोसाइन सिमिलैरिटी (cosine similarity) की गणना करता है।
  यदि समानता $T$ से अधिक है, तो ट्रांसक्रिप्शन को "सही" (Correct) लेबल किया जाता है; अन्यथा, इसे "गलत" (Incorrect) लेबल किया जाता है।
इमेज-आधारित XAI तकनीकों का अनुकूलन: लेखक इमेज क्लासिफिकेशन से तीन परटर्बेशन-आधारित XAI तकनीकों को ऑडियो डोमेन में अनुकूलित करते हैं, जिसमें ऑडियो फ्रेम्स को इमेज पिक्सेल (या टाइम डायमेंशन में "रॉ डेटा बिन्स") के समकक्ष माना जाता है:
- स्टैटिस्टिकल फॉल्ट लोकलाइजेशन (SFL): सॉफ्टवेयर टेस्टिंग से अनुकूलित, यह तकनीक फ्रेम्स को रैंडमली मास्क करके (डेटा पॉइंट्स को शून्य पर सेट करके) "म्यूटेंट" ऑडियो बनाती है। यह फ्रेम्स को इस संभावना के आधार पर रैंक करता है कि उन्हें मास्क करने से वर्गीकरण विफलता (Incorrect लेबल) क्यों होती है। फ्रेम्स को फॉल्ट-लोकलाइजेशन मेजर (जैसे Tarantula) द्वारा रैंक किया जाता है, और एक न्यूनतम उपसमूह तब तक चुना जाता है जब तक कि स्पष्टीकरण सेट मूल वर्गीकरण को पुनरुत्पादित न कर दे।
- कॉज़ल (Causal): कॉज़ल थ्योरी और काउंटरफैक्चुअल रीजनिंग पर आधारित, यह विधि ऑडियो को "सुपरफ्रेम्स" में विभाजित करती है। यह एक सुपरफ्रेम की "जिम्मेदारी" को $1/(1+k)$ के रूप में गणना करती है, जहाँ $k$ सबसे छोटे "विटनेस" (अन्य सुपरफ्रेम्स का एक सेट जिन्हें मास्क करने पर परिणाम बदल जाता है) का आकार है। यह न्यूनतम पर्याप्त कारणों की पहचान करने के लिए विभाजनों को बार-बार परिष्कृत (refine) करता है।
- LIME (बेसलाइन): एक लोकल इंटरप्रिटेबल मॉडल-एग्नोस्टिक एक्सप्लेनेशन तकनीक को ऑडियो फ्रेम्स के परटर्बेशन बनाकर और एक लोकल लीनियर मॉडल को फिट करके अनुकूलित किया गया है। न्यूनतम स्पष्टीकरण के लक्ष्य के साथ तालमेल बिठाने के लिए, लेखक एक ग्रीडी अप्रोच का उपयोग करते हैं, जिसमें शीर्ष-रैंक वाले फ्रेम्स को तब तक इटरेटिवली जोड़ा जाता है जब तक कि वर्गीकरण सही न हो जाए।

मुख्य योगदान

फ्रेवर्क डेवलपमेंट: X-ASR का परिचय, जो इमेज क्लासिफिकेशन से अनुकूलित परटर्बेशन-आधारित तकनीकों का उपयोग करके ASR ट्रांसक्रिप्शन के लिए स्पष्टीकरण उत्पन्न करने वाला पहला फ्रेमवर्क है।
तकनीक अनुकूलन: परिवर्तनशील-लंबाई वाले ऑडियो अनुक्रमों और सिमेंटिक ट्रांसक्रिप्शन शुद्धता को संभालने के लिए SFL और Causal (जो पहले इमेज क्लासिफिकेशन में प्रभावी थे) का सफल अनुकूलन।
मूल्यांकन प्रोटोकॉल: Commonvoice डेटासेट के 100 ऑडियो नमूनों का उपयोग करके तीन अलग-अलग ASR सिस्टम (Google API, Sphinx बेसलाइन, और Deepspeech) के माध्यम से एक व्यापक मूल्यांकन।

परिणाम
अध्ययन स्पष्टीकरणों का मूल्यांकन आकार (स्पष्टीकरण में फ्रेम्स की संख्या) और निरंतरता (विभिन्न ASR सिस्टम के बीच स्पष्टीकरणों की सहमति) के आधार पर करता है।

आकार (Size): SFL और Causal, LIME की तुलना में छोटे और अधिक चयनात्मक स्पष्टीकरण उत्पन्न करने में काफी बेहतर प्रदर्शन करते हैं, विशेष रूप से जब BERT सिमिलैरिटी मेट्रिक का उपयोग किया जाता है। Causal अपने सख्त कॉज़ल नियमों और इटरेटिव रिफाइनमेंट के कारण सबसे छोटे स्पष्टीकरण प्रदान करता है।
निरंतरता (Consistency): SFL, BERT मेट्रिक के साथ जुड़े होने पर विभिन्न ASR सिस्टम के बीच उच्चतम निरंतरता प्रदर्शित करता है। Causal और LIME, WER के साथ उच्च निरंतरता दिखाते हैं, लेकिन यह उनके बड़े स्पष्टीकरण आकार (Causal के लिए औसत 92% इनपुट फ्रेम्स) के कारण है, जो उन्हें कम चयनात्मक बनाता है।
मेट्रिक प्रभाव: समानता मेट्रिक का चुनाव परिणामों को महत्वपूर्ण रूप से प्रभावित करता है। WER, जो अधिक सख्त है (अंतर के लिए शून्य सहनशीलता), BERT की तुलना में बड़े स्पष्टीकरण उत्पन्न करता है, जो कुछ सिमेंटिक विचलन की अनुमति देता है।
ट्रेड-ऑफ (Trade-off): लेखक आकार और निरंतरता के बीच एक ट्रेड-ऑफ की पहचान करते हैं। वे निष्कर्ष निकालते हैं कि SFL के साथ BERT सबसे अच्छा समझौता प्रदान करता है, जो 74% निरंतरता के साथ 56% का औसत स्पष्टीकरण आकार प्राप्त करता है।

महत्व और दावे
यह पेपर दावा करता है कि यह ASR के लिए गुणवत्ता मूल्यांकन की महत्वपूर्ण आवश्यकता को संबोधित करता है, जो उपयोगकर्ताओं को सिस्टम के व्यवहार को समझने और विश्वास बनाने में मदद करने के लिए स्पष्टीकरण प्रदान करता है। यह प्रदर्शित करके कि इमेज-आधारित XAI तकनीकों (Sful और Causal) को स्पीच के लिए प्रभावी ढंग से अनुकूलित किया जा सकता है, लेखक दिखाते हैं कि ASR मॉडल की आंतरिक वास्तुकला (internal architecture) तक पहुँच की आवश्यकता के बिना (पोस्ट-हॉक स्पष्टीकरण) ट्रांसक्रिप्शन के लिए न्यूनतम और पर्याप्त कारण उत्पन्न करना संभव है। अध्ययन स्पष्ट रूप से परटर्बेशन-आधारित, मॉडल-एग्नोस्टिक तकनीकों तक ही अपनी सीमा को सीमित करता है और स्पष्ट रूप से कहता है कि भविष्य के कार्य प्रभावशीलता में सुधार के लिए व्हाइट-बॉक्स ASR स्पष्टीकरण विधियों की जांच करेंगे। लेखक इस बात पर जोर देते हैं कि ये स्पष्टीकरण विफलता-कारण दोषों (failure-causing faults) की पहचान करने में मदद करके जवाबदेही को सुगम बनाते हैं।