💬 NLP

Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition

यह शोध पत्र इंटरैक्टिव स्पीच रिकग्निशन के लिए एक एजेंटिक फ्रेमवर्क का प्रस्ताव करता है जो पारंपरिक वर्ड एरर रेट्स से परे सिमेंटिक कोहेरेंस (अर्थ संबंधी सुसंगतता) का मूल्यांकन करने और मानव-समान मल्टी-टर्न सुधार को सक्षम करने के लिए एलएलएम (LLMs) का लाभ उठाता है, जो कई भाषाओं और बेंचमार्क में बेहतर फिडेलिटी प्रदर्शित करता है।

मूल लेखक: Peng Wang (X-LANCE Lab, Shanghai Jiao Tong University), Yanqiao Zhu (X-LANCE Lab, Shanghai Jiao Tong University), Zixuan Jiang (X-LANCE Lab, Shanghai Jiao Tong University), Qinyuan Chen (School of Com

प्रकाशित 2026-04-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peng Wang (X-LANCE Lab, Shanghai Jiao Tong University), Yanqiao Zhu (X-LANCE Lab, Shanghai Jiao Tong University), Zixuan Jiang (X-LANCE Lab, Shanghai Jiao Tong University), Qinyuan Chen (School of Computer Science, Fudan University), Xingjian Zhao (School of Computer Science, Fudan University), Xipeng Qiu (School of Computer Science, Fudan University), Wupeng Wang (Tongyi Fun Team, Alibaba Group), Zhifu Gao (Tongyi Fun Team, Alibaba Group), Xiangang Li (Tongyi Fun Team, Alibaba Group), Kai Yu (X-LANCE Lab, Shanghai Jiao Tong University), Xie Chen (X-LANCE Lab, Shanghai Jiao Tong University)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़ी कम सुनने वाले रोबोटिक सहायक को एक जटिल आदेश देने की कोशिश कर रहे हैं।

पुराना तरीका: "स्टक रिकॉर्ड" की समस्या
अतीत में, यदि आप कहते, "सारा नाइट (Sarah Knight) को कॉल करो," और रोबोट ने सुना, "सारा नाइट (Sarah Night) को कॉल करो," और आपने कहा, "नहीं, 'K' वाला नाइट!", तो पुराना रोबोट बस आपको खाली आँखों से देखता रहता। वह कहता, "मैंने 'Night' सुना।" वह अपना मन नहीं बदल सकता था। यह एक पुराने रिकॉर्ड प्लेयर की तरह था जो एक खरोंच वाली खांच में फंस गया हो; एक बार जब इसने गलत नोट बजा दिया, तो यह वापस जाकर उसे ठीक नहीं कर सकता था।

इसके अलावा, जिन लोगों ने इन रोबots को बनाया था, वे उन्हें ग्रेड देने के लिए एक बहुत ही सख्त स्केल का उपयोग करते थे जिसे WER (Word Error Rate) कहा जाता था। यह स्केल हर गलती को एक समान मानता था। यदि रोबोट "the" जैसे छोटे शब्द को गलत समझ लेता, तो उसे उतना ही "खराब ग्रेड" मिलता जितना कि "Knight" जैसे महत्वपूर्ण नाम को गलत समझने पर मिलता। यह एक ऐसे शिक्षक की तरह था जो आपके निबंध में "the" की स्पेलिंग की गलती के लिए आपको 'F' ग्रेड दे देता है, भले ही आपकी बाकी कहानी एकदम सही हो।

नया तरीका: "मानव जैसी बातचीत"
यह पेपर एक नया सोचने का तरीका पेश करता है जिसे इंटरैक्टिव ASR (Automatic Speech Recognition) कहा जाता है। इसे केवल एक रोबोट के रूप में न देखें जो केवल सुनता है, बल्कि एक सहयोगी संपादक (collaborative editor) के रूप में देखें जो सही परिणाम पाने के लिए आपसे बातचीत कर सकता है।

यह कैसे काम करता है, यहाँ कुछ सरल उपमाओं (analogies) का उपयोग किया गया है:

1. नया ग्रेडर: "मीनिंग डिटेक्टिव" (अर्थ का जासूस)

पुराने कठोर स्केल (WER) के बजाय, लेखक एक मीनिंग डिटेक्टिव (एक AI जिसे LLM-as-a-Judge कहा जाता है) का उपयोग करते हैं।

पुराना स्केल: गिनता है कि कितने अक्षर गलत हैं।
मीनिंग डिटेक्टिव: पूरे वाक्य को पढ़ता है और पूछता है, "क्या रोबोट वास्तव में समझ पाया कि उपयोगकर्ता क्या चाहता था?"
परिणाम: यदि रोबोट "Knight" के बजाय "Night" कहता है, लेकिन संदर्भ से स्पष्ट होता है कि आपका मतलब उस व्यक्ति से था, तो डिटेक्टिव उसे पास कर देता है। यदि रोबोट अर्थ को पूरी तरह से बदल देता है, तो उसे खराब ग्रेड मिलता है। यह नया स्कोर $S^2ER$ (Sentence-level Semantic Error Rate) कहलाता है।

2. नया सिस्टम: "सर्जिकल एडिटर" (शल्य चिकित्सा संपादक)

यह पेपर एक ऐसा सिस्टम प्रस्तावित करता है जो एक सर्जिकल एडिटर की तरह कार्य करता है।

चरण 1 (पहला ड्राफ्ट): आप बोलते हैं। रोबोट जो उसने सुना, उसे लिख लेता है।
चरण 2 (फीडबैक): यदि आप कहते हैं, "नहीं, यह गलत है, यह 'K' से शुरू होता है," तो रोबकी केवल अनदेखा नहीं करता।
चरण 3 (सर्जरी): रोबोट एक "रीजनिंग ब्रेन" (जो एक बड़े AI द्वारा संचालित है) का उपयोग करके:
1. गलती का पता लगाता है (वह "Night" को ढूँढ लेता है)।
2. सुधार के बारे में तर्क करता है (वह सोचता है, "उपयोगकर्ता ने 'K' कहा, इसलिए 'Night' का अर्थ 'Knight' होना चाहिए" )।
3. त्रुटि को सर्जिकल तरीके से बदल देता है (वह पूरे वाक्य को दोबारा लिखे बिना "Night" को "Knight" से बदल देता है)।

3. सिमुलेशन: "इंसान की भूमिका निभाता रोबोट"

हजारों वास्तविक लोगों को रोबोट पर चिल्लाने की आवश्यकता के बिना इसका परीक्षण करने के लिए, लेखकों ने एक रोबोट सिम्युलेटर बनाया।

कल्पना कीजिए कि एक रोबोट एक निराश मानव उपयोगकर्ता की भूमिका निभा रहा है।
वह पहले ड्राफ्ट को सुनता है, महसूस करता है कि वह गलत है, और फिर अपनी आवाज़ (Text-to-Speech) का उपयोग करके कहता है, "नहीं, यह सही नहीं है!"
मुख्य रोबोट इसे ठीक करने की कोशिश करता है। वे तब तक आपस में बात करते रहते हैं जब तक कि वाक्य एकदम सही न हो जाए।

यह क्यों मायने रखता है?

प्रयोगों ने दिखाया कि यह नया सिस्टम एक गेम-चेंजर है:

गति: बातचीत के मात्र एक या दो दौर में, सिस्टम लगभग सभी बड़ी गलतियों को ठीक कर देता है। यह एक ऐसी बातचीत की तरह है जहाँ आप चीजों को तुरंत स्पष्ट करते हैं, बजाय इसके कि आप एक ही लूप में फंसे रहें।
सटीकता: "मीनिंग डिटेक्टिव" (नया मीट्रिक) मानव विशेषज्ञों के साथ 99% बार सहमत होता है, जो यह साबित करता है कि अर्थ की जांच करना केवल शब्दों को गिनने से बेहतर है।
यथार्थवाद: यह तब भी काम करता है जब लोग भाषाओं के बीच स्विच करते हैं (जैसे अंग्रेजी और चीनी को मिलाना) या लहजे (accents) के साथ बोलते हैं, क्योंकि यह केवल ध्वनि के बजाय इरादे (intent) पर ध्यान केंद्रित करता है।

संक्षेप में:
यह पेपर रोबोट्स को केवल जिद्दी रिकॉर्ड प्लेयर बनने के बजाय सहायक बातचीत साथी बनना सिखाता है। "मैंने यह सुना" कहने के बजाय, वे कहते हैं, "मुझे लगता है कि आपका मतलब यह था, क्या मैंने सही समझा?" और वे इतने स्मार्ट हैं कि जब आप उन्हें बताते हैं, तो वे अपनी गलतियों को सुधारने के लिए सक्षम हैं।

यहाँ शोध पत्र "Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वर्तमान ऑटोमैटिक स्पीच रिकग्निशन (ASR) प्रणालियों में दो महत्वपूर्ण सीमाओं की पहचान करता है:

सिमेंटिक-ब्लाइंड इवैल्यूएशन (Semantic-Blind Evaluation): उद्योग-मानक मीट्रिक, वर्ड एरर रेट (WER), सभी शब्दों के साथ समान व्यवहार करता है। यह फंक्शन वर्ड्स (कम सिमेंटिक प्रभाव) और महत्वपूर्ण कंटेंट वर्ड्स जैसे कि नेम्ड एंटिटीज (उच्च सिमांटिक प्रभाव) के बीच अंतर करने में विफल रहता है। फलस्वरूप, एक कम WER यह गारंटी नहीं देता कि पहचाना गया टेक्स्ट उपयोगकर्ता के इच्छित अर्थ को सुरक्षित रखता है।
इंटरैक्टिव करेक्शन का अभाव (Lack of Interactive Correction): पारंपरिक ASR एक सिंगल-पास, स्टैटिक प्रतिमान (paradigm) में कार्य करता है। एक बार त्रुटि होने के बाद, सिस्टम अपने आउटपुट को उपयोगकर्ता के फीडबैक के आधार पर संशोधित नहीं कर सकता। वास्तविक दुनिया के परिदृश्यों (जैसे, वॉयस असिस्टेंट) में, उपयोगकर्ताओं को अक्सर गलत पहचानों को स्पष्ट करने या सुधारने की आवश्यकता होती है (उदाहरण के लिए, "नहीं, 'Sarah Knight' कहें, 'Sarah Night' नहीं"), लेकिन वर्तमान प्रणालियों में इन प्राकृतिक भाषा सुधारों को पुनरावृत्ति (iteratively) के माध्यम से संसाधित करने के लिए तंत्र का अभाव है।

2. कार्यप्रणाली (Methodology)

लेखक इंटरैक्टिव ASR का प्रस्ताव करते हैं, जो सुधार के लिए एक LLM-संचालित एजेंट और एक नए सिमेंटिक मूल्यांकन मीट्रिक को एकीकृत करता है।

A. इंटरैक्टिव ASR फ्रेमवर्क

यह सिस्टम सिंगल-पास डिकोडिंग ($Y = ASR(I)$) से आगे बढ़कर एक पुनरावृत्ति, एजेंटिक प्रक्रिया की ओर बढ़ता है:

बेस ASR (Base ASR): उपयोगकर्ता के भाषण ( $I_t$ ) से एक प्रारंभिक टेक्स्ट हाइपोथीसिस ( $H_t$ ) उत्पन्न करता है।
LLM इंटेंट राउटर (LLM Intent Router): पिछले ट्रांसक्रिप्ट ( $Y_{t-1}$ $Y_{t - 1}$ ) और नए हाइपोथीसिस के बीच संबंध का विश्लेषण करता है।
- यदि इनपुट एक नया कथन है, तो इसे सीधे आउटपुट किया जाता है।
- यदि इनपुट में सुधारात्मक इरादा (corrective intent) शामिल है, तो सिस्टम रीज़निंग करेक्टर (Reasoning Corrector) को सक्रिय करता है।
रीज़निंग करेक्टर (Reasoning Corrector - Chain-of-Thought): एक LLM एजेंट पिछले ट्रांसक्रिप्ट ( $Y_{t-1}$ $Y_{t - 1}$ ) को सुधार निर्देश ( $H_t$ $H_{t}$ ) का उपयोग करके तीन-चरणीय CoT प्रक्रिया के माध्यम से परिष्कृत करता है:
- लोकेट (Locate): उपयोगकर्ता के निर्देश के आधार पर पिछले ट्रांसक्रिप्ट में विशिष्ट त्रुटिपूर्ण खंड की पहचान करना।
- रीज़न (Reason): ध्वन्यात्मक (phonetic) या लेक्सिकल बाधाओं का उपयोग करके इच्छित सुधार का अनुमान लगाना।
- सर्जिकल रिप्लेसमेंट (Surgical Replacement): शेष वाक्य संरचना को सुरक्षित रखते हुए केवल त्रुटिपूर्ण खंड को बदलना।

B. ऑटोमेटेड सिमुलेशन फ्रेमवर्क (Automated Simulation Framework)

महंगे ह्यूमन-इन-द-लूप परीक्षण के बिना इसका मूल्यांकन करने के लिए, लेखकों ने एक स्वचालित सिमुलेशन डिज़ाइन किया है:

यूज़र सिम्युलेटर (User Simulator): एक LLM ग्राउंड ट्रुथ बनाम ASR हाइपोथीसिस के आधार पर प्राकृतिक भाषा सुधार निर्देश ( $C_t$ ) उत्पन्न करता है। एक ज़ीरो-शॉट TTS मॉडल इस टेक्स्ट को मूल ऑडियो का उपयोग करके वापस स्पीच ( $I_t$ ) में बदल देता है ताकि स्पीकर कंसिस्टेंसी बनी रहे।
इटरेटिव लूप (Iterative Loop): सिस्टम सुधार भाषण को प्रोसेस करता है, हाइपोथीसिस को अपडेट करता है, और तब तक दोहराता है जब तक कि ट्रांसक्रिप्ट ग्राउंड ट्रुथ से मेल न खा जाए या टर्न लिमिट तक न पहुँच जाए।

C. नया मूल्यांकन मीट्रिक: $S^2ER$

लेखक सेंटेंस-लेवल सिमेंटिक एरर रेट ( $S^2ER$ ) पेश करते हैं।

टोकन मिसमैच गिनने के बजाय, एक LLM-as-a-Judge यह मूल्यांकन करता है कि क्या ASR आउटपुट ग्राउंड ट्रुथ के सिमेंटिक रूप से समकक्ष है।
जज मुख्य इरादे और महत्वपूर्ण एंटिटीज को प्राथमिकता देता है जबकि मामूली सतही विविधताओं (फिलर वर्ड्स, विराम चिह्न) को अनदेखा करता है।
$S^2ER$ को डेटासेट में सिमेंटिक मिसमैच की औसत दर के रूप में गणना किया जाता है।

3. मुख्य योगदान (Key Contributions)

$S^2ER$ मीट्रिक: एक नवीन मूल्यांकन मीट्रिक जो टोकन सटीकता के बजाय सिमेंटिक सफलता का आकलन करने के लिए LLMs का उपयोग करता है। शोध पत्र यह प्रमाणित करता है कि LLM निर्णय मानव सहमति के साथ मजबूती से सह-संबंध ( $Pearson\ r \approx 0.83$ ) रखते हैं, और अक्सर डोमेन विशेषज्ञों की तुलना में निरंतरता में बेहतर प्रदर्शन करते हैं।
एजेंटिक करेक्शन फ्रेमवर्क: एक सिस्टम आर्किटेक्चर जो ASR को स्पोकन नेचुरल लैंग्वेज फीडबैक स्वीकार करने, त्रुटियों के बारे में तर्क करने और ट्रांसक्रिप्ट को पुनरावृत्ति के साथ परिष्कृत करने में सक्षम बनाता है, जो मानवीय संवादात्मक सुधार (conversational repair) की नकल करता है।
व्यापक सत्यापन (Comprehensive Validation): तीन विविध बेंचमार्क पर व्यापक प्रयोग:
- GigaSpeech: मल्टी-डोमेन अंग्रेजी।
- WenetSpeech: स्पोंटेनियस मंदारिन।
- ASRU 2019: मंदारिन-अंग्रेजी कोड-स्विचिंग।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिमेंटिक सुधार: फ्रेमवर्क $S^2ER$ $S^{2} E R$ को काफी कम कर देता है।
- GigaSpeech: 14.12% (टर्न 0) से घटकर 6.03% (टर्न 1) और 1.08% (टर्न 10) हो गया।
- WenetSpeech: 15.56% से घटकर 6.26% (टर्न 1) और 1.11% (टर्न 10) हो गया।
- ASRU 2019: 26.89% से घटकर 8.10% (टर्न 1) और 0.82% (टर्न 10) हो गया।
त्वरित अभिसरण (Rapid Convergence): सबसे महत्वपूर्ण सुधार पहले 1-2 इंटरैक्शन टर्न के भीतर होते हैं, जो प्राकृतिक मानवीय धैर्य की सीमाओं को दर्शाते हैं।
पारंपरिक मीट्रिक्स के साथ तुलना: जबकि पारंपरिक मीट्रिक्स (WER, CER) ने केवल मामूली सुधार दिखाया, $S^2ER$ ने भारी कमी दिखाई, जो साबित करता है कि सिस्टम ने सार्थक त्रुटियों को सफलतापूर्वक सुधारा है, भले ही टोकन-स्तरीय परिवर्तन छोटे हों।
विफलता विश्लेषण (Failure Analysis): उच्च इटरेशन काउंट (टर्न 10) पर अवशिष्ट त्रुटियाँ मुख्य रूप से इसलिए होती हैं क्योंकि बेस ASR उपयोगकर्ता के सुधार निर्देशों को बार-बार गलत पहचान लेता है, जिससे LLM सर्जिकल रिप्लेसमेंट के लिए आवश्यक एंकर्स खो देता है।

5. महत्व (Significance)

प्रतिमान परिवर्तन (Paradigm Shift): ASR को एक स्टैटिक, वन-शॉट ट्रांसक्रिप्शन कार्य से बदलकर एक डायनेमिक, इंटरैक्टिव डायलॉग सिस्टम में परिवर्तित करता है जो स्वयं सुधार करने में सक्षम है।
मूल्यांकन मानक (Evaluation Standard): WER के प्रभुत्व को चुनौती देता है और यह स्थापित करता है कि डाउनस्ट्रीम कार्यों (जैसे, कमांड निष्पादन, इंटेंट अंडरस्टैंडिंग) के लिए सिमेंटिक कोहेरेंस एक अधिक महत्वपूर्ण सफलता मीट्रिक है।
मानव-समान बातचीत (Human-Like Interaction): यह प्रदर्शित करता है कि LLM एजेंट प्रभावी रूप से अस्पष्ट भाषण और सटीक इरादे के बीच के अंतर को पाट सकते हैं, जो अधिक मजबूत और उपयोगकर्ता के अनुकूल वॉयस इंटरफेस की ओर एक मार्ग प्रदान करते हैं।
भविष्य का दृष्टिकोण: हालांकि वर्तमान परिणाम बड़े मॉडलों (Qwen3-32B) पर निर्भर करते हैं, यह फ्रेमवर्क एक इंटरैक्टिव ASR के लिए एक सैद्धांतिक ऊपरी सीमा (theoretical upper bound) स्थापित करता है, जो इन क्षमताओं को छोटे, अधिक कुशल आर्किटेक्चर पर तैनात करने के लिए भविष्य के अनुसंधान का मार्गदर्शन करता है।