💬 NLP

RECOVER: Robust Entity Correction via agentic Orchestration of hypothesis Variants for Evidence-based Recovery

यह शोध पत्र RECOVER को प्रस्तुत करता है, जो एक एजेंटिक फ्रेमवर्क है जो दुर्लभ और डोमेन-विशिष्ट एंटिटी त्रुटियों को मजबूती से सुधारने के लिए कई ASR परिकल्पनाओं और टूल-उपयोग करने वाले LLMs का लाभ उठाता है, जिससे विविध डेटासेट्स में एंटिटी रिकॉल और वर्ड एरर रेट में महत्वपूर्ण सुधार प्राप्त होता है।

मूल लेखक: Abhishek Kumar, Aashraya Sachdeva

प्रकाशित 2026-03-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Abhishek Kumar, Aashraya Sachdeva

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन आपका एकमात्र गवाह एक बहुत तेज़, बहुत आत्मविश्वासी, लेकिन थोड़ी कम सुनने वाला सहायक है जिसका नाम Whisper है।

Whisper सुनता है कि क्या बातचीत हो रही है और जो उसे सुनाई देता है उसे लिख देता है। आमतौर पर, वह बहुत अच्छा काम करता है। लेकिन जब बात विशिष्ट, कठिन नामों की आती है—जैसे कि कोई दुर्लभ दवा, कोई स्टॉक टिकर, या किसी पायलट का कॉल साइन—तो Whisper अक्सर उन्हें गलत समझ लेता है। वह "cytiva" को "sitiva" समझ सकता है या पूरा शब्द ही छोड़ सकता है। वित्त (finance) या चिकित्सा (medicine) जैसे क्षेत्रों में, इन नामों को गलत समझना सिर्फ एक टाइपिंग की गलती नहीं है; यह एक आपदा है।

यह पेपर RECOVER को पेश करता है, जो एक नया "सुपर-डिटेक्टिव" दल है जिसे पूरी कहानी को फिर से लिखे बिना Whisper की गलतियों को ठीक करने के लिए डिज़ाइन किया गया है।

यहाँ बताया गया है कि RECOVER कैसे काम करता है, जिसे सरल चरणों और कुछ रचनात्मक उपमाओं (analogies) में विभाजित किया गया है:

1. "बहु-अनुमान" रणनीति (Multi-Hypothesis Generation)

आमतौर पर, Whisper आपको केवल एक संस्करण देता है कि क्या कहा गया था। RECOVER अधिक स्मार्ट है। यह Whisper से एक ही ऑडियो को पाँच बार सुनने के लिए कहता है, लेकिन हर बार, यह Whisper को थोड़ा "ढीला" या अधिक रचनात्मक होने के लिए कहता है।

उपमा: कल्पना कीजिए कि पाँच अलग-अलग दोस्तों से एक अस्पष्ट वाक्य को ट्रांसक्राइब करने के लिए कहना।
- दोस्त A ने "Cytiva" सुना।
- दोस्त B ने "Sitiva" सुना।
- दोस्त C ने "Cytiva" स्पष्ट रूप से सुना।
- दोस्त D ने "Sativa" सुना।
- दोस्त E ने "Cytiva" सुना।

भले ही वे असहमत हों, लेकिन तथ्य यह है कि उनके अनुमानों में से कुछ ने सही पकड़ा है, तो RECOVER के पास एक सुराग मिलता है। यदि सही उत्तर कम से कम एक अनुमान में मौजूद है, तो RECOVER के पास उसे खोजने का मौका होता है।

2. "वांटेड पोस्टर" खोज (Dynamic Entity Retrieval)

RECOVER जानता है कि बातचीत में कौन से नाम होने चाहिए (जैसे कि 6,000 दवाओं की सूची या 400 पायलट कॉल साइन)। यह बेतरतीब ढंग से अनुमान नहीं लगाना चाहता; यह ऑडियो को "वांटेड पोस्टर" से मिलाना चाहता है।

उपमा: इसे एक क्लब के बाउंसर की तरह सोचें। बाउंसर के पास वीआईपी (VIP) की एक सूची होती है। जब कोई अंदर आने की कोशिश करता है, तो बाउंसर केवल उसके चेहरे को नहीं देखता; वह यह भी जाँचता है कि क्या नाम एक वीआईपी जैसा सुनाई देता है, कैसा दिखता है, या स्पेलिंग में समान है या नहीं।
RECOVER, Whisper के पाँच अनुमानों को लेता है और उन्हें "वांटेड पोस्टर" सूची के विरुद्ध स्कैन करता है। यह उन शीर्ष 200 संभावित उम्मीदवारों को ढूंढता है जो सही नाम हो सकते हैं (उदाहरण के लिए, "sitiva" को "cytiva" से मिलाना, भले ही उनकी स्पेलिंग थोड़ी गलत हो)।

3. "एजेंटिक टीम" (तीन उपकरण)

यह RECORE का मुख्य हिस्सा है। एक अकेला रोबोट सब कुछ करने के बजाय, यह तीन विशिष्ट एजेंटों (उपकरणों) के एक दल का उपयोग करता है जो एक प्रोडक्शन क्रू की तरह मिलकर काम करते हैं:

उपकरण 1: संपादक (Fuse Hypotheses)
- काम: यह तय करना कि पाँच अनुमानों में से सबसे अच्छा शुरुआती बिंदु कौन सा है।
- कैसे: यह "वांटेड पोस्टर" सूची को देखता है। किस अनुमान में सबसे अधिक सही नाम हैं? यह उसी को चुनता है। या, यह एक बहुत ही स्मार्ट AI (LLM) का उपयोग करके सबसे अच्छे को चुन सकता है।
- उपमा: एक फिल्म संपादक द्वारा पाँच अलग-अलग कैमरा एंगल से लिए गए बेहतरीन शॉट (take) को चुनना।
उपकरण 2: सुधारक (Propose Corrections)
- काम: चुने हुए टेक्स्ट को देखता है और कहता है, "हे, यह शब्द गलत लग रहा है। चलिए इसे हमारी सूची के सही वीआईपी नाम से बदल देते हैं।"
- शर्त: यह AI बहुत सख्त है। इसे केवल विशिष्ट नामों को बदलने की अनुमति है। यह व्याकरण को नहीं बदल सकता, लहजा (tone) नहीं बदल सकता, या नए शब्द नहीं बना सकता। यह एक स्पेल-चेकर की तरह है जो केवल संज्ञाओं (proper nouns) को ठीक करता है।
- उपमा: एक सर्जन जो केवल एक विशिष्ट टूटी हुई हड्डी को ठीक करने के लिए अधिकृत है और बाकी शरीर को छूने से वर्जित है।
उपकरण 3: निरीक्षक (Verify & Apply)
- काम: परिवर्तन को स्थायी बनाने से पहले सुधारक (Fixer) के काम की दोबारा जाँच करना।
- नियम:
  1. क्या नया शब्द वास्तव में वीआईपी सूची में है?
  2. क्या सुधारक ने केवल कैपिटलाइजेशन (जैसे, "cytiva" को "Cytiva" में) बदला है? यदि हाँ, तो इसे अनदेखा करें।
  3. क्या नया शब्द वास्तव में पुराने वाले के समान है? (आप केवल इसलिए "Star" को "Cytiva" में नहीं बदल सकते क्योंकि आप बदलना चाहते हैं)।
- उपमा: एक फैक्ट्री में गुणवत्ता नियंत्रण निरीक्षक। यदि सुधारक एक पेंच (screw) को केले से बदलने की कोशिश करता है, तो निरीक्षक हाथ मारकर कहता है, "नहीं, यह अनुमत नहीं है।"

यह एक बड़ी बात क्यों है?

अधिकांश पिछले तरीके या तो अनुमान लगाकर या स्पीच सिस्टम के भीतर जटिल गणित का उपयोग करके त्रुटियों को ठीक करने का प्रयास करते थे। लेकिन RECOVER विशेष है क्योंकि:

यह एक "ब्लैक बॉक्स" सुधारक है: इसे यह जानने की आवश्यकता नहीं है कि Whisper अंदर से कैसे काम करता है। यह बस आउटपुट लेता है और उसे ठीक करता है। इसका मतलब है कि आप इसे किसी भी स्पीच सिस्टम के साथ उपयोग कर सकते हैं।
यह मतिभ्रम (Hallucinations) को रोकता है: AI अक्सर चीजें बनाना पसंद करता है (मतिभ्रम)। "निरीक्षक" उपकरण और सख्त नियमों का उपयोग करके, RECOVER यह सुनिश्चित करता है कि AI केवल उन्हीं चीजों को ठीक करे जिनके बारे में वह आश्वस्त है।
यह संकट टाल देता है: वित्त, चिकित्सा और एयर ट्रैफिक कंट्रोल में परीक्षणों के दौरान, RECOVER ने इन कठिन नामों में त्रुटियों को 8% से 46% तक कम कर दिया। इसने उन शब्दों को भी ढूँढ निकाला जो मूल टेक्स्ट में पूरी तरह से गायब थे और उन्हें ठीक किया, जबकि बाकी बातचीत को स्वाभाविक बनाए रखा।

निष्कर्ष

RECOVER एक अत्यधिक कुशल संपादक की तरह है जिसके पास सहायकों की एक टीम है। यह एक अव्यवस्थित ट्रांसक्रिप्ट को सुनता है, महत्वपूर्ण नामों की एक मास्टर सूची के साथ मिलान करता है, और सावधानीपूर्वक गलत नामों को सही नामों से बदल देता है—बिना बाकी कहानी को बिगाड़े। यह एक "ठीक-ठाक" ट्रांसक्रिप्शन को एक "परफेक्ट" ट्रांसक्रिप्शन में बदल देता है, विशेष रूप से उन शब्दों के लिए जो सबसे महत्वपूर्ण हैं।

यहाँ शोध पत्र "RECOVER: Robust Entity Correction via agentic Orchestration of hypothesis Variants for Evidence-based Recovery" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ऑटोमैटिक स्पीच रिकग्निशन (ASR) सिस्टम, यहाँ तक कि विस्पर (Whisper) जैसे अत्याधुनिक मॉडल भी, एंटिटी फ्रेजेस (संज्ञा, ब्रांड नाम, डोमेन-विशिष्ट शब्दावली) के साथ संघर्ष करते हैं जो प्रशिक्षण डेटा में दुर्लभ या अनुपस्थित होते हैं।

चुनौती: उच्च-जोखिम वाले डोमेन (वित्त, चिकित्सा, एयर ट्रैफिक कंट्रोल) में, एंटिटी संबंधी त्रुटियाँ महंगी पड़ती हैं। यदि प्राथमिक (1-best) ASR आउटपुट में किसी एंटिटी को पूरी तरह से हटा दिया जाता है या अत्यधिक विकृत कर दिया जाता है, तो मानक पोस्ट-प्रोसेसिंग या लार्ज लैंग्वेज मॉडल (LLM) सुधार अक्सर विफल हो जाता है क्योंकि LLM के पास उस शब्द को पुनः प्राप्त करने के लिए आवश्यक संकेत (signal) नहीं होता है।
मौजूदा विधियों की सीमाएँ:
- कॉन्टेक्स्टुअल बायसिंग (Contextual Biasing): इसके लिए डिकोडर के आंतरिक भाग तक पहुँच की आवश्यकता होती है, जो अक्सर ब्लैक-बॉक्स प्रोडक्शन ASR सिस्टम में उपलब्ध नहीं होती है।
- मानक LLM सुधार: बिना सख्त बाधाओं के यह भ्रामक जानकारी (hallucinations) या अत्यधिक सुधार (over-correction) के प्रति संवेदनशील होता है।
- साक्ष्य अंतराल (Evidence Gap): यदि 1-best हाइपोथेसिस एक एंटिटी को मिस कर देता है, तो LLM बिना अतिरिक्त साक्ष्य के उसे सही ढंग से "अनुमान" नहीं लगा सकता।

2. कार्यप्रणाली: RECOVER फ्रेमवर्क (Methodology: The RECOVER Framework)

RECOVER एक एजेंटिक करेक्शन फ्रेमवर्क है जिसे एक टूल-इस्तेमाल करने वाले एजेंट के रूप में डिज़ाइन किया गया है। यह मल्टी-हाइपोथेसिस और कंस्ट्रेंड LLM एडिटिंग का लाभ उठाकर 'एविडेंस गैप' को पाटता है। यह पाइपलाइन तीन मुख्य चरणों से मिलकर बनी है जिसे एक एजेंट द्वारा ऑर्केस्ट्रेट किया जाता है:

A. मल्टी-हाइपोथेसिस जनरेशन (Multi-Hypothesis Generation)

एकल ग्रीडी डिकोडिंग पर निर्भर रहने के बजाय, सिस्टम एक ही ऑडियो सेगमेंट से $N$ ट्रांसक्रिप्ट हाइपोथेसिस उत्पन्न करता है।

कार्यान्वयन: प्रयोगों में, विभिन्न टेम्परेचर सैंपलिंग ( $T \in \{0.0, 0.2, 0.4, 0.6, 0.8\}$ ) के साथ Whisper-small का उपयोग करके पाँच हाइपोथेसिस ( $N=5$ ) उत्पन्न किए गए।
लक्ष्य: "पूरक त्रुटियाँ" (complementary errors) बनाना। यदि एक हाइपोथेसिस में कोई एंटिटी छूट जाती है, तो इसकी संभावना है कि वह दूसरी में मौजूद (या कम विकृत) हो।

B. डायनेमिक एंटिटी कैंडिडेट रिट्रीवल (Dynamic Entity Candidate Retrieval)

LLM के भ्रम (hallucinations) को रोकने और कॉन्टेक्स्ट विंडो की बर्बादी को कम करने के लिए, सिस्टम पूरी एंटिटी लिस्ट को LLM को नहीं भेजता है।

स्कोरिंग मैकेनिज्म: यह तीन-सिग्नल स्कोरिंग फंक्शन का उपयोग करके प्रत्येक सेगमेंट के लिए शीर्ष- $K$ $K$ (जहाँ $K=200$ $K = 200$ ) सबसे प्रासंगिक एंटिटी उम्मीदवारों को गतिशील रूप से रिट्रीव करता है:
1. एक्ज़ैक्ट टोकन हिट्स: सभी हाइपोथेसिस में सटीक शब्द मिलान की संख्या।
2. फजी सिमिलरिटी (Fuzzy Similarity): नॉर्मलाइज्ड लेवेनश्टीन डिस्टेंस (इसे 'sitiva' $\to$ 'cytiva' जैसे नियर-मिसेस को पकड़ने के लिए अधिक वेटेज दिया जाता है)।
3. फोनेटिक प्रीफिक्स (Phonetic Prefix): फोनेटिक कीज़ (जैसे, 5-कैरेक्टर प्रीफिक्स) का मिलान।
आउटपुट: LLM को पास की जाने वाली टॉप- $K$ उम्मीदवारों की रैंक की गई सूची।

C. एजेंटिक ऑर्केस्ट्रेशन (तीन टूल्स) (Agentic Orchestration - Three Tools)

एजेंट हाइपोथेसिस और उम्मीदवारों को प्रोसेस करने के लिए तीन विशिष्ट टूल्स का प्रबंधन करता है:

टूल 1: फ्यूज हाइपोथेसिस (Fuse Hypotheses)
$N$ हाइपोथेसिस को एक सिंगल बेस ट्रांसक्रिप्ट में संयोजित करता है, जिसके लिए चार रणनीतियाँ हैं:
- 1-Best: एकल ग्रीडी हाइपोथेसिस का उपयोग करता है ( $N=1$ )।
- एंटिटी-अवेयर सेलेक्ट (Entity-Aware Select): उस हाइपोथेसिस को चुनता है जिसमें अधिकतम सटीक एंटिटी-कैंडिडेट मैच होते हैं।
- ROVER एन्सेम्बल (ROVER Ensemble): नीडलमैन-वुन्श एलाइनमेंट का उपयोग करके सभी हाइपोथेसिस को एक पिवट (जो 'एंटिटी-अवेयर सेलेक्ट' द्वारा चुना गया है) के साथ अलाइन करता है और टोकन-लेवल बहुमत (majority vote) करता है।
- LLM-Select: हाइपोथेसिस और उम्मीदवारों के आधार पर सीधे LLM को सर्वश्रेष्ठ बेस वेरिएंट (और प्रारंभिक सुधारों) के चयन का कार्य सौंपता है।
टूल 2: प्रोपोज़ करेक्शन (Propose Corrections)
एक कंस्ट्रेंड LLM (जैसे, GPT-4o) केवल रिट्रीव किए गए टॉप- $K$ एंटिटी उम्मीदवारों तक सीमित find/replace एडिट्स का प्रस्ताव देता है।
- बाधाएँ (Constraints): कोई जेनेरिक ग्रामर रीराइट नहीं; केवल एंटिटी सब्स्टीट्यूशन (जैसे, oscar kill papa $\to$ oscar kilo papa)।
- आउटपुट: कैरेक्टर ऑफसेट्स, ओरिजिनल स्पैन, रिप्लेसमेंट स्पैन और रीजनिंग के साथ वैध JSON।
टूल 3: वेरीफाई एंड अप्लाई (Verify & Apply)
एक डिटर्मिनिस्टिक गार्डरेल लेयर जो एप्लिकेशन से पहले हर प्रस्तावित एडिट को वैलिडेट करती है:
- सुनिश्चित करता है कि रिप्लेसमेंट एंटिटी लिस्ट में मौजूद है।
- केवल केस-आधारित बदलावों को खारिज करता है।
- यदि ऑफसेट्स गलत हैं तो स्पैन को पुनर्गठित (relocate) करता है।
- असंबंधित सब्स्टीट्यूशन को रोकने के लिए उच्च लेवेनश्टीन सिमिलरिटी लागू करता है।
- ओवरलैप को छोड़कर, लेफ्ट-टू-राइट एडिट्स लागू करता है।

3. प्रमुख योगदान (Key Contributions)

मल्टी-हाइपोथेसिस डाइवर्सिटी: प्रदर्शित किया कि एक ही ASR मॉडल से टेम्परेचर सैंपलिंग करने से पूरक त्रुटियाँ उत्पन्न होती हैं जो एंटिटी रिकवरी में महत्वपूर्ण सहायता करती हैं।
एजेंटिक आर्किटेक्चर: एक मॉड्यूलर पाइपलाइन (Fuse $\to$ Propose $\to$ Verify) पेश की जो विश्लेषण, सुधार और सुरक्षा सत्यापन को अलग करती है।
चार करेक्शन रणनीतियाँ: 1-Best, Entity-Aware Select, ROVER Ensemble, और LLM-Select का मूल्यांकन किया, जिससे पता चला कि LLM-Select प्रदर्शन और सुरक्षा के बीच सबसे अच्छा संतुलन प्रदान करता है।
कंस्ट्रेंड एडिटिंग: सिद्ध किया कि सख्त बाधाएँ (एंटिटी लिस्ट + डिटर्मिनिस्टिक गार्डरेल्स) LLMs को नई सामग्री को भ्रमित (hallucinate) किए बिना प्रभावी ढंग से एंटिटी को ठीक करने की अनुमति देती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन पाँच विविध डेटासेट्स पर किया गया: Earnings-21 (फाइनेंस), ATCO2 (एयर ट्रैफिक कंट्रोल), Eka-Medical (मेडिकल), Common Voice (जनरल), और ContextASR-Bench (डायलॉग/मूवीज)।

प्रदर्शन लाभ:
- एंटिटी-फ्रेज वर्ड एरर रेट (E-WER) में 8% से 46% सापेक्ष कमी हासिल की।
- एंटिटी रिकॉल (Entity Recall) में 22 प्रतिशत अंक तक की वृद्धि हुई।
- LLM-Select सबसे सुसंगत रणनीति थी, जिसने 5 में से 4 डेटासेट्स पर सर्वश्रेष्ठ E-WER प्राप्त किया और समग्र WER को बनाए रखा या उसमें सुधार किया।
विशिष्ट निष्कर्ष:
- रिकॉल बनाम प्रिसिजन (Recall vs. Precision): सुधार का मुख्य चालक डिलीशंस (deletions) और सबस्टीट्यूशंस (substitutions) (नियर-मिसेस) को ठीक करना था। प्रिसिजन काफी हद तक सुरक्षित रहा या न्यूनतम ट्रेड-ऑफ हुआ।
- रोबस्टनेस (Robustness): जबकि शोर वाले डोमेन में ROVER एन्सेम्बल और एंटिटी-अवेयर सेलेक्ट कभी-कभी टोकन मर्जिंग के कारण इनसर्शन नॉइज़ की वजह से समग्र WER को खराब कर देते हैं, LLM-Select ने टोकन को मर्ज करने के बजाय सर्वश्रेष्ठ सिंगल वेरिएंट को चुनकर इसे टाल दिया।
- एब्लेशन (Ablation): एक छोटे LLM (GPT-4o-mini) का उपयोग करने पर भी निरंतर लाभ (2.2–15.7% RWERR) मिले, हालांकि एक मजबूत LLM (GPT-4o) ने जटिल नियर-मिसेस के लिए बेहतर रीजनिंग प्रदान की।

5. महत्व (Significance)

ब्लैक-बॉक्स कम्पैटिबिलिटी: कॉन्टेक्स्टुअल बायसिंग के विपरीत, RECOVER प्रोडक्शन ASR सिस्टम के साथ ब्लैक बॉक्स के रूप में काम करता है, जिसे डिकोडर के आंतरिक भागों तक पहुँच की आवश्यकता नहीं होती है।
सुरक्षा-महत्वपूर्ण अनुप्रयोग: इसके डिटर्मिनिस्टिक गार्डरेल्स इसे उन डोमेन के लिए उपयुक्त बनाते हैं जहाँ भ्रामक जानकारी (hallucinations) स्वीकार्य नहीं है (जैसे, चिकित्सा, विमानन)।
पैराडाइम शिफ्ट: यह पोस्ट-ASR सुधार को सरल टेक्स्ट रिफाइनमेंट से बदलकर एक साक्ष्य-आधारित एजेंटिक प्रक्रिया में बदल देता है, जो गायब जानकारी को पुनः प्राप्त करने के लिए कई हाइपोथेसिस की विविधता का उपयोग करता है जिसे एक एकल ट्रांसक्रिप्ट नहीं कर सकता।
स्केलेबिलिटी: यह फ्रेमवर्क हाइपोथेसिस जनरेशन पद्धति के प्रति उदासीन (agnostic) है और इसे किसी भी ASR मॉडल और एंटिटी लिस्ट के अनुकूल बनाया जा सकता है।

निष्कर्षतः, RECOVER यह प्रदर्शित करता है कि मल्टी-हाइपोथेसिस डाइवर्सिटी को कंस्ट्रेंड, एजेंटिक LLM एडिटिंग के साथ जोड़ना, दुर्लभ और महत्वपूर्ण एंटिटी फ्रेजेस को रिकवर करने के लिए एक अत्यधिक प्रभावी रणनीति है, जो समग्र ट्रांसक्रिप्ट की गुणवत्ता से समझौता किए बिना बेसलाइन विधियों से काफी बेहतर प्रदर्शन करती है।