💬 NLP

RECOVER: Robust Entity Correction via agentic Orchestration of hypothesis Variants for Evidence-based Recovery

Het paper introduceert RECOVER, een agentisch framework dat meerdere ASR-hypothese en een beperkte LLM gebruikt om fouten in zeldzame entiteiten in domeinen zoals financiën en geneeskunde effectief te corrigeren, wat resulteert in aanzienlijke verbeteringen in de woordfoutenratio en recall.

Oorspronkelijke auteurs: Abhishek Kumar, Aashraya Sachdeva

Gepubliceerd 2026-03-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Abhishek Kumar, Aashraya Sachdeva

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar soms een beetje slordige vertaler hebt. Deze vertaler (een kunstmatige intelligentie die spraak omzet in tekst) is geweldig in het vertalen van gewone zinnen. Maar zodra hij een moeilijk woord moet vertalen – zoals een specifieke medicijnnaam, een rare bedrijfsnaam of een luchthavencode – begint hij te twijfelen. In plaats van het juiste woord te zeggen, zegt hij iets dat erop lijkt, maar niet helemaal klopt.

In de echte wereld kan dit gevaarlijk zijn. Denk aan een arts die "cytiva" (een medicijn) hoort als "sitiva", of een luchtverkeersleider die "hotel bravo zulu" hoort als "hotel hotel".

De onderzoekers van Observe.AI hebben een slimme oplossing bedacht genaamd RECOVER. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. Het probleem: De "Grote Slordige Vertaler"

Normaal gesproken laat je de computer maar één keer luisteren naar een opname en geeft hij je één tekst. Als die tekst een fout bevat, is het vaak te laat. De computer heeft het woord "vergeten" of verkeerd opgeschreven, en er is geen tweede mening.

2. De oplossing: Een panel van vijf getuigen

In plaats van naar één versie te luisteren, laat RECOVER de computer vijf keer naar dezelfde opname luisteren, maar met een klein trucje: elke keer is de "stem" van de computer net iets anders (alsof je vijf verschillende mensen vraagt om hetzelfde verhaal op te schrijven).

Soms zegt de eerste versie: "Cytiva".
Soms zegt de tweede: "Sitiva".
Soms zegt de derde: "Cytiva" (maar met een andere spelling).

Door al deze versies naast elkaar te leggen, krijgen ze een collectief geheugen. Als één versie het woord mist, heeft de andere het misschien wel goed.

3. De "Detective" (Het Agent-systeem)

RECOVER werkt als een slimme detective die drie taken uitvoert, net als een team van specialisten:

De Verzamelaar (Tool 1): Deze kijkt naar de vijf verschillende versies en probeert de beste te kiezen. Hij kijkt: "Welke versie heeft de meeste juiste namen?" Hij kan ook alle versies samenvoegen, maar dan heel voorzichtig, zodat hij geen onzin toevoegt.
De Zoeker (Tool 2): De detective heeft een lijst met alle mogelijke moeilijke woorden (bijvoorbeeld alle medicijnen of alle luchtvaartcodes). Hij zoekt in die lijst naar de woorden die het meest lijken op wat de computer heeft gehoord. Het is alsof je een zoektocht doet in een telefoonboek voor iemand die je alleen maar vaag kent.
De Controleur (Tool 3): Dit is de belangrijkste stap. De detective mag niet zomaar alles veranderen. Hij heeft een strenge "veiligheidsregelaar".
- Mag hij "Sitiva" veranderen in "Cytiva"? Ja, want dat staat in de lijst.
- Mag hij "Sitiva" veranderen in "Banaan"? Nee, want dat is niet in de lijst en het is geen medicijn.
- Hij controleert ook of de verandering logisch is. Hij zorgt ervoor dat de computer niet gaat "hallucineren" (dromen van woorden die er niet zijn).

4. Waarom is dit zo goed?

De onderzoekers hebben dit getest op vijf verschillende gebieden: geldzaken, luchtverkeer, medische dossiers, alledaagse gesprekken en films.

Het resultaat?

Minder fouten: De fouten in moeilijke woorden zijn met 8% tot wel 46% gedaald.
Meer herkenning: De computer herkende tot 22% meer namen die hij eerst helemaal had gemist.
Veiligheid: De "veiligheidsregelaar" zorgt ervoor dat de computer niet begint te verzinnen. Hij maakt alleen correcties die logisch zijn en die in de lijst staan.

De Grootste Les

Stel je voor dat je een groep vrienden hebt die een gesprek hebben opgenomen. Als één vriend zegt: "Ik zag een cytiva," en een ander zegt: "Ik zag een sitiva," en een derde zegt: "Ik zag cytiva," dan weet je dat het waarschijnlijk cytiva is.

RECOVER doet precies dit, maar dan met een computer die vijf keer luistert en een slimme "chef" die de beste versie kiest en de fouten corrigeert zonder de rest van het verhaal te verpesten. Het is een manier om de computer te helpen om niet alleen te horen, maar ook echt te begrijpen wat er gezegd wordt, zelfs bij de moeilijkste woorden.

Probleemstelling

Automatische Spraakherkenning (ASR) systemen, zoals Whisper en wav2vec 2.0, presteren uitstekend op algemene benchmarks, maar kampen met aanzienlijke moeilijkheden bij het herkennen van entiteiten (bijv. eigennamen, merknamen, domeinspecifieke terminologie). Dit is vooral kritiek in sectoren zoals financiën, geneeskunde en luchtverkeersleiding, waar fouten in deze termen kostbaar kunnen zijn.

De kernuitdagingen zijn:

Zeldzame termen: Entiteiten zijn vaak afwezig of ondervertegenwoordigd in de trainingsdata.
Verlies van informatie: Als een entiteit volledig ontbreekt of zwaar vervormd is in de "1-best" (beste) ASR-uitvoer, missen post-ASR correctiemethoden (zoals LLM's) vaak het signaal om de term te herstellen.
Hallucinaties: LLM's zijn geneigd tot hallucinaties of overcorrectie als ze niet strikt worden beperkt.
Beperkte toegang: Veel geavanceerde correctiemethoden vereisen toegang tot de decoder-interne van het ASR-systeem, wat vaak niet beschikbaar is bij productie-systemen die als "black box" worden gebruikt.

Methodologie: Het RECOVER Framework

RECOVER is een agentisch framework dat post-ASR entiteitscorrectie aanpakt door gebruik te maken van meerdere hypothesen (varianten) van een ASR-uitvoer, dynamische kandidaat-retrieval en een beperkte LLM-editor. Het proces bestaat uit drie hoofdfasen:

1. Multi-Hypothesis Generatie

In plaats van te vertrouwen op één transcriptie, genereert het systeem meerdere hypothesen ( $N$ ) voor hetzelfde audiofragment.

Techniek: In de experimenten wordt dit gedaan via temperatuur-sampling met Whisper-small (temperatuur $T \in \{0.0, 0.2, 0.4, 0.6, 0.8\}$ ), wat resulteert in 5 varianten.
Doel: Deze varianten bevatten vaak complementaire fouten; een term die in de ene hypothesen is verwijderd of verkeerd gespeld, kan correct zijn in een andere.

2. Dynamische Entiteitskandidaat Retrieval

Om de LLM niet te overladen met een volledige lijst van duizenden mogelijke entiteiten, wordt een slimme filtering toegepast.

Scoring: Voor elk audiofragment worden de top- $K$ (bijv. $K=200$ ) meest relevante entiteitskandidaten geselecteerd uit een grote lijst.
Scorefunctie: Een combinatie van drie signalen:
1. Exacte token hits: Hoe vaak komt de entiteit exact voor in de hypothesen?
2. Fuzzy similariteit: Levenshtein-distantie (gebaseerd op spelling).
3. Fonetische prefix: Overeenkomst in fonetische sleutels.
Dit zorgt ervoor dat de LLM alleen werkt met de meest waarschijnlijke correcties.

3. Agente Orkestratie (Drie Tools)

Het framework fungeert als een agent die drie gespecialiseerde tools aanstuurt:

Tool 1: Fuse Hypotheses (Samenvoegen):
Combineert de $N$ $N$ hypothesen tot één tekst. Er worden vier strategieën ondersteund:
- 1-Best: Alleen de beste hypothesen gebruiken.
- Entity-Aware Select: Kies de hypothesen met de meeste exacte entiteitsmatches.
- ROVER Ensemble: Gebruik globale uitlijning (Needleman-Wunsch) en meerderheidsstemming op token-niveau.
- LLM-Select: Laat de LLM de beste variant kiezen op basis van de hypothesen en de top-K kandidaten.
Tool 2: Propose Corrections (Correcties Voorstellen):
Een LLM (GPT-4o) stelt "find/replace"-bewerkingen voor, maar alleen voor entiteiten die in de geselecteerde kandidatenlijst staan. De prompt verbiedt algemene herschrijvingen (grammatica, leestekens) en moedigt "near-miss" correcties aan (bijv. sitiva $\to$ cytiva).
Tool 3: Verify & Apply (Verifiëren en Toepassen):
Elke voorgestelde correctie gaat door strikte deterministische controles (guardrails):
- De vervanging moet bestaan in de entiteitenlijst.
- Alleen hoofdletterwijzigingen worden verworpen.
- De fonetische en spellingsovereenkomst moet hoog genoeg zijn om willekeurige vervangingen te voorkomen.
- Overlappingen met eerdere bewerkingen worden vermeden.

Kernbijdragen

Multi-hypothesis Diversiteit: Het aantonen dat het genereren van meerdere hypothesen via temperatuur-sampling complementaire fouten blootlegt die essentieel zijn voor het herstellen van ontbrekende entiteiten.
Agente Architectuur: Een modulaire opbouw met drie gespecialiseerde tools (Fuse, Propose, Verify) die de LLM-stap van de verificatie-stap scheidt, waardoor hallucinaties worden tegengegaan.
Vier Correctiestrategieën: Vergelijking van 1-Best, Entity-Aware Select, ROVER Ensemble en LLM-Select binnen één pipeline.
Beperkte LLM-bewerking: Een methode waarbij de LLM strikt wordt beperkt tot een vooraf gedefinieerde lijst van entiteiten, wat hallucinaties minimaliseert terwijl near-miss fouten worden gecorrigeerd.

Resultaten

Het framework is getest op vijf diverse datasets (Financiën, Luchtverkeersleiding, Geneeskunde, Algemeen Spraak, Dialogue).

Verbetering in Entiteits-WER (E-WER): RECOVER bereikte een relatieve reductie van 8% tot 46% in de woordfoutenratio specifiek voor entiteiten.
Recall: De recall voor entiteiten steeg met maximaal 22 procentpunten. Dit bevestigt dat het grootste probleem bij ASR het verwijderen (deletie) of verkeerd spellen (substitutie) van entiteiten is.
Beste Strategie: LLM-Select presteerde het meest consistent. Het bood de beste entiteitscorrectie terwijl het de algehele WER (Word Error Rate) behield of zelfs verbeterde.
Vergelijking met andere methoden:
- ROVER Ensemble en Entity-Aware Select konden de algehele WER verslechteren in ruisrijke domeinen (zoals ATCO2) door extra invoegingen (insertions) te introduceren.
- 1-Best met beperkte LLM-editie leverde al een sterke verbetering op (bijv. 33,2% reductie in E-WER op Earnings-21), maar multi-hypothesis methoden gaven extra winst.
Ablatie: Zelfs met een kleiner model (GPT-4o-mini) waren er consistente, zij het kleinere, winsten te zien, wat aantoont dat de beperkingen en de architectuur cruciaal zijn.

Betekenis en Conclusie

RECOVER biedt een robuuste oplossing voor een van de grootste pijnpunten in ASR-toepassingen: de correcte herkenning van zeldzame en domeinspecifieke entiteiten.

Praktische toepasbaarheid: Het werkt als een "black-box" post-processing stap, wat betekent dat het kan worden toegepast op bestaande productiesystemen zonder de decoder-interne te hoeven aanpassen.
Veiligheid: Door de strikte deterministische guardrails en het beperken van de LLM tot een entiteitenlijst, worden hallucinaties effectief onderdrukt.
Toekomst: De auteurs suggereren dat toekomstig werk zich kan richten op adaptieve strategie-selectie per segment en integratie met confidence-scores van het ASR-systeem.

Kortom, RECOVER bewijst dat een combinatie van multi-hypothesis evidence en een streng gecontroleerde LLM-agent een zeer effectieve manier is om de nauwkeurigheid van ASR-systemen in kritieke domeinen te verhogen zonder de algehele transcriptiekwaliteit te schaden.