💬 NLP

RECOVER: Robust Entity Correction via agentic Orchestration of hypothesis Variants for Evidence-based Recovery

Das Paper stellt RECOVER vor, ein agentenbasiertes Korrekturframework, das durch die orchestrierte Nutzung mehrerer ASR-Hypothesen und eines eingeschränkten Large Language Models die Erkennung seltener und domainspezifischer Entitäten in der automatischen Spracherkennung signifikant verbessert.

Ursprüngliche Autoren: Abhishek Kumar, Aashraya Sachdeva

Veröffentlicht 2026-03-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Abhishek Kumar, Aashraya Sachdeva

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der müde Dolmetscher

Stell dir vor, du hast einen sehr talentierten Dolmetscher (das ist das ASR-System, also die Spracherkennungssoftware wie Whisper). Er kann fast jeden Satz perfekt übersetzen. Aber wenn es um spezielle, seltene Wörter geht – wie den Namen eines neuen Medikaments, einen Firmennamen an der Börse oder einen speziellen Flugzeug-Rufcode – dann stolpert er.

Er sagt vielleicht „Cytiba" statt „Cytiva" oder „Oscar Kill Papa" statt „Oscar Kilo Papa". In der Medizin oder im Finanzwesen sind solche kleinen Fehler katastrophal. Das Problem: Wenn der Dolmetscher ein Wort komplett vergisst oder so falsch schreibt, dass es nicht mehr zu erkennen ist, kann er es später kaum noch korrigieren. Er hat einfach keine Spur mehr davon.

Die Lösung: RECOVER – Der „Agenten-Teamleiter"

Die Forscher haben RECOVER entwickelt. Stell dir das nicht als einen einzelnen Korrektor vor, sondern als einen klugen Teamleiter (einen „Agenten"), der eine ganze Werkstatt leitet.

Das Ziel von RECOVER ist es, diese speziellen Fachbegriffe zu retten, ohne den Rest des Textes zu verderben. Hier ist, wie der Teamleiter arbeitet, Schritt für Schritt:

1. Der „Vielzahl-Test" (Multi-Hypothesis)

Normalerweise gibt der Dolmetscher nur eine Antwort. RECOVER ist aber schlauer. Er sagt: „Lass uns das gleiche Audio fünfmal hören, aber jedes Mal mit einem leicht anderen Fokus (wie wenn man fünf verschiedene Dolmetscher fragt, die jeweils leicht unterschiedlich hören)."

Die Metapher: Stell dir vor, du hast fünf Freunde, die denselben Song hören. Freund A hört „Cytiba", Freund B hört „Cytiva", Freund C hört „Zytiva". Keiner ist zu 100 % sicher, aber zusammen haben sie alle Teile des Puzzles. RECOVER sammelt diese fünf Versionen.

2. Die „Werkzeugkiste" (Candidate Retrieval)

Bevor der Teamleiter etwas korrigiert, schaut er in eine riesige Liste mit den richtigen Wörtern (z. B. eine Liste aller Medikamente oder Firmennamen). Er sucht nicht blind, sondern nutzt einen cleveren Filter:

Passt das Wort genau? (Ja/Nein)
Sieht es ähnlich aus? (Wie „sitiva" vs. „cytiva")
Klingt es ähnlich? (Wie „Zolid" vs. „Linezolid")
Er wählt die Top-200 wahrscheinlichsten Kandidaten aus, die er dann dem KI-Modell vorlegt.

3. Die drei Werkzeuge des Agenten

Der Teamleiter (RECOVER) nutzt nun drei spezielle Werkzeuge, um die Korrektur durchzuführen:

Werkzeug 1: Der Zusammenkleber (Fuse Hypotheses)
Er nimmt die fünf verschiedenen Versionen der Freunde und versucht, die beste Version zu finden.
- Strategie A: Er nimmt einfach die Version, die am meisten richtige Fachbegriffe enthält.
- Strategie B (ROVER): Er klebt die Teile aller fünf Versionen zusammen wie ein Puzzle und stimmt ab, was am häufigsten vorkommt.
- Strategie C (LLM-Select): Er fragt die KI: „Welche der fünf Versionen ist am besten, und kannst du sie direkt verbessern?"
Werkzeug 2: Der Vorschläger (Propose Corrections)
Hier kommt eine starke KI (wie GPT-4) ins Spiel. Sie bekommt die beste Version und die Liste der Top-200 Kandidaten. Ihre Aufgabe ist streng geregelt: „Du darfst nur Fachbegriffe ändern. Du darfst keine Grammatik ändern, keine Sätze umschreiben und keine neuen Wörter erfinden."
- Die Metapher: Es ist wie ein Lektor, der nur rote Stifte für Namen hat. Er darf den Rest des Textes nicht anfassen.
Werkzeug 3: Der Sicherheitspolizist (Verify & Apply)
Bevor die Änderung im Text steht, prüft der Polizist streng:
1. Ist das neue Wort wirklich in unserer offiziellen Liste?
2. Wurde es nur die Groß-/Kleinschreibung geändert? (Dann nein).
3. Passt das neue Wort phonetisch zum alten? (Wir wollen „Cytiva", nicht „Elefant").
4. Überschneiden sich die Änderungen? (Wir ändern nur von links nach rechts).
  Nur wenn alles grünes Licht gibt, wird die Korrektur festgeschrieben.

Das Ergebnis: Warum ist das so gut?

Die Forscher haben das System an fünf verschiedenen Orten getestet: Finanzgespräche, Fluglotsen, medizinische Aufnahmen, Alltagssprache und Dialoge.

Der große Gewinn: RECOVER hat die Fehler bei Fachbegriffen um 8 % bis 46 % reduziert.
Das Wichtigste: Es hat nicht nur Fehler korrigiert, sondern viele Wörter wiederentdeckt, die vorher komplett verschwunden waren (die „Erinnerung" wurde um bis zu 22 % besser).
Kein Schaden: Im Gegensatz zu anderen Methoden, die manchmal den ganzen Text durcheinanderbringen, bleibt der Rest des Textes sauber. Die KI macht keine „Halluzinationen" (Erfindungen), weil sie durch den Sicherheitspolizisten (Werkzeug 3) gebremst wird.

Fazit in einem Satz

RECOVER ist wie ein Super-Editor, der nicht nur einen Dolmetscher hört, sondern fünf verschiedene Versionen vergleicht, eine Liste mit den richtigen Fachbegriffen nutzt und dann mit strengen Sicherheitsregeln nur die falschen Namen austauscht – alles ohne den Rest des Textes zu zerstören.

1. Problemstellung

Automatische Spracherkennung (ASR) Systeme wie Whisper, wav2vec 2.0 oder Conformer-Modelle erzielen auf allgemeinen Benchmarks hervorragende Ergebnisse. Allerdings leiden sie bei der Erkennung von Entitäten (Eigennamen, Markennamen, domänenspezifische Terminologie) und seltenen Wörtern, die im Trainingsdaten unterrepräsentiert oder gar nicht vorhanden sind.

Herausforderung: In kritischen Domänen wie Finanzen, Medizin oder Flugverkehrskontrolle (ATC) sind Fehler bei Entitäten kostspielig und können zu gefährlichen Missverständnissen führen (z. B. „cytiva" statt „cytiva" oder falsche Flugzeugkennungen).
Limitierung bestehender Ansätze:
- Kontext-Biasing zur Dekodierungszeit: Erfordert oft Zugriff auf die Decoder-Interna, was bei Black-Box-ASR-Systemen nicht möglich ist.
- Nachträgliche Korrektur mit LLMs: Große Sprachmodelle (LLMs) neigen ohne strenge Einschränkungen zu Halluzinationen oder übermäßigen Korrekturen.
- Evidenz-Lücke: Wenn eine Entität im besten ASR-Hypothesen-Output (1-Best) vollständig gelöscht oder stark korrupt ist, fehlt dem LLM oft das Signal, um den Begriff wiederherzustellen.

2. Methodik: Das RECOVER-Framework

RECOVER ist ein agentic Korrekturframework, das als Werkzeug-nutzender Agent (Tool-using Agent) fungiert. Es kombiniert multi-hypothetische Evidenz aus der ASR mit einer streng eingeschränkten LLM-Korrektur.

Der Prozess gliedert sich in drei Hauptphasen und drei Agenten-Tools:

A. Multi-Hypothesis Generation

Anstatt sich auf eine einzige Transkription zu verlassen, generiert das System $N$ Hypothesen pro Audiosegment.

Methode: Im Experiment wird Whisper-small mit unterschiedlichen Temperatur-Sampling-Werten ( $T \in \{0.0, 0.2, 0.4, 0.6, 0.8\}$ ) verwendet, um fünf Varianten zu erzeugen.
Ziel: Diese Varianten enthalten komplementäre Fehler. Eine Entität, die in einer Hypothese fehlt oder falsch ist, kann in einer anderen korrekt transkribiert sein.

B. Dynamische Entity Candidate Retrieval

Da Entity-Listen sehr groß sein können (bis zu 6.198 Phrasen), werden nicht alle in den LLM-Prompt gesendet. Stattdessen werden die Top- $K$ (hier $K=200$ ) relevantesten Kandidaten dynamisch ausgewählt.

Bewertungsfunktion: Eine Kombination aus drei Signalen:
1. Exakte Treffer: Wie oft kommen die Wörter der Entität exakt in den Hypothesen vor.
2. Fuzzy-Similarität: Normalisierte Levenshtein-Ähnlichkeit (für korrupte Entitäten, z. B. „sitiva" $\to$ „cytiva").
3. Phonetische Präfixe: Übereinstimmung phonetischer Schlüssel (z. B. 5-Zeichen-Präfix).
Die Top- $K$ Kandidaten werden an das LLM weitergegeben.

C. Agentic Orchestration (Die drei Tools)

Ein Agent orchestriert drei spezialisierte Tools:

Tool 1: Fuse Hypotheses (Verschmelzung der Hypothesen)
Es erstellt eine einzige Transkription aus den $N$ Hypothesen basierend auf vier Strategien:
- 1-Best: Nur die greedy-Hypothese (keine Fusion).
- Entity-Aware Select: Wählt die Hypothese mit den meisten exakten Übereinstimmungen der Entitätskandidaten.
- ROVER Ensemble: Nutzt globale Ausrichtung (Needleman-Wunsch) und Mehrheitsvoting auf Token-Ebene.
- LLM-Select: Das LLM wählt die beste Basis-Variante aus und kann bereits erste Korrekturen vorschlagen.
Tool 2: Propose Corrections (Vorschlag von Korrekturen)
Ein LLM (GPT-4o) schlägt „Find & Replace"-Operationen vor, unterliegt aber strengen Regeln:
- Ersetzungen müssen exakt aus der vordefinierten Entitätsliste stammen.
- Keine generischen Textänderungen (Grammatik, Zeichensetzung, Füllwörter).
- Fokus auf „Near-Miss"-Korrekturen (z. B. phonetische Verwechslungen).
- Ausgabe ist ein valides JSON mit Offset, Original, Ersatz und Begründung.
Tool 3: Verify & Apply (Verifizierung und Anwendung)
Jeder Vorschlag durchläuft deterministische Guardrails (Sicherheitsprüfungen):
- Der Ersatz muss in der Entitätsliste existieren.
- Nur Groß-/Kleinschreibungsänderungen werden verworfen.
- Falls die Offsets falsch sind, wird die Suche neu lokalisiert.
- Die Ähnlichkeit zwischen Original und Ersatz muss hoch sein (Verhinderung willkürlicher Ersetzungen).
- Überlappende Änderungen werden ignoriert; Änderungen werden von links nach rechts angewendet.

3. Wichtige Beiträge

Multi-Hypothesis-Diversität: Nachweis, dass Temperatur-Sampling komplementäre Fehler erzeugt, die zur Wiederherstellung gelöschter oder korrupter Entitäten genutzt werden können.
Agente Architektur: Zerlegung des Prozesses in Analyse/Fusion, Korrekturvorschlag und deterministische Verifizierung.
Strategien-Vielfalt: Vergleich von vier Fusionsstrategien (1-Best, Entity-Aware, ROVER, LLM-Select).
Eingeschränktes LLM-Editing: Das LLM agiert nur als Editor für Entitäten innerhalb einer festen Liste, was Halluzinationen minimiert.

4. Ergebnisse

Das Framework wurde auf fünf Datensätzen evaluiert (Finanzen/Earnings-21, Flugverkehr/ATCO2, Medizin/Eka-Medical, Allgemein/Common Voice, Dialog/ContextASR-Bench).

Verbesserung der Entitäts-Genauigkeit:
- Relative Reduktion des Entity-Phrase Word Error Rate (E-WER) von 8 % bis 46 %.
- Steigerung der Recall-Werte um bis zu 22 Prozentpunkte. Dies bestätigt, dass das Löschen und falsche Ersetzen von Entitäten die Hauptfehlerquelle ist.
Beste Strategie:
- LLM-Select erzielte die konsistentesten Ergebnisse über alle Domänen hinweg und verbesserte oder hielt gleichzeitig die Gesamt-WER (Word Error Rate) stabil.
- ROVER Ensemble und Entity-Aware Select zeigten in lauten Domänen (wie ATCO2) oft eine Verschlechterung der Gesamt-WER durch Einfügefehler (Insertions), da sie Token fusionieren.
Fehleranalyse:
- Der Hauptgewinn resultiert aus der Reduktion von Substitutionen (z. B. „chronic holes" $\to$ „chronicles").
- Die Insertionsrate blieb niedrig oder sank, was zeigt, dass das System keine willkürlichen Wörter hinzufügt.
Modellvergleich: Auch mit dem kleineren Modell GPT-4o-mini wurden konsistente, wenn auch geringere Verbesserungen erzielt, was die Robustheit des Ansatzes unterstreicht.

5. Bedeutung und Fazit

RECOVER adressiert eine kritische Lücke in der ASR-Nachbearbeitung: die Wiederherstellung von Entitäten, die im Primäroutput fehlen oder stark beschädigt sind.

Schlüsselinnovation: Die Nutzung multipler Hypothesen als „Evidenz" für das LLM, kombiniert mit strengen, deterministischen Guardrails, verhindert die typischen Halluzinationen von LLMs.
Praktischer Nutzen: Das System funktioniert als Black-Box-Post-Processor und benötigt keinen Zugriff auf den ASR-Decoder. Es ist besonders wertvoll für hochspezialisierte Domänen, wo Entitätsfehler inakzeptabel sind.
Zukunftsperspektive: Die Arbeit legt den Grundstein für adaptive Strategien, die basierend auf der Übereinstimmung der Hypothesen dynamisch entscheiden, welche Fusionsmethode (z. B. LLM-Select vs. ROVER) für ein bestimmtes Segment am besten geeignet ist.

Zusammenfassend demonstriert RECOVER, dass eine Kombination aus agentic Orchestration, multi-hypothetischer Evidenz und eingeschränktem LLM-Editing eine robuste Lösung für das Problem der Entitätskorrektur in der Spracherkennung darstellt.