Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition

Probleemstelling

Ondanks de aanzienlijke vooruitgang in Automatische Spraakherkenning (ASR) door verbeterde modelarchitecturen en grote datasets, blijven twee kritieke aspecten onderbelicht:

1. Beperkte Evaluatiemetrics: De traditionele standaard, de Word Error Rate (WER), behandelt alle woorden gelijk. Dit houdt geen rekening met de semantische impact van fouten. Een fout in een functioneel woord (bijv. "de") heeft minder gevolgen dan een fout in een cruciaal inhoudswoord of een naam (bijv. "Knight" vs. "Night"). WER faalt daarom vaak in het weergeven van de werkelijke semantische correctheid van een zin.
2. Gebrek aan Interactieve Correctie: In menselijke communicatie is het normaal om onduidelijkheden of fouten te verduidelijken via interactie. Bestaande ASR-systemen zijn echter statisch; ze kunnen hun output niet aanpassen zodra een fout is gemaakt, zelfs niet als de gebruiker expliciet corrigeert. Dit leidt tot een slechte gebruikerservaring, vooral in scenario's waar spraak de enige interface is.

Methodologie

De auteurs stellen een nieuw kader voor: Interactive ASR, dat semantisch bewuste evaluatie en gebruikersinteractie integreert binnen een "agentic" (agent-gebaseerd) framework.

1. Nieuwe Evaluatiemetric: $S^2ER$

In plaats van alleen op token-niveau te kijken, introduceren de auteurs de Sentence-level Semantic Error Rate ($S^2ER$).

• LLM-as-a-Judge: Een Large Language Model (LLM) fungeert als rechter om te beoordelen of de ASR-uitvoer semantisch equivalent is aan de referentie (ground truth).
• Focus op Intentie: De LLM wordt geprompt om te negeren bij oppervlakkige variaties (zoals vulwoorden of leestekens) en zich te richten op de uitvoerbaarheid van de gebruikersintentie en de correctheid van kritieke entiteiten.

2. Agentic Correctie Framework

Het systeem is ontworpen als een iteratief proces dat gebruikersfeedback gebruikt om fouten te corrigeren. Het bestaat uit twee hoofdcomponenten:

• Intent Router: Classificeert de nieuwe spraakinput. Als de input een nieuwe zin is, wordt deze direct verwerkt. Als het een correctie is op een vorige zin, wordt het proces doorgegeven aan de Reasoning Corrector.
• Reasoning Corrector (Chain-of-Thought): Dit LLM-gestuurde onderdeel gebruikt een gestructureerde "Chain-of-Thought" (CoT) aanpak in drie stappen:
  1. Locate: Identificeer de foutieve segmenten in de vorige transcriptie op basis van de instructie.
  2. Reason: Redeneer over de beoogde correctie (gebruikmakend van fonetische of lexicaal beperkingen).
  3. Surgical Replacement: Voer een chirurgische vervanging uit van het foutieve segment, terwijl de rest van de zin behouden blijft.

3. Geautomatiseerde Simulatie Framework

Om dit systeem te evalueren zonder dure menselijke evaluaties, hebben de auteurs een automatisch simulatiekader ontwikkeld:

• User Simulator: Een LLM genereert natuurlijke correctie-instructies (bijv. "Nee, begin met een K") gebaseerd op het verschil tussen de ground truth en de ASR-hypothese. Een TTS-model (Text-to-Speech) spreekt deze instructies uit met dezelfde stem als de originele gebruiker.
• Iteratieve Cyclus: Het Interactive ASR-systeem verwerkt deze gesproken correctie, past de transcriptie aan, en het proces herhaalt zich totdat de semantische overeenkomst is bereikt of een maximum aantal beurten is bereikt.

Belangrijkste Bijdragen

1. $S^2ER$ Metric: Een nieuwe, semantisch bewuste metriek die een sterke correlatie toont met menselijke oordelen over semantische consistentie, en beter presteert dan traditionele menselijke experts in consistentie met de "ground truth".
2. Agentic Correctie Framework: Een LLM-gedreven systeem dat het vermogen heeft om spraakherkenning iteratief te verbeteren via natuurlijke, gesproken feedback, in plaats van statische output.
3. Robuuste Validatie: Uitgebreide experimenten op diverse benchmarks (Engels, Mandarijn, en code-switching) die de generalisatiekracht van het framework aantonen.

Resultaten

De experimenten zijn uitgevoerd op drie datasets: GigaSpeech (Engels), WenetSpeech (Mandarijn) en ASRU 2019 (Code-switching).

• Mens-AI Alignement: De LLM-judge ($S^2ER$) toonde een Pearson-correlatie van 0,8281 met menselijke consensus, wat hoger was dan de gemiddelde correlatie van domeinexperts (0,8104). Dit bevestigt de betrouwbaarheid van de metric.
• Prestatieverbetering:
  • Na slechts één interactieronde daalde de $S^2ER$ drastisch (bijv. van 14,12% naar 6,03% op GigaSpeech).
  • Na twee rondes daalde de foutenrate verder naar ongeveer 3-4%.
  • Na 10 rondes bereikte het systeem bijna perfecte prestaties ($S^2ER$ < 1,2% op alle datasets).
• Vergelijking met WER: Hoewel traditionele metrics (WER/CER) ook verbeterden, was de verbetering in semantische coherentie ($S^2ER$) veel sneller en significanter, wat aantoont dat het systeem de betekenis van de zin snel herstelt, zelfs als er nog kleine fonetische fouten blijven bestaan.

Betekenis en Toekomstperspectief

Dit paper markeert een verschuiving in ASR-onderzoek van statische transcriptie naar dynamische, interactieve communicatie.

• Semantische Focus: Het stelt een nieuwe standaard voor evaluatie waarbij de betekenis van de zin belangrijker is dan de exacte woordvolgorde.
• Menselijke Interactie: Het lost het probleem op van "stuck" systemen die fouten niet kunnen herstellen, wat essentieel is voor natuurlijke spraakassistenten.
• Toekomst: De huidige resultaten zijn gebaseerd op grote LLM's. De auteurs plannen om te onderzoeken hoe deze frameworks kunnen worden geoptimaliseerd voor kleinere, efficiëntere modellen om ze praktisch inzetbaar te maken in real-time toepassingen.

Samenvattend biedt dit werk een oplossing voor de twee grootste zwaktes van moderne ASR: het gebrek aan semantisch inzicht in evaluatie en het ontbreken van een mechanisme voor menselijke correctie.