Technische Samenvatting: AgenticASR

Probleemdefinitie

Automatische spraakherkenning (ASR) heeft een hoge nauwkeurigheid bereikt in verbatim transcriptie, maar ruwe transcripties produceren vaak nog geen direct bruikbare tekst. Spontane spraak bevat disfluënties (stopwoorden, herhalingen, foutieve starts), zelfcorrecties en gesproken vormen die de uiteindelijke intentie van de spreker vertroebelen en de leesinspanning vergroten. Hoewel er bestaande methoden zijn voor spoken-to-written (gesproken-naar-geschreven) transformatie, werken deze over het algemeen in twee suboptimale modi:

1. Offline Post-Transformatie: Systemen verwerken voltooide audio of transcripties, waardoor de generatie van schone tekst wordt uitgesteld tot een uiting eindigt. Dit voorkomt dat het systeem eerdere tekst kan herzien wanneer latere spraak (bijv. een spellingcorrectie of uitleg) de interpretatie van de voorgaande inhoud verandert.
2. Vroege Emissie zonder Revisie: Het uitgeven van schone gedeeltelijke hypothesen terwijl de spraak binnenkomt, is onvoldoende omdat daaropvolgende correcties reeds gecommitteerde tekst ongeldig kunnen maken.

De kernuitdaging is het uitvoeren van Agentic Speech Recognition (AgenticSR): een audio-naar-schone-tekst taak die disfluënties verwijdert, zelfcorrecties oplost en de gesproken vorm normaliseert naar geschreven vorm, terwijl de uiteindelijke beoogde boodschap van de spreker behouden blijft, en dit alles binnen een online, stromende context waar het systeem zijn eigen output moet herzien naarmate er nieuwe bewijslast binnenkomt.

Methodologie

De auteurs stellen AgenticASR voor, een tweestapsysteem ontworpen om AgenticSR te implementeren via een ASR–Refiner architectuur.

1. Systeemarchitectuur

• ASR Front End: Genereert een intermediaire gesproken-vorm hypothese (die fouten en disfluënties kan bevatten).
• Refiner: Een taalmodel (LM) dat de ASR-hypothese transformeert naar schone geschreven tekst.
• Online Inferentiemechanisme: In tegenstelling tot traditionele streaming ASR die tokens sequentieel uitgeeft, maakt AgenticASR gebruik van een sliding window (verschuivend venster) benadering.
  • Een Chunk Manager identificeert stabiele brontekst-spannen met behulp van Voice Activity Detection (VAD) en interpunctie.
  • Bij elke update $t$ concateneert het systeem het huidige bronspan met maximaal $K-1$ voorafgaande spannen (standaard $K=3$).
  • De Refiner verwerkt deze begrensde context om een enkele verfijnde string te generen.
  • Het systeem vervangt het overeenkomstige lokale span in de uitgegeven transcriptie met deze verfijnde string.
  • Dit stelt het systeem in staat om latere spraak te gebruiken om eerdere output te herzien (bijv. de naam van "Mary" naar "Marie" corrigeren na een spellinguitleg) zonder de gehele stroom opnieuw te verwerken.

2. Data Generatie Pipeline

Om de compacte Refiner te trainen, hebben de auteurs een LLM-ondersteunde data-generatie pipeline ontwikkeld die trainingsparen construeert zonder dat nieuwe audio-opnames vereist zijn:

• Seed Generatie: LLM's genereren pools van entiteiten, termen en patronen voor 10 gebruiksscenario's (bijv. academisch, klantenservice, vibe coding).
• Oral Generatie: LLM's componeren coherente orale uitingen vanuit de seeds, waarbij gecontroleerde disfluënties, herhalingen en vier soorten correctiestructuren worden geïntroduceerd (geen correctie, enkelvoudige, rollback, meervoudige).
• Clean Generatie: LLM's transformeren de orale uitingen naar schone geschreven targets, waarbij zelfcorrecties worden opgelost en Inverse Text Normalization (ITN) wordt toegepast.
• ASR Simulatie: LLM's simuleren ASR-fouten (afkorting, weglating van woorden, herkenningsfouten) op de orale input om realistische $(H_i, Y_i)$ paren te creëren, waarbij $H_i$ de ruisige ASR-hypothese is en $Y_i$ de schone target.
• Kwaliteitscontrole: Geautomatiseerde en handmatige controles zorgen voor semantische bewaring en verwijderen bijna-duplicaten.

3. Evaluatie Benchmark: AASR-Bench

De auteurs introduceren AASR-Bench, de eerste tweetalige benchmark specifiek voor AgenticSR.

• Samenstelling: 917 uitingen over 10 gebruiksscenario's, totaal 4,2 uur aan audio.
• Evaluatieprotocol: In plaats van uitsluitend te vertrouwen op token-niveau metrieken (WER/CER), gebruikt de benchmark 6.637 atomaire rubrieken gegenereerd door een LLM (Qwen3.7-Plus) en beoordeeld door een andere LLM (Gemma-4-31B-IT).
• Rubriek Dimensies:
  • Content (Inhoud): Bewaring van semantische eenheden die niet door disfluënties worden beïnvloed.
  • Format (Formaat): Correcte ITN en geschreven formattering van getallen, datums en entiteiten.
  • Filter: Verwijdering van semantisch lege stopwoorden en herhalingen.
  • Rephrase (Herschrijven): Resolutie van zelfcorrecties en meerstaps-revisies naar de uiteindelijke intentie.
• Scoring: Een gewogen micro-gemiddelde van rubriekscores (variërend van -1 tot 2 afhankelijk van de dimensie) om hallucinaties te bestraffen en getrouwe transformatie te belonen.

Belangrijkste Bijdragen

1. Definitie van AgenticSR: Formalisering van de taak van intentie-bewarende audio-naar-schone-tekst herkenning die continue emissie en revisie ondersteunt.
2. AASR-Bench: Een tweetalige benchmark met fijnmazige, op rubrieken gebaseerde evaluatie die semantische kwaliteit, formattering en correctie-resolutie beter vastlegt dan traditionele WER.
3. AgenticASR Systeem: Een ontkoppeld ASR-Refiner framework dat online revisie mogelijk maakt via een begrensd sliding window, wat de correctie van eerdere output op basis van latere bewijslast mogelijk maakt.
4. Data Pipeline: Een LLM-ondersteunde methode voor het genereren van hoogwaardige trainingsparen voor de Refiner, waarbij de trainingsdata wordt losgekoppeld van de noodzaak voor massale handmatig geannoteerde audio-datasets.

Experimentele Resultaten

Experimenten werden uitgevoerd met diverse ASR front-ends (Qwen3-ASR, Whisper) en Refiner modellen (MiniCPM-5-1B, Qwen2.5 varianten).

• Prestaties: AgenticASR behaalde de hoogste Overall scores op AASR-Bench over alle geëvalueerde ASR backends.
  • Met Qwen3-ASR-1.7B scoorde AgenticASR 79,95, waarmee het de API-gebaseerde transformatie baseline (69,93) met 10,02 punten versloeg en de directe spraak-naar-schone-tekst model (FormalASR) met 27,45 punten.
  • De verbeteringen waren het meest significant in Format (normalisatie) en Rephrase (correctie-resolutie), dimensies waar traditionele metrieken vaak tekortschieten.
• Online vs. Offline: Een drie-chunk venster ($K=3$) in online inferentie herstelde bijna de volledige kwaliteit van offline inferentie (Rephrase score 70,47 vs. 72,83 offline) met slechts een bescheiden latentie-toename (12,15s vs. 9,59s).
• Refiner Capaciteit: Grotere Refiners (4B) verbeterden de prestaties verder maar verhoogden de latentie, wat wijst op een afweging tussen kwaliteit en real-time beperkingen.
• Menselijke Overeenstemming: Een studie met domeinexperts toonde een sterke overeenstemming (Spearman $\rho \approx 0,82$) tussen de LLM-gebaseerde rubriek-beoordelaar en menselijke beoordelingen, wat het evaluatieprotocol valideert.
• Afhankelijkheid van ASR Kwaliteit: De prestaties van het systeem zijn nauw gekoppeld aan de upstream ASR. Hoewel AgenticASR de resultaten over alle Whisper-schalen verbeterde, vertoonden systemen met zwakkere ASR front-ends (Whisper Base) lagere Content bewaring scores, wat aangeeft dat de Refiner de door de initiële herkenner verloren gegane inhoud niet kan reconstrueren.

Betekenis en Claims

Het artikel positioneert AgenticASR als een praktisch framework voor intentie-bewarende schone transcriptie tijdens lopende spraak. De primaire betekenis ligt in het overbruggen van de kloof tussen verbatim transcriptie en leesbare tekst in real-time scenario's.

• Praktische Bruikbaarheid: Door een begrensd contextvenster te gebruiken, vermijdt het systeem de computationele kosten van het opnieuw verwerken van volledige stromen, terwijl het nog steeds de revisie van eerdere tekst mogelijk maakt wanneer latere spraak voor disambiguatie zorgt (bijv. spellingcorrecties).
• Evaluatie Verschuiving: Het werk betoogt dat token-niveau metrieken onvoldoende zijn voor spoken-to-written taken en demonstreert het nut van rubriek-gebaseerde, semantische evaluatie.
• Beperkingen: De auteurs merken nederig op dat de effectiviteit van het systeem begrensd wordt door de kwaliteit van de upstream ASR; als de initiële herkenner de semantische inhoud niet vastlegt, kan de Refiner deze niet reconstrueren. Daarnaast leunt de huidige implementatie op een vast vensterformaat, wat zeer lange-afstand afhankelijkheden mogelijk niet volledig kan vatten.

De auteurs concluderen dat deze aanpak zeer geschikt is voor stemassistenten, vergadertranscriptie en live dictatie, waarbij leesbare tekst vereist is voordat een uiting volledig voltooid is.