Efficient Punctuation Restoration via Weighted Lookahead Scoring Method for Streaming ASR Systems

Technische Samenvatting: Efficiënt Herstel van Interpunctie via Gewogen Lookahead-Scoring voor Streaming ASR

Probleemstelling
Automatic Speech Recognition (ASR)-systemen produceren vaak ongestructureerde reeksen woorden zonder interpunctie, wat de leesbaarheid belemmert en downstream-taken zoals zinssegmentatie en vertaling bemoeilijkt. Large Language Models (LLM's) kunnen interpunctie herstellen via prompt-gebaseerde generatie, maar deze aanpak is ongeschikt voor streaming ASR-omgevingen. Generatiegebaseerde methoden herschrijven vaak het transcript, wat leidt tot een mismatch met de oorspronkelijke woordvolgorde en resulteert in cascade-fouten in labels bij grensgerichte evaluatie. Bovendien veroorzaakt autoregressieve generatie hoge latentie en onvoorspelbare decoderingslengtes, wat in strijd is met de strikte latentie-eisen van real-time streaming-toepassingen. Bestaande offline modellen vertrouwen op volledige zin-bidirectionele context, die niet beschikbaar is in streaming-scenario's waar beslissingen online moeten worden genomen met beperkte toekomstige context.

Methodologie: Gewogen Lookahead Scoring
De auteurs stellen een niet-autoregressief, scoring-gebaseerd framework voor dat specifiek is ontworpen voor streaming-beperkingen. In plaats van een nieuwe zin te generëren, behoudt de methode het invoertranscript en neemt op elk woordgrenspunt een beslissing over de vraag of er een interpunctieteken (komma, punt, vraagteken) moet worden ingevoegd of geen interpunctie (∅).

De kernmechanisme betreft begrensde K-subwoord-token lookahead:

1. Hypothesetoetsing: Op elke grens $i$ evalueert het systeem een set kandidaat-acties $a \in \{COMMA, PERIOD, QMARK, \emptyset\}$.
2. Scoringfunctie: Het LLM (specifiek Llama-3.2-1B) fungeert als een token-niveau scoring-engine in plaats van een generator. De score $S_i(a)$ voor een kandidaat-actie wordt berekend met een gewogen combinatie van twee termen:
   • Lokale Prior: $\log P(a | w_{1:i})$, de voorkeur voor een interpunctieteken gebaseerd op het prefix.
   • Lookahead Bewijs: $\log P(w_{i+1:i+K} | w_{1:i}, a)$, de consistentie van de begrensde toekomstige suffix gegeven de insertie van actie $a$.
   • De formule is: $S_i(a) = \alpha \log P(a | w_{1:i}) + (1-\alpha) \log P(w_{i+1:i+K} | w_{1:i}, a)$.
3. Beslisregel: Het systeem selecteert de beste niet-lege kandidaat $a^*_i$ en vergelijkt de score met de baseline zonder insertie ($\emptyset$). Interpunctie wordt alleen ingevoegd als de marge $\Delta_i = S_i(a^*_i) - S_i(\emptyset)$ een validatie-gekalibreerde drempelwaarde $\tau$ overschrijdt.
4. Kalibratie: Het gewicht $\alpha$ en de drempelwaarde $\tau$ worden getuned op een validatieset, maar blijven vast tijdens de inferentie, waardoor geen parameterupdates tijdens runtime nodig zijn.

Belangrijkste Bijdragen

1. Niet-Autoregressief Framework: Het artikel introduceert een scoring-gebaseerde aanpak die vrije generatie vermijdt, waardoor de oorspronkelijke woordvolgorde behouden blijft en strikte grensalignering wordt gegarandeerd.
2. Streaming Compatibiliteit: Door gebruik te maken van een begrensde lookahead-budget ($K$) en het scoren van een vaste set acties, biedt de methode een voorspelbaar latentiebudget, wat de variabele decoderingslengte van autoregressieve generatie vermijdt.
3. Prestaties met Compacte Modellen: De studie toont aan dat een compact LLM met 1 miljard parameters (Llama-3.2-1B), puur gebruikt als scorer zonder fine-tuning, sterke prestaties levert. De methode ondersteunt ook fine-tuning via LoRA voor verdere verbeteringen.
4. Empirische Validatie: De aanpak wordt geëvalueerd op de IWSLT 2017 Engelse dataset, waarbij wordt aangetoond dat het robuust is tegen de formatting drift en alignment-fouten die gebruikelijk zijn bij prompt-gebaseerde baselines.

Experimentele Resultaten
De methode werd geëvalueerd op de IWSLT 2017 Engelse testset met behulp van een 4-klasse Macro F1-metriek (inclusclusief de "Geen" klasse).

• Zonder Fine-Tuning: Met gebruik van de pre-trained Llama-3.2-1B met een lookahead van $K=2$, behaalde de methode een Macro F1 van 0,893. Dit presteerde aanzienlijk beter dan de prompt-gebaseerde Llama-3.2-1B-Instruct baseline (0,566) en de fine-tuned ELECTRA-small baseline (0,913) onder dezelfde $K=2$ beperking.
• Fine-Tuned: Na het fine-tunen van het Llama-model met LoRA, verbeterde de Macro F1 naar 0,937 (met $K=2$), waarmee de fine-tuned ELECTRA baseline (0,913) werd overtroffen.
• Ablatie op Lookahead ($K$): Experimenten toonden aan dat lookahead cruciaal is. Zonder lookahead ($K=0$) daalde de prestatie aanzienlijk (Macro F1 0,646). De prestaties piekten bij $K=2$ (0,937), met afnemende meeropbrengsten voor $K > 2$.
• Foutanalyse: Verwarringsmatrices lieten zien dat begrensde lookahead de fout-positieven (bijv. het invoegen van komma's waar ze niet aanwezig waren) en fout-negatieven (het missen van werkelijke komma's) aanzienlijk verminderde vergeleken met de $K=0$ instelling.

Betekenis en Claims
Het artikel claimt dat enkelvoudige LLM-scoring een robuust en effectief alternatief biedt voor generatiegebaseerd herstel van interpunctie in streaming-omgevingen. Door het besluitvormingsproces te ontkoppelen van het herschrijven van het transcript, zorgt de methode ervoor dat grensgerichte evaluatie goed gedefinieerd en direct vergelijkbaar blijft tussen systemen. De auteurs benadrukken dat deze aanpak een voorspelbaar latentiebudget biedt, wat het praktisch maakt voor real-time ondertiteling-pipelines waar runtime-stabiliteit en alignment-betrouwbaarheid even cruciaal zijn als de ruwe nauwkeurigheid.

De auteurs merken bescheiden op dat hun evaluatie momenteel beperkt is tot de IWSLT 2017 Engelse dataset en nog geen ruisgevoelige ASR-transcripten of systeem-niveau latentie/geheugenmetingen bevat, wat zij identificeren als richtingen voor toekomstig werk.