Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs

Technische Samenvatting: Let op de Pauze

Probleemstelling
Automatische Spraakherkenning (ASR)-systemen behouden vaak onvloeibaarheden uit spontane spraak, zoals opvulwoorden (bijv. "uh", "um"), herhalingen, valse starts en zelfcorrecties. Hoewel deze artefacten natuurlijk zijn in menselijke conversatie, verslechtert hun aanwezigheid in ASR-transcripten de leesbaarheid en belemmert het downstream Natural Language Processing (NLP)-toepassingen aanzienlijk, waaronder chatbots, spraakassistenten en machinevertaling.

Bestaande benaderingen behandelen de verwerking van onvloeibaarheden voornamelijk als een probleem van detectie gevolgd door verwijdering. Hoewel deze methoden effectief zijn in het identificeren van onvloeibare tokens, verstoren ze vaak de grammaticale structuur en semantische coherentie, wat resulteert in ongrammaticale of gebroken zinnen. Bovendien zijn Large Language Models (LLM's) wel onderzocht voor detectie van onvloeibaarheden of data-augmentatie, maar zijn ze niet volledig geïntegreerd in een uitgebreide correctiepijplijn die de betekenis behoudt terwijl artefacten worden verwijderd. Empirische analyse in het artikel toont aan dat zelfs state-of-the-art ASR-systemen (zoals Whisper v3 Large en AI4Bharat Indic Conformer) deze onvloeibaarheden niet consequent normaliseren, waardoor ongeveer 30% van de getranscribeerde zinnen nog steeds ten minste één onvloeibaarheid bevat. Deze persistentie veroorzaakt meetbare degradatie in downstream taken, met een reductie van de nauwkeurigheid bij vraag-antwoordtaken met 0,5–1,6 punten en van de kwaliteit van machinevertaling met 2–4,7 BLEU-punten.

Methodologie
De auteurs stellen een meertalige pijplijn voor correctie van onvloeibaarheden voor die token-niveau detectie verenigt met instructie-gefine-tuned LLM-generatie, versterkt door een nieuw contrastief leerdoel. Het raamwerk werkt in drie hoofdfasen:

1. Detectie van Onvloeibaarheden (MuRIL): Een meertalige encoder-gebaseerde sequentielabeler, specifiek MuRIL (Multilingual Representations for Indian Languages), wordt fijnge tuned om tokens te classificeren als vloeibaar (0) of onvloeibaar (1). Dit model levert signalen op token-niveau die aangeven welke delen van het ASR-transcript ruis bevatten.
2. Instructie-Fijntuning: Een LLM (getest met Llama-3.2-3B-Instruct en Qwen2.5-3B-Instruct) wordt fijnge tuned volgens een instructie-volgend paradigma. De invoer voor de LLM bestaat uit:
   • Een natuurlijke taal-instructie die de taak definieert.
   • Het originele onvloeibare ASR-transcript.
   • De op token-niveau voorspelde labels door MuRIL.
   • Een lijst van geïdentificeerde onvloeibare tokens.
     Het doelwit is de corresponderende vloeibare referentiezinnen. Deze opzet leidt de LLM om de tekst te herschrijven terwijl deze expliciet conditioneert op de gedetecteerde signalen van onvloeibaarheid.
3. Contrastief Leerdoel: Om de beperking aan te pakken waarbij modellen die uitsluitend met cross-entropy-verlies zijn getraind, ondanks het ontvangen van labels, soms toch onvloeibare tokens regenereren, introduceren de auteurs een contrastief verliescomponent. Dit doelwit straft het model expliciet af als de gegenereerde output tokens bevat die als onvloeibaar zijn geïdentificeerd. De totale verliesfunctie combineert standaard cross-entropy ($L_{CE}$) met een contrastieve straf ($L_{contrastive}$):
   $$L_{total} = L_{CE} + \lambda \cdot L_{contrastive}$$
   De contrastieve term berekent de waarschijnlijkheid van het genereren van bekende onvloeibare tokens en past een straf toe, waardoor de generatie van het model effectief wordt weggeduwd van onvloeibare patronen en naar vloeibare doelen wordt getrokken.

Belangrijkste Bijdragen

• Contrastief Verlies voor Bewuste Tuning van Onvloeibaarheid: Het artikel introduceert een multi-verliesdoelwit dat cross-entropy combineert met een contrastieve straf. Dit ontmoedigt expliciet de regeneratie van bekende onvloeibare tokens, een vermogen dat vaak ontbreekt bij standaard instructietuning.
• Eerste LLM-gebaseerde Correctiepijplijn: In tegenstelling tot eerder werk dat zich richtte op alleen detectie of encoder-decoder-architecturen (zoals mBART), presenteert dit werk de eerste complete pijplijn die signalen van token-niveau detectie integreert met instructie-gefine-tuned LLM's voor meertalige correctie.
• Gecombineerde Detectie en Correctie in Meertalige Omgevingen: Het raamwerk traint MuRIL voor sequentielabeling en voert zowel het onvloeibare transcript als de voorspelde labels in bij een LLM. Dit vermijdt de valkuilen van handmatige tokenverwijdering en zorgt voor de generatie van goed gevormde zinnen die de semantische integriteit behouden.

Resultaten
Het systeem werd geëvalueerd op drie Indiase talen: Hindi, Bengaals en Marathi, met behulp van zowel handmatig bewerkte synthetische data als echte ASR-transcripten.

• Prestatiewinst: De voorgestelde contrastieve aanpak presteerde consequent beter dan sterke basismodellen, waaronder meertalige instructie-fijntuning en mBART.
  • In vergelijking met niet-contrastieve training behaalde de methode een verbetering van +1,97 BLEU (gemiddeld over modellen en talen).
  • In vergelijking met meertalige instructie-fijntuning behaalde het een verbetering van +6,16 BLEU.
  • In vergelijking met mBART behaalde het een verbetering van +8,54 BLEU.
• Modelvergelijking: De Qwen2.5-3B-Instruct-ruggengraat profiteerde significant meer van het contrastieve doelwit dan Llama-3.2-3B-Instruct, met grotere winsten in BLEU- en chrF2-scores.
• Downstream Impact: Gecorrigeerde outputs herstelden het grootste deel van het prestatiegat tussen onvloeibare en vloeibare invoer in downstream taken (Vraag en Antwoord, Machinevertaling en Tekst-naar-Spraak), wat de praktische bruikbaarheid bevestigt.
• Vergelijking met Propriëtaire Modellen: Het contrastieve model met 3 miljard parameters kwam overeen met of presteerde beter dan GPT-4o (onder zero-shot en few-shot prompting) op 4 van de 6 evaluatievoorwaarden en presteerde aanzienlijk beter dan Gemini 2.5 Pro voor alle drie de talen.

Betekenis en Claims
Het artikel beweert dat strategieën die alleen gericht zijn op detectie onvoldoende zijn voor hoogwaardige correctie van onvloeibaarheden. Door token-niveau aanwijzingen te combineren met instructietuning en contrastief leren, bieden de auteurs een schaalbare, taal-onafhankelijke oplossing voor meertalige spraakgedreven NLP-systemen. Het werk toont aan dat taakspecifiek contrastief trainen noodzakelijk is om de morfologische rijkdom en syntactische complexiteit van Indiase onvloeibaarheden aan te pakken, een uitdaging die schalen van modelgrootte of geavanceerde prompting alleen niet kan oplossen. De auteurs benadrukken dat hun aanpak effectief de kloof overbrugt tussen detectie en generatie, waardoor vloeibare, betekenisbehoudende tekst wordt geproduceerd die de betrouwbaarheid van downstream toepassingen verbetert.