Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition

Technische Samenvatting: Contrastieve Training met door LLM gegenereerde Near-Misses voor Robuuste Code-Switching Spraakherkenning

Probleemstelling
Automatische spraakherkenningssystemen (ASR) hebben moeite met code-switching (CS), waarbij sprekers binnen een enkele uiting wisselen tussen talen. Hoewel standaard fine-tuning de algehele foutpercentages verlaagt, blijven herkenningsfouten onevenredig geconcentreerd in CS-kritieke regio's, specifiek bij woorden uit de ingebedde taal en de nabijheid van de switch-grenzen. Bestaande benaderingen missen vaak expliciete signalen om deze verwarrende segmenten te targeten, en standaarddoelstellingen slagen er niet in om onderscheid te maken tussen de grondwaarheid (ground-truth) transcriptie en akoestisch plausibele maar incorrecte alternatieven ("near-misses").

Methodologie
De auteurs stellen een Point-of-Interest (POI)-bewust contrastief trainingsframework voor, gecentreerd rond een pipeline genaamd CS-NMG (Code-Switching Near-Miss Generation). De methodologie bestaat uit drie primaire stadia:

1. POI Identificatie en Near-Miss Generatie:

   • POI Detectie: Het systeem identificeert CS-segmenten (ingebedde-taal segmenten) en hun directe nabijheid van de switch-grenzen in de referentie-transcripties.
   • Kandidaat Constructie: Near-miss hypothesen worden geconstrueerd door alleen de geïdentificeerde POI's te verstoren. Dit omvat:
     • Het extraheren van N-best hypothesen uit een vaste seed ASR-model.
     • Het gebruik van een extern Large Language Model (LLM) om aanvullende POI-vervangingskandidaten te genereren, waarbij de zinsstructuur behouden blijft terwijl er lokale fonetische verwarringen binnen de POI worden geïntroduceerd.
   • Tri-Level Filtering: Om te garanderen dat de gegenereerde near-misses "moeilijk maar plausibel" zijn, wordt een filtering-gate toegepast met drie beperkingen:
     • Akoestisch: De near-miss moet een log-waarschijnlijkheidsscore hebben die dicht bij de beste N-best hypothese ligt.
     • Fonetisch: De vervanging moet fonetisch vergelijkbaar zijn met het origineel (gemeten via Levenshtein-afstand op fonemen-sequenties).
     • Tekstueel: De vervanging moet voldoende verschillen in oppervlaktevorm om een uitdagende negatieve te vormen.

2. Contrastieve Alignment Training:

   • Het ASR-model (Whisper-small gefine-tuned met LoRA) wordt geoptimaliseerd met een duale doelstelling-loss functie:
     • Anchor Objective: Een POI-gewogen Cross-Entropy (WCE) loss die tokens binnen POI-segmenten een hoger gewicht geeft.
     • Contrastive Ranking Loss: Een InfoNCE-achtige loss die expliciet de grondwaarheid transcriptie hoger rangschikt dan de geselecteerde harde negatieve near-misses. Dit stimuleert het model om de correcte CS-termen te verkiezen boven akoestisch plausibele maar incorrecte transcripties.

3. Evaluatiemetrieken:

   • Prestaties worden gemeten met de standaard Word Error Rate (WER) en de Point-of-Interest Error Rate (PIER), die fouten isoleert die specifiek optreden binnen de geïdentificeerde CS-segmenten.

Belangrijkste Bijdragen

• CS-NMG Pipeline: Een akoestisch-bewust mechanisme voor het genereren van POI-lokale near-misses, gevoed door N-best lijsten en uitgebreid door LLM's, waarbij de audio-plausibiliteit behouden blijft terwijl gerichte verwarringen worden geïntroduceerd.
• Contrastieve Trainingsdoelstelling: Een nieuwe trainingsstrategie die POI-gewogen cross-entropy combineert met multi-negatieve contrastieve ranking. In tegenstelling tot eenvoudige token-herweging, scheidt deze aanpak veelvoorkomende POI-verwarringen door te leren de referentie boven plausibele alternatieven te rangschikken.
• Empirische Validatie: Het framework demonstreert consistente verbeteringen ten opzichte van sterke baselines (inclusief standaard fine-tuning, WCE en sequentie-niveau MWER) op zowel algemene als domeinspecifieke code-switching benchmarks.

Experimentele Resultaten
De methode werd geëvalueerd op twee benchmarks: CS-FLEURS (Mandarijn-Engels) en ViMedCSS (Vietnamees-Engels, medisch domein).

• Prestatiewinsten: Het volledige model (WCE + Contrastive Loss met tri-level filtering) bereikte de laagste foutpercentages op beide datasets.
  • Op CS-FLEURS reduceerde het de WER naar 14,06% en de PIER naar 15,10%, waarmee het de beste baseline (MWER) versloeg, die een WER van 15,75% en PIER van 16,41% had.
  • Op ViMedCSS reduceerde het de WER naar 21,87% en de PIER naar 18,74%, vergeleken met de baseline MWER WER van 23,82% en PIER van 20,84%.
• Ablatie Inzichten:
  • Het simpelweg verhogen van het gewicht van POI-tokens (WCE) leverde slechts marginale verbeteringen op.
  • LLM-expansie alleen (zonder filtering) verhoogde het aantal negatieven, maar verbeterde de prestaties niet consistent en verslechterde soms de WER of PIER.
  • De tri-level filter (Akoestisch + Fonetisch + Tekst) was cruciaal; het selecteerde een kleinere maar kwalitatief betere set negatieven (~3,8 per uiting), wat leidde tot de beste resultaten. Dit bevestigde dat effectieve contrastieve leer een kleinere set negatieven vereist die akoestisch plausibel, fonetisch vergelijkbaar, maar tekstueel onderscheidend zijn.

Betekenis en Claims
Het artikel claimt dat de primaire bron van CS-fouten de onbekwaamheid van modellen is om tussen de correcte ingebedde termen en akoestisch vergelijkbare alternatieven te differentiëren. Door over te stappen van een standaard likelihood-doelstelling naar een contrastieve ranking-doelstelling gericht op POI-lokale near-misses, biedt het voorgestelde framework een meer informatieve trainingssignaal.

De auteurs benadrukken dat hun aanpak de robuustheid in CS-regio's verbetert zonder dat er hulpmodules nodig zijn tijdens de inferentie, waardoor een standaard ASR-only decoding proces behouden blijft. Zij erkennen beperkingen met betrekking tot de afhankelijkheid van externe LLM API's voor offline datageneratie en de huidige reikwijdte die beperkt is tot twee taalparen en één backbone, wat suggereert dat toekomstig werk gericht kan zijn op open-source kandidaat-expansie en bredere taaldekking.