Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition

Sintesi Tecnica: Addestramento Contrastivo con Near-Miss generati da LLM per il Riconoscimento del Parlato Code-Switching Robusto

Problematica
I sistemi di Automatic Speech Recognition (ASR) faticano con il code-switching (CS), in cui i parlanti alternano lingue diverse all'interno di una singola occorrenza. Sebbene il fine-tuning standard riduca i tassi di errore complessivi, gli errori di riconoscimento rimangono sproporzionatamente concentrati nelle regioni critiche del CS, specificamente nelle parole delle lingue incorporate e nei vicinati dei confini di switch. Gli approoli esistenti spesso mancano di segnali espliciti per colpire questi segmenti confondibili, e gli obiettivi standard non riescono a distinguere tra la trascrizione di riferimento (ground-truth) e le alternative acusticamente plausibili ma errate ("near-misses").

Metodologia
Gli autori propongono un framework di addestramento contrastivo consapevole del Point-of-Interest (POI) centrato su una pipeline chiamata CS-NMG (Code-Switching Near-Miss Generation). La metodologia consiste in tre fasi primarie:

1. Identificazione del POI e Generazione dei Near-Miss:

   • Rilevamento del POI: Il sistema identifica gli intervalli CS (segmenti di lingua incorporata) e i loro immediati vicinati di confine dello switch nei testi di riferimento.
   • Costruzione dei Candidati: I near-miss hypotheses vengono costruiti perturbando solo i POI identificati. Ciò comporta:
     • L'estrazione di ipotesi N-best da un modello ASR seed fisso.
     • L'uso di un Large Language Model (LLM) esterno per generare candidati di sostituzione del POI aggiuntivi, garantendo che la struttura della frase sia preservata pur introducendo confusioni fonetiche localizzate al POI.
   • Filtraggio a Tre Livelli: Per garantire che i near-miss generati siano "difficili ma plausibili", viene applicato un gate di filtraggio utilizzando tre vincoli:
     • Acustico: Il near-miss deve avere un punteggio di log-probabilità vicino alla migliore ipotesi N-best.
     • Fonetico: La sostituzione deve essere foneticamente simile all'originale (misurata tramite distanza di Levenshtein sulle sequenze di fonemi).
     • Testuale: La sostituzione deve essere sufficientemente diversa nella forma superficiale per costituire un negativo impegnativo.

2. Addestramento di Allineamento Contrastivo:

   • Il modello ASR (Whisper-small sottoposto a fine-tuning con LoRA) è ottimizzato utilizzando una funzione di perdita a doppio obiettivo:
     • Obiettivo Anchor: Una perdita di Cross-Entropy pesata sui POI (WCE) che aumenta il peso dei token all'interno degli intervalli POI.
     • Perdita di Ranking Contrastivo: Una perdita di tipo InfoNCE che classifica esplicitamente la trascrizione di riferimento più in alto rispetto ai near-miss negativi difficili selezionati. Ciò incoraggia il modello a preferire i termini CS corretti rispetto alle trascrizioni acusticamente plausibili ma errate.

3. Metriche di Valutazione:

   • Le prestazioni sono misurate utilizzando il Word Error Rate (WER) standard e il Point-of-Interest Error Rate (PIER), che isola gli errori che avvengono specificamente all'interno degli intervalli CS identificati.

Contributi Chiave

• Pipeline CS-NMG: Un meccanismo consapevole dell'acustica per la generazione di near-miss locali del POI, alimentato da liste N-best ed espanso tramite LLM, preservando la plausibilità acustica pur introducendo confusioni mirate.
• Obiettivo di Addestramento Contrastivo: Una nuova strategia di addestramento che combina la cross-entropy pesata sui POI con il ranking contrastivo multi-negativo. A differenza del semplice ripesamento dei token, questo approccio separa esplicitamente le confusioni comuni del POI imparando a classificare il riferimento sopra le alternative plausibili.
• Validazione Empirica: Il framework dimostra miglioramenti costanti rispetto a forti baseline (inclusi il fine-tuning standard, WCE e MWER a livello di sequenza) su benchmark di code-switching generali e specifici per dominio.

Risultati Sperimentali
Il metodo è stato valutato su due benchmark: CS-FLEURS (Mandarin-English) e ViMedCSS (Vietnamese-English, dominio medico).

• Guadagni di Performance: Il modello completo (WCE + Contrastive Loss con filtraggio a tre livelli) ha ottenuto i tassi di errore più bassi su entrambi i dataset.
  • Su CS-FLEURS, ha ridotto il WER al 14,06% e il PIER al 15,10%, superando la migliore baseline (MWER) che presentava un WER del 15,75% e un PIER del 16,41%.
  • Su ViMedCSS, ha ridotto il WER al 21,87% e il PIER al 18,74%, rispetto al WER della baseline MWER di 23,82% e al PIER di 20,84%.
• Insight dall'Ablazione:
  • Il semplice aumento del peso dei token POI (WCE) ha prodotto solo miglioramenti marginali.
  • L'espansione tramite LLM da sola (senza filtraggio) ha aumentato il numero di negativi ma non ha migliorato costantemente le prestazioni, degradando talvolta WER o PIER.
  • Il filtro a tre livelli (Acustico + Fonetico + Testo) è stato critico; ha selezionato un set di negativi più piccolo ma di qualità superiore (~3,8 per occorrenza), portando ai migliori risultati complessivi. Ciò ha confermato che l'apprendimento contrastivo efficace richiede negativi che siano acusticamente plausibili, foneticamente simili, ma testualmente distinti.

Significatività e Rivendicazioni
L'articolo sostiene che la fonte primaria degli errori CS risieda nell'incapacità dei modelli di disambiguare tra i termini incorporati corretti e le alternative acusticamente simili. Spostandosi da un obiettivo di verosimiglianza standard a un obiettivo di ranking contrastivo focalizzato sui near-miss locali del POI, il framework proposto fornisce un segnale di addestramento più informativo.

Gli autori sottolineano che il loro approccio migliora la robustezza nelle regioni CS senza richiedere moduli ausiliari durante l'inferenza, mantenendo un processo di decoding standard basato solo su ASR. Riconoscono i limiti riguardanti la dipendenza da API esterne di LLM per la generazione offline dei dati e l'attuale ambito limitato a due coppie linguistiche e un singolo backbone, suggerendo lavori futuri nell'espansione dei candidati open-source e in una copertura linguistica più ampia.