Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition

Résumé Technique : Entraînement Contrastif avec des « Near-Misses » Générés par LLM pour une Reconnaissance de la Parole à Changement de Code Robuste

Énoncé du Problème
Les systèmes de reconnaissance automatique de la parole (ASR) éprouvent des difficultés avec le changement de code (code-switching, CS), où les locuteurs alternent entre plusieurs langues au sein d'une même énonciation. Bien que l'ajustement fin (fine-tuning) standard réduise les taux d'erreur globaux, les erreurs de reconnaissance restent disproportionnellement concentrées dans les régions critiques du CS, spécifiquement les mots de la langue imbriquée et les voisinages de bordure de commutation. Les approches existantes manquent souvent de signaux explicites pour cibler ces segments confus, et les objectifs standards ne parviennent pas à distinguer la transcription de référence des alternatives acoustiquement plausibles mais incorrectes (« near-misses » ou quasi-succès).

Méthodologie
Les auteurs proposent un cadre d'entraînement contrastif conscient des points d'intérêt (POI-aware), centré sur un pipeline appelé CS-NMG (Génération de Near-Misses pour le Changement de Code). La méthodologie se compose de trois étapes principales :

1. Identification des POI et Génération de Near-Misses :

   • Détection de POI : Le système identifie les segments de CS (segments de la langue imbriquée) et leurs voisinages immédiats de bordure de commutation dans les transcriptions de référence.
   • Construction de Candidats : Des hypothèses de « near-miss » sont construites en perturbant uniquement les POI identifiés. Cela implique de :
     • Extraire les hypothèses N-best d'un modèle ASR de base fixe.
     • Utiliser un grand modèle de langage (LLM) externe pour générer des candidats de remplacement de POI supplémentaires, garantissant que la structure de la phrase est préservée tout en introduisant des confusions phonétiques localisées sur le POI.
   • Filtrage à Trois Niveaux : Pour garantir que les near-misses générés soient « difficiles mais plausibles », une porte de filtrage est appliquée via trois contraintes :
     • Acoustique : Le near-miss doit avoir un score de log-probabilité proche de la meilleure hypothèse N-best.
     • Phonétique : Le remplacement doit être phonétiquement similaire à l'original (mesuré via la distance de Levenshtein sur les séquences de phonèmes).
     • Textuelle : Le remplacement doit être suffisamment différent dans sa forme de surface pour constituer un négatif difficile.

2. Entraînement d'Alignement Contrastif :

   • Le modèle ASR (Whisper-small ajusté avec LoRA) est optimisé à l'aide d'une fonction de perte à double objectif :
     • Objectif d'Ancre : Une perte d'entropie croisée pondérée par les POI (WCE) qui surpondère les jetons (tokens) au sein des segments de POI.
     • Perte de Classement Contrastif : Une perte de type InfoNCE qui classe explicitement la transcription de référence plus haut que les near-misses (négatifs difficiles) sélectionnés. Cela encourage le modèle à préférer les termes de CS corrects par rapport aux transcriptions acoustiquement plausibles mais incorrectes.

3. Métriques d'Évaluation :

   • La performance est mesurée à l'aide du taux d'erreur de mots (WER) standard et du taux d'erreur de point d'intérêt (PIER), qui isole les erreurs survenant spécifiquement dans les segments de CS identifiés.

Contributions Clés

• Pipeline CS-NMG : Un mécanisme conscient de l'acoustique pour la génération de near-misses localisés sur le POI, amorcé par des listes N-best et étendu par des LLM, préservant la plausibilité audio tout en introduisant des confusions ciblées.
• Objectif d'Entraînement Contrastif : Une stratégie d'entraînement novatrice combinant l'entropie croisée pondérée par les POI avec un classement contrastif multi-négatif. Contrairement à la simple repondération de jetons, cette approche sépare explicitement les confusions communes de POI en apprenant à classer la référence au-dessus des alternatives plausibles.
• Validation Empirique : Le cadre démontre des améliorations constantes par rapport à des bases de référence solides (incluant l'ajustement fin standard, la WCE et la MWER au niveau de la séquence) sur des benchmarks généraux et spécifiques au domaine.

Résultats Expérimentaux
La méthode a été évaluée sur deux benchmarks : CS-FLEURS (Mandarin-Anglais) et ViMedCSS (Vietnamien-Anglais, domaine médical).

• Gains de Performance : Le modèle complet (WCE + Perte Contrastive avec filtrage à trois niveaux) a obtenu les taux d'erreur les plus bas sur les deux jeux de données.
  • Sur CS-FLEURS, il a réduit le WER à 14,06 % et le PIER à 15,10 %, surpassant la meilleure base de référence (MWER) qui présentait un WER de 15,75 % et un PIER de 16,41 %.
  • Sur ViMedCSS, il a réduit le WER à 21,87 % et le PIER à 18,74 %, comparé à la base de référence MWER avec un WER de 23,82 % et un PIER de 20,84 %.
• Insights d'Ablation :
  • Le simple surpoids des jetons de POI (WCE) n'a apporté que des améliorations marginales.
  • L'expansion par LLM seule (sans filtrage) a augmenté le nombre de négatifs mais n'a pas systématiquement amélioré la performance, dégradant parfois le WER ou le PIER.
  • Le filtre à trois niveaux (Acoustique + Phonétique + Texte) était crucial ; il a sélectionné un ensemble plus restreint mais de meilleure qualité de négatifs (~3,8 par énonciation), menant aux meilleurs résultats globaux. Cela a confirmé qu'un apprentissage contrastif efficace nécessite des négatifs qui sont acoustiquement plausibles, phonétiquement similaires, mais textuellement distincts.

Signification et Revendications
L'article affirme que la source principale des erreurs de CS réside dans l'incapacité des modèles à lever l'ambiguïté entre les termes imbriqués corrects et les alternatives acoustiquement similaires. En passant d'un objectif de vraisemblance standard à un objectif de classement contrastif focalisé sur les near-misses locaux au POI, le cadre proposé fournit un signal d'entraînement plus informatif.

Les auteurs soulignent que leur approche améliore la robustesse dans les régions de CS sans nécesser de modules auxiliaires lors de l'inférence, maintenant un processus de décodage standard de type ASR uniquement. Ils reconnaissent les limites concernant la dépendance aux API de LLM externes pour la génération de données hors ligne et le périmètre actuel limité à deux paires de langues et un seul backbone, suggérant des travaux futurs dans l'expansion de candidats en open-source et une couverture linguistique plus large.