FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition

Résumé Technique : Conditionnement du Locuteur par FiLM pour la Reconnaissance de la Parole Pathologique

Énoncé du Problème
Les systèmes de reconnaissance automatique de la parole (ASR) atteignent une précision élevée sur la parole standard, mais éprouvent des difficultés significatives avec la parole pathologique, particulièrement chez les individus présentant des troubles neuromoteurs tels que la sclérose latérale amyotrophique (SLA) et la maladie de Parkinson (MP). Ces pathologies causent la dysarthrie, entraînant des problèmes de clarté articulatoire, des altérations prosodiques et une forte variabilité inter-locuteurs. Cela crée un décalage acoustique avec les données normatives utilisées pour entraîner les systèmes ASR modernes. Bien que l'adaptation de domaine via le réglage fin (fine-tuning) soit une solution standard, les corpus pathologiques (par exemple, TORGO, NeuroVoz) sont souvent restreints et manquent de diversité de locuteurs. Cette rareté rend les stratégies de réglage fin gourmandes en données sujettes au surapprentissage et à l'oubli catastrophique, où le modèle perd sa capacité à reconnaître la parole standard. De plus, l'émergence des modèles de langage de grande taille pour la parole (SpeechLLMs), qui combinent des encodeurs audio avec des LLM pour des tâches allant au-delà de la transcription (par exemple, le suivi d'instructions), nécessite des stratégies d'adaptation qui préservent les connaissances générales et les poids du modèle de base.

Méthodologie
Les auteurs proposent une stratégie d'adaptation efficace en paramètres qui conditionne un encodeur de SpeechLLM gelé en utilisant la modulation linéaire par caractéristiques (FiLM) pilotée par l'information du locuteur. L'architecture centrale comprend :

1. Modèle de Base Gelé : L'intégralité du SpeechLLM (spécifiquement Voxtral-Mini, comprenant un encodeur Whisper-large-v3 et un décodeur Ministral-3B LLM) reste gelée. Aucun poids du modèle de base n'est mis à jour.
2. Extraction de l'Embedding du Locuteur : Un modèle d'embedding de locuteur pré-entraîné (SiAmResNet34) extrait les embeddings du locuteur à partir de l'audio brut. Crucialement, pour les énoncés normatifs (sains), l'embedding est mis à zéro. Cela garantit que le mécanisme d'adaptation n'interfère pas avec le traitement de la parole saine.
3. Injection FiLM : À chaque couche du transformer de l'encodeur gelé, un perceptron multicouche (MLP) dédié à deux couches génère des paramètres de modulation affine ($\gamma$ et $\beta$) et une porte scalaire ($\alpha$) basés sur l'embedding du locuteur.
   • La modulation est appliquée comme un résidu appris : $\tilde{H}_\ell = H_\ell + \alpha_\ell ((\gamma_\ell - 1) \odot H_\ell + \beta_\ell)$.
   • La porte $\alpha$ est initialisée proche de zéro (via un biais de -2) et est entraînée pour s'ouvrir progressivement, garantissant que le modèle commence comme une transformation identité.
4. Périmètre d'Entraînement : Seuls les générateurs FiLM et l'extracteur d'embedding du locuteur sont entraînés. Pour la parole pathologique, le système adapte les représentations internes ; pour la parole saine, l'embedding mis à zéro force les couches FiLM à agir comme des transformations identités, préservant ainsi le comportement original du modèle.

Contributions Clés

• Adaptation basée sur FiLM : Le papier introduit une méthode pour conditionner un SpeechLLM gelé sur la parole pathologique sans modifier les poids de base, préservant ainsi la généralisation à la parole standard.
• Comparaison Systématique : L'étude compare quatre stratégies d'adaptation — le réglage fin complet (FFT), le réglage fin de l'encodeur uniquement (EFT), LoRA (complet et uniquement sur l'encodeur), et le conditionnement du locuteur proposé — à travers des domaines pathologiques à faibles ressources.
• Évaluation Paralinguistique : Au-delà du taux d'erreur de mots (WER), les auteurs évaluent si l'adaptation dégrade la capacité du modèle à répondre à des questions liées à la parole (Questions à Choix Multiples ou MCQA) concernant les attributs du locuteur (sexe et âge), une métrique critique pour les SpeechLLMs.

Résultats Expérimentaux
L'approche a été évaluée sur les ensembles de données TORGO (anglais) et NeuroVoz (espagnol).

• Performance ASR (WER) :
  • Réglage Fin : Le FFT et le F-LoRA ont obtenu les WER les plus bas, surpassant significativement le modèle de base (réduisant par exemple le WER de TORGO de ~25 % à ~11-12 %).
  • Conditionnement du Locuteur : La méthode basée sur FiLM a montré une amélioration brute marginale sur TORGO (25,15 % à 23,24 %) mais a atteint un WER compétitif de 16,36 % lorsqu'elle est combinée avec un post-traitement basé sur des règles. Cela suggère que la méthode capture bien le contenu acoustique mais produit des hypothèses plus bruitées que les modèles entièrement réglés.
  • NeuroVoz : Toutes les méthodes ont montré de légères améliorations, le F-LoRA étant le plus performant (4,07 %).
• Performance MCQA :
  • Modèle de Base : Le modèle non modifié a eu des difficultés avec la prédiction de l'âge mais a performé au-dessus du hasard pour la prédiction du sexe (53,5 %).
  • Réglage Fin : Le FFT et l'EFT ont amélioré la précision de la prédiction du sexe (jusqu'à 64,9 %), suggérant que l'adaptation a affiné la sensibilité aux caractéristiques du locuteur. Cependant, le F-LoRA s'est effondré vers une performance proche du hasard (8,4 %), indiquant une dégradation sévère des capacités de suivi d'instructions.
  • Conditionnement du Locuteur : La méthode proposée a atteint une précision compétitive pour le sexe (60,7 %), ne dépassant l'EFT que de 4,2 points de pourcentage tout en ne mettant à jour que ~1,6 % des paramètres totaux. Crucialement, elle a maintenu le comportement du modèle de base pour la parole saine par conception.

Signification et Revendications
Le papier affirme que le conditionnement du locuteur par FiLM est une alternative viable et efficace en paramètres au réglage fin traditionnel pour la reconnaissance de la parole pathologique. Sa principale signification réside dans sa capacité à s'adapter aux profils acoustiques pathologiques individuels tout en préservant strictement les poids et les connaissances générales du modèle de base. Ceci est particulièrement critique pour les SpeechLLMs, où le maintien de la capacité à effectuer des tâches non liées à la transcription (comme répondre à des questions) est aussi important que la précision de la transcription. Les auteurs concluent que bien que les modèles entièrement réglés puissent offrir un WER brut légèrement meilleur, l'approche par conditionnement du locuteur offre un compromis favorable entre efficacité, généralisation et préservation des capacités de compréhension audio plus larges, à condition qu'un post-traitement soit utilisé pour affiner la sortie.