Learning task-specific subspaces via interventional post-training of speech foundation models

Résumé technique : Apprentissage de sous-espaces spécifiques aux tâches via l'entraînement post-interventionnel de modèles de fondation de la parole

Énoncé du problème
Les modèles de fondation de la parole, pré-entraînés sur de vastes corpus de données non étiquetées, génèrent des représentations à usage général qui présentent une forte capacité de généralisation aux tâches. Cependant, ces représentations encodent l'information sur diverses variables de la parole (par exemple, l'identité du locuteur, le contenu, les conditions de canal) de manière distribuée et entrelacée. Les tâches en aval, telles que la reconnaissance automatique de la parole (ASR) ou l'identification du locuteur (SID), ne dépendent généralement que d'une fraction de cette variabilité. Par exemple, un système ASR doit être invariant au locuteur, tandis qu'un système de vérification du locuteur doit être invariant au contenu parlé. Les approches existantes pour apprendre des représentations désenchevêtrées reposent souvent sur des hypothèses d'indépendance statistique ou de gaussianité, qui se sont révélées insuffisantes pour garantir un véritable désenchevêtrement. De plus, l'apprentissage contrastif standard optimise généralement un espace de plongement unique invariant aux variables de nuisance, plutôt que de séparer explicitement plusieurs sources de variabilité en sous-espaces distincts.

Méthodologie
Les auteurs proposent un cadre de raffinement post-entraînement appelé Apprentissage Contrastif Interventionnel. Cette approche vise à transformer l'espace de représentation entrelacé d'un modèle de fondation de la parole gelé en sous-espaces distincts et spécifiques aux tâches (plus précisément le contenu et le locuteur) en utilisant une perte contrastive multi-parties.

• Jeu de données interventionnel : Pour fournir la supervision nécessaire au désenchevêtrement, les auteurs synthétisent un jeu de données en utilisant un système de synthèse de la parole (TTS) zero-shot de pointe (F5-TTS). Ce jeu de données synthétique permet de réaliser des « interventions denses » où chaque locuteur est associé à chaque texte d'énoncé. Cette configuration synthétique permet un contrôle précis des variables causales : le contenu (texte) et le locuteur (audio de référence).
• Architecture : Le modèle se compose d'un squelette pré-entraîné gelé (par exemple, wav2vec 2.0, HuBERT ou WavLM) qui extrait les caractéristiques de l'entrée de parole. Ces caractéristiques sont agrégées via un pooling moyen en un seul plongement d'énoncé. Un Réseau de Sous-espace entraînable (un MLP à 3 couches sans goulot d'étranglement) projette ensuite ce plongement dans un espace de dimension supérieure partitionné en deux sous-espaces de taille égale : un sous-espace de contenu ($z_c$) et un sous-espace de locuteur ($z_s$).
• Fonction de perte : L'objectif d'entraînement combine deux composantes :
  1. Perte Contrastive Multi-Positive : Étendue pour gérer plusieurs sous-espaces, cette perte encourage les plongements au sein d'un même sous-espace à être proches s'ils partagent la même variable causale (par exemple, le même locuteur pour le sous-espace locuteur) et éloignés s'ils diffèrent. Elle utilise des étiquettes interventionnelles pour définir des paires positives et négatives en fonction de la manière dont la variable causale a été soumise à une intervention.
  2. Perte d'Orthogonalité : Un terme de régularisation basé sur la norme de Frobenius de la covariance croisée entre les sous-espaces, pénalisant la similitude entre les représentations de contenu et de locuteur pour imposer le désencrevêtrement.

Contributions clés

1. Nouvelle Perte Contrastive : Le papier introduit une fonction de perte capable d'apprendre simultanément plusieurs espaces de plongement associés à des variables causales distinctes, allant au-delà de l'invariance à un espace unique.
2. Jeu de Données Interventionnel Synthétique : Les auteurs construisent un jeu de données avec toutes les combinaisons de locuteurs et de textes, facilitant les interventions denses sur les variables causales, difficiles à obtenir à partir de données de parole naturelles.
3. Validation Empirique : L'approche est évaluée sur les tâches de vérification du locuteur (SV) et de détection de mots-clés (KS), démontrant la séparation de l'information à travers les sous-espaces appris.

Résultats
Les expériences ont été menées sur trois modèles de squelette (wav2vec 2.0, HuBERT, WavLM) en utilisant le jeu de données synthétique.

• Vérification du Locuteur (Hors-Domaine) : Le modèle complet, apprenant les deux sous-espaces conjointement, a obtenu des taux d'erreur égal (EER) nettement inférieurs par rapport à la ligne de base (backbone avec pooling moyen) et aux variantes à sous-espace unique. Notamment, les meilleurs modèles ont atteint un ERE d'environ 24,7 % (WavLM) et 27,2 % (HuBERT), surpassant les bases humaines non expertes (26,51 %) malgré un entraînement sur seulement 32 locuteurs et de la parole lue propre, alors qu'ils ont été testés sur de la parole spontanée sauvage.
• Détection de Mots-Clés : Le sous-espace de contenu appris a montré des performances comparables, bien que légèrement inférieures, aux représentations de base par pooling. Les auteurs attribuent cela à un décalage entre la similitude au niveau de la phrase imposée par la tâche de prétexte contrastive et les exigences au niveau du mot pour la détection de mots-clés.
• Preuve de Désenchevêtrement : L'écart de performance entre le sous-espace « correspondant » (par exemple, le sous-espace locuteur sur SV) et le sous-espace « non correspondant » (par exemple, le sous-espace locuteur sur KS) fournit la preuve que l'intervention a réussi à séparer l'information du locuteur et du contenu. Cependant, l'écart était moins prononcé pour la tâche de KS, suggérant une fuite d'information potentielle ou que la détection de mots-clés nécessite moins d'informations de contenu que prévu.
• Apprentissage Conjoint vs Séparé : Les résultats ont indiqué aucun avantage significatif à l'apprentissage conjoint des sous-espaces par rapport à l'apprentissage séparé, bien que le modèle conjoint utilise les paramètres de manière plus efficace.

Signification et Revendications
Le papier affirme que l'apprentissage contrastif interventionnel est une stratégie viable pour le post-entraînement des modèles de fondation de la parole afin de séparer l'information pertinente à la tâche des variables de nuisance. La principale signification réside dans la capacité à apprendre une transformation agnostique aux données qui améliore les performances de vérification du locuteur hors-domaine en utilisant un petit jeu de données synthétique, sans nécessiter de vastes données étiquetées pour la tâche en aval. Les auteurs notent modestement que, bien que l'approche sépare avec succès l'information du locuteur, la séparation de l'information de contenu pour la détection de mots-clés reste imparfaite, probablement en raison du décalage de granularité entre la tâche de prétexte et la tâche en aval. Ils concluent que des travaux supplémentaires sont nécessaires pour passer à l'échelle l'approche vers des jeux de données réels plus vastes et pour affiner les fonctions de perte afin de mieux pénaliser la fuite d'information.