LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation

1. Énoncé du problème

Les systèmes de clonage vocal et de diarisation multilingues reposent sur des encodeurs de locuteur pour identifier l'identité d'un locuteur, indépendamment de la langue ou du script parlés. Cependant, les encodeurs de locuteur du commerce (par exemple, WavLM-base-plus-sv, ECAPA-TDNN) échouent considérablement lorsqu'ils sont appliqués aux scripts indiens (dévanagari, télougou, tamoul) par rapport aux scripts latins.

• Le mode d'échec : Lorsque le même locuteur change de script (par exemple, de l'anglais à l'hindi), les encodeurs standards traitent la voix comme une identité différente.
• Impact quantitatif : Sur un corpus avec accent occidental, WavLM perd 0,082 de similarité cosinus absolue, et ECAPA-TDNN perd 0,105, lors de la comparaison de clips vocaux identiques à travers différents scripts. Cet écart est important par rapport à la marge entre les paires de même voix et de voix différentes, provoquant des échecs en production tels que :
  • La division d'un seul agent de support client en plusieurs identités lors d'appels avec changement de code.
  • Un clonage vocal qui ressemble à « une voix différente avec un accent » plutôt qu'à la même personne.
• Cause racine : Les encodeurs standards sont principalement entraînés sur des données en anglais (script latin) (par exemple, VoxCeleb). Leurs plongements sont entrelacés avec des structures phonétiques spécifiques à l'anglais. Lorsqu'ils sont exposés à des phonèmes indiens (par exemple, des occlusives rétroflexes), le plongement dérive, laissant fuir l'information linguistique dans le vecteur d'identité.

2. Méthodologie : LASE (Encodeur de locuteur adversarial linguistique)

Les auteurs proposent LASE, une architecture légère conçue pour dissocier l'identité du locuteur de l'information linguistique/scripturale en utilisant un entraînement adversarial de domaine.

Architecture

LASE se compose de trois composants :

1. Backbone figé : Utilise WavLM-base-plus (tronqué au niveau de la pile de transformateurs) pour extraire des caractéristiques au niveau des trames. Ce backbone est figé pour préserver les connaissances acoustiques préentraînées.
2. Tête de projection entraînable : Un MLP à deux couches (768 $\to$ 512 $\to$ 256) avec ReLU et dropout. Elle mappe les caractéristiques du backbone vers un plongement de locuteur de 256 dimensions ($z$).
3. Classificateur de langue à inversion de gradient : Un petit MLP qui tente de prédire la langue (anglais, hindi, télougou, tamoul) à partir du plongement $z$. Crucialement, une couche d'inversion de gradient (GRL) est insérée entre $z$ et le classificateur. Lors de la rétropropagation, la GRL multiplie le gradient de perte du classificateur par $-\lambda_t$, forçant la tête de projection à minimiser la précision du classificateur (c'est-à-dire rendre le plongement non informatif sur le plan linguistique) tout en maximisant la discrimination des locuteurs.

Fonctions de perte

Le modèle est optimisé en utilisant la somme de deux pertes :

1. Perte contrastive supervisée ($L_{spk}$) : Rassemble les plongements d'un même locuteur (à travers différents scripts) et éloigne les différents locuteurs.
2. Perte linguistique adversariale ($L_{lang}$) : Perte d'entropie croisée pour le classificateur de langue. Grâce à la GRL, la minimisation de la perte totale force l'encodeur à maximiser $L_{lang}$ (rendant le classificateur deviner au hasard, $\approx \ln 4$) tout en minimisant $L_{spk}$.

Calendrier d'entraînement

• Échauffement : 200 étapes avec $\lambda=0$ (perte de locuteur uniquement) pour établir une géométrie vocale cohérente.
• Montée : Augmentation linéaire de $\lambda$ de 0 à 0,1 sur 500 étapes.
• Maintien : $\lambda=0,1$ pour le reste.
• Coût total : Entraîné pendant 1 000 étapes sur une seule GPU A10G (~17 minutes, 0,31 $).

3. Données et construction du corpus

Un défi majeur était l'absence de jeux de données naturels, à grande échelle et inter-scripts pour un même locuteur dans les langues indiennes.

• Amorçage synthétique : Les auteurs ont synthétisé des données en utilisant ElevenLabs Multilingual v3.
• Configuration : 8 voix multilingues distinctes ont généré 50 phrases chacune dans 4 langues (anglais, hindi, télougou, tamoul).
• Contrôle de qualité : Les paires ont été filtrées en utilisant un seuil de similarité cosinus WavLM (0,90) par rapport à un clip de référence en anglais pour garantir que le synthétiseur préservait l'identité.
• Jeux de données résultants :
  • Entraînement : 1 118 paires inter-scripts de haute qualité.
  • Retenue (accent occidental) : 1 043 paires (mêmes 8 voix, phrases non vues).
  • Retenue (accent indien) : 1 369 paires (8 voix différentes avec accent indien, phrases non vues).

4. Contributions clés

1. Premier benchmark inter-scripts indien : Publication du premier benchmark d'identité pour un même locuteur pour les langues indiennes (1 118 paires d'entraînement / 1 043 paires retenues) construit via amorçage TTS.
2. Cadre de mesure : Un cadre à trois distributions (Intra-script, Inter-script, Entre-locuteurs) pour isoler l'entrelacement langue-identité des autres facteurs de confusion.
3. Modèle LASE r1 : Un encodeur de 256 dimensions qui réduit l'écart d'identité inter-scripts de 84,3 % par rapport aux références.
4. Efficacité des données : Atteint un rappel de locuteur inter-scripts égal à ECAPA-TDNN (entraîné sur plus de 1 million d'énoncés VoxCeleb) en utilisant ~100 fois moins de données (1 118 paires).
5. Open Source : Publication des poids, des corpus et des scripts d'entraînement sous les licences MIT/CC-BY-4.0.

5. Résultats

L'évaluation utilise deux métriques : Écart ($\Delta$) (baisse de similarité de l'intra-script à l'inter-script ; plus bas est mieux) et Marge ($M$) (distance de la similarité inter-scripts au plancher de bruit ; plus haut est mieux).

Métrique	WavLM-base-plus-sv	ECAPA-TDNN	LASE r1 (Notre approche)
Écart occidental ($\Delta$)	0,082	0,105	0,013 (l'IC inclut 0)
Marge occidentale ($M$)	0,245	0,202	0,662
Écart indien ($\Delta$)	0,006	0,044	0,026 (l'IC inclut 0)
Marge indienne ($M$)	0,144	0,256	0,344

• Fermeture de l'écart : LASE réduit l'écart d'accent occidental de 0,082 à 0,013 (statistiquement indiscernable de zéro).
• Performance de diarisation : Dans une tâche de diarisation de changement de code synthétique, LASE a atteint un rappel inter-scripts de 0,788, statistiquement à égalité avec ECAPA-TDNN (0,789), malgré l'utilisation de 100 fois moins de données d'entraînement.
• Étude d'ablation :
  • L'application de la GRL à ECAPA l'a amélioré, mais WavLM+GRL a mieux performé.
  • La combinaison du backbone WavLM et de l'objectif GRL est nécessaire ; aucun des deux seuls n'atteint l'effet complet.
  • Les plongements WavLM étaient plus faciles à rendre invariants linguistiquement que les plongements ECAPA (la perte linguistique est restée bloquée au hasard pour WavLM, mais a oscillé pour ECAPA).

6. Importance et limites

Importance :

• Impact en production : Résout un mode d'échec critique dans le TTS multilingue indien et la diarisation de centres d'appel où le changement de script provoque une fragmentation de l'identité.
• Efficacité : Démontre que les objectifs adversariaux explicites sont plus efficaces en termes d'échantillons que de compter sur une échelle de corpus massive pour apprendre implicitement l'invariance.
• Accessibilité : Fournit une recette peu coûteuse et reproductible pour construire des encodeurs invariants inter-scripts pour tout ensemble de scripts où la synthèse TTS est viable.

Limites :

• Données synthétiques : L'entraînement et l'évaluation reposent sur de l'audio synthétique ElevenLabs. Bien que l'écart soit réel dans cette distribution, la variabilité acoustique du monde réel (microphones, bruit de fond, prosodie naturelle) n'est pas encore testée.
• Généralisation vocale : Les ensembles retenus utilisent les mêmes voix que l'entraînement (seules les phrases sont non vues). La généralisation à de nouvelles voix complètement différentes est une expérience « v2 ».
• Mélange de codes : Le modèle n'a pas été testé sur le mélange de codes intra-phrases (par exemple, des mots anglais à l'intérieur d'une phrase hindi), ce qui est courant dans la parole indienne.

Conclusion :
LASE découple avec succès l'identité du locuteur des variations de script indien en utilisant une petite tête de projection entraînée de manière adversariale. Il réduit l'écart d'identité inter-scripts à presque zéro et correspond aux performances d'encodeurs massifs de niveau production avec une fraction des données, offrant une solution pratique pour les technologies vocales multilingues dans le contexte indien.