LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation

1. Probleemstelling

Meertalige stemkloon- en diarisesystemen vertrouwen op spreker-encoders om de identiteit van een spreker te identificeren, ongeacht de gesproken taal of het schrift. Echter, kant-en-klare spreker-encoders (zoals WavLM-base-plus-sv, ECAPA-TDNN) falen aanzienlijk wanneer ze worden toegepast op Indische scripts (Devanagari, Telugu, Tamil) in vergelijking met Latijnse scripts.

• De Falingsmodus: Wanneer dezelfde spreker van script wisselt (bijvoorbeeld van Engels naar Hindi), behandelen standaard encoders de stem als een andere identiteit.
• Kwantitatieve Impact: Op een corpus met Westerse accenten verliest WavLM 0,082 absolute cosinusgelijkheid en ECAPA-TDNN verliest 0,105 bij het vergelijken van clips met dezelfde stem over verschillende scripts. Deze kloof is groot in verhouding tot de marge tussen paren met dezelfde stem en paren met verschillende stemmen, wat productiefouten veroorzaakt zoals:
  • Het splitsen van één klantenservice-agent in meerdere identiteiten tijdens gesprekken met code-switching.
  • Stemklonen die klinken als "een andere stem met een accent" in plaats van dezelfde persoon.
• Oorzaak: Standaard encoders worden voornamelijk getraind op Engelse (Latijnse script) data (bijvoorbeeld VoxCeleb). Hun embeddings zijn verweven met fonetische structuren die specifiek zijn voor het Engels. Wanneer ze worden blootgesteld aan Indische fonemen (bijvoorbeeld retroflexe stops), drijft de embedding weg, waardoor taalinformatie lekt in de identiteitsvector.

2. Methodologie: LASE (Language-Adversarial Speaker Encoder)

De auteurs stellen LASE voor, een lichtgewicht architectuur die is ontworpen om sprekeridentiteit te ontkoppelen van taal/script-informatie met behulp van Domain-Adversarial Training.

Architectuur

LASE bestaat uit drie componenten:

1. Vriesde Ruggegraat (Frozen Backbone): Gebruikt WavLM-base-plus (afgekapt bij de transformer-stack) om frame-gebaseerde kenmerken te extraheren. Deze ruggegraat is bevroren om vooraf getrainde akoestische kennis te behouden.
2. Trainbare Projectiehoofd: Een twee-laags MLP (768 $\to$ 512 $\to$ 256) met ReLU en dropout. Het mappert de kenmerken van de ruggegraat naar een 256-dimensionale sprekerembedding ($z$).
3. Gradient-Reversal Taalclassificator: Een kleine MLP die probeert de taal (Engels, Hindi, Telugu, Tamil) te voorspellen vanuit de embedding $z$. Cruciaal is dat er een Gradient Reversal Layer (GRL) wordt ingevoegd tussen $z$ en de classificator. Tijdens backpropagation vermenigvuldigt de GRL de verliesgradient van de classificator met $-\lambda_t$, waardoor het projectiehoofd wordt gedwongen de nauwkeurigheid van de classificator te minimaliseren (d.w.z. de embedding taalinformatie-arm te maken) terwijl het sprekerdiscriminatie maximaliseert.

Verliesfuncties

Het model wordt geoptimaliseerd met een som van twee verliezen:

1. Supervised Contrastive Loss ($L_{spk}$): Trekt embeddings van dezelfde spreker (over verschillende scripts) naar elkaar toe en duwt verschillende sprekers uit elkaar.
2. Adversarial Language Loss ($L_{lang}$): Cross-entropy verlies voor de taalclassificator. Vanwege de GRL dwingt het minimaliseren van het totale verlies de encoder om $L_{lang}$ te maximaliseren (waardoor de classificator willekeurig raadt, $\approx \ln 4$) terwijl $L_{spk}$ wordt geminimaliseerd.

Trainingsschema

• Warmup: 200 stappen met $\lambda=0$ (alleen sprekerverlies) om een coherente stemgeometrie te vestigen.
• Ramp: Lineaire toename van $\lambda$ van 0 tot 0,1 over 500 stappen.
• Hold: $\lambda=0,1$ voor de rest van de training.
• Totale Kosten: Getraind voor 1.000 stappen op één A10G GPU (~17 minuten, $0,31).

3. Data en Corpusconstructie

Een grote uitdaging was het gebrek aan natuurlijke, grootschalige, dezelfde-spreker cross-script datasets voor Indische talen.

• Synthetische Bootstrapping: De auteurs synthetiseerden data met ElevenLabs Multilingual v3.
• Opstelling: 8 verschillende meertalige stemmen genereerden elk 50 zinnen in 4 talen (Engels, Hindi, Telugu, Tamil).
• Kwaliteitspoort: Paren werden gefilterd met een WavLM cosinusgelijkheidsdrempel (0,90) tegen een referentie-Engelse clip om ervoor te zorgen dat de synthesizer de identiteit behield.
• Resultante Datasets:
  • Training: 1.118 hoogwaardige cross-script paren.
  • Houding (Westerse Accent): 1.043 paren (dezelfde 8 stemmen, onbekende zinnen).
  • Houding (Indisch Accent): 1.369 paren (8 verschillende Indisch-geaccentueerde stemmen, onbekende zinnen).

4. Belangrijkste Bijdragen

1. Eerste Indische Cross-Script Benchmark: Release van de eerste identiteitsbenchmark voor dezelfde spreker voor Indische talen (1.118 training / 1.043 houd-paren) geconstrueerd via TTS-bootstrapping.
2. Meetkader: Een driedimensionaal kader (Binnen-script, Cross-script, Tussen-spreker) om taal-identiteit verwevenheid te isoleren van andere verstorende factoren.
3. LASE r1 Model: Een 256-dim encoder die de cross-script identiteitskloof met 84,3% verkleint ten opzichte van baselines.
4. Data-efficiëntie: Bereikt cross-script sprekerrecall die overeenkomt met ECAPA-TDNN (getraind op 1M+ VoxCeleb uitingen) met ~100x minder data (1.118 paren).
5. Open Source: Release van gewichten, corpora en trainingsscripts onder MIT/CC-BY-4.0-licenties.

5. Resultaten

De evaluatie gebruikt twee metrieken: Gap ($\Delta$) (daling in gelijkheid van binnen-script naar cross-script; lager is beter) en Margin ($M$) (afstand van cross-script gelijkheid tot de ruisvloer; hoger is beter).

Metriek	WavLM-base-plus-sv	ECAPA-TDNN	LASE r1 (Ours)
Westerse Gap ($\Delta$)	0,082	0,105	0,013 (CI omvat 0)
Westerse Margin ($M$)	0,245	0,202	0,662
Indische Gap ($\Delta$)	0,006	0,044	0,026 (CI omvat 0)
Indische Margin ($M$)	0,144	0,256	0,344

• Gap-sluiting: LASE verkleint de Westerse-accent gap van 0,082 naar 0,013 (statistisch niet te onderscheiden van nul).
• Diarisatieprestaties: In een synthetische code-switching diaristietask bereikte LASE een cross-script recall van 0,788, statistisch gelijk aan ECAPA-TDNN (0,789), ondanks het gebruik van 100x minder trainingsdata.
• Ablatiestudie:
  • Het toepassen van GRL op ECAPA verbeterde het, maar WavLM+GRL presteerde beter.
  • De combinatie van de WavLM-ruggegraat en het GRL-doel is noodzakelijk; geen van beide alleen bereikt het volledige effect.
  • WavLM-embeddings waren makkelijker taalinvariant te maken dan ECAPA-embeddings (taalterlies bleef vastgepind op willekeurige kans voor WavLM, maar oscilleerde voor ECAPA).

6. Betekenis en Beperkingen

Betekenis:

• Productie-impact: Lost een kritieke falingsmodus op in Indische meertalige TTS en callcenter-diarisatie waar scriptwisseling identiteitsfragmentatie veroorzaakt.
• Efficiëntie: Demonstreert dat expliciete adversarial doelen efficiënter zijn in steekproeven dan het vertrouwen op enorme corpusgrootte om impliciet invariantie te leren.
• Toegankelijkheid: Biedt een goedkope, reproduceerbare recept voor het bouwen van cross-script invariante encoders voor elk scriptset waar TTS-synthese haalbaar is.

Beperkingen:

• Synthetische Data: Training en evaluatie vertrouwen op ElevenLabs synthetische audio. Hoewel de kloof echt is in deze verdeling, is echte akoestische variabiliteit (microfoons, achtergrondruis, natuurlijke prosodie) nog niet getest.
• Stemgeneralisatie: De houd-punten gebruiken dezelfde stemmen als training (alleen onbekende zinnen). Generalisatie naar volledig nieuwe stemmen is een "v2"-experiment.
• Code-mixing: Het model is niet getest op intra-zins code-mixing (bijvoorbeeld Engelse woorden binnen een Hindi-zin), wat gebruikelijk is in Indische spraak.

Conclusie:
LASE ontkoppelt succesvol sprekeridentiteit van Indische scriptvariaties met behulp van een kleine, adversarial getrainde projectiehoofd. Het sluit de cross-script identiteitskloof tot bijna nul en komt overeen met de prestaties van enorme, productieklaar encoders met een fractie van de data, en biedt een praktische oplossing voor meertalige stemtechnologieën in de Indische context.