LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation

1. Enunciato del Problema

I sistemi di clonazione vocale e diarizzazione multilingue si basano su encoder vocali per identificare l'identità di un parlante indipendentemente dalla lingua o dallo script parlato. Tuttavia, gli encoder vocali pronti all'uso (ad esempio WavLM-base-plus-sv, ECAPA-TDNN) falliscono significativamente quando applicati agli script indici (Devanagari, Telugu, Tamil) rispetto agli script latini.

• Modalità di Fallimento: Quando lo stesso parlante cambia script (ad esempio dall'inglese all'hindi), gli encoder standard trattano la voce come un'identità diversa.
• Impatto Quantitativo: Su un corpus con accento occidentale, WavLM perde 0,082 di similarità cosinua assoluta, e ECAPA-TDNN perde 0,105, quando si confrontano clip della stessa voce su script diversi. Questo divario è grande rispetto al margine tra coppie della stessa voce e voci diverse, causando fallimenti produttivi come:
  • La divisione di un singolo agente di supporto clienti in identità multiple durante chiamate con cambio di codice.
  • Una clonazione vocale che suona come "una voce diversa con un accento" invece che la stessa persona.
• Causa Radice: Gli encoder standard sono addestrati principalmente su dati in inglese (script latino) (ad esempio VoxCeleb). I loro embedding sono intrecciati con strutture fonetiche specifiche dell'inglese. Quando esposti a fonemi indici (ad esempio, occlusive retroflesse), l'embedding devia, filtrando informazioni linguistiche nel vettore di identità.

2. Metodologia: LASE (Language-Adversarial Speaker Encoder)

Gli autori propongono LASE, un'architettura leggera progettata per disintrecciare l'identità del parlante dalle informazioni linguistiche/script utilizzando l'Addestramento Avversario di Dominio.

Architettura

LASE è composta da tre componenti:

1. Backbone Congelato: Utilizza WavLM-base-plus (troncato allo stack transformer) per estrarre caratteristiche a livello di frame. Questo backbone è congelato per preservare la conoscenza acustica pre-addestrata.
2. Testa di Proiezione Addestrabile: Un MLP a due livelli (768 $\to$ 512 $\to$ 256) con ReLU e dropout. Mappa le caratteristiche del backbone in un embedding parlante a 256 dimensioni ($z$).
3. Classificatore Linguistico con Inversione del Gradiente: Un piccolo MLP che tenta di prevedere la lingua (inglese, hindi, telugu, tamil) dall'embedding $z$. Crucialmente, viene inserita un'Layer di Inversione del Gradiente (GRL) tra $z$ e il classificatore. Durante la retropropagazione, la GRL moltiplica il gradiente della perdita del classificatore per $-\lambda_t$, costringendo la testa di proiezione a minimizzare l'accuratezza del classificatore (cioè rendere l'embedding non informativo sulla lingua) massimizzando al contempo la discriminazione del parlante.

Funzioni di Perdita

Il modello è ottimizzato utilizzando la somma di due perdite:

1. Perdita Contrastiva Supervisionata ($L_{spk}$): Avvicina gli embedding dello stesso parlante (su script diversi) e allontana parlanti diversi.
2. Perdita Linguistica Avversaria ($L_{lang}$): Perdita di entropia incrociata per il classificatore linguistico. A causa della GRL, minimizzare la perdita totale forza l'encoder a massimizzare $L_{lang}$ (rendendo il classificatore che indovina a caso, $\approx \ln 4$) mentre minimizza $L_{spk}$.

Programma di Addestramento

• Warmup: 200 step con $\lambda=0$ (solo perdita parlante) per stabilire una geometria vocale coerente.
• Ramp: Aumento lineare di $\lambda$ da 0 a 0,1 in 500 step.
• Hold: $\lambda=0,1$ per il resto.
• Costo Totale: Addestrato per 1.000 step su una singola GPU A10G (~17 minuti, $0,31).

3. Dati e Costruzione del Corpus

Una sfida maggiore era la mancanza di dataset naturali, su larga scala, della stessa voce su script incrociati per le lingue indiche.

• Bootstrapping Sintetico: Gli autori hanno sintetizzato dati utilizzando ElevenLabs Multilingual v3.
• Configurazione: 8 voci multilingue distinte hanno generato 50 frasi ciascuna in 4 lingue (inglese, hindi, telugu, tamil).
• Controllo di Qualità: Le coppie sono state filtrate utilizzando una soglia di similarità cosinua WavLM (0,90) rispetto a una clip di riferimento in inglese per garantire che il sintetizzatore preservasse l'identità.
• Dataset Risultanti:
  • Addestramento: 1.118 coppie incrociate di alta qualità.
  • Mantenuto (Accento Occidentale): 1.043 coppie (stesse 8 voci, frasi inedite).
  • Mantenuto (Accento Indiano): 1.369 coppie (8 voci diverse con accento indiano, frasi inedite).

4. Contributi Chiave

1. Primo Benchmark Incrociato-Script Indiano: Rilascio del primo benchmark di identità della stessa voce per le lingue indiche (1.118 coppie di addestramento / 1.043 coppie mantenute) costruito tramite bootstrapping TTS.
2. Framework di Misurazione: Un framework a tre distribuzioni (Nello script, Incrociato-script, Tra parlanti) per isolare l'intreccio lingua-identità da altri fattori confondenti.
3. Modello LASE r1: Un encoder a 256 dimensioni che riduce il divario di identità incrociato-script del 84,3% rispetto alle baseline.
4. Efficienza dei Dati: Raggiunge un richiamo del parlante incrociato-script pari a ECAPA-TDNN (addestrato su 1M+ enunciati VoxCeleb) utilizzando ~100 volte meno dati (1.118 coppie).
5. Open Source: Rilascio di pesi, corpora e script di addestramento sotto licenze MIT/CC-BY-4.0.

5. Risultati

La valutazione utilizza due metriche: Divario ($\Delta$) (calo di similarità dallo script interno a quello incrociato; più basso è meglio) e Margine ($M$) (distanza dalla similarità incrociato-script al livello di rumore; più alto è meglio).

Metrica	WavLM-base-plus-sv	ECAPA-TDNN	LASE r1 (Noi)
Divario Occidentale ($\Delta$)	0,082	0,105	0,013 (CI include 0)
Margine Occidentale ($M$)	0,245	0,202	0,662
Divario Indiano ($\Delta$)	0,006	0,044	0,026 (CI include 0)
Margine Indiano ($M$)	0,144	0,256	0,344

• Chiusura del Divario: LASE riduce il divario con accento occidentale da 0,082 a 0,013 (statisticamente indistinguibile da zero).
• Prestazioni di Diarizzazione: In un compito di diarizzazione sintetica con cambio di codice, LASE ha raggiunto un richiamo incrociato-script di 0,788, statisticamente in pareggio con ECAPA-TDNN (0,789), nonostante l'uso di 100 volte meno dati di addestramento.
• Studio di Ablazione:
  • Applicare GRL a ECAPA lo ha migliorato, ma WavLM+GRL ha funzionato meglio.
  • La combinazione del backbone WavLM e dell'obiettivo GRL è necessaria; né l'uno né l'altro da soli raggiungono l'effetto completo.
  • Gli embedding WavLM erano più facili da rendere invarianti alla lingua rispetto agli embedding ECAPA (la perdita linguistica è rimasta fissata al caso casuale per WavLM, ma ha oscillato per ECAPA).

6. Significato e Limitazioni

Significato:

• Impatto Produttivo: Risolve una modalità di fallimento critica nel TTS multilingue indiano e nella diarizzazione dei call center, dove il cambio di script causa frammentazione dell'identità.
• Efficienza: Dimostra che obiettivi avversari espliciti sono più efficienti in termini di campioni rispetto al fare affidamento su una scala di corpus massiccia per imparare implicitamente l'invarianza.
• Accessibilità: Fornisce una ricetta a basso costo e riproducibile per costruire encoder invarianti allo script incrociato per qualsiasi insieme di script in cui la sintesi TTS è fattibile.

Limitazioni:

• Dati Sintetici: L'addestramento e la valutazione si basano su audio sintetico ElevenLabs. Sebbene il divario sia reale in questa distribuzione, la variabilità acustica del mondo reale (microfoni, rumore di fondo, prosodia naturale) non è ancora stata testata.
• Generalizzazione Vocale: Gli insiemi mantenuti utilizzano le stesse voci dell'addestramento (solo frasi inedite). La generalizzazione a voci completamente nuove è un esperimento "v2".
• Code-Mixing: Il modello non è stato testato sul code-mixing intra-frase (ad esempio, parole inglesi all'interno di una frase hindi), che è comune nel discorso indiano.

Conclusione:
LASE disaccoppia con successo l'identità del parlante dalle variazioni degli script indici utilizzando una piccola testa di proiezione addestrata in modo avversario. Chiude il divario di identità incrociato-script a quasi zero e corrisponde alle prestazioni di encoder massicci di livello produttivo con una frazione dei dati, offrendo una soluzione pratica per le tecnologie vocali multilingue nel contesto indiano.