Sintesi Tecnica: AccentBox: Verso la Generazione di Accenti Zero-Shot ad Alta Fedeltà

1. Definizione del Problema

I recenti progressi nel Text-to-Speech Zero-Shot (ZS-TTS) hanno raggiunto un'elevata naturalezza e somiglianza del parlatore, consentendo la sintesi di voci di parlanti non visti a partire da brevi clip audio. Tuttavia, i sistemi esistenti ignorano ampiamente la variazione dell'accento, addestrandosi spesso su dataset distorti (ad esempio, l'inglese americano) senza un esplicito condizionamento dell'accento. Ciò risulta in una scarsa fedeltà dell'accento e in una mancanza di controllo sul accento generato.

Gli approcci attuali alla generazione di parlato accentato rientrano in tre categorie, ognuna con limitazioni significative:

• Conversione dell'Accento Straniero (FAC): Converte gli accenti L2 in accenti L1, ma non può gestire testi arbitrari o coppie accento-parlatore non viste.
• Accented TTS: Genera parlato accentato, ma è limitato a parlanti e accenti già visti.
• Standard ZS-TTS: Genera parlato per parlanti non visti, ma fallisce nel controllare o riprodurre accuratamente gli accenti, portando spesso all'allucinazione o al disallineamento dell'accento.

Inoltre, esiste una lacuna critica nella ricerca riguardante l'intreccio tra parlatore e accento (speaker-accent entanglement). Sia nell'Identificazione dell'Accento (AID) che nel ZS-TTS, i modelli spesso confondono l'identità del parlatore con l'accento, fallendo nel generalizzare a parlanti non visti o nel disgiungere i due attributi. Inoltre, i benchmark esistenti soffrono spesso di fuga di dati (sovrapposizione di parlanti tra l'insieme di addestramento e quello di test), oscurando le reali capacità di generalizzazione dei modelli AID.

2. Metodologia

Gli autori propongono AccentBox, una nuova pipeline a due stadi che unifica FAC, accented TTS e ZS-TTS in un unico compito di Generazione di Accento Zero-Shot. Questo compito mira a generare qualsiasi contenuto parlato in qualsiasi voce e accento forniti da una singola clip audio.

Stadio 1: Identificazione dell'Accento Generalizzabile (GenAID)

Il primo stadio si concentra sull'estrazione di embedding di accento continui e indipendenti dal parlatore. Gli autori propongono GenAID, un modello AID migliorato basato sull'encoder XLSR, progettato per superare l'intreccio parlatore-accento. Le modifiche chiave includono:

1. Validazione su Parlanti Non Visti: Il modello è validato esclusivamente su parlanti non presenti nel set di addestramento per prevenire la memorizzazione delle mappature parlatore-accento.
2. Campionamento Pesato: Affronta la distribuzione sbilanciata delle etichette di accento campionando con probabilità inversamente proporzionali alla frequenza dell'accento.
3. Data Augmentation: Applica perturbazioni di velocità e rumore per aumentare la robustezza rispetto alle condizioni di registrazione.
4. Collo di Bottiglia dell'Informazione (Information Bottleneck): Un MLP a due strati mappa gli output dell'encoder ad alta dimensione in un embedding a bassa dimensione (64-dim), rimuovendo le informazioni ridondanti.
5. Addestramento Avversario: Il modello è addestrato per essere massimamente incerto sull'identità del parlatore utilizzando una perdita di Errore Quadratico Medio (MSE) rispetto a una distribuzione uniforme, disgiungendo efficacementamente le informazioni del parlatore dalle caratteristiche dell'accento.

Stadio 2: Generazione di Accento Zero-Shot (AccentBox)

Il secondo stadio condiziona un sistema ZS-TTS (basato su YourTTS) sugli embedding GenAID pre-addestrati.

• Architettura: Il sistema sostituisce gli standard embedding linguistici one-hot con gli embedding continui GenAID. Questi embedding condizionano sia il Transformer Text Encoder che lo Stochastic Duration Predictor.
• Scenari di Inferenza: Il sistema supporta tre modalità:
  • Generazione Inerente: Generare il parlato con l'accento naturale del parlatore target.
  • Generazione Cross-Accent: Generare la voce di un parlatore target con un accento diverso e specificato.
  • Generazione di Accento Non Visto: Generare il parlato con un accento non visto durante l'addestramento.

3. Contributi Chiave

Il documento sostiene i seguenti contributi:

• Definizione del Compito: Introduzione del compito di Generazione di Accento Zero-Shot, che unifica le capacità di FAC, accented TTS e ZS-TTS standard.
• Benchmarking: Stabilimento del primo benchmark per questo compito, inclusa la verifica e la quantificazione dell'intreccio parlatore-accento nei dati/modelli AID e l'identificazione dei problemi di mismatch/allucinazione dell'accento nei modelli ZS-TTS.
• Nuovo Disgiungimento (Disentanglement): Implementazione del disgiungimento parlatore-accento in AID utilizzando colli di bottiglia dell'informazione e addestramento avversario, ottenendo embedding dell'accento indipendenti dal parlatore.
• Prestazioni del Sistema: Dimostrazione di un sistema capace di un'alta fedeltà nella generazione di accenti zero-shot senza dipendere da etichette di accento pre-raccolte nei dati TTS.

4. Risultati Sperimentali

Prestazioni di GenAID

• Classificazione: Su parlanti non visti (classificazione a 13 accenti), il miglior sistema GenAID ha raggiunto un F1 score di 0,56 e un'accuratezza di 0,56, superando significativamente la baseline casuale (0,08) e i sistemi precedenti.
• Generalizzazione: Il divario di accuratezza tra parlanti visti e non visti è stato ridotto da 0,53 (baseline) a 0,06 (proposto), indicando una superiore capacità di generalizzazione.
• Disgiungimento: Il Coefficiente Silhouette per i Cluster di Parlatori (SCSC) è sceso da 0,236 a 0,079, confermando la riduzione delle informazioni residue del parlatore negli embedding dell'accento.

Prestazioni di AccentBox

• Valutazione Obiettiva (Inerente & Cross-Accent): Il sistema proposto ha ottenuto i punteggi più alti di Accent Cosine Similarity (AccCos) (0,9336 per l'inerente, 0,9067 per il cross-accent) rispetto alle baseline come VALL-E X e una baseline standard di YourTTS.
• Valutazione Soggettiva (Inerente):
  • Similarità dell'Accento: Il sistema proposto è stato preferito rispetto alla Baseline (69,1% per l'US, 61,3% per l'Irlandese) e al sistema Accent_ID (57,4% per l'US, 65,7% per l'Irlandese).
  • Similarità del Parlatore: Le preferenze sono state miste; il sistema è stato preferito rispetto alla Baseline ma ha mostrato una minore similarità del coseno del parlatore oggettiva, potenzialmente a causa del bias dell'ASR o della difficoltà dei listener nel distinguere l'accento dall'identità.
  • Naturalezza: Il sistema ha superato le baseline per gli accenti US, ma ha ricevuto una preferenza inferiore per l'accento irlandese, attribuito ai dati di addestramento limitati per l'irlandese e alla sensibilità alla prosodia.
• Valutazione Soggettiva (Cross-Accent): Il sistema proposto ha dimostrato una superiore fedeltà dell'accento (70,0% di preferenza per l'US, 61,7% per l'Irlandese) rispetto al sistema Accent_ID, che si basa su etichette discrete one-hot e fatica a mantenere la coerenza.

5. Significato e Rivendicazioni

Il documento posiziona AccentBox come un passo significativo verso una tecnologia del parlato inclusiva. Affrontando il problema dell'intreccio parlatore-accento, gli autori affermano di aver creato un sistema che:

1. Preserva l'identità linguistica per i parlanti nativi e allevia la pressione di conformarsi ad accenti nativi per i non nativi.
2. Abilita applicazioni in assistenti virtuali personalizzati, doppiaggio cinematografico e Computer-Aided Pronunciation Training (CAPT).
3. Fornisce un controllo separato su parlatore e accento, permettendo la generazione di accenti e voci non visti senza richiedere etichette di accento pre-raccolte nei dati di addestramento TTS.

Gli autori osservano che, sebbene il sistema sia promettente, sono necessari futuri lavori per sperimentare la generazione/conversione di accenti L2 e per perfezionare i metodi di valutazione al fine di comprendere meglio le discrepanze di naturalezza tra i diversi accenti.