From A to B to A: Palindromic Zero-Shot Voice Conversion with Non-Parallel Data

Sintesi Tecnica: Da A a B a A: Conversione Vocale Palindromica Zero-Shot con Dati Non-Paralleli

Definizione del Problema
La conversione vocale (VC) mira a trasformare il parlato di un parlatore sorgente per far corrispondere l'identità a quella di un parlatore target, preservando al contempo il contenuto linguistico. Gli approoli tradizionali basati sui dati si affidano su corpora paralleli (utterance allineate di diversi parlatore), che sono costosi e impraticabili da raccogliere su larga scala. Sebbene siano stati sviluppati metodi non-paralleli, questi spesso faticano nel setting "any-to-any" zero-shot (dove sia i parlatore sorgente che il target sono sconosciuti durante l'addestramento). Le soluzioni esistenti tentano tipicamente di disincagliare contenuto e informazione del parlatore utilizzando la supervisione linguistica (es. fonemi) o l'apprendimento auto-supervisionato (SSL). Tuttavia, questi metodi affrontano diverse sfide: gli approcci linguistici sono dipendenti dalla lingua e richiedono sistemi ASR/TTS, mentre i metodi SSL basati sul disincaglio soffrono spesso di una separazione imperfetta, portando a una fuga di informazioni del parlatore o a una degradazione della preservazione del contenuto. Inoltre, il semplice recupero K-Nearest Neighbors (KNN) sulle feature SSL, sebbene efficace, decade negli scenari one-shot a causa della scarsità dei vicini e dei dati limitati del target.

Metodologia
Gli autori propongono un framework che consente l'apprendimento supervisionato per la VC zero-shot utilizzando solo dati non-paralleli. L'innovazione principale è una strategia di addestramento palindromica che costruisce coppie di dati sintetici senza richiedere utterance sorgente-target allineate.

1. Generazione di Dati Sintetici (La Fase "A da B"):

   • Il sistema utilizza un modello di apprendimento auto-supervisionato (SSL) pre-addestrato, WavLM, per estrarre le feature a livello di frame.
   • Per un dato segmento di parlato reale del target ($a_1$) e una galleria di riferimento del parlatore ($b_{ref}$), il sistema esegue un recupero KNN offline. Corrisponde le feature del target al parlatore di riferimento per generare un set di feature sorgente sintetico ($\hat{B}_1$).
   • Questo crea una tripletta di addestramento: una sorgente sintetica ($\hat{B}_1$), un target reale ($a_1$) e un ulteriore segmento reale di riferimento del parlatore target ($a_2$).

2. Architettura del Modello:

   • Encoder: Encoder WavLM pre-addestrato.
   • Converter: Un convertitore latente basato su Transformer addestrato per mappare le feature sorgente sintetiche ($\hat{B}_1$) alle caratteristiche acustiche del parlatore target, producendo feature latenti ($\tilde{A}_1$).
   • Vocoder: Un vocoder HiFi-GAN addestrato per ricostruire le forme d'onda dalle feature latenti.

3. Procedura di Addestramento (Tre Fasi):

   • Fase 1 (Pre-addestramento del Vocoder): Un vocoder viene addestrato per ricostruire l'audio dalle feature WavLM grezze utilizzando perdite di ricostruzione (Multi-Resolution STFT) e addestramento avversario (Multi-Period e Multi-Scale Discriminators).
   • Fase 2 (Addestramento del Transformer): Il Transformer è addestrato per convertire le feature sintetiche in feature del target. La funzione di perdita include:
     • Perdita L1: Tra le feature target predette e quelle reali (ground-truth).
     • Perdita del Parlatore (Speaker Loss): Una perdita a livello di forma d'onda calcolata utilizzando un modello di verifica del parlatore pre-addestrato. Calcola la similarità del coseno e la distanza L1 tra la forma d'onda di riferimento ($a_2$) e la forma d'onda convertita ($\tilde{a}_1$) per imporre la coerenza dell'identità.
   • Fase 3 (Post-addestramento del Vocoder): Una nuova istanza di vocoder viene addestrata sulle feature convertite dal Transformer per adattarsi alla specifica distribuzione delle feature, riducendo gli artefatti e migliorando la naturalezza.

4. Inferenza:

   • Al tempo di inferenza, il sistema opera direttamente sul parlato reale (non sintetico). Il modello generalizza dal paradigma di addestramento sintetico per eseguire una conversione reale utilizzando solo un breve utterance di riferimento del target.

Contributi Chiave

• Framework Non-Parallelo, Zero-Shot: Un approccio innovativo che sfrutta la generazione controllata di dati sintetici (tramite recupero KNN sulle feature SSL) per consentire la conversione del parlatore supervisionata senza dati di parlato allineati.
• Perdita di Verifica del Parlatore: L'introduzione di una perdita a livello di forma d'onda derivata da un modello di verifica del parlatore, che ottimizza direttamente la similarità del parlatore e garantisce una coerenza dell'identità.
• Generalizzazione Multilingue: Il sistema dimostra una forte performance cross-lingua senza alcun fine-tuning su dati non inglesi, nonostante sia stato addestrato esclusivamente su dati inglesi.
• Performance: Il metodo raggiunge una superiorità nella similarità del parlatore e nel Tasso di Errore Equivalente (EER) rispetto ai recenti sistemi allo stato dell'arte (inclusi KNN-VC, Seed-VC e Vevo), mantenendo al contempo un Word Error Rate (WER), un Character Error Rate (CER) e una qualità soggettiva (MOS/SMOS) comparabili.

Risultati
Gli esperimenti sono stati condotti sui dataset LibriSpeech (inglese) e Multilingual LibriSpeech.

• Similarità del Parlatore: Il metodo proposto supera i baseline in tutte le durate del prompt (da 3s a 60s). In particolare, nei contesti a basse risorse (prompt di 3s), supera significativamente KNN-VC, che soffre di una degradazione dell'intelligibilità e della qualità a causa della scarsità dei vicini.
• Intelligibilità e Qualità: Il metodo mantiene WER e CER comparabili ai sistemi allo stato dell'arte, indicando che i guadagni nella similarità del parlatore non compromettono la preservazione del contenuto. Le valutazioni soggettive (MOS e SMOS) mostrano che il metodo raggiunge un'alta naturalezza e similarità del parlatore, specialmente negli scenari con prompt brevi.
• Performance Cross-Lingua: Quando testato su olandese, francese, tedesco, italiano, polacco, portoghese e spagnolo, il modello ha ottenuto miglioramenti costanti nel WER e ha mantenuto una similarità del parlatore e punteggi DNS-MOS comparabili ai competitor, nonostante l'assenza di fine-tuning non inglese.
• Studio di Ablazione: La rimozione della fase di post-addestramento del vocoder ha causato artefatti uditivi evidenti e punteggi DNS-MOS inferiori, confermando la necessità di adattare il vocoder alla distribuzione delle output del Transformer.

Significatività
L'articolo sostiene che la supervisione sintetica controllata, combinata con obiettivi espliciti a livello di parlatore, offre un'alternativa efficace ai tradizionali metodi di disincaglio basati sulla separazione. Evitando la necessità di corpora paralleli o un esplicito allineamento linguistico, il framework fornisce una via scalabile ed efficiente dal punto di vista dei dati per una conversione vocale zero-shot di alta qualità. I risultati suggeriscono che la strategia "palindromica" proposta colma efficacemente il divario tra i dati di addestramento sintetici e l'inferenza nel mondo reale, raggiungendo prestazioni robuste anche con dati di riferimento limitati e attraverso lingue non viste.