From A to B to A: Palindromic Zero-Shot Voice Conversion with Non-Parallel Data

Technische Samenvatting: Van A naar B naar A: Palindromische Zero-Shot Stemconversie met Niet-Parallelle Data

Probleemstelling
Stemconversie (Voice Conversion, VC) heeft als doel de spraak van een bronspreker te transformeren om overeen te komen met de identiteit van een doelspreker, terwijl de linguïstische inhoud behouden blijft. Traditionele datagestuurde benaderingen vertrouwen op parallelle corpora (uitgelijnde uitingen van verschillende sprekers), die duur en onpraktisch zijn om op grote schlieer te verzamelen. Hoewel niet-parallelle methoden zijn ontwikkeld, hebben deze vaak moeite met de "any-to-any" zero-shot setting (waarbij zowel de bron- als de doelsprekers onbekend zijn tijdens de training). Bestaande oplossingen proberen de inhoud en sprekerinformatie te ontwarren met behulp van linguïstische supervisie (bijv. fonemen) of self-supervised learning (SSL). Echter, deze methoden kampen met uitdagingen: linguïstische benaderingen zijn taalafhankelijk en vereisen ASR/TTS-systemen, terwijl ontwarringsgebaseerde SSL-methoden vaak lijden onder imperfecte scheiding, wat leidt tot lekkage van sprekerinformatie of degradatie van de inhoudelijke preservatie. Bovendien presteert eenvoudige K-Nearest Neighbors (KNN) retrieval op SSL-features, hoewel effectief, minder goed in one-shot scenario's door schaarse buren en beperkte doeldata.

Methodologie
De auteurs stellen een framework voor dat supervised learning mogelijk maakt voor zero-shot VC met enkel niet-parallelle data. De kerninnovatie is een palindromische trainingsstrategie die synthetische trainingsparen construeert zonder dat uitgelijnde bron-doel uitingen vereist zijn.

1. Synthetische Datageneratie (De "A naar B" Fase):

   • Het systeem maakt gebruik van een vooraf getraind self-supervised learning (SSL) model, WavLM, om frame-level features te extraheren.
   • Voor een gegeven echt doelspraaksegment ($a_1$) en een referentie-sprekergalerij ($b_{ref}$), voert het systeem offline KNN retrieval uit. Het koppelt de features van de doelspraak aan de referentie-spreker om een synthetische bron-feature set ($\hat{B}_1$) te genereren.
   • Dit creëert een trainings-triplet: een synthetische bron ($\hat{B}_1$), een echte doelspraak ($a_1$), en een extra echt referentie-segment van de doelspreker ($a_2$).

2. Modelarchitectuur:

   • Encoder: Voorgetrainde WavLM encoder.
   • Converter: Een Transformer-gebaseerde latente converter, getraind om de synthetische bron-features te mappen naar de akoestische kenmerken van de doelspreker, wat resulteert in latente features ($\tilde{A}_1$).
   • Vocoder: Een HiFi-GAN vocoder getraind om waveforms te reconstrueren vanuit de latente features.

3. Trainingsprocedure (Drie Fasen):

   • Fase 1 (Vocoder Pre-training): Een vocoder wordt getraind om audio te reconstrueren uit ruwe WavLM-features met behulp van reconstructieverlies (Multi-Resolution STFT) en adversariële training (Multi-Period en Multi-Scale Discriminators).
   • Fase 2 (Transformer Training): De Transformer wordt getraind om synthetische features te converteren naar doel-features. De loss-functie bevat:
     • L1 Loss: Tussen de voorspelde en de grondwaarheid doel-features.
     • Speaker Loss: Een waveform-level loss berekend met behulp van een vooraf getraind speaker verificatiemodel. Het berekent de cosine similarity en L1 afstand tussen de referentie-waveform ($a_2$) en de geconverteerde waveform ($\tilde{a}_1$) om identiteitsconsistentie af te dwingen.
   • Fase 3 (Vocoder Post-training): Een nieuwe vocoder-instantie wordt getraind op de geconverteerde features die door de Transformer worden geproduceerd om zich aan te passen aan de specifieke feature distributie, wat artefacten vermindert en de natuurlijkheid verbetert.

4. Inference (Inferentie):

   • Tijdens de inferentie werkt het systeem direct op echte input-spraak (niet synthetisch). Het model generaliseert van het synthetische trainingsparadigma om echte conversie uit te voeren met enkel een kort referentie-uitspraak van de doelspreker.

Belangrijkste Bijdragen

• Niet-Parallel, Zero-Shot Framework: Een nieuwe benadering die gebruikmaakt van gecontroleerde synthetische datageneratie (via KNN retrieval op SSL-features) om supervised speaker conversie mogelijk te maken zonder uitgelijnde spraakdata.
• Speaker Verification Loss: De introductie van een waveform-level loss afgeleid van een speaker verificatiemodel, die direct de spreker-gelijkenis optimaliseert en consistente identiteitspreservatie waarborgt.
• Multilinguale Generalisatie: Het systeem vertoont sterke cross-linguale prestaties zonder enige fine-tuning op niet-Engelse data, ondanks dat het uitsluitend op Engelse data is getraind.
• Prestaties: De methode bereikt een superieure spreker-gelijkenis en Equal Error Rate (EER) vergeleken met recente state-of-the-art systemen (inclusief KNN-VC, Seed-VC en Vevo), terwijl een vergelijkbare Word Error Rate (WER), Character Error Rate (CER) en subjectieve kwaliteit (MOS/SMOS) behouden blijven.

Resultaten
Experimenten werden uitgevoerd op de LibriSpeech (Engels) en Multilingual LibriSpeech datasets.

• Spreker-gelijkenis: De voorgestelde methode presteert beter dan baselines over alle prompt-duurders (3s tot 60s). Met name in low-resource settings (3s prompt), presteert het significant beter dan KNN-VC, dat lijdt onder gedegradeerde verstaanbaarheid en kwaliteit door schaarse buren.
• Verstaanbaarheid en Kwaliteit: De methode behoudt een WER en CER die vergelijkbaar zijn met state-of-the-art systemen, wat aangeeft dat de winst in spreker-gelijkenis de inhoudelijke preservatie niet in gevaar brengt. Subjectieve evaluaties (MOS en SMOS) tonen aan dat de methode een hoge natuurlijkheid en spreker-gelijkenis bereikt, vooral in short-prompt scenario's.
• Cross-Linguale Prestaties: Bij tests op Nederlands, Frans, Duits, Italiaans, Pools, Portugees en Spaans, behaalde het model consistente verbeteringen in WER en behield het een vergelijkbare spreker-gelijkenis en DNS-MOS scores als concurrenten, ondanks het ontbreken van niet-Engelse fine-tuning.
• Ablatieonderzoek: Het verwijderen van de vocoder post-training fase resulteerde in merkbare auditieve artefacten en lagere DNS-MOS scores, wat de noodzaak bevestigt om de vocoder aan te passen aan de output-distributie van de Transformer.

Significantie
Het artikel stelt dat gecontroleerde synthetische supervisie, gecombineerd met expliciete spreker-niveau doelstellingen, een effectief alternatief biedt voor traditionele ontwarringsgebaseerde stemconversie. Door de noodzaak van parallelle corpora of expliciete linguïstische uitlijning te vermijden, biedt het framework een schaalbaar en dataefficiënt pad naar hoogwaardige, any-to-any zero-shot stemconversie. De resultaten suggereren dat de voorgestelde "palindromische" strategie effectief de kloof overbrugt tussen synthetische trainingsdata en de echte wereld inferentie, waarbij robuuste prestaties worden geleverd, zelfs met beperkte referentie-data en over onbekende talen heen.