Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer

Dit artikel introduceert S2S-ZEST, een tekstloos en niet-parallel framework voor zero-shot emotiestijloverdracht dat de emotionele kenmerken van een referentie op een bronstem toepast terwijl de spraakinhoud en sprekeridentiteit behouden blijven.

De kern

Stel je voor dat je een vriend hebt die heel goed kan imiteren, maar dan op een heel speciale manier. Als je hem een verhaal laat horen dat jij vertelt (met jouw stem en jouw woorden), en je geeft hem een andere opname van een vriend die boos of blij klinkt, dan kan deze vriend het verhaal van jou naspelen, maar dan met de emotie van die andere vriend.

Dat is precies wat dit wetenschappelijke artikel beschrijft. Het team heeft een slimme computerprogramma gebouwd genaamd S2S-ZEST. Laten we het eens uitleggen met een paar leuke vergelijkingen.

1. Het Probleem: De "Emotie-Verwarrende" Kookpot

Vroeger was het heel moeilijk om stemmen te veranderen zonder dat de computer in de war raakte.

• Het oude probleem: Als je een computer vroeg om een neutraal verhaal "boos" te laten klinken, veranderde de computer vaak ook de stem van de spreker. Het was alsof je een soep probeerde te maken: je wilde de smaak (de emotie) van de chili toevoegen, maar per ongeluk veranderde je ook de groenten (de stem van de spreker) in iets heel anders.
• De uitdaging: Om dit goed te doen, hadden computers vroeger duizenden voorbeelden nodig van dezelfde persoon die precies hetzelfde verhaal in verschillende emoties vertelde. Dat is in het echt heel lastig en duur om te regelen.

2. De Oplossing: De "Lego-bouwer" S2S-ZEST

De auteurs hebben een systeem bedacht dat werkt als een slimme Lego-bouwer. In plaats van de hele stem als één blokje te zien, pakt het systeem de stem uit in losse onderdelen:

1. De Woorden (De Bouwplaat): Dit is wat er gezegd wordt. Het systeem pakt dit uit de bronstem (jouw stem).
2. De Stem (De Kleur van de Steentjes): Dit is wie er spreekt. Het systeem houdt dit ook uit de bronstem.
3. De Emotie (De Smaak): Dit is de "boosheid", "blijdschap" of "verdriet". Dit haalt het systeem uit de andere opname (de referentie).
4. Het Ritme en de Toon (De Snelheid en het Volume): Hoe snel iemand spreekt en hoe hoog of laag de stem klinkt, hangt af van de emotie.

Hoe werkt het in de praktijk?
Stel je voor dat je een neutraal verhaal hebt (jouw stem) en je wilt dat het klinkt alsof iemand anders het heel boos zegt.

• Het systeem neemt jouw woorden en jouw stem.
• Het neemt de boze emotie en het boze ritme uit de andere opname.
• Het bouwt een nieuwe stem op: "Jouw woorden, met jouw stem, maar dan met de boze energie van die ander."

3. De Slimme Trucs (Zonder Tekst!)

Een van de coolste dingen aan dit systeem is dat het geen tekst nodig heeft.

• Vergelijking: De meeste oude systemen moesten eerst de tekst uitschrijven (zoals een script) voordat ze de emotie konden toevoegen. Dit nieuwe systeem luistert gewoon naar de geluidsgolven, net als een mens die naar muziek luistert. Het "hoort" de emotie zonder te hoeven lezen wat er gezegd wordt.
• Het gebruikt een soort "digitale vingerafdruk" voor emoties. Als de computer hoort dat iemand schreeuwt, weet hij: "Aha, dit is de 'boos'-vingerafdruk", en past die toe op de andere stem.

4. Waarom is dit zo belangrijk?

Het artikel laat zien dat dit systeem beter werkt dan de oude methoden, zelfs als de stemmen en emoties die de computer nog nooit eerder heeft gehoord.

• Voorbeeld: Je kunt een stem van een persoon die de computer nooit heeft gehoord, laten klinken alsof die persoon heel verdrietig is, zelfs als de computer alleen maar "blij" voorbeelden heeft gezien tijdens het leren.
• Toepassing: Dit is niet alleen leuk voor grappen. Het kan helpen bij het maken van betere robots die met mensen praten (die dan echt empathisch klinken) of bij het helpen van mensen die moeite hebben met het herkennen van emoties in stemmen.

Samenvattend in één zin:

Dit paper beschrijft een slimme "emotie-vertaler" die een stem kan nemen, deze uit elkaar haalt in losse onderdelen (woorden, stem, ritme), en de "emotie" van een andere persoon erop plakt, zonder dat de computer ooit de tekst heeft gelezen of de spreker eerder heeft ontmoet. Het is alsof je een nieuwe smaak aan een gerecht toevoegt zonder de ingrediënten te veranderen!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer" in het Nederlands.

Titel: Textless en Non-Parallel Speech-to-Speech Emotion Style Transfer (S2S-ZEST)

Auteurs: Soumya Dutta, Avni Jain en Sriram Ganapathy (IISc Bangalore & BITS Pilani).
Publicatie: Journal of LateX Class Files, Oktober 2025 (voorgesteld).

---

1. Het Probleem

Emotionele Stijltranslatie (Emotion Style Transfer - EST) heeft tot doel de emotionele expressie van een spraaksignaal te wijzigen terwijl de linguïstische inhoud en de sprekeridentiteit behouden blijven. Bestaande methodes hebben echter twee grote beperkingen:

1. Afhankelijkheid van parallelle data: Veel eerdere benaderingen vereisen datasets waarin dezelfde spreker dezelfde tekst in verschillende emoties spreekt. Het verzamelen van dergelijke data is duur en schaars.
2. Verstrengeling van factoren: Bestaande modellen (zoals Voice Conversion-systemen) verstrengelen vaak sprekeridentiteit met expressieve stijl. Hierdoor falen ze bij het overbrengen van emoties op onbekende sprekers (zero-shot) of bij het behoud van de oorspronkelijke sprekerstijl.

Het doel van dit paper is een zero-shot, tekstloze (textless) en niet-parallelle framework te ontwikkelen dat emotiestijl overdraagt van een referentie-uiting naar een bronspraak, zonder transcribed tekst of parallelle trainingdata.

---

2. Methodologie: S2S-ZEST Framework

De auteurs stellen S2S-ZEST (Speech-to-Speech Zero-shot Emotion Style Transfer) voor. Dit is een analyse-synthese pijplijn die werkt als een auto-encoder. Het systeem splitst spraak op in disjuncte componenten en hercombineert deze tijdens de synthese.

A. Analyse-module (Extractie)

De invoerspraak wordt omgezet in vijf sleutelcomponenten:

1. Semantische Tokens: In plaats van continu features, gebruiken de auteurs soft-HuBERT embeddings die worden gekwantiseerd via k-means clustering tot discrete tokens. Dit behoudt de intelligibiliteit van soft-HuBERT maar maakt het mogelijk om de spreekrate te controleren.
2. Spreker-embeddings: Verkregen via een vooraf getrainde ECAPA-TDNN. Om te voorkomen dat emotie-informatie in de spreker-embedding zit (verstrengeling), wordt een adversariaal verlies gebruikt om de spreker-embedding onafhankelijk te maken van de emotie.
3. Emotie-embeddings: Geëxtraheerd via een emotionele classifier (gebaseerd op HuBERT). Ook hier wordt een adversariaal verlies toegepast om de emotie-embedding te ontkoppelen van de sprekeridentiteit. Er worden zowel frame-level als utterance-level (gepoolde) embeddings gegenereerd.
4. Toonhoogte (Pitch) Contour: Een module die de F0-contour reconstrueert op basis van cross-attention tussen content-tokens, spreker-embeddings en emotie-embeddings.
5. Duurvoorspelling: Een predictor die de duur van de gedupliceerde tokens bepaalt, conditioned op de spreker en de emotie van de referentie.

B. Synthese-module

De synthese gebeurt met BigVGAN, een geavanceerde vocoder die bekend staat om zijn hoge kwaliteit en generalisatievermogen.

• De synthese neemt de tokens, spreker-embedding, emotie-embedding en de voorspelde toonhoogte als input.
• Tijdens de inferentie voor stijltranslatie worden de tokens en spreker-embedding uit de bron gehaald, terwijl de emotie-embedding, duurvoorspelling en toonhoogte worden gestuurd door de referentie (de gewenste emotie).

C. Training

Het model wordt getraind met een auto-encoding doelstelling (herconstructie van de oorspronkelijke spraak). De totale loss functie omvat:

• Klassificatieverlies voor emotie en spreker.
• Adversariaal verlies om verstrengeling te minimaliseren.
• Reconstruction loss (L1/L2) voor toonhoogte en duur.
• GAN-verlies voor de BigVGAN synthesizer.

---

3. Belangrijkste Bijdragen

1. Tekstloze Zero-Shot Architectuur: Het systeem vereist geen getranscribeerde tekst en werkt zonder parallelle emotiedatasets.
2. Geavanceerde Tokenisatie: Introductie van soft-HuBERT tokens gekwantiseerd via k-means, in plaats van standaard HuBERT, in combinatie met BigVGAN (in plaats van HiFi-GAN) voor betere spraakkwaliteit.
3. Ontkoppeling van Factoren: Een robuust mechanisme met adversariaal verlies om sprekeridentiteit en emotie strikt te scheiden, wat essentieel is voor generalisatie naar onbekende sprekers.
4. Duur- en Toonhoogtecontrole: Een specifieke module voor duurvoorspelling en een cross-attention mechanisme voor toonhoogtereconstructie die toestaan dat emotie de prosodie (ritme en intonatie) van de bron aanpast zonder de inhoud te veranderen.
5. Data Augmentatie Toepassing: Demonstration dat het model effectief kan worden gebruikt om spraakdata te augmenteren voor Speech Emotion Recognition (SER) taken.

---

4. Resultaten

De auteurs evalueren het model op de ESD-dataset en CREMA-D/TIMIT voor onbekende scenario's.

Objectieve Evaluatie:

• Emotie-overdracht: S2S-ZEST behaalde de hoogste emotie-similariteit (Emo.-Sim.) in alle scenario's, inclusief "Unseen Target Emotions" (UTE) en "Unseen Speaker Unseen Emotion" (USUE). Het presteerde significant beter dan baselines zoals StarGANv2-EST en VEVO.
• Inhoudsbewaring: Het model behaalde een lage Word Error Rate (WER), wat aangeeft dat de tekst goed behouden blijft. De variant met diverse trainingsdata (S2S-ZEST-diverse) verbeterde de WER aanzienlijk.
• Sprekerbehoud: Hoewel VEVO iets beter scoorde in sprekerbehoud bij bekende sprekers, presteerde S2S-ZEST-diverse beter bij onbekende sprekers, wat aantoont dat de verstrengeling succesvol is verminderd.
• Ritme-overdracht: Het model toonde een sterke correlatie in spreekrate (Word PCC) met de referentie, vooral in tekst-identieke scenario's.

Subjectieve Evaluatie:

• Menselijke beoordelaars (MOS - Mean Opinion Score) gaven S2S-ZEST-diverse de hoogste scores voor emotie-overeenkomst, spraakkwaliteit en spreker-identiteit in de meeste testsettings.
• Het model bleek in staat om emoties over te brengen die niet tijdens het trainingstijdperk waren gezien (zero-shot generalisatie).

Robuustheid:

• Het model bleef robuust bij toegevoegde ruis (MUSAN noise), waarbij de emotie-overdracht stabiel bleef zelfs als de intelligibiliteit (WER) licht daalde bij lagere SNR-waarden.

---

5. Betekenis en Toekomstperspectief

Dit paper presenteert een doorbraak in de veld van emotionele spraaktransformatie door een volledig tekstloze en niet-parallelle aanpak te bieden die generaliseert naar onbekende sprekers en emoties.

• Toepassing: De techniek is direct toepasbaar voor data-augmentatie in Speech Emotion Recognition (SER), wat leidt tot significante verbeteringen in classificatieprestaties, vooral in low-resource scenario's.
• Beperkingen: De huidige versie is getraind op een relatief kleine dataset (ESD, ~15 uur, 10 sprekers), wat de generalisatie naar zeer diverse stemmen beperkt.
• Toekomstig werk: Uitbreiden van de trainingsdata met grotere en diversere datasets (zoals LibriSpeech en andere emotionele corpora) om de prestaties bij onbekende sprekers verder te optimaliseren.

Samenvattend biedt S2S-ZEST een krachtig, modulair framework dat de complexiteit van emotionele spraak succesvol ontbindt en hercombineert, waardoor realistische en controleerbare emotionele stijltranslatie mogelijk wordt zonder de noodzaak van zware parallelle datasets.