Interpreting Speaker Characteristics in the Dimensions of Self-Supervised Speech Features

Dit onderzoek toont aan dat bij self-supervised speech-modellen zoals WavLM specifieke sprekerseigenschappen, zoals toonhoogte en geslacht, geconcentreerd zijn in individuele dimensies van de feature-vectors, waardoor deze dimensies kunnen worden gemanipuleerd om de stemkarakteristieken bij spraaksynthese te controleren.

De kern

Stel je voor dat een moderne spraakcomputer (zoals die in je telefoon of een slimme luidspreker) niet alleen leert wat je zegt, maar ook hoe je het zegt. Deze computers gebruiken een soort "super-intelligente" hersenen die zelf leren spreken zonder dat iemand ze handmatig heeft getraind. Dit noemen onderzoekers zelf-supervised learning (SSL).

Maar hoe zit het met die "hersenen"? Wat gebeurt er precies in de duizenden getallen die deze computer genereert als hij naar een stem luistert?

Dit paper van Kyle, Benjamin en Herman is als een detectiveverhaal over die getallen. Ze wilden weten: Kunnen we de "knoppen" vinden in deze computer die de stem van een persoon veranderen, zonder dat we de hele computer opnieuw hoeven te programmeren?

Hier is de uitleg, vertaald naar alledaagse taal:

1. De "Slaapstand" van de Stem (De PCA)

Stel je voor dat je een enorme berg met geluidsopnames hebt. De computer zet elke opname om in een lange lijst met getallen (een vector). Dat is erg rommelig.

De onderzoekers gebruikten een wiskundige truc (genaamd PCA, of Hoofdcomponentenanalyse). Je kunt dit vergelijken met het opvouwen van een grote, rommelige deken.

• Als je de deken opvouwt, zie je dat er één grote, dikke vouw is (de belangrijkste richting).
• Daarna zijn er nog wat kleinere vouwtjes.
• De onderzoekers keken naar die "hoofd vouwen" (de principal dimensions) in de computer. Ze dachten: "Misschien zit de 'hoogte' van de stem in de eerste vouw, en de 'luidheid' in de tweede?"

2. Wat vonden ze? (De Magische Knoppen)

Het resultaat was verrassend simpel en krachtig. De computer heeft de eigenschappen van een stem inderdaad gesorteerd in verschillende "richtingen":

• De Grootste Vouw (Dimensie 1): Dit is de belangrijkste richting. Hierin zit alles over hoogte en geslacht. Als je deze richting in de computer aanraakt, verandert de stem van een man naar een vrouw (of vice versa), en verandert de toonhoogte. Het is alsof je aan de "stemknop" van een radio draait.
• De Tweede Vouw (Dimensie 2): Hier zit de luidheid (hoe hard iemand spreekt) en de snelheid van spreken.
• De Kleinere Vouwjes: Andere richtingen in de computer correleren met specifieke details, zoals de klankkleur (hoe "neus" of "diep" een stem klinkt) of hoeveel ruis er in de opname zit.

De analogie: Stel je voor dat de computer een mixerpaneel is met duizenden knoppen. De onderzoekers ontdekten dat ze niet alle duizend knoppen hoeven te kennen. Ze hoefden alleen maar te weten welke specifieke knop voor "hoogte" staat en welke voor "luidheid".

3. Het Experiment: De Stem Veranderen

Om te bewijzen dat dit echt werkte, deden ze een proef:

1. Ze namen een opname van iemand.
2. Ze "draaiden" aan één van die specifieke knoppen in de computer (bijvoorbeeld: maak Dimensie 1 iets hoger).
3. Ze lieten de computer de nieuwe geluidsgolven maken.

Het resultaat:

• Als ze aan de "hoogte-knop" draaiden, klonk de stem echt hoger of lager, maar klonk het nog steeds als een menselijke stem (geen robotgeluid).
• Het mooiste: Als ze aan de "hoogte-knop" draaiden, veranderde de luidheid niet. De knoppen werkten los van elkaar! Je kon dus de toonhoogte veranderen zonder dat de stem ineens fluisterend of schreeuwend werd.

4. Wat werkt niet?

Niet alles was even makkelijk. Sommige eigenschappen, zoals de "trilling" van de stem (jitter) of de kleine variaties in volume (shimmer), waren lastiger te controleren. Het was alsof die knoppen vastzaten of erg onstabiel waren. Maar voor de belangrijkste dingen (hoogte, luidheid, klank) werkte het perfect.

Waarom is dit belangrijk?

Vroeger moest je een heel nieuw, enorm computermodel trainen om een stem te veranderen. Dat kostte tijd en geld.
Met deze ontdekking kun je nu direct de stem van een computer veranderen door simpelweg aan een paar "coördinaten" in de data te sleutelen.

Kortom:
De onderzoekers hebben ontdekt dat de "geheime taal" van spraakcomputers eigenlijk heel logisch is opgebouwd. Ze hebben een stuurpaneel gevonden waarmee je de stem van een computer op een simpele manier kunt aanpassen:

• Wil je een man laten klinken als een vrouw? Draai aan knop 1.
• Wil je iemand harder laten spreken? Draai aan knop 2.
• En het beste van alles: je kunt dit doen zonder de hele computer opnieuw te hoeven bouwen.

Het is alsof ze de "geheime code" hebben gevonden om de stem van een robot op maat te maken, zonder dat je een ingenieur hoeft te zijn.

Technische samenvatting

Probleemstelling

Zelftoezicht-lerende (Self-Supervised Learning, SSL) spraakmodellen, zoals WavLM, genereren rijke representaties die zowel linguïstische als sprekersinformatie bevatten. Hoewel er veel onderzoek is gedaan naar hoe informatie over verschillende lagen van deze modellen is verdeeld (bijvoorbeeld via "probing" met classifiers), is er weinig bekend over hoe specifieke spraakeigenschappen zijn gecodeerd binnen de individuele dimensies van de feature-vectoren. De auteurs vragen zich af of het mogelijk is om spraakeigenschappen (zoals toonhoogte, intensiteit of geslacht) te isoleren en te manipuleren door specifieke richtingen in de SSL-ruimte aan te passen, zonder dat er zware modeltraining nodig is.

Methodologie

De auteurs hebben een analyse uitgevoerd op de representaties van het WavLM-model (specifiek laag 6, wat een balans biedt tussen spreker- en fonetische informatie). De aanpak bestond uit de volgende stappen:

1. Data Voorbereiding:
   • Er werden utterance-gegemiddelde SSL-features gegenereerd voor sprekers uit het LibriSpeech train-clean-100 dataset.
   • Voor de correlatieanalyse werden zorgvuldig geselecteerde, kleinere datasets gebruikt (750 utterances) om de nauwkeurigheid van de extractie van sprekerkarakteristieken te waarborgen (vermijding van ruis).
2. Hoofdcomponentenanalyse (PCA):
   • PCA werd toegepast op de gemiddelde features om de orthogonale hoofdrichtingen (principal dimensions) te vinden die de meeste variantie in de data verklaren.
   • Er werden 50 hoofdcomponenten geëxtraheerd.
3. Correlatieanalyse:
   • Er werd een correlatieanalyse uitgevoerd tussen de individuele hoofdcomponenten en een reeks specifieke sprekerkarakteristieken:
     • Continu: Toonhoogte (F0), formanten (F1, F2, F3), intensiteit, lokale jitter, shimmer, spreeksnelheid, harmonisch-tot-ruisverhouding (HNR), spectrale rolloff en zero-crossing rate (ZCR).
     • Categorisch: Geslacht.
   • Voor continue variabelen werd de determinatiecoëfficiënt ($R^2$) gebruikt, en voor geslacht Cohen's kappa ($\kappa$).
4. Synthese-experimenten:
   • Om de bevindingen te valideren, werden de SSL-features gemanipuleerd door een scalair veelvoud van een specifieke hoofdcomponent toe te voegen aan de feature-frames (volgens formule $x_{mod} = x_n + \alpha \sigma_i \cdot v_i$).
   • De gemanipuleerde features werden vervolgens omgezet naar audio met een vooraf getrainde HiFi-GAN vocoder.
   • De resulterende audio werd geanalyseerd om te zien of de gewenste eigenschap veranderde en of andere eigenschappen onaangetast bleven.

Belangrijkste Bijdragen en Resultaten

• Structuur van de Representatieruimte:
  • Dimensie 1: Deze dimensie verklaart de meeste variantie en codeert toonhoogte (pitch) en geslacht. Omdat vrouwen over het algemeen een hogere toonhoogte hebben, zijn deze twee eigenschappen sterk gecorreleerd in deze ene richting. Deze dimensie correleert ook met jitter (stabiliteit van de toonhoogte) en HNR (ruisniveau), wat wijst op het vastleggen van bredere "timbre"-eigenschappen.
  • Dimensie 2: Correleert sterk met intensiteit en spreeksnelheid.
  • Overige Dimensies: Latere dimensies correleren vaak met slechts één specifieke eigenschap, zoals F2 (dimensie 4), F3 (dimensie 24), F1 (dimensie 26), en spectrale rolloff/ZCR (dimensie 11).
• Controleerbaarheid in Synthese:
  • Door de waarde van Dimensie 1 te variëren, kon de toonhoogte van de gegenereerde spraak worden aangepast. De relatie was niet volledig lineair (er trad verzadiging op bij extreme waarden), maar de controle was effectief voor zowel gemiddelde als extreme gevallen.
  • Door Dimensie 2 te variëren, kon de intensiteit lineair worden gecontroleerd.
  • Andere eigenschappen zoals F2, F3 en spectrale rolloff konden eveneens lineair worden gemanipuleerd.
• Isolatie van Controle:
  • Een cruciale bevinding is dat de controle grotendeels geïsoleerd is. Het veranderen van Dimensie 1 (voor toonhoogte) had bijvoorbeeld geen significant effect op de intensiteit, en vice versa. Dit betekent dat specifieke spraakeigenschappen kunnen worden aangepast zonder de andere eigenschappen van de stem te verstoren.
• Beperkingen:
  • Niet alle eigenschappen konden systematisch worden gecontroleerd. Eigenschappen zoals jitter, shimmer en HNR vertoonden geen systematische verandering bij het manipuleren van hun corresponderende dimensies, hoewel ze wel correleerden in de analyse.

Significantie

Dit paper levert een belangrijke bijdrage aan het begrip van de interne werking van SSL-spraakmodellen:

1. Interpreteerbaarheid: Het toont aan dat SSL-modellen spraakeigenschappen niet willekeurig verspreiden, maar dat deze georganiseerd zijn in specifieke, orthogonale richtingen binnen de feature-ruimte.
2. Training-vrije Manipulatie: Het biedt een eenvoudige methode om spraakeigenschappen te controleren in synthesetoepassingen zonder dat er complexe nieuwe modellen getraind hoeven te worden. Dit is waardevol voor toepassingen zoals stemconversie, het genereren van fictieve karakters en stemanonymisatie.
3. Praktische Toepasbaarheid: De resultaten tonen aan dat het mogelijk is om de "stem" van een gegenereerde audio op een gecontroleerde manier te modificeren, wat de bruikbaarheid van SSL-features in praktische spraaktoepassingen vergroot.

Samenvattend bewijst dit werk dat de dimensies van SSL-features een directe, interpreteerbare link hebben met fysieke spraakeigenschappen, wat nieuwe wegen opent voor precieze stemmanipulatie.