On the Effect of Segmentation Width and Cluster Size on Speech Resynthesis and Continuation in Generative Spoken Language Models

Technische Samenvatting: Over het effect van segmentbreedte en clustergrootte op spraaksynthese en voortzetting in generatieve gesproken taalmodellen

Probleemstelling
Generatieve Gesproken Taalmodellering (GSLM) streeft ernaar om taalmodellen (LM's) te trainen op discrete spraakrepresentaties zonder afhankelijk te zijn van tekstuele transcripties. Ho'ewel dit paradigma toepassingen mogelijk maakt voor niet-geschreven talen en de verwerving van infantiele taal, kampen huidige GSLM-benaderingen met efficiëntieproblemen. De conversie van spraaksignalen naar discrete eenheidssequenties (speech-to-unit, of s2u) resulteert doorgaans in sequenties die aanzienlijk langer zijn dan tekst, wat leidt tot een kwadratische toename van de computationele kosten voor Transformer-gebaseerde LM's. Bov�raat suggereert de bestaande literatuur dat de prestaties in begrip van gesproken taal kunnen worden verbeterd door de sequentielengte te verkleinen en de clustergrootte te vergroten, maar het blijft onduidelijk of deze bevindingen standhouden voor spraaksynthese- en voortzettingsopdrachten, die cruciaal zijn voor generatieve toepassingen.

Methodologie
De auteurs onderzoeken de impact van variërende bitrates op de GSLM-prestaties door twee sleutelparameters in de s2u-pipeline te manipuleren:

1. Segmentbreedte ($N$): De continue spraakrepresentaties geëxtraheerd uit een SSL-model (HuBERT-base) worden gesegmenteerd in vaste vensters van $N$ milliseconden.
2. Clustergrootte ($K$): Deze segmenten worden gekwantiseerd met behulp van K-means clustering met variërende aantallen clusters ($K$), variërend van $2^7$ (128) tot $2^{14}$ (16.384).

Door acht waarden van $N$ (20ms tot 280ms) te combineren met acht waarden van $K$, creëert de studie 64 verschillende bitrate-instellingen. De baseline wordt gedefinieerd als $N=20$ (overeenkomend met de oorspronkelijke HuBERT frame shift) met standaard clustergroottes.

Het experimentele kader evalueert twee primaire taken:

• Spraakresynthese: Het reproduceren van de invoerspraak vanuit discrete eenheden.
• Spraakvoortzetting: Het genereren van semantisch en akoestisch coherente spraak, geconditioneerd op een invoersegment.

Het systeem maakt gebruik van een standaard GSLM-architectuur: een s2u-module, een Transformer-gebaseerde autoregressieve eenheids-LM (uLM, gebaseerd op OPT), en een eenheid-naar-spraak (u2s) synthesemodule. Twee verschillende u2s-modellen werden getest om robuustheid te waarborgen: Tacotron2 met een Parallel WaveGAN vocoder en VITS (een end-to-end model).

Evaluatiemetrieken
De studie maakt gebruik van een veelzijdige evaluatiestrategie:

• Resynthese: Word Error Rate (WER) voor verstaanbaarheid, UTMOS voor natuurlijkheid, en Mel-Cepstral Distortion (MCD) en LogF0 RMSE voor de reconstructie van akoestische kenmerken.
• Voortzetting: Perplexity (PPL) en diversiteit (VERT) berekend over een reeks sampling temperatures. De auteurs merken op dat de traditionele "area under the curve"-metriek voor PPL/VERT-trade-offs vaak ongeldig is vanwege niet-monotoon gedrag; in plaats daarvan gebruiken ze de Euclidische afstand tot een oracle-punt na min-max normalisatie.
• Geavanceerde Evaluatie: Paarvergelijkingen met behulp van een LLM-als-Judge (GPT-4.1-mini) en menselijke evaluaties met behulp van Meaningfulness Mean Opinion Score (MMOS).

Belangrijkste Resultaten

• Spraakresynthese: Hoewel kleinere segmentbreedtes ($N$) over het algemeen de voorkeur genieten, bereiken matig grote waarden (bijv. $N=40$ of $80$) prestaties die vergelijkbaar zijn met de baseline ($N=20$) zonder substantiële degradatie in verstaanbaarheid of natuurlijkheid. Dit suggereert dat lagere bitrate-instellingen de spraakkwaliteit kunnen behouden.
• Spraakvoortzetting: In tegen tegenstelling tot resynthese, waarbij de baseline vaak de beste resultaten oplevert, presteren verschillende instellingen met grotere $N$ (lagere bitrates) op hetzelfde niveau als of zelfs iets beter dan de baseline in voortzettingsopdrachten. Specifiek vertoonden instellingen zoals $(N=120, K=2^{13})$ voor Tacotron2 en $(N=80, K=2^{12})$ voor VITS een hoge prestatie.
• Modelafhankelijkheid: Tacotron2 presteerde consequent beter dan VITS op het gebied van verstaanbaarheid (WER), terwijl VITS superieure akoestische getrouwheid (MCD, UTMOS) vertoonde. De keuze van het u2s-model had echter een beperkte impact op de kwaliteit van de semantische inhoud van de voortzetting, zoals blijkt uit de hoge Spearman rangcorrelaties in PPL- en VERT-scores tussen de twee modellen.
• Evaluatiemetrieken: LLM-gebaseerde paarvergelijkingen vertoonden een hogere correlatie met menselijke subjectieve scores (MMOS) dan conventionele metrieken (PPL, VERT). De correlatie bleef echter laag in algemene zin, wat aangeeft dat huidige automatische metrieken onvoldoende zijn voor het betrouwbaar evalueren van de betekenisvolheid van spraak.

Betekenis en Claims
Het artikel beweert dat de conventionele GSLM-instelling, die doorgaans hoog-resolutie discrete eenheden gebruikt (kleine $N$, lange sequentielengte), mogelijk redundante informatie bevat voor effectieve spraakgeneratie. De auteurs demonstreren dat verstaanbare en natuurlijke spraakresynthese, evenals hoogwaardige spraakvoortzetting, kan worden bereikt bij aanzienlijk lagere bitrates door de segmentbreedte te vergroten en de clustergrootte te optimaliseren.

Deze bevinding suggereert een pad naar meer efficiënte training en inferentie voor GSLM's, wat potentieel de computationele kosten kan verlagen zonder de outputkwaliteit op te offeren. Daarnaast benadrukt de studie een kritische kloof in de evaluatiemethodologie: hoewel LLM-gebaseerde metrieken een verbetering bieden ten opzichte van traditionele metrieken, ontbeert het veld nog steeds robuuste, hoog-correlatieve automatische evaluatiemethoden voor spraakvoortzetting, wat verdere research in dit gebied noodzakelijk maakt.