💬 NLP

From Tokens to Faces: Investigating Discrete Speech Representations for 3D Facial Animation

Dit artikel evalueert vier families van discrete spraakrepresentaties voor 3D-gezichtsanimatie, waarbij wordt aangetoond dat het coderen van fonetische klassen nauwkeurige voorspellingen oplevert en de introductie van een Audio Visual Text-to-Speech (AVTTS) pijplijn mogelijk maakt die gedeelde discrete representaties gebruikt om gelijktijdig spraak en 3D-gezichtsbeweging te decoderen.

Oorspronkelijke auteurs: Pedro Correa, Olivier Perrotin, Samir Sadok, Paula Costa, Thomas Hueber

Gepubliceerd 2026-06-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pedro Correa, Olivier Perrotin, Samir Sadok, Paula Costa, Thomas Hueber

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij moet praten en tegelijkertijd zijn gezicht moet bewegen. Je hebt de stem van de robot, maar hoe vertel je het gezicht wat het moet doen? Geef je het een gedetailleerd script van elke spierbeweging? Geef je het een ruw audiobestand? Of geef je het een reeks eenvoudige, gecodeerde instructies?

Dit artikel, getiteld "From Tokens to Faces," is in feite een smaaktest. De onderzoekers wilden ontdekken welk type "instructiecode" het beste werkt om een 3D-geanimeerd gezicht er natuurlijk uit te laten zien wanneer het spreekt.

De vier soorten "instructiecodes"

De onderzoekers testten vier verschillende manieren om menselijke spraak te vertalen naar data (genaamd "representaties") die een computer kan begrijpen:

De "Semantische" code (HuBERT): Denk aan dit als een vertaler die de betekenis van de zin begrijpt. Hij weet wat er wordt gezegd en de context eromheen. Het is geweldig in het begrijpen van de "idee" van de spraak.
De "Akoestische" code (WavTokenizer): Dit is als een hogesnelheids-audiocompressor. Het focust puur op de geluidsgolven en hoe ze aanvoelen, waarbij de betekenis of de specifieke letters worden genegeerd. Het is zeer efficiënt in het recreëren van het geluid, maar het "weet" niets over woorden.
De "Hybride" code (SpeechTokenizer): Dit is een mix van de twee. Het probeert zowel de betekenis van de woorden als de textuur van het geluid tegelijkertijd te begrijpen.
De "Label-gebaseerde" code (CosyVoice2): Dit is als een strenge leraar met een checklist. Het breekt spraak af in specifieke, discrete labels (zoals specifieke letters of klanken) en focust op de structuur van de taal in plaats van op het vloeiende geluid.

Het experiment: De gezicht-decoder

De onderzoekers namen deze vier verschillende codes en voedden ze aan twee verschillende "gezicht-drivers" (decoders):

De GRU: Een stap-voor-stap driver die naar één frame van het gezicht tegelijk kijkt.
De Transformer: Een driver die naar de hele zin tegelijk kijkt, zoals het lezen van een paragraaf om de flow te begrijpen.

Vervolgens maten ze hoe goed de resulterende geanimeerde gezichten overeenkwamen met de echte menselijke gezichten met behulp van drie methoden:

Wiskunde: Het meten van de afstand tussen de lippen van de robot en de lippen van de mens.
Gladheid: Controleren of het gezicht schokkerig was of soepel bewoog.
De "Menselijk Oog"-test: Ze lieten echte mensen de video's bekijken en beoordelen hoe realistisch ze eruit zagen, vergelijkbaar met een blinde smaaktest.

Wat ze vonden

Hier zijn de verrassende resultaten, eenvoudig uitgelegd:

Betekenis doet ertoe: De "Semantische" code (de vertaler) en de "Label-gebaseerde" code (de checklist) waren de winnaars. Ze produceerden de meest realistische gezichten. Het blijkt dat voor een gezicht om natuurlijk te bewegen, het moet weten wat er wordt gezegd (de fonetische klassen), en niet alleen hoe de geluidsgolven trillen.
Te veel geluid is slecht: De "Akoestische" code (puur geluid) en de "Hybride" code (geluid + betekenis) presteerden slecht. Het lijkt erop dat als de computer te gefocust is op de rauwe details van het geluid, het in de war raakt over hoe de lippen moeten bewegen. De "ruis" van het geluid stond de gezichtsanimatie eigenlijk in de weg.
De beste driver: De "Transformer"-driver (degene die naar de hele zin kijkt) werkte veel beter met de discrete codes dan de stap-voor-stap driver.
De "Label-gebaseerde" verrassing: De "Label-gebaseerde" code, die oorspronkelijk bedoeld was voor tekst-naar-spraak, werkte bijna net zo goed als de complexe "Semantische" code. Dit is een grote zaak omdat het simpeler en gestructureerder is.

Het Grote Idee: De "Alles-in-één" Machine

Het meest opwindende deel van het artikel is een nieuw idee dat ze AVTTS (Audio Visual Text-to-Speech) noemen.

Normaal gesproken, om een pratend hoofd te maken, moet je dit in twee stappen doen:

Zet tekst om in audio.
Zet die audio om in een bewegend gezicht.

De onderzoekers lieten zien dat omdat de "Label-gebaseerde" code zo goed is in het representeren van spraak, je het als een gedeelde taal kunt gebruiken. Je kunt tekst in het systeem voeren, en het kan zowel de audio als het bewegende gezicht op exact hetzelfde moment uitspugen, perfect gesynchroniseerd, zonder dat er een tussenstap nodig is. Het is als een dirigent die zowel het orkestra (de stem) als de dansers (het gezicht) kan aansturen vanaf één enkele partituur.

De Kern van het Verhaal

Om een robotgezicht echt te laten lijken, hoef je het niet te voeren met elk minuscuul detail van de geluidsgolf. Je moet het voeden met een duidelijke, gestructureerde verstandhouding van de klanken en letters die worden uitgesproken. Als je de computer een duidelijke "kaart" van de spraak geeft (zoals een checklist van klanken), kan hij uitzoeken hoe hij de lippen perfect moet bewegen, zelfs als hij niet over het originele audiobestand beschikt.

Technische Samenvatting: Van Tokens naar Gezichten

Probleemstelling
Spraakgestuurde 3D-gezichtsanimatie vereist de selectie van een geschikte spraakrepresentatie om temporele decoders aan te sturen. Hoewel recente state-of-the-art (SOTA) systemen voornamelijk vertrouwen op continue verborgen representaties van self-supervised learning (SSL) modellen (bijv. wav2vec 2.0, HuBERT), blijft het onduidelijk welke specifieke eigenschappen van spraakrepresentaties noodzakelijk zijn voor nauwkeurige en natuurlijke gezichtsanimatie. Bovendien is de geschiktheid van discrete spraakrepresentaties (tokens) voor deze taak grotendeels nog niet onderzocht. Bestaande discrete benaderingen maken vaak gebruik van hybride semantische-akoestische representaties (bijv. SpeechTokenizer), maar hebben de volkomen akoestische, volkomen semantische of op labels gebaseerde discrete representaties niet systematisch vergeleken met continue SSL-baselines voor 3D-gezichtssynthese.

Methodologie
De auteurs presenteren een vergelijkend experimenteel kader dat vier verschillende families van spraakrepresentaties evalueert over twee temporele gezichtsdecoder-architecturen:

Spraakencoders:
- HuBERT (HB): Een continue SSL-representatie (Semantisch).
- SpeechTokenizer (ST): Een hybride representatie die semantische distillatie (HuBERT) combineert met akoestische residual vector kwantisatie (Semantisch+Akoestisch).
- WavTokenizer (WT): Een sterk gecomprimeerde, single-codebook representatie gericht op akoestische reconstructie (Akoestisch).
- CosyVoice2 (CV2): Een gesuperviseerde encoder getraind met een Automatic Speech Recognition (ASR) pretext-taak met gebruik van karakter- en prosodische labels (Op labels gebaseerd).
Gezichtsdecoders:
- GRU: Een frame-per-frame recurrent netwerk (gebruikt in de FaceDiffuser baseline).
- Transformer: Een niet-causale architectuur die volledige sequenties verwerkt via self-attention.

De modellen werden getraind op de BEAT2 dataset (27 uur Engelse spraak uitgelijnd met FLAME-parameters, geconverteerd naar 51-dimensionale ARKit blendshapes). De encoders werden bevroren met behulp van pre-trained gewichten, terwijl de decoders vanaf nul werden getraind.

Evaluatiestrategie
De studie maakte gebruik van een veelzijdige evaluatiemethode:

Objectieve Metrieken: Lips Vertex Error (LVE) voor geometrische nauwkeurigheid, Jitter Score voor temporele vloeiendheid (acceleratie), en een nieuwe Bilabial Closure Score (BCS) om de articulatoire nauwkeurigheid tijdens bilabiale fonemen (/b/, /p/, /m/) te meten.
Perceptuele Evaluatie: Een MURA-achtig protocol met 30 participanten die de animatie-realisme en lip-spraak coherentie beoordeelden ten opzichte van een referentievideo.
Probing Analyses: Om de informatieinhoud van de representaties te begrijpen, hebben de auteurs de volgende analyses uitgevoerd:
- Fonetische Probing: Het meten van de co-occurrence entropie tussen token ID's en foneemlabels.
- Viseme Probing: Het meten van de co-occurrence entropie tussen token ID's en gediscretiseerde gezichtshoudingen (visemen).
- Continue Probing: Het gebruik van Ridge regressie om continue blendshape-waarden te voorspellen uit tokensequenties ( $R^2$ metriek).

Belangrijkste Resultaten

Prestaties: De op labels gebaseerde representatie (CosyVoice2) in combinatie met een Transformer-decoder ([CV2+T.]) behaalde de beste objectieve scores en was perceptueel niet te onderscheiden van de Semantische baseline (HuBERT + GRU).
Impact van de Decoder: Discrete representaties presteerden significant beter wanneer ze gekoppeld werden aan een Transformer-decoder vergeleken met een GRU. Daarentegen vertoonde de continue HuBERT-representatie een equivalente prestatie over beide decoders.
Beperkingen van Hybride Modellen: De Semantisch+Akoestische representatie (SpeechTokenizer) slaagde er niet in om bevredigende gezichtsanimatie te bieden en presteerde vergelijkbaar met puur akoestische representaties. Dit suggereert dat laag-gestructureerde akoestische informatie nadelig kan zijn voor gezichtsvoorspelling, zelfs als fonetische informatie aanwezig is.
Probing Inzichten:
- Fonetische Codering: Semantisch+Akoestische representaties codeerden fonetische klassen het meest efficiënt, gevolgd door Semantisch, Op labels gebaseerd en Akoestisch.
- Viseme/Continue Codering: Op labels gebaseerde representaties vertoonden de sterkste correlatie met discrete visemen. Echter, alle getokeniseerde representaties vertoonden lage $R^2$ scores voor het voorspellen van continue blendshapes vergeleken met continue representaties, wat de inherente moeilijkheid weerspiegelt van het mappen van discrete tokens naar continue beweging.
Correlatie: Perceptuele beoordelingen correleerden sterker met de Bilabial Closure Score (BCS) dan met traditionele reconstructie-metrieken zoals LVE.

Belangrijkste Bijdragen

Systematische Vergelijking: Een uitgebreide evaluatie van vier families van spraakrepresentaties (Semantisch, Semantisch+Akoestisch, Akoestisch, Op labels gebaseerd) over twee decoder-architecturen voor 3D-gezichtsanimatie.
Probing Analyse: Een onderzoek dat de link legt tussen getokeniseerde representaties en zowel fonetische eenheden als articulatoire deformaties (visemen en blendshapes), waarbij wordt onthuld dat fonetische klasse-codering gunstig is, maar gepaard moet gaan met de afwezigheid van laag-gestructureerde akoestische ruis.
AVTTS Pipeline: De introductie van een proof-of-concept Audio Visual Text-to-Speech (AVTTS) pipeline. Door gebruik te maken van het feit dat TTS-systemen (zoals CosyVoice2) al discrete tokens genereren, hebben de auteurs een verenigd framework gedemonstreerd waarbij een enkele gedeelde tokensequentie simultaan wordt gedecodeerd naar spraakaudio en 3D-gezichtsbeweging, waardoor de noodzaak voor een aparte audio-gestuurde animatiefase vervalt.

Significantie
Het artikel stelt dat fonetische klasse-informatie een noodzakelijke voorwaarde is voor nauwkeurige gezichtsanimatie, mits deze niet gecontamineerd is door laag-gestructureerde akoestische data. Het demonstreert dat op labels gebaseerde discrete representaties competitief zijn met gevestigde SSL continue baselines. Verder vestigt het werk de stelling dat discrete spraak-tokens kunnen dienen als een gedeelde latente ruimte voor zowel spraak- als gezichtssynthese, wat de weg vrijmaakt voor verenigde multimodale generatie-pipelines die het conventionele twee-fasen paradigma (Tekst $\to$ Audio $\to$ Gezicht) omzeilen.