💬 NLP

From Tokens to Faces: Investigating Discrete Speech Representations for 3D Facial Animation

Questo articolo valuta quattro famiglie di rappresentazioni del parlato discrete per l'animazione facciale 3D, dimostrando che la codifica delle classi fonetiche produce previsioni accurate e consentendo l'introduzione di una pipeline di Audio Visual Text-to-Speech (AVTTS) che utilizza rappresentazioni discrete condivise per decodificare simultaneamente il parlato e il movimento facciale 3D.

Autori originali: Pedro Correa, Olivier Perrotin, Samir Sadok, Paula Costa, Thomas Hueber

Pubblicato 2026-06-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Pedro Correa, Olivier Perrotin, Samir Sadok, Paula Costa, Thomas Hueber

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come parlare e muovere il viso contemporaneamente. Hai la voce del robot, ma come dici al suo volto cosa fare? Gli dai una sceneggiatura dettagliata di ogni movimento muscolare? Gli dai un file audio grezzo? O gli dai un insieme di semplici istruzioni codificate?

Questo articolo, intitolato "From Tokens to Faces", è essenzialmente un test di assaggio. I ricercatori volevano scoprire quale tipo di "codice di istruzioni" funzioni meglio per rendere un volto animato in 3D naturale mentre parla.

I quattro tipi di "Codici di Istruzione"

I ricercatori hanno testato quattro modi diversi per tradurre il parlato umano in dati (chiamati "rappresentazioni") che un computer possa comprendere:

Il Codice "Semantico" (HuBERT): Pensa a questo come a un traduttore che comprende il significato della frase. Sa cosa viene detto e il contesto circostante. È bravo a comprendere l' "idea" del parlato.
Il Codice "Acustico" (WavTokenizer): Questo è come un compressore audio ad alta velocità. Si concentra puramente sulle onde sonore e su come si percepiscono, ignorando il significato o le lettere specifiche. È molto efficiente nel ricreare il suono, ma non "conosce" davvero le parole.
Il Codice "Ibrido" (SpeechTokenizer): Questo è un mix dei due. Cerca di comprendere sia il significato delle parole che la consistenza del suono contemporaneamente.
Il Codice "Basato su Etichette" (CosyVoice2): Questo è come un insegnante severo che usa una lista di controllo. Scompone il parlato in etichette specifiche e discrete (come lettere o suoni particolari) e si concentra sulla struttura del linguaggio piuttosto che sul suono fluido.

L'Esperimento: Il Decoder del Volto

I ricercatori hanno preso questi quattro diversi codici e li hanno inseriti in due diversi "driver del volto" (decoder):

Il GRU: Un driver passo dopo passo che guarda un fotogramma del volto alla volta.
Il Transformer: Un driver che guarda l'intera frase in una volta sola, come leggere un paragrafo per comprenderne il flusso.

Hanno poi misurato quanto bene i volti animati risultanti corrispondessero ai volti umani utilizzando tre metodi:

Matematica: Misurando la distanza tra le labbra del robot e le labbra dell'umano.
Fluidità: Controllando se il volto era scattoso o si muoveva in modo fluido.
Il test dell' "Occhio Umano": Hanno fatto guardare i video a persone reali e hanno chiesto loro di valutare quanto sembrassero realistici, simile a un test di assaggio alla cieca.

Cosa hanno scoperto

Ecco i risultati sorprendenti, spiegati in modo semplice:

Il significato conta: Il codice "Semantico" (il traduttore) e il codice "Basato su Etichette" (la lista di controllo) sono stati i vincitori. Hanno prodotto i volti più realistici. Si scopre che, affinché un volto si muova naturalmente, deve sapere cosa viene detto (le classi fonetiche), non solo come vibrano le onde sonore.
Troppo suono è un male: Il codice "Acustico" (suono puro) e il codice "Ibrido" (suono + significato) sono stati scarsi. Sembra che se il computer è troppo concentrato sui dettagli del suono grezzo, si confonda su come muovere le labbra. Il "rumore" del suono è stato d'intralcio all'animazione facciale.
Il miglior driver: Il driver "Transformer" (quello che guarda l'intera frase) ha funzionato molto meglio con i codici discreti rispetto al driver passo dopo passo.
La sorpresa del "Basato su Etichette": Il codice "Basato su Etichette", progettato originariamente per il text-to-speech, ha funzionato quasi altrettanto bene del complesso codice "Semantico". Questo è un grande passo avanti perché è più semplice e strutturato.

La Grande Idea: La Macchina "Tutto in Uno"

Di solito, per creare una testa parlante, bisogna seguire due passaggi:

Trasformare il testo in audio.
Trasformare quell'audio in un volto in movimento.

I ricercatori hanno dimostrato che, poiché il codice "Basato su Etichette" è così bravo a rappresentare il parlato, può essere utilizzato come un linguaggio condiviso. Puoi inserire del testo nel sistema, e questo può generare sia l'audio che il volto in movimento esattamente allo stesso tempo, perfettamente sincronizzati, senza bisogno di un passaggio intermedio. È come un direttore d'orchestra che può dirigere sia l'orchestra (la voce) che i ballerini (il volto) da un unico spartito.

In sintamente

Per far sì che il volto di un robot sembri reale, non serve fornirgli ogni minimo dettaglio dell'onda sonora. Devi fornirgli una comprensione chiara e strutturata dei suoni e delle lettere pronunciate. Se dai al computer una "mappa" chiara del parlato (come una lista di controllo dei suoni), può capire come muovere le labbra perfettamente, anche se non ha a disposizione il file audio grezzo per partire.

Sintesi Tecnica: Dai Token ai Volti

Definizione del Problema
L'animazione facciale 3D guidata dal parlato richiede la selezione di una rappresentazione del parlato appropriata per pilotare i decoder temporali. Sebbene i recenti sistemi allo stato dell'arte (SOTA) si affidino prevalentemente a rappresentazioni continue nascoste derivanti da modelli di apprendimento auto-supervisionato (SSL) (ad es., wav2vec 2.0, HuBERT), rimane poco chiaro quali proprietà specifiche delle rappresentazioni del parlato siano necessarie per un'animazione facciale accurata e naturale. Inoltre, l'idoneità delle rappresentazioni discrete del parlato (token) per questo compito è ampiamente inesplorata. Gli approoli discreti esistenti utilizzano spesso rappresentazioni ibride semantico-acustiche (ad es., SpeechTokenizer), ma non hanno confrontato sistematicamente rappresentazioni puramente acustiche, puramente semantiche o basate su etichette rispetto ai baseline continui SSL per la sintesi facciale 3D.

Metodologia
Gli autori presentano un framework sperimentale comparativo che valuta quattro distinte famiglie di rappresentazioni del parlato attraverso due architetture di decoder facciale temporale:

Encoder del parlato:
- HuBERT (HB): Una rappresentazione SSL continua (Semantica).
- SpeechTokenizer (ST): Una rappresentazione ibrida che combina la distillazione semantica (HuBERT) con la quantizzazione vettoriale residua acustica (Semantica+Acustica).
- WavTokenizer (WT): Una rappresentazione altamente compressa a singolo codebook focalizzata sulla ricostruzione acustica (Acustica).
- CosyVoice2 (CV2): Un encoder supervisionato addestrato con un compito pretest di Riconoscimento Automatico del Parlato (ASR) utilizzando etichette di caratteri e prosodia (Basata su etichette).
Decoder Facciali:
- GRU: Una rete ricorrente frame-per-frame (usata nel baseline FaceDiffuser).
- Transformer: Un'architettura non causale che elabora intere sequenze tramite self-attention.

I modelli sono stati addestrati sul dataset BEAT2 (27 ore di parlato in inglese allineato con parametri FLAME, convertito in 51 blendshape ARKit). Gli encoder sono stati congelati utilizzando pesi pre-addestrati, mentre i decoder sono stati addestrati da zero.

Strategia di Valutazione
Lo studio ha impiegato un approccio di valutazione multifasettico:

Metriche Obiettive: Lips Vertex Error (LVE) per l'accuratezza geometrica, Jitter Score per la fluidità temporale (accelerazione) e un nuovo Bilabial Closure Score (BCS) per misurare l'accuratezza articolatoria durante i fonemi bilabiali (/b/, /p/, /m/).
Valutazione Percettiva: Un protocolo di tipo MUSHRA con 30 partecipanti che hanno valutato il realismo dell'animazione e la coerenza labiale-parlato rispetto a un video di riferimento.
Analisi di Probing (Sondaggio): Per comprendere il contenuto informativo delle rappresentazioni, gli autori hanno condotto:
- Probing Fonetico: Misurazione dell'entropia di co-occorrenza tra ID dei token e etichette fonetiche.
- Probing Visema: Misurazione dell'entropia di co-occorrenza tra ID dei token e pose facciali discretizzate (visemi).
- Probing Continuo: Utilizzo della regressione Ridge per predire i valori continui delle blendshape dalle sequenze di token ( $R^2$ metric).

Risultati Chiave

Performance: La rappresentazione Basata su etichette (CosyVoice2) accoppiata con un decoder Transformer ([CV2+T.]) ha ottenuto i migliori punteggi obiettivi ed era percettivamente indistinguibile dal baseline Semantico (HuBERT + GRU).
Impatto del Decoder: Le rappresentazioni discrete hanno performato significativamente meglio quando accoppiate con un decoder Transformer rispetto a una GRU. Al contrario, la rappresentazione continua HuBERT ha mostrato una performance equivalente tra entrambi i decoder.
Limitazioni dell'Ibrido: La rappresentazione Semantica+Acustica (SpeechTokenizer) non è riuscita a fornire un'animazione facciale soddisfacente, performando in modo comparabile alle rappresentazioni puramente acustiche. Ciò suggerisce che l'informazione acustica a bassa struttura possa essere deleteria per la predizione facciale, anche se l'informazione fonetica è presente.
Approfondimenti dal Probing:
- Codifica Fonetica: Le rappresentazioni Semantica+Acustica codificano le classi fonetiche in modo più efficiente, seguite da Semantica, Basata su etichette e Acustica.
- Codifica Visema/Continua: Le rappresentazioni Basate su etichette hanno mostrato la correlazione più forte con i visemi discreti. Tuttavia, tutte le rappresentazioni tokenizzate hanno esibito bassi punteggi $R^2$ nella predizione delle blendshape continue rispetto alle rappresentazioni continue, riflettendo la difficoltà intrinseca di mappare token discreti in movimento continuo.
Correlazione: Le valutazioni percettive correlavano più strettamente con il Bilabial Closure Score (BCS) che con le metriche di ricostruzione tradizionali come l'LVE.

Contributi Chiave

Confronto Sistematico: Una valutazione completa di quattro famiglie di rappresentazioni del parlato (Semantica, Semantica+Acustica, Acustica, Basata su etichette) attraverso due architetture di decoder per l'animazione facciale 3D.
Analisi di Probing: Un'indagine che collega le rappresentazioni tokenizzate sia alle unità fonetiche che alle deformazioni articolatorie (visemi e blendshape), rivelando che la codifica della classe fonetica è benefica ma deve essere accoppiata all'assenza di rumore acustico a bassa struttura.
Pipeline AVTTS: L'introduzione di una pipeline di prova di concetto per l'Audio Visual Text-to-Speech (AVTTS). Sfruttando il fatto che i sistemi TTS (come CosyVoice2) generano già token discreti, gli autori hanno dimostrato un framework unificato in cui una singola sequenza di token condivisa viene decodificata simultaneamente in audio del parlato e movimento facciale 3D, eliminando la necessità di una fase separata di animazione guidata dall'audio.

Significatività
Il documento sostiene che l'informazione della classe fonetica è una condizione necessaria per un'animata facciale accurata, a patto che non sia contaminata da dati acustici a bassa struttura. Dimostra che le rappresentazioni discrete basate su etichette sono competitive con gli stabiliti baseline continui SSL. Inoltre, il lavoro stabilisce che i token discreti del parlato possono servire come spazio latente condiviso sia per la sintesi del parlato che per quella facciale, aprendo la strada a pipeline di generazione multimodale unificate che superano il convenzionale paradigma a due stadi (Testo $\to$ Audio $\to$ Viso).