💬 NLP

From Tokens to Faces: Investigating Discrete Speech Representations for 3D Facial Animation

Este artigo avalia quatro famílias de representações de fala discretas para animação facial 3D, demonstrando que a codificação de classes fonéticas produz previsões precisas e permitindo a introdução de um pipeline de Áudio Visual Text-to-Speech (AVTTS) que utiliza representações discretas compartilhadas para decodificar simultaneamente a fala e o movimento facial 3D.

Autores originais: Pedro Correa, Olivier Perrotin, Samir Sadok, Paula Costa, Thomas Hueber

Publicado 2026-06-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pedro Correa, Olivier Perrotin, Samir Sadok, Paula Costa, Thomas Hueber

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a falar e a mover o rosto ao mesmo tempo. Você tem a voz do robô, mas como você diz ao rosto dele o que fazer? Você dá a ele um roteiro detalhado de cada movimento muscular? Você dá a ele um arquivo de áudio bruto? Ou você dá a ele um conjunto de instruções simples e codificadas?

Este artigo, intitulado "From Tokens to Faces" (Dos Tokens aos Rostos), é essencialmente um teste de degustação. Os pesquisadores queriam descobrir qual tipo de "código de instrução" funciona melhor para fazer um rosto animado em 3D parecer natural ao falar.

Os Quatro Tipos de "Códigos de Instrução"

Os pesquisadores testaram quatro maneiras diferentes de traduzir a fala humana em dados (chamados de "representações") que um computador possa entender:

O Código "Semântico" (HuBERT): Pense nisso como um tradutor que entende o significado da frase. Ele sabe o que está sendo dito e o contexto ao redor. É ótimo para entender a "ideia" da fala.
O Código "Acústico" (WavTokenizer): Este é como um compressor de áudio de alta velocidade. Ele foca puramente nas ondas sonoras e em como elas são sentidas, ignorando o significado ou as letras específicas. É muito eficiente para recriar o som, mas não "sabe" sobre palavras.
O Código "Híbrido" (SpeechTokenizer): Este é uma mistura dos dois. Ele tenta entender tanto o significado das palavras quanto a textura do som ao mesmo tempo.
O Código "Baseado em Rótulos" (CosyVoice2): Este é como um professor rigoroso usando um checklist. Ele decompõe a fala em rótulos específicos e discretos (como letras ou sons específicos) e foca na estrutura da linguagem, em vez do som fluido.

O Experimento: O Decodificador de Rosto

Os pesquisadores pegaram esses quatro códigos diferentes e os alimentaram em dois "direcionadores de rosto" (decodificadores) diferentes:

O GRU: Um direcionador passo a passo que olha para um quadro do rosto de cada vez.
O Transformer: Um direcionador que olha para a frase inteira de uma vez, como ler um parágrafo para entender o fluxo.

Eles então mediram o quão bem os rostos animados resultantes correspondiam aos rostos humanos reais usando três métodos:

Matemática: Medindo a distância entre os lábios do robô e os lábios do humano.
Suavidade: Verificando se o rosto estava trêmulo ou se movia suavemente.
O Teste do "Olho Humano": Eles fizeram pessoas reais assistirem aos vídeos e avaliarem o quão realistas eles pareciam, semelhante a um teste de degustação às cegas.

O Que Eles Descobriram

Aqui estão os resultados surpreendentes, explicados de forma simples:

O Significado Importa: O código "Semântico" (o tradutor) e o código "Baseado em Rótulos" (o checklist) foram os vencedores. Eles produziram os rostos mais realistas. Acontece que, para um rosto se mover naturalmente, ele precisa saber o que está sendo dito (as classes fonéticas), não apenas como as ondas sonoras vibram.
Muito Som é Ruim: O código "Acústico" (som puro) e o código "Híbrido" (som + significado) tiveram um desempenho ruim. Parece que, se o computador estiver focado demais nos detalhes brutos do som, ele fica confuso sobre como mover os lábios. O "ruído" do som na verdade atrapalhou a animação facial.
O Melhor Direcionador: O direcionador "Transformer" (aquele que olha para a frase inteira) funcionou muito melhor com os códigos discretos do que o direcionador passo a passo.
A Surpresa do "Baseado em Rótulos": O código "Baseado em Rótulos", que foi originalmente projetado para texto-para-fala, funcionou quase tão bem quanto o complexo código "Semântico". Isso é importante porque é mais simples e estruturado.

A Grande Ideia: A Máquina "Tudo-em-Um"

A parte mais emocionante do artigo é uma nova ideia que eles chamam de AVTTS (Audio Visual Text-to-Speech).

Normalmente, para criar uma cabeça falante, você tem que fazer isso em duas etapas:

Transformar texto em áudio.
Transformar esse áudio em um rosto em movimento.

Os pesquisadores mostraram que, como o código "Baseado em Rótulos" é tão bom em representar a fala, você pode usá-lo como uma linguagem compartilhada. Você pode alimentar o sistema com texto, e ele pode cuspir tanto o áudio quanto o rosto em movimento ao mesmo tempo, perfeitamente sincronizados, sem precisar de um passo intermediário. É como um maestro que pode dirigir tanto a orquestra (a voz) quanto os dançarinos (o rosto) a partir de uma única partitura.

A Conclusão

Para fazer o rosto de um robô parecer real, você não precisa alimentá-lo com cada detalhe minúsculo da onda sonora. Você precisa alimentá-lo com uma compreensão clara e estruturada dos sons e letras que estão sendo falados. Se você der ao computador um "mapa" claro da fala (como um checklist de sons), ele consegue entender como mover os lábios perfeitamente, mesmo que não tenha o arquivo de áudio bruto para começar.

Resumo Técnico: De Tokens a Faces

Definição do Problema
A animação facial 3D impulsionada por fala requer a seleção de uma representação de fala apropriada para conduzir decodificadores temporais. Embora os sistemas de estado da arte (SOTA) recentes dependam predominantemente de representações ocultas contínuas de modelos de aprendizado autossupervisionado (SSL) (ex: wav2vec 2.0, HuBERT), permanece incerto quais propriedades específicas das representações de fala são necessárias para uma animação facial precisa e natural. Além disso, a adequação de representações de fala discretas (tokens) para esta tarefa é amplamente inexplorada. As abordagens discretas existentes frequentemente utilizam representações híbridas semântico-acústicas (ex: SpeechTokenizer), mas não compararam sistematicamente representações discretas puramente acústicas, puramente semânticas ou baseadas em rótulos contra baselines de SSL contínuos para síntese facial 3D.

Metodologia
Os autores apresentam um framework experimental comparativo avaliando quatro famílias distintas de representações de fala através de duas arquiteturas de decodificador facial temporal:

Codificadores de Fala (Speech Encoders):
- HuBERT (HB): Uma representação SSL contínua (Semântica).
- SpeechTokenizer (ST): Uma representação híbrida que combina destilação semântica (HuBERT) com quantização vetorial de resíduo acústico (Semântica+Acústica).
- WavTokenizer (WT): Uma representação de codebook único, altamente comprimida, focada na reconstrução acústica (Acústica).
- CosyVoice2 (CV2): Um codificador supervisionado treinado com uma tarefa de pretexto de Reconhecimento Automático de Fala (ASR) usando rótulos de caracteres e prosódia (Baseada em Rótulos).
Decodificadores Faciais:
- GRU: Uma rede recorrente quadro a quadro (usada no baseline FaceDiffuser).
- Transformer: Uma arquitetura não causal que processa sequências completas via atenção de auto-atenção (self-attention).

Os modelos foram treinados no dataset BEAT2 (27 horas de fala em inglês alinhada com parâmetros FLAME, convertidos para 51 blendshapes de ARKit). Os codificadores foram congelados utilizando pesos pré-treinados, enquanto os decodificadores foram treinados do zero.

Estratégia de Avaliação
O estudo empregou uma abordagem de avaliação multifacetada:

Métricas Objetivas: Erro de Vértice Labial (LVE) para precisão geométrica, Pontuação de Jitter para suavidade temporal (aceleração) e uma nova Pontuação de Fechamento Bilabial (BCS) para medir a precisão articulatória durante fonemas bilabiais (/b/, /p/, /m/).
Avaliação Perceptual: Um protocolo do tipo MUSHRA com 30 participantes classificando o realismo da animação e a coerência lábio-fala em relação a um vídeo de referência.
Análises de Sondagem (Probing): Para compreender o conteúdo de informação das representações, os autores realizaram:
- Sondagem Fonética: Medindo a entropia de coocorrência entre IDs de tokens e rótulos de fonemas.
- Sondagem de Visema: Medindo a entropia de coocorrência entre IDs de tokens e poses faciais discretizadas (visemas).
- Sondagem Contínua: Utilizando regressão de Ridge para prever valores contínuos de blendshapes a partir de sequências de tokens ( $R^2$ metric).

Resultos Principais

Desempenho: A representação Baseada em Rótulos (CosyVoice2) combinada com um decodificador Transformer ([CV2+T.]) alcançou as melhores pontuações objetivas e foi perceptualmente indistinguível do baseline Semântico (HuBERT + GRU).
Impacto do Decodificador: Representações discretas performaram significativamente melhor quando pareadas com um decodificador Transformer em comparação a um GRU. Inversamente, a representação contínua HuBERT mostrou desempenho equivalente entre ambos os decodificadores.
Limitações Híbridas: A representação Semântica+Acústica (SpeechTokenizer) falhou em fornecer uma animação facial satisfatória, performando de forma comparável a representações puramente acústicas. Isso sugere que informações acústicas de baixa estrutura podem ser prejudiciais à predição facial, mesmo que a informação fonética esteja presente.
Insights de Sondagem:
- Codificação Fonética: Representações Semântica+Acústica codificaram classes fonéticas de forma mais eficiente, seguidas por Semântica, Baseada em Rótulos e Acústica.
- Codificação de Visema/Contínua: Representações Baseadas em Rótulos mostraram a correlação mais forte com visemas discretos. No entanto, todas as representações tokenizadas exibiram baixos scores de $R^2$ para a predição de blendshapes contínuos em comparação com representações contínuas, refletindo a dificuldade inerente de mapear tokens discretos para movimento contínuo.
Correlação: As classificações perceptuais correlacionaram-se mais proximamente com a Pontuação de Fechamento Bilabial (BCS) do que com métricas de reconstrução tradicionais como LVE.

Principais Contribuições

Comparação Sistemática: Uma avaliação abrangente de quatro famílias de representações de fala (Semântica, Semântica+Acústica, Acústica, Baseada em Rótulos) através de duas arquiteturas de decodificador para animação facial 3D.
Análise de Sondagem: Uma investigação ligando representações tokenizadas tanto a unidades fonéticas quanto a deformações articulatórias (visemas e blendshapes), revelando que a codificação de classe fonética é benéfica, mas deve ser acompanhada pela ausência de ruído acústico de baixa estrutura.
Pipeline AVTTS: A introdução de um pipeline de prova de conceito de Texto-para-Fala Audiovisual (AVTTS). Aproveitando o fato de que sistemas de TTS (como o CosyVoice2) já geram tokens discretos, os autores demonstraram um framework unificado onde uma única sequência de tokens compartilhada é decodificada simultaneamente em áudio de fala e movimento facial 3D, eliminando a necessidade de uma etapa separada de animação impulsionada por áudio.

Significância
O artigo afirma que a informação de classe fonética é uma condição necessária para uma animação facial precisa, desde que não seja contaminada por dados acústicos de baixa estrutura. Demonstra que representações discretas baseadas em rótulos são competitivas com baselines contínuos de SSL estabelecidos. Além disso, o trabalho estabelece que tokens de fala discretos podem servir como um espaço latente compartilhado para síntese de fala e facial, pavimentando o caminho para pipelines de geração multimodal unificados que contornam o paradigma convencional de dois estágios (Texto $\to$ Áudio $\to$ Face).