UniLS: End-to-End Audio-Driven Avatars for Unified Listening and Speaking

Resumo Técnico: UniLS

1. O Problema: A Rigidez no Comportamento de Escuta

A geração de avatares conversacionais realistas exige modelar não apenas a fala, mas também a interação dinâmica e recíproca entre falar e ouvir. Embora a geração de fala baseada em áudio tenha avançado significativamente, a geração de reações de escuta (listening) permanece um desafio crítico.

• Falha Atual: Métodos diretos de treinamento "end-to-end" (fim a fim) falham ao gerar movimentos de escuta, produzindo expressões rígidas, estáticas e sem vida (o fenômeno de "poker-face").
• Causa Raiz: Existe um desequilíbrio fundamental na correlação áudio-movimento.
  • Falar: O movimento da boca e do rosto é fortemente impulsionado pelo áudio da própria fala (alinhamento fonético e rítmico).
  • Ouvir: O movimento do ouvinte é governado principalmente por um prior interno de movimento (piscar, acenar, microexpressões) e apenas fracamente correlacionado com o áudio do interlocutor.
• Limitação de Métodos Anteriores: A única tentativa anterior de geração conjunta (DualTalk) não é end-to-end; ela depende da sequência facial pré-computada de um interlocutor para gerar a reação do outro, impedindo a aplicação em tempo real e introduzindo latência.

2. Metodologia: O Framework UniLS

O UniLS é o primeiro framework end-to-end que gera expressões unificadas de falar e ouvir, impulsionado exclusivamente por áudio de duas faixas (dual-track audio). A solução central é uma paradigma de treinamento em duas etapas que separa o aprendizado do prior interno da modulação por áudio.

Arquitetura Base:
O modelo utiliza um gerador autoregressivo baseado em chunks (blocos de tempo), condicionado aos parâmetros do modelo facial FLAME (que inclui pose, expressão e forma). O áudio é codificado usando um modelo de representação pré-treinado (wav2vec).

As Duas Etapas de Treinamento:

• Etapa 1: Treinamento do Gerador sem Áudio (Aprendizado do Prior Interno)

  • Objetivo: Aprender o "prior de movimento interno" que captura a dinâmica espontânea do rosto humano (piscar, acenos sutis, coordenação muscular) independentemente da fala.
  • Dados: Utiliza dados de vídeo não pareados de múltiplos cenários (noticiários, entrevistas, streaming, conversas casuais).
  • Processo: Um gerador autoregressivo é treinado para prever o próximo chunk de movimento facial baseado apenas no movimento passado e em um embedding de estilo, sem entrada de áudio. Isso ensina ao modelo a gerar movimentos naturais e variados mesmo no silêncio.

• Etapa 2: Ajuste Fino (Fine-tuning) Impulsionado por Áudio

  • Objetivo: Modular o prior interno aprendido com base nas pistas de áudio externas (fala do interlocutor).
  • Dados: Dados conversacionais pareados (vídeo e áudio sincronizados de dois falantes, A e B).
  • Mecanismo: O modelo é ajustado com duas camadas de atenção cruzada (cross-attention) em cada bloco do transformador:
    1. Uma atende ao áudio do falante A (para controlar a fala).
    2. Outra atende ao áudio do falante B (para controlar a escuta).
  • Eficiência: Utiliza LoRA (Low-Rank Adaptation) para ajustar os pesos, permitindo que o modelo se adapte ao áudio sem destruir o prior interno aprendido na Etapa 1.

3. Contribuições Principais

1. Primeiro Framework End-to-End Unificado: Capacita um avatar a falar e ouvir naturalmente simultaneamente, usando apenas entradas de áudio, eliminando a necessidade de pipelines externos de geração de movimento.
2. Paradigma de Treinamento em Duas Etapas: Resolve o problema da rigidez na escuta ao separar explicitamente o aprendizado do prior de movimento natural da modulação por áudio.
3. Desempenho de Estado da Arte (SOTA): Alcança resultados superiores tanto na precisão da fala quanto na naturalidade e diversidade das reações de escuta.

4. Resultados e Avaliação

O método foi avaliado no conjunto de dados Seamless Interaction, comparado com métodos como DiffPoseTalk, ARTalk e DualTalk.

• Precisão de Fala: O UniLS alcançou o melhor desempenho em métricas de sincronização labial (LVE) e precisão facial geral (MHD), superando os métodos anteriores.
• Qualidade de Escuta:
  • Houve uma melhoria de até 44,1% nas métricas de distribuição de escuta (FDD, PDD, JDD, F-FID) em comparação com métodos anteriores.
  • O modelo gera expressões diversas e naturais, evitando o colapso para poses estáticas.
• Estudo com Usuários: Em um teste com 25 participantes, o UniLS foi preferido em mais de 90% dos casos em relação ao método DualTalk especificamente na naturalidade das reações de escuta.
• Desempenho em Tempo Real: O modelo opera a 560,6 FPS em uma GPU RTX 5090, sendo totalmente viável para aplicações em tempo real, ao contrário de métodos não end-to-end.

5. Significado e Impacto

O UniLS representa um avanço significativo na criação de humanos digitais conversacionais. Ao resolver o problema da "rigidez na escuta", ele permite interações homem-máquina mais naturais e envolventes, onde o avatar não apenas responde, mas demonstra atenção e engajamento ativo.

• Aplicabilidade: A arquitetura end-to-end e o alto desempenho em tempo real tornam o sistema pronto para uso em assistentes virtuais, jogos e interfaces de realidade virtual/aumentada.
• Limitações e Futuro: O modelo atual ainda carece de compreensão semântica profunda (não entende o significado da conversa para reagir com concordância ou discordância específica) e utiliza uma formulação baseada em chunks que pode causar pequenas descontinuidades. Trabalhos futuros visam integrar informações semânticas e modelos de horizonte contínuo.

Em resumo, o UniLS estabelece uma nova base para avatares interativos, provando que a separação entre o "prior de movimento" e a "modulação por áudio" é a chave para a geração de comportamentos humanos realistas.