Instant Expressive Gaussian Head Avatars at Over 100 FPS

Resumo Técnico: Avatares de Cabeça Gaussianos Instantâneos e Expressivos a Mais de 100 FPS

Problema
O artigo aborda o "trilema da animação de retrato", um desafio onde os métodos existentes falham em alcançar simultaneamente alta velocidade, consistência 3D e detalhes expressivos na animação facial.

• Métodos 2D: Abordagens baseadas em modelos de difusão de vídeo ou GANs oferecem alta expressividade, mas sofrem de inconsistência 3D (ex: deriva de identidade, características alucinadas) e baixas velocidades de inferência devido ao processo de denoising dispendioso, tornando-os inadequados para aplicações em tempo real, como telepresença ou gêmeos digitais.
• Métodos 3D: Métodos que utilizam representações 3D (NeRFs, 3D Gaussians) garantem consistência 3D e velocidades maiores, mas frequentemente dependem de modelos paramétricos (3DMMs) que limitam a expressividade, ou utilizam mecanismos de fusão global computacionalmente caros (ex: camadas de atenção densa) para combinar estrutura e movimento, resultando em detalhes de expressão inferiores e taxas de quadros mais baixas.

Metodologia
Os autores propõem um pipeline feed-forward que converte instantaneamente uma única imagem "in-the-wild" em um avatar animável e com consistência 3D usando 3D Gaussian Splatting. Os componentes principais são:

1. Representação 3D Gaussian e Encoder:

   • O sistema adapta um encoder de levantamento 2D-para-3D de última geração (originalmente projetado para triplanos neurais) para codificar uma única imagem de entrada em um conjunto de 3Gaussians 3D.
   • Em vez de campos volumétricos, o método amostra 3D Gaussians a partir de triplanos codificados. Um decodificador MLP leve mapeia vetores de características para atributos Gaussianos (posição, escala, rotação, opacidade, cor).
   • A amostragem é realizada via uma estratégia de amostragem de importância de duas passagens em raios, gerando aproximadamente 200K Gaussians suficientes para renderização de 512×512.

2. Deformação no Espaço de Características para Animação:

   • Ao contrário de trabalhos anteriores que deformam Gaussians diretamente no espaço espacial 3D (atualizando vetores de posição/escala), este método deforma as Gaussians em um espaço de características de alta dimensão.
   • Vetores de Base de Movimento: Cada localização de Gaussian amostrada é associada a um "vetor de base de movimento" (motion basis vector, $m_i$) aprendido que codifica capacidades de deformação espacialmente variáveis (análogo a blendshapes personalizados).
   • Fusão Local: Um encoder de movimento extrai coeficientes de movimento 1D tanto das imagens de origem quanto das de condução (driving images). Um decodificador de movimento leve (usando AdaLN) prevê um vetor de característica residual ($\delta f_i$) para cada Gaussian com base nos coeficientes de movimento e no vetor de base de movimento específico.
   • Os atributos finais da Gaussian são decodificados a partir da soma do vetor de característica original e do residual previsto ($f_i + \delta f_i$). Esta estratégia de fusão local evita mecanismos de atenção global computacionalmente caros, permitindo inferência de alta velocidade.

3. Estratégia de Treinamento com Guia de Difusão:

   • Para superar a falta de dados de expressão 3D consistentes no mundo real, os autores constroem um dataset sintético usando um modelo de difusão 2D de última geração (X-NeMo).
   • Frontalização: Para evitar alucinações e inconsistências de viewpoint comuns em modelos de difusão, as imagens de origem e de condução são primeiro frontalizadas. As expressões são sintetizadas apenas nestas vistas frontais.
   • Supervisão Multi-view: Uma rede 2D-para-3D pré-treinada gera imagens multi-view a partir dos retratos sintéticos frontalizados durante o treinamento, impondo consistência geométrica entre as vistas.
   • O modelo é treinado via um objetivo de autorreenactação (self-reenactment), minimizando perda de reconstrução, perda perceptual, perda de identidade e perda adversarial entre a saída renderizada e as imagens alvo.

Principais Contribuições

• Representação de Animação Eficiente: Uma representação inovadora que desacopla a estrutura 3D da representação de animação. Ao deformar características em um espaço de alta dimensão usando vetores de base de movimento aprendidos, o método captura expressões assimétricas, rugas e mudanças de sombra de forma mais eficaz do que métodos de deformação espacial.
• Fusão Local Leve: O design substitui mecanismos de fusão global pesados por uma estratégia de fusão local eficiente, alcançando alta expressividade sem o custo computacional de camadas de atenção repetidas.
• Pipeline de Treinamento Sintético: Uma estratégia prática para aproveitar modelos de difusão 2D para treinamento de animação 3D, mitigando suas inconsistências 3D inerentes através de frontalização e supervisão multi-view.
• Desempenho: O método é o primeiro a alcançar simultaneamente consistência 3D de alto nível, transferência de expressão detalhada e velocidades de inferência em tempo real.

Resultos

• Velocidade: O método roda a 107,31 FPS para animação e controle de pose em uma GPU NVIDIA 6000 Ada. Isso representa um aumento de velocidade de 3 a 4 ordens de magnitude em comparação com métodos baseados em difusão e supera significativamente os métodos atuais que consideram 3D (ex: Portrait4D-v2 a ~14,5 FPS).
• Qualidade: Em benchmarks quantitativos (conjunto de teste VOODOO-XP), o método alcança a melhor consistência 3D (MEt3R) e precisão de forma 3D (IoU) entre todos os baselines. Também alcança o estado da arte em precisão de transferência de expressão (AED) e similaridade de emoção (EMO), superando até mesmo o modelo professor baseado em difusão (X-NeMo) em tarefas de autorreenactação (cross-reenactment).
• Fidelidade Visual: Resultados qualitativos mostram a transferência fiel de expressões extremas, incluindo rugas nasais e movimentos oculares, sem a distorção de identidade ou características alucinadas (ex: bigodes falsos) observadas em outros métodos.

Significância
O artigo afirma resolver o trilema da animação de retrato, permitindo a criação de gêmeos digitais 4D a partir de uma única imagem com desempenho em tempo real. Ao alcançar alta expressividade sem sacrificar a consistência 3D ou a velocidade, o método facilita aplicações do mundo real, como AR/VR, videoconferência e IA de agentes, onde a controlabilidade e a responsividade em tempo real são críticas. Os autores observam que, embora o método seja atualmente impulsionado por imagem, a arquitetura suporta a codificação de outras condições (áudio, texto) em coeficientes de movimento para expansão futura.