Learning to Generate Conditional Tri-plane for 3D-aware Expression Controllable Portrait Animation

O artigo apresenta o Export3D, um método de animação de retratos em uma única imagem que gera um tri-plano condicional 3D-aware para controlar expressões faciais e ângulos de câmera sem trocar a aparência do sujeito, graças a um novo quadro de pré-treinamento contrastivo que isola os parâmetros de expressão dos traços de identidade.

O essencial

Imagine que você tem uma foto estática de um amigo e quer transformá-la em um vídeo onde ele conta uma história, ri, pisca os olhos e até olha para os lados, tudo isso mantendo a cara dele exatamente como na foto original.

O problema é que, até agora, as máquinas de IA faziam isso de um jeito meio "gambiarra": elas tentavam esticar e dobrar a foto original (como se fosse um elástico) para imitar os movimentos de outra pessoa. O resultado? Às vezes, o seu amigo acabava com o nariz do ator que estava imitando, ou com a cor da pele trocada. Era como tentar vestir uma camisa de outra pessoa e, sem querer, a sua própria pele mudar de cor junto com a camisa.

Os autores deste artigo, chamados de Export3D, criaram uma solução mágica para isso. Vamos explicar como funciona usando uma analogia de construção de um boneco de LEGO 3D.

1. O Problema: A Mistura Perigosa

Antes, as IAs olhavam para a foto e para o vídeo de "direção" (o ator que faz os movimentos) e tentavam misturar tudo de uma vez só.

• A Analogia: Imagine que você quer copiar a dança de um amigo, mas você está segurando uma foto dele. Se você tentar copiar o movimento apenas olhando para a foto, você acaba copiando também a cor da camiseta e o formato do rosto dele. O resultado é um "troca-troca" estranho onde o seu amigo parece ter o rosto do dançarino.

2. A Solução: O "Filtro de Expressão Pura"

A grande inovação do Export3D é separar o que é quem (sua identidade, seu rosto) do que é o que está acontecendo (sua expressão, seu sorriso).

Eles criaram um sistema de treinamento especial (chamado CLeBS) que funciona como um filtro de café super avançado:

• Eles pegam milhares de vídeos de pessoas falando.
• O filtro aprende a "coar" tudo o que é identidade (o formato do nariz, a cor dos olhos, o tamanho da cabeça) e deixa passar apenas o movimento puro (o ato de sorrir, piscar, franzir a testa).
• O Resultado: A IA agora entende que "sorrir" é apenas um movimento mecânico, independente de quem está sorrindo. É como ter um manual de instruções de "como sorrir" que não depende do rosto da pessoa.

3. A Construção: O "Tri-Plano" (O Boneco 3D)

Em vez de esticar a foto 2D (o elástico), o Export3D constrói um boneco 3D invisível feito de três telas de dados (chamadas de Tri-plane).

• A Analogia: Imagine que a foto do seu amigo é transformada em um cubo de dados 3D.
• Quando você quer que ele sorria, você não mexe na foto. Você pega o "manual de instruções de sorriso" (aquele filtro puro que criamos antes) e injeta essa informação no cubo 3D.
• O cubo 3D se reorganiza para mostrar o sorriso, mas mantém a estrutura original do seu amigo. É como se você pudesse mudar a expressão de um boneco de argila sem nunca trocar a argila por outra.

4. A Câmera Mágica

Outra coisa legal é que, como eles construíram um objeto 3D, você pode mover a câmera virtual ao redor do seu amigo.

• Você pode pedir para o vídeo mostrar o seu amigo de perfil, de cima ou de baixo, e ele continuará parecendo ele mesmo, com a mesma iluminação e textura. É como se a foto tivesse ganhado profundidade e pudesse ser girada no espaço.

Resumo da Ópera

O Export3D é como um estúdio de animação onde:

1. Você entrega uma foto de alguém.
2. Você entrega um vídeo de outra pessoa fazendo caretas.
3. A IA usa um filtro inteligente para pegar apenas as caretas (e jogar fora a cara de quem as fez).
4. Ela aplica essas caretas na foto original, construindo um boneco 3D temporário.
5. O resultado é um vídeo onde seu amigo faz as caretas do outro, mas continua sendo seu amigo, sem trocar de nariz, cor de pele ou formato de rosto.

Por que isso é importante?
Isso permite criar avatares virtuais realistas para filmes, jogos ou reuniões, onde você pode fazer o personagem falar e expressar emoções sem que ele pareça um "troca-pele" estranho. É um passo gigante para tornar a animação de rostos algo natural e sem erros visuais.

Resumo técnico

1. Problema e Motivação

A animação de retratos (ou "reenactment" facial) visa gerar vídeos de uma identidade de origem (uma imagem estática) guiados por uma imagem ou vídeo de direção (driving). O objetivo é transferir expressões faciais e movimentos de cabeça de uma pessoa para outra (transferência cross-identity) enquanto se preserva a identidade original.

Os desafios principais identificados pelos autores são:

• Emaranhamento (Entanglement) entre Aparência e Expressão: Métodos existentes, especialmente os baseados em 2D (como warping de imagem), tendem a codificar a aparência da pessoa de direção junto com a expressão. Isso resulta em uma "troca de aparência" indesejada, onde o rosto gerado assume características da pessoa de direção (formato dos olhos, contorno do rosto) em vez de apenas a expressão.
• Inconsistência Temporal e Visual: Métodos baseados em campos de deformação 3D ou otimização de latentes muitas vezes produzem artefatos de vídeo (piscamento/flickering) ou falham em manter a consistência multi-visão.
• Limitações de Controle: Muitos métodos não permitem o controle explícito da expressão facial e da câmera 3D simultaneamente de forma eficiente em uma única etapa.

2. Metodologia: Export3D

O Export3D é um método de animação de retrato "one-shot" (uma única imagem de entrada) que é consciente de 3D (3D-aware). A arquitetura é composta por três componentes principais:

A. Aprendizado de Base Contrastiva (CLeBS) para Expressões Livres de Aparência

O problema central é que os parâmetros de expressão de modelos 3DMM (3D Morphable Models) contêm informações de identidade (aparência).

• Solução: Os autores propõem um framework de pré-treinamento contrastivo.
• Mecanismo: Utilizando vídeos, eles amostram pares positivos (mesma pessoa, diferentes quadros) e negativos (pessoas diferentes). Um encoder de expressão aprende a mapear os parâmetros brutos do 3DMM ($\beta$) para uma representação refinada ($\beta'$) que é ortogonal e livre de aparência.
• Estrutura: Eles introduzem uma Escala de Base Aprendida (LeBS), onde a expressão é representada como uma combinação linear de bases ortonormais aprendidas ($V$). Isso força a rede a separar a intensidade da expressão da identidade da pessoa.

B. Gerador Híbrido de Tri-Plano (Hybrid Tri-plane Generator)

Em vez de prever campos de deformação ou usar warping 2D, o modelo gera diretamente uma representação 3D intermediária chamada Tri-plane.

• Arquitetura: O gerador combina camadas convolucionais e Vision Transformers (ViT).
• Condicionamento (EAdaLN): A inovação chave é a Camada de Normalização Adaptativa à Expressão (EAdaLN). Em vez de usar atenção cruzada (cross-attention), o parâmetro de expressão refinado ($\beta'$) modula diretamente os tokens visuais do ViT através de fatores de escala e deslocamento (scale and shift) antes das camadas de atenção e feed-forward.
• Processo: A imagem de origem e o parâmetro de expressão de direção são processados para gerar o Tri-plane ($T$), que codifica o prios 3D da identidade de origem com a expressão de direção.

C. Renderização Volumétrica Diferenciável e Super-resolução

• O Tri-plane gerado é renderizado em uma imagem 2D RGB usando renderização volumétrica diferenciável (baseada em NeRF), permitindo a síntese de novas vistas de câmera.
• Para garantir alta qualidade, o modelo gera primeiro uma imagem de baixa resolução e aplica um módulo de Super-resolução (baseado em convoluções em plano) para atingir a resolução final, evitando artefatos de grade comuns em métodos anteriores.

3. Principais Contribuições

1. Export3D: Um método de animação one-shot que controla explicitamente a expressão facial e a vista da câmera 3D usando apenas parâmetros de expressão e câmera, sem necessidade de otimização em tempo de teste.
2. Framework de Pré-treinamento Contrastivo (CLeBS): Uma técnica inovadora para extrair representações de expressão "livres de aparência" dos parâmetros do 3DMM, resolvendo o problema de troca de identidade em transferências cross-identity.
3. Arquitetura EAdaLN-ViT: Uma nova abordagem de condicionamento que usa normalização adaptativa em vez de atenção cruzada para injetar semântica de expressão em tokens visuais, resultando em melhor estabilidade e qualidade.
4. Geração Direta de Tri-plane: Evita a necessidade de otimização de latentes complexa ou warping de imagem, gerando diretamente a representação 3D intermediária.

4. Resultados Experimentais

Os autores avaliaram o modelo nos conjuntos de dados VFHQ e TalkingHead-1KH, comparando com métodos de ponta (SOTA) como StyleHEAT, DPE, ROME, OTAvatar e HiDe-NeRF.

• Métricas Quantitativas:
  • Preservação de Identidade (CSIM): O Export3D obteve os melhores resultados na preservação da identidade da pessoa de origem, superando métodos como DPE e HiDe-NeRF.
  • Transferência de Expressão (AED/AKD): O modelo demonstrou alta precisão na transferência da expressão desejada, superando concorrentes em métricas de distância de expressão e pontos-chave faciais.
  • Qualidade de Imagem (PSNR/SSIM): Alcançou pontuações competitivas ou superiores em qualidade de reconstrução.
• Resultados Qualitativos:
  • Sem Troca de Aparência: Em testes cross-identity, o Export3D transferiu a expressão (ex: piscar, sorrir) sem alterar características físicas da origem (ex: formato do rosto, cor da pele), um problema comum em outros métodos.
  • Consistência Temporal: Os vídeos gerados são livres de artefatos de "piscamento" (flickering) e mudanças de iluminação imprevisíveis, comuns em métodos baseados em campos de deformação pontuais.
  • Síntese de Novas Vistas: O modelo gera consistentemente novas vistas de câmera mantendo a coerência 3D.

5. Significado e Impacto

O trabalho Export3D representa um avanço significativo na área de síntese de avatares digitais e animação facial:

• Resolução do Problema de Desemaranhamento: Ao abordar diretamente a raiz do problema (a mistura de aparência e expressão nos parâmetros 3DMM) através do pré-treinamento contrastivo, o método oferece uma solução robusta para a transferência de expressão entre identidades diferentes.
• Eficiência e Controle: A capacidade de controlar a câmera e a expressão de forma explícita e direta, sem otimização iterativa lenta, torna o método viável para aplicações em tempo real, como avatares virtuais, dublagem e videoconferência.
• Base para Futuras Pesquisas: A arquitetura híbrida (ViT + Convolução) e a técnica de condicionamento EAdaLN podem ser adaptadas para outras tarefas de geração de conteúdo 3D e edição de vídeo.

Limitações mencionadas: O método ainda não separa fundo e primeiro plano (renderiza ambos juntos), não controla partes do corpo fora do rosto (pescoço/ombros) e não consegue controlar o direcionamento do olhar (eye gaze), pois os parâmetros 3DMM padrão não modelam o movimento ocular.