FG-Portrait: 3D Flow Guided Editable Portrait Animation

1. O Problema

A animação de retratos visa reencenar a expressão e a pose da cabeça de uma imagem de "direção" (driving) em uma imagem de "fonte" (source), preservando a identidade da fonte. Embora os modelos baseados em difusão tenham avançado significativamente, eles enfrentam desafios críticos:

• Correspondência Ambígua: As abordagens atuais condicionam o modelo apenas no movimento da imagem de direção, falhando em capturar correspondências explícitas entre a fonte e a direção. Isso leva a transferências de movimento subótimas, especialmente sob grandes variações de pose ou aparência.
• Limitações da Estimativa 2D: Métodos que tentam estimar campos de fluxo denso diretamente a partir de imagens 2D são problemas mal-postos (ill-posed), pois a inferência de movimento 3D a partir de 2D é inerentemente ambígua. Além disso, esses métodos dependem de grandes conjuntos de dados e frequentemente falham em generalizar para variações extremas.
• Falta de Editabilidade: Muitos sistemas não permitem edição específica do usuário (pose e expressão) durante a inferência de forma feed-forward.

2. Metodologia

O FG-Portrait introduz uma abordagem baseada em Fluxos 3D (3D Flows) para guiar a animação, integrando conhecimento geométrico 3D em um modelo de difusão.

• Fluxos 3D (3D Flows):

  • Em vez de prever o fluxo via rede neural, o método calcula correspondências geométricas diretamente usando o modelo paramétrico de cabeça 3D FLAME.
  • O processo envolve estimar os modelos FLAME da fonte ($M_{src}$) e da direção ($M_{dri}$).
  • Um modelo alvo ($M_{tgt}$) é montado combinando a forma da fonte ($\beta_{src}$) com a pose e expressão da direção ($\theta_{dri}, \psi_{dri}$).
  • O fluxo 3D é calculado como o deslocamento vetorial entre um ponto no espaço alvo e seu correspondente no espaço fonte, garantindo correspondências semânticas ponto a ponto.

• Codificação de Fluxo 3D (3D Flow Encoding):

  • Para integrar esse prior 3D ao modelo de difusão 2D, o método propõe uma codificação que consulta os fluxos 3D para cada pixel da imagem alvo.
  • Para cada pixel, o sistema "backprojeta" um raio no espaço 3D e amostra múltiplos pontos candidatos.
  • Esses pontos são mapeados de volta para o espaço da fonte para calcular o deslocamento 3D, que é então empilhado e inserido no ControlNet como uma nova condição de movimento.

• Amostragem Guiada por Profundidade (Depth-Guided Sampling):

  • Uma amostragem uniforme ao longo do raio de backprojeção pode levar a fluxos imprecisos.
  • O FG-Portrait utiliza um mapa de profundidade renderizado do modelo 3D alvo para guiar a amostragem, focando nos pontos 3D que correspondem realmente à superfície da face. Isso alinha o fluxo 3D com as mudanças de movimento 2D, melhorando a precisão.

• Edição Interativa:

  • O sistema suporta edição de expressão e pose da cabeça especificada pelo usuário durante a inferência, ajustando os parâmetros do FLAME antes de recalcular o fluxo 3D e gerar a imagem.

3. Principais Contribuições

1. Correspondência de Movimento Livre de Aprendizado: Introdução do fluxo 3D como uma correspondência geométrica direta e livre de treinamento, superando a ambiguidade da estimativa de fluxo 2D.
2. Novo Condicionamento para Difusão: Proposta de "Codificação de Fluxo 3D" com amostragem guiada por profundidade, permitindo que o modelo de difusão acesse informações de deslocamento 3D precisas para cada pixel.
3. Edibilidade Feed-Forward: Capacidade de editar pose e expressão do usuário em tempo de inferência sem necessidade de re-treinamento.
4. Desempenho Superior: Demonstração de transferência de movimento mais fiel e preservação de identidade em comparação com métodos baseados em difusão (como X-Portrait, Face-Adapter) e métodos baseados em fluxo (como EMOPortrait).

4. Resultados

Os experimentos foram conduzidos nos conjuntos de dados VFHQ e FFHQ, avaliando tarefas de auto-reencenação (self-reenactment) e reencenação cruzada (cross-reenactment).

• Métricas Quantitativas:
  • O método alcançou os melhores resultados em APD (Distância Média de Pose) e AED (Distância Média de Expressão), indicando uma aderência superior ao movimento de direção.
  • Na tarefa de reencenação cruzada, o FG-Portrait obteve o menor FID (87.0) e um CSIM competitivo (0.462), equilibrando melhor a fidelidade do movimento com a preservação da identidade do que os baselines.
• Resultados Qualitativos:
  • Visualmente, o método demonstra maior robustez em grandes variações de pose e expressões complexas, evitando artefatos comuns como perda de identidade ou movimentos "suavizados" demais.
  • A amostragem guiada por profundidade provou ser crucial, reduzindo drasticamente os erros de pose e expressão em comparação com a amostragem uniforme.
• Análise de Ablação:
  • A remoção da amostragem guiada por profundidade resultou em degradação significativa nas métricas de movimento.
  • O uso de fluxo 3D superou tanto o uso de landmarks quanto o uso de mapas de fluxo previstos por redes neurais.

5. Significância

O FG-Portrait representa um avanço significativo na animação de retratos ao resolver o problema fundamental da correspondência fonte-direção através de uma abordagem geométrica 3D, em vez de puramente baseada em aprendizado de dados.

• Precisão Geométrica: Ao utilizar o modelo FLAME, o método garante que o movimento seja fisicamente plausível e semanticamente consistente, superando as limitações de métodos que tentam aprender essa relação apenas a partir de pixels 2D.
• Flexibilidade: A capacidade de editar pose e expressão do usuário durante a inferência abre novas possibilidades para aplicações interativas em edição de vídeo e humanos digitais.
• Generalização: A abordagem demonstra forte capacidade de generalização em cenários desafiadores, como diferentes etnias, idades e acessórios, mantendo a coerência temporal e espacial.

Em resumo, o trabalho estabelece um novo paradigma onde o conhecimento geométrico 3D é usado para guiar modelos generativos 2D, resultando em animações de retratos mais realistas, precisas e editáveis.