Resumo Técnico: GeoFace

Declaração do Problema

Gerar imagens faciais de múltiplas vistas fotorrealistas a partir de uma única entrada é um desafio crítico para reconstrução 3D, avatares digitais e criação de conteúdo imersivo. Embora modelos de difusão de múltiplas vistas recentes alcancem alta fidelidade visual ao nível de cada vista, eles frequentemente carecem de mecanismos explícitos para impor uma estrutura 3D compartilhada entre diferentes pontos de vista. Consequentemente, esses modelos frequentemente produzem resultados geometricamente inconsistentes, particularmente sob variações de pose significativas, levando a artefatos como degradação de identidade e desalinhamento estrutural (por exemplo, formatos inconsistentes de nariz ou linha da mandíbula). Abordagens existentes que dependem de modelos paramétricos (como 3DMMs ou FLAME) ajustados a imagens únicas são inerentemente mal definidas, muitas vezes convergindo para estruturas estatisticamente médias em vez de geometrias específicas do sujeito. Da mesma forma, métodos de difusão baseados em aparência que incorporam pistas geométricas (como mapas de normais) ainda dependem de sinais específicos de cada vista, em vez de uma representação 3D unificada e compartilhada, deixando o alinhamento geométrico global sem resolução.

Metodologia

O GeoFace aborda essas limitações propondo um framework de difusão de fluxo duplo unificado que gera conjuntamente imagens RGB de múltiplas vistas e a geometria facial 3D a partir de uma única imagem de referência.

1. Arquitetura de Fluxo Duplo

O GeoFace estende um backbone de difusão de múltiplas vistas (baseado no CAT3D) para operar dois fluxos paralelos dentro de um único U-Net:

• Fluxo de Aparência: Realiza o denoising dos latentes das vistas alvo, condicionados a embeddings de raios de Plücker, para gerar $N-1$ imagens RGB de novas vistas.
• Fluxo de Geometria: Realiza o denoising de um latente de geometria compartilhado que representa um mapa de posição UV canônico. Este mapa codifica coordenadas de superfície 3D densas em uma malha FLAME em uma parametrização invariante de vista.

Ambos os fluxos interagem através de camadas de atenção 3D compartilhadas, permitindo que os fluxos de aparência e geometria se constranjam mutuamente durante o processo de denoising. Essa integração trata a geometria não apenas como um sinal auxiliar, mas como uma representação intrínseca compartilhada entre todas as vistas.

2. Representação de Geometria e Condicionamento

• Mapa de Posição UV Canônico: A geometria 3D é representada como uma grade de aparência de imagem $H \times W \times 3$, onde cada texel armazena a coordenada canônica 3D do ponto correspondente na malha FLAME. Esta representação é consciente da topologia e invariante de vista, tornando-a diretamente compatível com arquiteturas convolucionais 2D sem modificações.
• Token de Câmera Aprendível: Como o mapa de posição UV canônico não corresponde a um ponto de vista de câmera específico, os embeddings de raios de Plücker padrão são substituídos por um token aprendível ($e_{geo}$). Este token é otimizado de ponta a ponta como um embedding posicional implícito para a geometria canônica, evitando suposições espúrias de ponto de vista.

3. Perda de Alinhamento de Atenção Guiada por Geometria

Para impor explicitamente a atenção cross-modal 3D consistente entre os fluxos de geometria e aparência, os autores introduzem uma perda de alinhamento de atenção guiada por geometria.

• Esta perda supervisiona a atenção cruzada entre os tokens de geometria (mapa UV) e os tokens de aparência (imagens faciais) usando correspondências 3D consistentes derivadas do mapa de posição UV FLAME e poses de câmera calibradas.
• A perda é definida como uma entropia cruzada bidirecional entre os mapas de atenção previstos e as correspondências de verdade fundamental (baseadas em distâncias L2 par a par de posições 3D).
• Este mecanismo incentiva o fluxo de aparência a referenciar pistas geométricas invariantes de pose para um alinhamento robusto, particularmente em regiões ocluídas ou ambíguas, enquanto fundamenta o fluxo de geometria no contexto de aparência.

4. Construção do Dataset

Como a supervisão de geometria de múltiplas vistas canonicalizada não está nativamente disponível, os autores construíram um dataset a partir de coleções de vídeo facial de múltiplas vistas (RenderMe-360 e NeRSemble v2). Eles utilizaram o pipeline VGGTFace para agregar mapas de pontos e coordenadas UV, refinando-os via ajuste de feixes (bundle adjustment) e mapeando-os para um espaço canônico FLAME compartilhado via alinhamento de Procrustes para criar sinais de supervisão de geometria invariantes de vista.

Principais Contribuições

1. Framework de Fluxo Duplo Unificado: Uma nova arquitetura de difusão onde os fluxos de aparência e geometria interagem via camadas de atenção compartilhadas, impondo a consistência geométrica entre vistas como uma propriedade intrínseca da geração.
2. Alinhamento de Atenção Guiada por Geometria: Uma função de perda que supervisiona a atenção cross-modal com correspondências 3D consistentes, garantindo que os dois fluxos se constranjam mutuamente.
3. Mapa de Posição UV Canônico: Uma representação de geometria invariante de vista definida no espaço FLAME que é nativamente compatível com modelos de difusão, facilitando a geração com restrição de geometria compartilhada.
4. Validação Empírica: Experimentos extensos demonstrando que a geração conjunta de geometria melhora significativamente tanto a qualidade visual quanto a consistência geométrica em comparação com baselines de apenas aparência.

Resultados Experimentais

O GeoFace foi avaliado nos datasets RenderMe-360 e NeRSemble v2 através de intervalos de visão frontal até perfil.

• Desempenho Quantitativo: O GeoFace superou consistentemente os baselines existentes (incluindo métodos baseados em NeRF como PanoHead e métodos baseados em difusão como CAP4D, DiffPortrait360 e SEVA) em todas as métricas: PSNR, SSIM, LPIPS e Similaridade de Cosseno (CSIM) para preservação de identidade. Notavelmente, a lacuna de desempenho aumentou em vistas de perfil, onde métodos de apenas aparência lutam com grandes variações de pose.
• Melhorias Qualitativas: O método produziu resultados geometricamente consistentes com melhor preservação de estruturas faciais (nariz, linha da mandíbula, testa) sob grandes mudanças de pose. Ele resolveu efetivamente ambiguidades de profundidade em regiões auto-ocluídas onde modelos de apenas aparência falharam.
• Utilidade Downstream: A geometria gerada conjuntamente serviu como um prior de inicialização eficaz para 3D Gaussian Splatting. Comparado à inicialização aleatória ou baseada em COLMAP, a inicialização baseada em malha levou a uma convergência mais rápida e menor LPIPS durante a reconstrução, demonstrando a utilidade da geometria gerada para tarefas 3D subsequentes.
• Estudos de Ablação: Remover o fluxo de geometria, usar tokens de câmera fixos em vez de aprendíveis, ou omitir a perda de alinhamento resultou em quedas mensuráveis de desempenho, confirmando a necessidade de cada componente.

Significância e Alegações

O artigo afirma que o GeoFace representa um passo significativo ao ir além da geração impulsionada pela aparência para um framework onde a consistência geométrica é imposta intrinsecamente durante o processo generativo. Ao modelar conjuntamente a aparência e uma representação de geometria canônica, o GeoFace alcança uma preservação de identidade e fidelidade estrutural superiores, particularmente em cenários desafiadores envolvendo grandes mudanças de ponto de vista. Os autores postulam que esta abordagem facilita uma reconstrução 3D mais eficiente e precisa ao fornecer um forte prior estrutural.

O artigo reconhece limitações, observando que a dependência do FLAME como um backbone geométrico pode limitar a representação de regiões fora da superfície facial (ex: cabelo, orelhas, dentes), o que pode afetar sujeitos com penteados ou acessórios complexos. Sugere-se que trabalhos futuros estendam as representações geométricas para além da região facial e validem ainda mais a generalização para imagens "in-the-wild".