Resumo Técnico: FaithfulFaces

Declaração do Problema

A geração de texto para vídeo com preservação de identidade (IPT2V) visa criar vídeos diversos a partir de uma imagem de referência facial e prompts de texto, mantendo uma identidade facial humana consistente entre os quadros. Apesar dos avanços recentes em modelos fundamentais de vídeo em grande escala (por exemplo, HunyuanVideo, CogVideoX, Wan), os métodos existentes lutam em cenas dinâmicas complexas. Especificamente, quando os sujeitos sofrem variações significativas de pose facial (por exemplo, girando de frontal para perfil) ou experimentam oclusões faciais, as abordagens atuais frequentemente produzem distorção severa de identidade, colapso estrutural ou perda de detalhes faciais. A limitação central identificada é que os codificadores existentes tipicamente capturam apenas uma pose de visão única da imagem de referência de entrada, falhando em representar informações de pose facial global necessárias para uma geração robusta sob condições dinâmicas.

Metodologia

Os autores propõem FaithfulFaces, um framework de aprendizado de preservação de identidade facial fiel à pose, projetado para abordar essas limitações. A metodologia consiste em três componentes principais:

1. Alinhador de Identidade Compartilhado por Pose

A inovação central é um codificador especializado, $\phi_{gfp}$, projetado para extrair representações de pose facial global a partir de uma imagem de entrada de visão única.

• Arquitetura: O alinhador tokeniza imagens de face de entrada em embeddings sequenciais. Para fornecer pistas de pose explícitas, integra embeddings de ângulos de Euler (pitch, yaw, roll) regredidos por um estimador de pose pré-treinado (6DRepNet) diretamente nos embeddings faciais.
• Dicionário Compartilhado por Pose: O sistema emprega uma matriz de dicionário aprendível e compartilhada por pose, $D$. Os embeddings combinados são projetados neste espaço de dicionário via cálculos de correlação e max-pooling para gerar pesos de dicionário. Esses pesos são então usados para reconstruir representações refinadas de pose facial global ($S_{p1}, S_{p2}$).
• Objetivo de Treinamento: O alinhador é treinado usando uma Restrição de Variação de Pose–Invariância de Identidade. Isso utiliza um paradigma de aprendizado contrastivo (perda InfoNCE) onde imagens de face da mesma identidade, mas com poses diferentes, são tratadas como pares positivos, enquanto identidades diferentes servem como pares negativos. Isso força o modelo a alinhar poses diversas em um espaço de identidade unificado, maximizando simultaneamente a informação de identidade compartilhada através das variações de pose.

2. Pipeline de Construção de Conjunto de Dados

Reconhecendo a falta de dados de treinamento adequados, os autores desenvolveram um pipeline especializado para curar um conjunto de dados de vídeo de alta qualidade com diversidade substancial de pose facial:

• Filtragem: Vídeos são filtrados para garantir a presença de um único sujeito e excluir aqueles sem rostos.
• Seleção de Pose: Uma etapa de estimativa de pose calcula a variação dos ângulos de Euler ao longo de um vídeo. Apenas vídeos com uma variação total de pose ($Var$) superior a um limiar de 120 (indicando transições significativas como de frontal para perfil) são retidos.
• Geração de Prompt: Prompts de texto são gerados usando um Modelo de Linguagem Multimodal de Grande Escala (MLLM) e refinados manualmente para descrever aparência, ações e fundos.
• Resultado: Um conjunto de dados de 51.624 amostras contendo vídeo, prompts de texto, rostos recortados e ângulos de Euler.

3. Integração com Modelos Generativos

O framework opera sobre um modelo fundamental de texto para vídeo (especificamente VACE-14B em seus experimentos). As representações refinadas de pose facial global são injetadas no processo de geração de vídeo ruidoso juntamente com o prompt de texto e a imagem de referência original. O sistema usa LoRA (Adaptação de Baixo Rango) para ajustar finamente o modelo fundamental, permitindo que ele aproveite os novos priores fiéis à pose sem alterar o conhecimento pré-treinado central.

Contribuições Principais

1. Paradigma de Aprendizado Fiel à Pose: O artigo introduz o FaithfulFaces, um framework que aborda sistematicamente as limitações dos métodos existentes de IPT2V no manuseio de dinâmicas faciais complexas, modelando explicitamente a pose facial global.
2. Alinhador de Identidade Compartilhado por Pose: Um módulo inovador que codifica representações de pose facial global a partir de imagens de visão única usando um dicionário compartilhado por pose e uma restrição de variação de pose–invariância de identidade, aprimorado por embeddings explícitos de ângulos de Euler.
3. Pipeline de Conjunto de Dados Especializado: O desenvolvimento de um pipeline rigoroso de coleta e processamento de dados que constrói um conjunto de dados de vídeo orientado a tarefas com diversidade significativa de pose facial, garantindo treinamento robusto do modelo.

Resultados Experimentais

Os autores conduziram avaliações quantitativas e qualitativas extensas contra métodos de última geração de código aberto e comerciais (incluindo ConsisID, VACE, Kling, Vidu e HunyuanCustom).

• Desempenho Quantitativo: O FaithfulFaces alcançou desempenho de última geração em quatro métricas:
  • Preservação de Identidade: Superou significativamente as linhas de base no FaceSim-Cur (0,568 vs. 0,484 para o próximo melhor) e FaceSim-Arc (0,542 vs. 0,456).
  • Qualidade Visual: Alcançou a menor pontuação FID (164,24), indicando maior fidelidade às distribuições de rostos reais.
  • Alinhamento com Texto: Alcançou o maior CLIPScore (33,93).
• Desempenho Qualitativo: Comparações visuais demonstraram que o FaithfulFaces mantém estruturas faciais claras e detalhes de identidade consistentes mesmo durante movimentos intensos (por exemplo, rotinas de boxe) e oclusões, enquanto os métodos de linha de base exibiram distorção severa ou colapso de identidade.
• Estudos de Ablação: Experimentos confirmaram que tanto o Alinhador de Identidade quanto o Embedding de Ângulo de Euler são críticos. A remoção do alinhador causou colapso de identidade, enquanto a remoção dos embeddings de Euler reduziu a discriminabilidade. O estudo também mostrou a robustez do método a vistas de entrada não frontais e perturbações menores nos ângulos de Euler.

Significado e Alegações

O artigo alega que o FaithfulFaces representa um passo significativo para frente no IPT2V ao resolver o desafio específico da distorção de identidade sob grandes variações de pose. Ao mudar da codificação de identidade de visão única para uma abordagem fiel à pose que aproveita priores de pose global, o método permite que modelos generativos fundamentais produzam vídeos com consistência de identidade superior e clareza estrutural. Os autores enfatizam que sua abordagem fornece uma garantia teórica (via limites de informação mútua) de que a representação global aprendida preserva informações de identidade através das poses, prevenindo o "colapso" observado em trabalhos anteriores. O trabalho é apresentado como uma solução para um gargalo crítico na geração de vídeos humanos realistas e dinâmicos para aplicações em cinema, publicidade e avatares personalizados, ao mesmo tempo que reconhece as implicações éticas relacionadas a deepfakes e desinformação.