High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning

Título: Troca de Rosto de Alta Fidelidade com Difusão Condição Facial Restrita à Identidade (ID)

1. O Problema

A troca de rostos (face swapping) visa transferir a identidade de uma imagem de origem para uma imagem de destino, preservando os atributos do destino (como pose, expressão e iluminação). Embora os modelos de difusão tenham demonstrado capacidades generativas superiores aos GANs (Redes Adversariais Generativas) tradicionais, a aplicação deles na troca de rostos enfrenta dois desafios principais:

1. Preservação vs. Atributos: Existe um conflito inerente entre a necessidade de preservar estritamente a identidade da fonte e a necessidade de adaptar os atributos do alvo.
2. Conflito de Condição Conjunta: Métodos existentes que injetam condições de identidade e atributo simultaneamente em uma única etapa de treinamento tendem a falhar. A condição de identidade empurra a saída para a face de origem, enquanto a condição de atributo empurra para a face de destino, resultando em um treinamento instável, perda de identidade ou distorção de atributos.

2. Metodologia Proposta

Os autores propõem um framework de troca de rostos baseada em difusão com restrição de identidade, que resolve os problemas acima através de três pilares principais:

A. Injeção de Condição Facial Desacoplada (Decoupled Condition Injection)

Para evitar o vazamento de informações e o conflito entre identidade e atributo:

• Dados: Em vez de usar a mesma imagem com aumentos (como fazem métodos anteriores), o modelo é treinado com pares de imagens da mesma identidade, mas com atributos diferentes. Isso desacopla explicitamente as características de identidade das de atributo.
• Arquitetura de Duas Caminhos:
  • Identidade: Extraída usando um modelo de reconhecimento facial pré-treinado (ArcFace) e enriquecido com embeddings visuais de alta fidelidade (DINOv2) para capturar texturas de pele.
  • Atributo: Extraído da imagem de destino usando o codificador de atributos do SimSwap (focado em expressão e pose).
• Fusão: As características são fundidas através de um mecanismo de atenção, onde a identidade atua como a "query" e os atributos como "key-value", permitindo que a identidade seja a condição primária.

B. Esquema de Condicionamento Facial Restrito à Identidade (Multi-Stage Training)

O treinamento é dividido em três estágios sequenciais para garantir que a identidade seja preservada antes de ajustar os atributos:

1. Estágio 1 (Ajuste Orientado à Identidade): O modelo de difusão é ajustado (fine-tuned) usando apenas condições de identidade (sem atributos). Isso restringe o espaço de soluções para saídas que são consistentes com a identidade da fonte.
2. Estágio 2 (Ajuste de Atributo Restrito à Identidade): As condições de atributo são injetadas. Para evitar o esquecimento catastrófico da identidade, os pesos de saída da camada de fusão são inicializados em zero (zero-initialization) e a força da condição de identidade é levemente reduzida para permitir a adaptação aos atributos do alvo.
3. Estágio 3 (Refinamento Pós-Treinamento): Uma fase de refinamento end-to-end que aplica perdas explícitas de identidade (ID Loss) e perdas adversariais (GAN Loss) diretamente no pipeline de amostragem DDIM. Diferente de métodos anteriores que adicionam essas perdas à função de perda de ruído (o que relaxa o limite ELBO e piora a qualidade), este método trata a amostragem como um modelo generativo em cascata, permitindo supervisão direta sem comprometer a teoria de difusão.

3. Principais Contribuições

1. Injeção Desacoplada: Uma estratégia inovadora que separa o processamento de identidade e atributo, resolvendo o conflito de treinamento conjunto e permitindo o treinamento multi-etapa.
2. Esquema de Condicionamento Restrito: Uma abordagem multi-etapa que prioriza a preservação da identidade antes de alinhar os atributos, garantindo que o resultado final "pareça" a pessoa de origem, mas com a expressão da pessoa de destino.
3. Modelo de Estado da Arte (SOTA): Apresentação de um novo modelo baseado em difusão que supera os métodos existentes (tanto baseados em GANs quanto em difusão) em métricas qualitativas e quantitativas.

4. Resultados e Avaliação

O modelo foi avaliado no conjunto de dados FFHQ e comparado com métodos de ponta como SimSwap, InfoSwap, DiffFace, DiffSwap e REFace.

• Métricas Quantitativas:
  • FID (Fréchet Inception Distance): O modelo alcançou o melhor FID (3.61), indicando a maior qualidade geral de amostragem e realismo, superando significativamente outras abordagens de difusão e GANs.
  • Recuperação de Identidade (ID Retrieval): Alcançou a maior precisão (97.90% Top-1), demonstrando a eficácia da restrição de identidade.
  • Pose e Expressão: Mantém-se competitivo, empatando com o melhor desempenho em expressão (SimSwap).
• Avaliação Humana:
  • Em uma votação com 39 participantes, o modelo obteve 57.1% de preferência em Fidelidade, 33.2% em Consistência de Atributos e 31.6% em Preservação de Identidade.
  • O modelo demonstrou um equilíbrio superior, evitando os artefatos e distorções comuns em outros métodos.
• Robustez: O modelo mostrou excelente generalização em cenários out-of-distribution, como a troca de rostos em pinturas e fotos estilizadas, mantendo a textura e a iluminação de forma harmoniosa.

5. Significado e Impacto

Este trabalho representa um avanço significativo na geração de rostos de alta fidelidade. Ao demonstrar que a desacoplagem de condições e o treinamento em estágios são essenciais para modelos de difusão, o artigo oferece uma nova direção para a pesquisa em geração condicional.

• Superioridade sobre GANs: O uso de modelos de base (foundation models) pré-treinados permite uma geração de textura e iluminação mais natural e robusta do que os GANs tradicionais.
• Aplicabilidade Geral: A metodologia proposta não se limita à troca de rostos; ela serve como um fundamento para outras tarefas de geração condicional onde múltiplas condições (como identidade e estilo) precisam ser equilibradas sem conflito.

Em resumo, o artigo estabelece um novo padrão de qualidade (State-of-the-Art) para troca de rostos, resolvendo o dilema clássico entre "ser quem é" (identidade) e "agir como" (atributos) através de uma arquitetura de difusão cuidadosamente projetada.