Resumo Técnico: Inpainting Facial com Modelos de Difusão Latente que Preservam Identidade

Declaração do Problema

O inpainting facial visa reconstruir regiões faciais ausentes ou ocluídas com realismo visual e coerência semântica. Embora essencial para aplicações como restauração de fotos e perícia digital, um desafio crítico permanece: preservar a identidade única do sujeito no resultado reconstruído. Modelos de difusão padrão, apesar de sua fidelidade generativa, frequentemente carecem de mecanismos explícitos para codificar a identidade específica do sujeito, fazendo com que as regiões reconstruídas se desviem para uma aparência facial "média". Soluções existentes conscientes de identidade geralmente dependem de ajuste fino computacionalmente caro por sujeito (por exemplo, MyStyle, Custom Diffusion) ou exibem robustez limitada a oclusões e poses diversas. Além disso, avaliar a preservação de identidade é complicado por conjuntos de dados existentes (por exemplo, CelebA-HQ, FFHQ) que frequentemente empregam oclusões aleatórias ou de grande área, tornando difícil distinguir entre geração facial plausível e recuperação real de identidade.

Metodologia: ID-ControlNet

Os autores propõem o ID-ControlNet, um framework de inpainting facial que preserva identidade construído sobre Modelos de Difusão Latente (LDMs). A abordagem integra pistas de identidade facial diretamente no processo de difusão, sem exigir ajuste fino por sujeito.

Arquitetura

• Modelo Base: O framework utiliza um backbone de difusão latente do Stable Diffusion (SD1.5) congelado para geração de imagens.
• Extensão ControlNet: Inspirado pelo ControlNet, os autores introduzem um ramo auxiliar treinável que injeta sinais de condicionamento externos. Diferentemente do ControlNet padrão, que usa pistas espaciais (bordas, profundidade), o ID-ControlNet injeta embeddings de identidade.
• Extração de Identidade: Uma rede de reconhecimento facial pré-treinada (ArcFace) extrai embeddings de identidade da imagem de referência não mascarada.
• Integração Latente: Os embeddings de identidade são processados pelo ramo de controle, que os aumenta de $8 \times 8$ para $64 \times 64$ para alinhar com o caminho do decodificador U-Net. Camadas de convolução inicializadas com zero injetam essas características guiadas por identidade no backbone de difusão congelado, guiando a trajetória de remoção de ruído em direção à identidade alvo enquanto preservam a coerência global.

Estratégia de Treinamento

O modelo é treinado usando uma função de objetivo composta que combina perda de remoção de ruído padrão com supervisão explícita de identidade:

1. Perda de Remoção de Ruído ($\mathcal{L}_{denoise}$): Perda LDM padrão para prever ruído no espaço latente.
2. Perda de Consistência de Identidade ($\mathcal{L}_{id}$): Uma perda de distância cosseno garantindo que o embedding da imagem gerada corresponda ao embedding de identidade de condicionamento.
3. Perda de Tripletos ($\mathcal{L}_{trip}$): Uma perda em nível de lote para maximizar a separabilidade entre a identidade alvo e amostras negativas dentro do lote.
4. Eficiência: Para evitar o custo computacional de retropropagação através de uma cadeia completa de remoção de ruído de $T$ passos, os autores empregam uma aproximação de remoção de ruído em passo único. O latente é perturbado para um pequeno passo de tempo, um passo de remoção de ruído é aplicado e a imagem resultante é decodificada para calcular a perda de embedding.

Contribuições Principais

1. Framework ID-ControlNet: Uma arquitetura inovadora que condiciona a difusão latente em embeddings de identidade extraídos de uma rede de reconhecimento facial pré-treinada, permitindo inpainting que preserva identidade sem ajuste fino por sujeito.
2. Estratégia de Treinamento: Uma estratégia de perda de consistência de identidade e tripletos que impõe alinhamento entre rostos gerados e representações de identidade alvo de maneira auto-supervisionada.
3. Conjunto de Dados E-Mask: A introdução de um novo conjunto de dados de referência onde as oclusões são estritamente restritas à região dos olhos. Isso aborda a limitação de conjuntos de dados existentes ao focar na área facial mais informativa para identidade, permitindo uma avaliação mais precisa das capacidades de restauração de identidade.
4. Capacidade Zero-Shot: O método alcança preservação de identidade state-of-the-art em configuração zero-shot, eliminando a necessidade de adaptação custosa ou ajuste fino exigido por métodos anteriores de personalização baseados em difusão.

Resultados Experimentais

Os autores avaliaram o ID-ControlNet em CelebA-HQ, FFHQ e no conjunto de dados proposto E-Mask, comparando-o com baselines de difusão padrão (SD1.5, SD2) e métodos conscientes de identidade (PVA, MyStyle, Custom Diffusion).

• Qualidade Perceptiva: O ID-ControlNet alcança qualidade perceptiva (FID, mFID, LPIPS) comparável às baselines de difusão padrão, indicando que o condicionamento de identidade não degrada significativamente o realismo visual.
• Preservação de Identidade:
  • No benchmark CelebA-HQ-IDI-5, o ID-ControlNet iguala a fidelidade de identidade do PVA (um método state-of-the-art) enquanto opera em configuração zero-shot, enquanto o PVA geralmente requer ajuste fino.
  • No conjunto de dados E-Mask (oclusões específicas dos olhos), o ID-ControlNet supera significativamente tanto a baseline quanto o PVA (No-Tune) em pontuações de similaridade de identidade (0,78 vs. 0,63 para PVA No-Tune), demonstrando recuperação superior de características definidoras de identidade.
• Generalização: Modelos treinados em CelebA-HQ-IDI generalizam efetivamente para o conjunto de dados FFHQ não visto sem ajuste fino adicional.

Significado e Alegações

O artigo afirma que o ID-ControlNet representa um avanço significativo no equilíbrio entre realismo visual e fidelidade de identidade no inpainting facial. Ao integrar embeddings de identidade diretamente no processo de difusão por meio de uma arquitetura inspirada no ControlNet, o método supera o desvio para a "face média" dos modelos padrão e as limitações de escalabilidade das abordagens baseadas em ajuste fino.

Os autores enfatizam que sua abordagem fornece uma solução leve e eficiente para geração consistente de identidade, particularmente valiosa para aplicações a jusante como reconhecimento facial, perícia digital e interação humano-computador, onde distorções sutis de identidade podem degradar criticamente o desempenho do sistema ou a confiança. A introdução do conjunto de dados E-Mask é destacada como um passo necessário para avaliação rigorosa, pois isola as regiões faciais mais críticas para reconhecimento de identidade.

Os autores concluem que, embora seus resultados atuais sejam promissores, trabalhos futuros devem focar em atualizar os modelos backbone e conduzir estudos com usuários para validar ainda mais a robustez da qualidade da imagem e da preservação de identidade.