Semantic-Guided Two-Stage GAN for Face Inpainting with Hybrid Perceptual Encoding

Este artigo propõe uma nova arquitetura de GAN de duas etapas guiada semanticamente, que combina CNNs e Vision Transformers para gerar layouts semânticos hierárquicos e um gerador de textura multimodal para refinar detalhes, superando os desafios de inpainting facial em grandes áreas irregulares com resultados mais nítidos e estruturalmente consistentes do que os métodos atuais.

O essencial

Imagine que você tem um álbum de fotos antigo e, infelizmente, algumas páginas foram rasgadas ou manchadas, deixando buracos onde os rostos das pessoas deveriam estar. O seu objetivo é preencher esses buracos de forma que ninguém perceba que a foto foi consertada. É exatamente isso que a Inpainting Facial (ou "reparação facial") tenta fazer.

O artigo que você enviou apresenta uma nova e inteligente maneira de fazer esse conserto, chamada de "GAN de Duas Etapas Guiada por Semântica". Para entender como funciona, vamos usar uma analogia simples: construir uma casa.

O Problema: Por que os métodos antigos falham?

Antes, os computadores tentavam preencher os buracos na foto apenas "adivinhando" as cores dos pixels vizinhos, como se alguém estivesse tentando pintar um muro cego, apenas olhando para a tinta ao redor.

• O resultado: As fotos ficavam borradas (como se estivessem embaçadas), os olhos ficavam tortos ou a boca não combinava com o resto do rosto. Era como tentar montar um quebra-cabeça sem olhar para a imagem da caixa.

A Solução: A Abordagem de Duas Etapas

Os autores propõem um método mais inteligente, dividido em duas etapas, como se fosse uma equipe de construção com um Arquiteto e um Pintor.

Etapa 1: O Arquiteto (O Esboço Semântico)

Antes de pintar qualquer detalhe, o computador precisa saber o que deve estar ali.

• Como funciona: O modelo usa uma "moldura híbrida" que combina duas tecnologias poderosas:
  1. CNN (Redes Neurais Convolucionais): São como olhos que olham para os detalhes próximos (a textura da pele, a sombra de um nariz).
  2. Transformers (Vision Transformers): São como uma mente que entende o contexto global (a posição dos olhos em relação à boca, a simetria do rosto).
• A Mágica: Em vez de tentar desenhar a foto final de cara, o computador primeiro cria um mapa mental (um esboço) do rosto. Ele decide: "Aqui vai um olho, ali vai uma boca, e aqui vai o cabelo". Ele entende a estrutura e o significado do rosto antes de se preocupar com a cor.

Etapa 2: O Pintor (Geração de Textura)

Agora que temos o mapa do arquiteto, o "pintor" entra em ação.

• Como funciona: Este é um gerador de texturas que olha para o esboço e começa a preencher os detalhes. Ele usa uma técnica chamada "Atenção Contextual Multi-Escala".
• A Analogia: Imagine que o pintor tem uma lupa e também um telescópio. Ele olha para os pixels vizinhos (lupa) para pegar a cor da pele, mas também olha para o resto da foto (telescópio) para garantir que o estilo do cabelo combine com o resto da imagem.
• Diversidade: O modelo é inteligente o suficiente para criar várias versões possíveis. Se o buraco cobre a boca, ele pode inventar um sorriso, uma boca fechada ou uma careta, todas realistas, dependendo do resto do rosto.

Por que isso é tão bom?

O artigo destaca três grandes vantagens dessa abordagem:

1. Sem "Estranheza" (Consistência Semântica): Como o "Arquiteto" definiu a estrutura primeiro, os olhos nunca ficam tortos e o nariz não aparece no lugar da orelha. Tudo faz sentido anatômico.
2. Sem Borrões (Qualidade de Textura): Como o "Pintor" trabalha com atenção em múltiplas escalas, os detalhes (como poros da pele ou fios de cabelo) ficam nítidos, não borrados.
3. Ajuste Perfeito nas Bordas: O modelo sabe exatamente onde o buraco termina e a foto original começa, criando uma transição suave, como se a foto nunca tivesse sido rasgada.

Os Resultados

Os autores testaram essa ideia em bancos de dados famosos de rostos (CelebA-HQ e FFHQ).

• O Veredito: O modelo deles superou os métodos atuais (os "campeões" anteriores). As fotos geradas tinham menos erros, eram mais nítidas e pareciam mais reais.
• Velocidade: Eles conseguiram fazer isso de forma rápida, processando imagens em tempo quase real.

Em Resumo

Pense nesse novo método como a diferença entre tentar consertar uma foto rasgada apenas com fita adesiva (métodos antigos) versus chamar um restaurador de arte profissional que primeiro estuda a pintura original, desenha um plano de reconstrução e só então aplica a tinta com precisão cirúrgica.

O segredo não foi apenas "pintar mais forte", foi entender primeiro o que é um rosto e depois preencher os buracos com base nesse entendimento profundo.

Resumo técnico

1. Problema Abordado

O preenchimento de imagens faciais (face inpainting) visa restaurar regiões ausentes ou corrompidas em fotos de rostos, preservando a identidade, a consistência estrutural e a qualidade fotorealista. Apesar dos avanços recentes em modelos generativos, os métodos existentes enfrentam desafios significativos, especialmente com máscaras grandes e irregulares:

• Inconsistência Semântica: Métodos que preveem pixels RGB diretamente frequentemente violam a estrutura facial, resultando em olhos desalinhados ou limites distorcidos.
• Texturas Borradas: Abordagens baseadas apenas em perda de reconstrução ($\ell_1$ ou $\ell_2$) tendem a produzir resultados excessivamente suavizados, sem detalhes de alta frequência.
• Artefatos de Fronteira: Falta de atenção nas bordas da máscara causa linhas visíveis ou incompatibilidade de cores entre a região preenchida e a conhecida.
• Baixa Diversidade: Modelos que produzem sempre o mesmo resultado falham em capturar a variabilidade natural de como uma imagem pode ser completada.

2. Metodologia Proposta

Os autores propõem uma arquitetura inovadora de duas etapas que separa a geração do layout semântico da síntese de textura, utilizando uma Codificação Perceptual Híbrida.

Arquitetura Geral

O modelo é um GAN (Rede Adversarial Generativa) guiado semanticamente, composto por:

Etapa 1: Geração de Layout Semântico Consciente de Percepção

• Codificador Híbrido CNN-Transformer: Para lidar com entradas parcialmente mascaradas, o modelo utiliza duas ramificações:
  • Ramo CNN: Extrai priores de textura local através de blocos residuais e convoluções com stride-2.
  • Ramo Transformer (ViT): Modela dependências de longo alcance tratando a imagem como uma sequência de patches.
  • Fusão: As características de ambas as ramificações são fundidas via convolução $1\times1$.
• Gerador de Layout Semântico: A partir das características codificadas, o modelo prediz um mapa semântico probabilístico ($S$) que define a estrutura facial (olhos, nariz, boca, etc.) antes da geração de textura.

Etapa 2: Geração de Textura Multi-Modal

• Atenção Contextual Multi-Resolução: Um módulo de atenção agrega informações de diferentes escalas (receptivos campos variados) para garantir que as texturas geradas sejam coerentes com as regiões conhecidas da imagem.
• Síntese Estocástica de Textura: Injeção de ruído gaussiano em múltiplas camadas do decodificador para permitir saídas multi-modais (diferentes resultados realistas para a mesma entrada).
• Refinamento: A textura final é sintetizada guiada pelo layout semântico da Etapa 1, garantindo consistência estrutural.

Discriminadores

O sistema utiliza três discriminadores para garantir qualidade:

1. Global ($D_g$): Avalia o realismo geral da imagem.
2. Local (PatchGAN, $D_l$): Avalia o realismo de texturas locais e detalhes de alta frequência.
3. Consciente de Semântica ($D_s$): Condicionado ao layout semântico para garantir consistência estrutural.

Funções de Perda e Treinamento

O treinamento utiliza uma estratégia progressiva em três fases para estabilidade:

• Perdas Utilizadas: Perda de Reconstrução ($\ell_1$), Perda de Consistência Semântica, Perda Perceptual Multi-Escala (baseada em VGG-19), Perda de Contexto de Fronteira e Perda Adversarial WGAN-GP.
• Estratégia: O treinamento começa focado na reconstrução básica e gradualmente introduz as perdas adversariais e perceptuais para estabilizar a convergência e evitar o colapso de modos.

3. Principais Contribuições

1. Codificador Híbrido CNN-Transformer: Combina a capacidade de capturar detalhes locais das CNNs com o raciocínio global dos Transformers, extraindo características robustas mesmo com partes da imagem faltando.
2. Geração Guiada por Semântica: Produz mapas semânticos probabilísticos que orientam a geração de textura, resolvendo o problema de inconsistência estrutural comum em métodos diretos.
3. Módulo de Atenção Contextual Multi-Escala: Garante a coesão entre detalhes finos e a estrutura global, preenchendo lacunas de forma coerente.
4. Treinamento Estável: O uso de WGAN-GP com agendamento progressivo de perdas permite convergência estável e resultados de alta qualidade.

4. Resultados Experimentais

O modelo foi avaliado nos conjuntos de dados CelebA-HQ e FFHQ (resolução 128x128).

• Métricas Quantitativas: O modelo alcançou desempenho superior em comparação com métodos state-of-the-art (SOTA) em métricas-chave:
  • PSNR: 24.8 dB
  • SSIM: 0.912
  • FID: 15.3 (menor é melhor)
  • LPIPS: 0.08 (menor é melhor, indicando maior similaridade perceptual).
• Estudos de Ablação:
  • A combinação Híbrida + Atenção superou consistentemente as variantes apenas CNN, apenas ViT ou apenas Híbrida (sem atenção).
  • O modelo híbrido demonstrou o melhor equilíbrio entre reconstrução local nítida e estrutura global coerente.
• Qualidade Visual: Os resultados qualitativos mostram recuperação estrutural superior, texturas mais nítidas e ausência de artefatos de borda, especialmente em áreas de preenchimento grandes.
• Eficiência: O modelo possui ~51.6M parâmetros e opera a 88.53 FPS em uma GPU RTX 3060, com tempo de inferência médio de 11.3 ms.

5. Significado e Conclusão

Este trabalho representa um avanço significativo no preenchimento facial ao abordar a raiz do problema: a falta de compreensão estrutural e semântica durante a síntese de pixels. Ao separar a geração de estrutura (layout) da geração de textura e utilizar uma arquitetura híbrida que aproveita o melhor de CNNs e Transformers, o método supera as limitações de borrão e inconsistência dos métodos anteriores.

Limitações e Futuro:
O modelo ainda enfrenta desafios com máscaras extremamente grandes em rostos complexos e detalhes finos (como fios de cabelo individuais). Os autores planejam estender o método para resoluções mais altas (512x512) para permitir comparações diretas com outros métodos SOTA que operam em resoluções maiores.

Em suma, a proposta oferece uma solução robusta, semanticamente coerente e visualmente impressionante para a restauração de imagens faciais, estabelecendo um novo padrão para tarefas de inpainting guiado por semântica.