SWST-Net: Semantic-aware Wavelet-drivenStructure and Texture Interaction Network forImage Inpainting

Resumo Técnico: SWST-Net para Inpainting de Imagens

Definição do Problema
O inpainting de imagens visa reconstruir regiões ausentes em uma imagem enquanto preserva a consistência estrutural, textural e semântica com o conteúdo circundante. Embora os métodos tradicionais baseados em exemplares tenham dificuldade com grandes áreas ausentes e fundos complexos devido à falta de compreensão semântica, as abordagens baseadas em aprendizado profundo (por exemplo, GANs) melhoraram o desempenho, mas enfrentam limitações específicas. Convoluções comuns frequentemente resultam em bordas excessivamente suavizadas ou artefatos de textura. Além disso, os métodos existentes que tentam modelar conjuntamente estrutura e textura frequentemente sofrem com representações emaranhadas, onde os dois tipos de informação interferem um no outro. Por outro lado, estratégias de duas etapas que geram primeiro a estrutura e depois a textura frequentemente falham porque prever layouts estruturais precisos a partir de imagens fortemente corrompidas é inerentemente difícil, levando a priors errôneos que degradam a síntese de textura final. O desafio central permanece em desacoplar efetivamente as representações de estrutura e textura, promovendo sua interação sob orientação semântica para alcançar uma reconstrução de alta fidelidade.

Metodologia: SWST-Net
Os autores propõem a Rede de Interação de Estrutura e Textura Orientada por Ondlets com Consciência Semântica (SWST-Net). A arquitetura é projetada para separar explicitamente e, em seguida, reconstruir colaborativamente as informações de estrutura e textura.

1. Decomposição no Domínio da Frequência (DWT):
   A imagem de entrada é decomposta usando a Transformada Discreta de Wavelet (DWT) com wavelets de Haar. Isso separa a imagem em uma sub-banda de baixa frequência (LL), representando a estrutura global, e sub-bandas de alta frequência (LH, HL, HH), representando detalhes de textura finos. Esses componentes são alimentados em codificadores separados.

2. Estrutura de Dual-Encoder e Shared-Decoder:

   • Ramo de Estrutura: Processa a sub-banda de baixa frequência. Utiliza um Bloco Residual de Reforço Multiescala (MSEB) contendo módulos de Reforço de Atenção Multiescala (MSAE) para capturar características estruturais globais.
   • Ramo de Textura: Processa as sub-bandas de alta frequência concatenadas. Emprega Blocos Residuais de Convolução de Fourier Rápida (FFCB) para capturar tanto detalhes locais quanto informações contextuais de longo alcance.
   • Decoder Compartilhado: Reconstrói a imagem final a partir das características fundidas usando uma transformada de wavelet inversa (IDWT) e upsampling.

3. Módulo de Alinhamento Guiado por Semântica (SGAM):
   Para garantir a consistência semântica entre os dois ramos, a rede integra priors semânticos de alto nível extraídos de um Autoencoder Mascarado (MAE) pré-treinado. Através de um mecanismo de atenção cruzada, essas características semânticas são alinhadas com as características de estrutura e textura nos codificadores, guiando o processo de inpainting para manter a coerência semântica.

4. Módulo de Fusão de Características Cross-Domain Bidirecional (BCFFM):
   Localizado no gargalo de ambos os ramos, este módulo facilita a interação entre os fluxos de estrutura e textura. Inspirado na desnormalização espacialmente adaptativa, ele aprende parâmetros afins dinâmicos para modular as camadas de normalização de instância. Isso permite que as características de textura refinem as características de estrutura e vice-versa, permitindo uma integração dinâmica sem perder a informação específica do domínio.

5. Objetivo de Treinamento:
   O modelo é treinado usando uma função de perda multitarefa composta por perda L1 (em regiões não mascaradas), perda adversarial (usando WGAN-GP), perda de correspondência de características e uma perda perceptual de Alto Campo Receptivo (HRF) baseada em um ResNet-50 pré-treinado com convoluções dilatadas.

Principais Contribuições

1. Arquitetura Desacoplada: O artigo introduz uma estrutura de duplo ramo que utiliza transformadas de wavelet para desacoplar explicitamente estrutura e textura, abordando os problemas de interferência encontrados em modelos de gerador compartilhado.
2. Integração Semântica: O SGAM injeta efetivamente priors semânticos de alto nível de um MAE pré-treinado no processo de duplo ramo, garantindo consistência semântica sem depender de previsões estruturais potencialmente errôneas de inputs corrompidos.
3. Interação Cross-Domain: O BCFFM é projetado para permitir a orientação bidirecional eficaz entre os ramos de estrutura e textura, aumentando a otimização colaborativa.
4. Desempenho: O método alcança resultados de estado da arte em benchmarks padrão, equilibrando eficiência computacional com qualidade de reconstrução.

Resultados Experimentais
Os autores avaliaram a SWST-Net em três datasets: Paris StreetView, CelebA-HQ e Places.

• Desempenho Quantitativo: O método supera consistentemente abordagens recentes de estado da arte (incluindo CTSDG, WSA-GAN, W-Net, CoordFill, HINT e SEM-Net) em várias taxas de mascaramento (10%–50%). Ele alcança pontuações superiores em métricas de nível de pixel (PSNR, SSIM) e métricas perceptuais (FID, LPIPS). Notavelmente, no dataset Places, alcançou o menor FID (10.891) e pontuações de qualidade sem referência competitivas (NIQE e BRISQUE).
• Desempenho Qualitativo: Comparações visuais demonstram que a SWST-Net produz linhas estruturais mais nítidas (ex: paredes de tijolos, molduras de janelas) e texturas mais realistas (ex: detalhes faciais, filamentos de plantas) em comparação aos competidores, que frequentemente exibem desfoque, distorção ou transições de cor.
• Estudos de Ablação: Experimentos confirmaram a necessidade de cada componente. Remover a DWT (w/o DWT) ou a orientação MAE (w/o MAE) levou a quedas significativas no desempenho. Da mesma forma, substituir o BCFFM por concatenação simples ou remover o MSEB resultou em degradação da coerência estrutural e fidelidade de textura.
• Eficiência: Com 113 milhões de parâmetros e um tempo de inferência de 70ms por imagem, a SWST-Net oferece um compromisso favorável entre custo computacional e desempenho, sendo significativamente mais rápida que HINT e SEM-Net, enquanto fornece maior qualidade que CTSDG e WSA-GAN.

Significância e Limitações
O artigo afirma que a SWST-Net oferece uma solução promissora para inpainting de imagens de alta qualidade ao abordar com sucesso o dilema "ovo e a galinha" da dependência estrutura-textura através do desacoplamento orientado por wavelet e orientação semântica. O método preserva efetivamente a integridade estrutural e os detalhes de textura simultaneamente.

No entanto, os autores reconhecem modestamente as limitações. O modelo ainda tem dificuldades com regiões ausentes muito grandes, onde a informação contextual é insuficiente para restringir a geração, levando a conteúdos suaves, mas potencialmente imprecisos. Além disso, o modelo falha ao reconstruir elementos semânticos específicos como texto ou logotipos que requerem conhecimento não presente no contexto circundante ou nos priors semânticos pré-treinados. Estas áreas são identificadas como direções para trabalhos futuros.