Visual Context-Aware and Spatial Receptive Field-Based algorithm for mural inpainting

Resumo Técnico: Algoritmo de Inpainting de Murais Baseado em Contexto Visual e Campo Receptivo Espacial (VCSR)

Definição do Problema
A restauração de murais de Dunhuang enfrenta desafios significativos devido aos padrões únicos de degradação destes relíquias culturais, incluindo fissuras, descamação e perda de pigmento. Embora a restauração de imagens digitais ofereça uma alternativa não invasiva à reparação física, os métodos existentes de aprendizagem profunda enfrentam limitações específicas neste domínio. As Redes Adversárias Generativas (GANs) frequentemente falham em reproduzir elementos históricos com precisão e podem introduzir ruído ou distorções estruturais. As Redes Neurais Convolucionais (CNNs) são limitadas pelas restrições do campo receptivo, dificultando a modelagem de dependências de longo alcance necessárias para padrões complexos de murais. Por outro lado, os modelos baseados em Transformers, embora eficazes na correlação global, frequentemente sofrem de "artefatos em blocos" devido à troca insuficiente de informações entre janelas e altos custos computacionais. Além disso, os Modelos de Espaço de Estados (SSMs) como o Mamba, embora eficientes para sequências longas, dependem tipicamente de estratégias de varredura causal que transformam imagens 2D em sequências 1D. Este processo causa o "esquecimento de pixels locais", onde pixels espaciais adjacentes são separados na sequência, levando à perda de informação de vizinhança e percepção espacial insuficiente.

Metodologia
Os autores propõem o algoritmo Visual Context-Aware and Spatial Receptive Field-Based (VCSR), construído sobre uma arquitetura U-Net com estrutura encoder-decoder. O método aborda as limitações supracitadas através de três inovações primárias:

1. Bloco de Espaço de Estado Residual (RSSB):

   • Módulo de Espaço de Estado Atencional (ASSM): Para superar as limitações causais dos SSMs padrão, o ASSM integra Vetores de Prompt nas equações de espaço de estado. Estes vetores atuam como pistas semânticas, permitindo que o modelo realize uma "consulta" a pixels globalmente similares em vez de depender apenas da ordem sequencial da imagem achatada. Isso permite que o modelo se liberte das ordens de varredura tradicionais e alcance consciência global.
   • Compensação Local: Reconhecendo que o achatamento de características 2D em sequências 1D interrompe as relações espaciais locais, o RSSB incorpora convoluções locais após o ASSM para restaurar a similaridade de vizinhança e refinar detalhes locais.
   • Atenção de Canal: Um mecanismo de atenção de canal é incorporado para identificar e realçar representações de canais chave, mitigando a redundância de canais frequentemente encontrada em SSMs.

2. Atenção de Janela Deslizante Deformável Multiescala (MSDA):

   • Localizado no decoder, este módulo estende a atenção de janela deslizante tradicional introduzindo offsets deformáveis. Estes offsets ajustam dinamicamente a posição e a forma da janela de atenção, permitindo que o modelo foque em regiões chave além de janelas locais fixas.
   • O módulo opera em múltiplas escalas com diferentes tamanhos de kernel para diferentes cabeças de atenção, facilitando a captura de características hierárquicas do macro ao micro. Isso melhora a representação de padrões espaciais irregulares comuns em murais.

3. Rede de Alimentação de Percepção Espacial (SPFN):

   • Para fortalecer ainda mais a consciência espacial, a SPFN extrai informações espaciais tanto da entrada quanto da saída do módulo MSDA.
   • Utiliza um mecanismo de portão (gating mechanism) para integrar esta informação espacial no fluxo principal de características. Ao gerar um indicador de percepção espacial, a SPFN guia a rede para preservar melhor a informação posicional e as dependências de longo alcance, garantindo que a reconstrução de detalhes locais esteja alinhada com a consistência estrutural global.

Principais Contribuições
O artigo delineia três contribuições principais:

1. O design do RSSB, que combina um Módulo de Espaço de Estado Atencional com vetores de prompt para alcançar consciência semântica global e convoluções locais para compensar a perda de informação espacial, abordando efetivamente o esquecimento de pixels locais.
2. A proposta do módulo MSDA, que utiliza offsets deformáveis e processamento multiescala para expandir o campo receptivo de forma adaptativa, melhorando a extração de características em diferentes intervalos espaciais e reduzindo artefatos em blocos.
3. A introdução da SPFN, que aumenta as dependências espaciais e a consciência posicional através de um mecanismo de portão, melhorando a qualidade de reconstrução dos detalhes locais.

Resultados Experimentais
O algoritmo VCSR foi avaliado no conjunto de dados do Desafio de Murais de Dunhuang (2.850 imagens), cobrindo várias severidades de danos (1% a 40% de máscara) e máscaras de pó aleatórias. O método foi comparado com modelos de última geração, incluindo MISF, PUT, HINT, ECDB, SEM e MXT.

• Desempenho Quantitativo: O VCSR alcançou resultados superiores em todas as proporções de máscara. As melhorias incluíram:
  • PSNR: Aumento de 0,18% a 0,94% em relação ao melhor baseline.
  • SSIM: Aumento de 1,17% a 2,98%.
  • Erro L1: Redução de 16,5% a 35,92%.
  • LPIPS: Diminuição de 6,53% a 14,31%, indicando ganhos significativos na qualidade perceptual.
• Análise Qualitativa: Comparações visuais demonstraram que o VCSR produz transições mais suaves, preserva melhor os detalhes de borda (ex: traços faciais, joias e texturas de chamas) e evita os desalinhamentos estruturais e o desfoque observados nos métodos concorrentes.
• Estudos de Ablação: Experimentos confirmaram que cada módulo (RSSB, MSDA, SPFN) contribui positivamente para o desempenho, com a integração total produzindo os melhores resultados tanto em métricas quanto em fidelidade visual.

Significância e Alegações
O artigo afirma que o algoritmo VCSR fornece uma solução robusta para a restauração digital do patrimônio cultural, abordando especificamente os desafios duplos do esquecimento de pixels locais e da percepção espacial insuficiente. Ao modelar efetivamente as dependências globais enquanto preserva a coerência espacial local, o método oferece uma melhoria significativa no realismo e na integridade estrutural dos murais restaurados. Os autores observam que, embora o algoritmo se destaque em métricas de restauração técnica, trabalhos futuros devem focar na integração de estilos artísticos específicos e contextos histórico-culturais para aumentar ainda mais a fidelidade cultural e a autenticidade artística do processo de restauração. O trabalho visa apoiar a preservação não contatante, repetível e de baixo custo dos inestimáveis registros históricos das Grutas de Mogao.