Resumo Técnico: CASPA para Super-Resolução de Imagens de Thangka

Declaração do Problema

A preservação digital de Thangka, uma forma de pintura budista tibetana, enfrenta desafios críticos devido à degradação irreversível de artefatos físicos e à baixa resolução dos arquivos digitais existentes. Embora a Super-Resolução de Imagem (ISR) ofereça uma solução, os modelos atuais de Vision Transformer (ViT) de última geração (state-of-the-art) lutam para reconstruir imagens de Thangka com alta fidelidade. O artigo identifica duas limitações mecânicas específicas nas abordagens baseadas em Transformer aplicadas ao Thangka:

1. Fragmentação do Contexto Espacial: As imagens de Thangka apresentam estruturas simétricas complexas e pigmentos minerais que exibem uma forte autossimilaridade não local (ex: padrões repetitivos como pétalas de lótus que abrangem grandes distâncias). Os modelos ViT tradicionais, como o SwinIR, dependem de mecanismos de janela local. Essas grades físicas rígidas restringem as interações de características, impedindo que o modelo aproveite similaridades de longo alcance para reconstruir texturas densas e repetitivas, levando a detalhes borrados e deslocamentos estruturais.
2. Perda de Priores Geométricos Espaciais: A arte Thangka é caracterizada por abundantes linhas geométricas de alta frequência, esbeltas e coerentes (ex: traços semelhantes a fios e drapeados intrincados). Os mecanismos de atenção de canal existentes (ex: no DAT) frequentemente dependem de operações de pooling global para estabelecer dependências de canal. Esse processo descarta informações topológicas espaciais cruciais, fazendo com que o modelo foque apenas em estatísticas globais de cores enquanto falha em manter a coerência estrutural de linhas direcionais, resultando em desfoque de bordas e desconexão de trajetórias.

Metodologia: Arquitetura CASPA

Para enfrentar esses desafios, os autores propõem o CASPA (Content-Aware Global Aggregation and Spatial prior Channel Attention), uma nova rede de super-resolução construída sobre a arquitetura Dual Aggregation Transformer (DAT). A rede consiste em três estágios: extração de características rasas (shallow), extração de características profundas (composta por 12 grupos residuais em cascata) e reconstrução de alta resolução. A inovação central reside em dois módulos especializados que alternam dentro dos grupos residuais:

1. Módulo de Agregação Global Consciente de Conteúdo (CGA)

O módulo CGA substitui a tradicional autoatenção de janela espacial para quebrar as restrições de distância física.

• Mecanismo: Em vez de particionar a imagem em grades fixas, o CGA realiza o agrupamento global de tokens (global token clustering) baseado na similaridade de características em toda a imagem.
• Processo: Utiliza um conjunto de centros de agrupamento globais aprendíveis para calcular a similaridade de cosseno entre os tokens de entrada e esses centros. Os tokens são atribuídos adaptativamente a grupos semânticos, independentemente de sua localização espacial.
• Interação: A autoatenção é executada dentro desses grupos semânticos. Isso permite que o modelo conecte distâncias físicas, agregando pixels semanticamente similares, mas dispersos (ex: pigmentos idênticos) para restaurar padrões repetitivos de longo alcance com complexidade linear $O(N)$.
• Eficiência: Para garantir a eficiência paralela, grandes grupos são particionados em subgrupos, e interações sobrepostas são permitidas nas fronteiras semânticas.

2. Módulo de Atenção de Canal com Prior Espacial (SCA)

O módulo SCA é projetado para injetar priores direcionais e espaciais no ramo de canal, abordando a perda de informação topológica.

• Mecanismo: Emprega convoluções de tiras transversais decompostas (ex: núcleos cascateados de $1 \times 21$ e $21 \times 1$) para criar um campo receptivo equivalente grande (ex: $21 \times 21$).
• Processo:
  1. Atenção de Canal: Gera um vetor de atenção de canal usando pooling médio e máximo global paralelo seguido de um MLP, atuando como um classificador de "portão suave" (soft-gating) para destacar canais com estruturas geométricas críticas.
  2. Priores Espaciais: As características refinadas pelo canal são processadas por ramos de convolução depth-wise paralelos com diferentes tamanhos de núcleo para capturar priores geométricos espaciais anisotrópicos.
  3. Fusão: Essas características espaciais são somadas e misturadas via uma convolução $1 \times 1$ para gerar um mapa de atenção espacial dinâmico, que é então multiplicado pelas características refinadas pelo canal.
• Resultado: Este design preserva a integridade estrutural de linhas contínuas de alta frequência sem introduzir excessivo custo computacional.

Componentes Auxiliares

• Cross-Gating Adaptativo (ACG): Um mecanismo usando convoluções depth-wise paralelas para alcançar uma recalibração de máscara bidirecional suave, garantindo a fusão perfeita de semânticas macroscópicas de longo alcance e texturas locais microscópicas.
• Rede Feed-Forward Dinâmica (DFFN): Substitui funções de ativação padrão por uma Tangente Hiperbólica Dinâmica parametrizada (DynamicTanh) para aumentar as capacidades de ajuste não linear para detalhes complexos, mitigando a saturação do gradiente.

Principais Contribuições

O artigo delineia três contribuições primárias:

1. Módulo CGA: Um mecanismo de interação global que abandona o particionamento de grade física em favor do agrupamento de tokens globais impulsionado pela similaridade de características. Isso ativa com sucesso os priores de autossimilaridade não local, permitindo a reconstrução colaborativa eficiente de padrões repetitivos de longo alcance e pigmentos dispersos.
2. Módulo SCA: Um mecanismo de atenção de canal que utiliza convoluções de tiras transversais decompostas para injetar robustos priores espaciais e direcionais multiescala. Isso supera a perda de informação topológica causada pelo pooling global tradicional, garantindo a reconstrução de alta fidelidade de linhas contínuas complexas.
3. Validação Abrangente: A proposta de um conjunto de dados customizado de Thangka e a demonstração da eficácia do modelo na restauração tanto de semânticas de longo alcance quanto de detalhes estruturais finos, superando os modelos SOTA existentes em benchmarks específicos do domínio e gerais.

Resultados Experimentais

Conjunto de Dados e Configuração

• Conjunto de Dados Customizado: 5.000 imagens de Thangka em HR (512$\times$512) para treinamento, 680 para validação e 1.000 para teste.
• Benchmarks: Urban100 e Manga109 para generalização cross-domain.
• Baselines: EDSR, SwinIR, HAT, SRFormer e DAT.
• Métricas: PSNR, SSIM, LPIPS e FID.

Desempenho Quantitativo

• Dataset Thangka ($\times$4 Escala): O CASPA alcançou um PSNR de 32.9045 dB e SSIM de 0.8817, superando o baseline DAT (32.7774 dB) em 0.1271 dB. Também obteve as melhores pontuações em LPIPS e FID, indicando qualidade perceptual e realismo superiores.
• Benchmarks Gerais: No Urban100 e Manga109 ($\times$4), o CASPA estabeleceu um novo estado da arte (SOTA), demonstrando fortes capacidades de generalização cross-domain.
• Eficiência: Apesar do alto desempenho, o CASPA é altamente leve, com apenas 5.02 M de parâmetros e 21.97 G FLOPs (em entrada de 64$\times$64), significativamente menor que competidores como HAT (20.77 M parâmetros) e EDSR (43.09 M parâmetros). Também demonstrou tempos de inferência mais rápidos (19.38 ms) em comparação com a maioria dos baselines.

Análise Qualitativa

Comparações visuais revelaram que métodos tradicionais baseados em janelas frequentemente produziam artefatos de grade e deslocamentos estruturais em linhas paralelas densas. Em contraste, o CASPA reconstruiu com sucesso linhas geométricas claras e coerentes e texturas de alta frequência, aproximando-se estritamente do ground truth.

Estudo de Ablação

A remoção de qualquer módulo resultou em degradação do desempenho:

• Sem SCA: A perda de priores espaciais levou a trajetórias distorcidas e bordas borradas em linhas finas.
• Sem CGA: A fragmentação do contexto espacial causou fusão incorreta de detalhes e desfoque em padrões repetitivos.
• Modelo Completo: A combinação de ambos os módulos produziu o maior PSNR, confirmando seus papéis complementares.

Significância e Limitações

O artigo afirma que o CASPA representa um avanço significativo na preservação digital do patrimônio cultural, especificamente para a arte Thangka. Ao resolver o equilíbrio entre consciência de contexto global e fidelidade geométrica local, o modelo oferece uma solução robusta para a restauração de estruturas complexas não locais e linhas direcionais que historicamente foram difíceis de lidar para modelos baseados em Transformer.

Os autores também observam o potencial de generalização do modelo, aplicando-o com sucesso a afrescos de Dunhuang e afrescos de igrejas medievais europeias com bons resultados, sugerindo ampla aplicabilidade na restauração de murais antigos.

No entanto, o artigo admite modestamente as limitações:

• Microestruturas Únicas: O modelo exibe excesso de suavização (over-smoothing) em detalhes isolados únicos (ex: características oculares específicas) que carecem de referências globais para o módulo CGA aproveitar.
• Interseções Complexas: Linhas densas e não ortogonalmente entrelaçadas (ex: sobrancelhas) podem sofrer com desfoque devido às direções de amostragem fixas horizontal e vertical do módulo SCA.

O trabalho futuro proposto visa explorar métodos de amostragem mais flexíveis e priores generativos externos para abordar esses casos específicos.