Resumo Técnico: SRGAN-CKAN

Declaração do Problema

A Super-Resolução de Imagem Única (SISR) é um problema inverso mal-posto que visa reconstruir uma imagem de Alta Resolução (HR) a partir de uma única observação de Baixa Resolução (LR). O desafio reside na recuperação de detalhes de alta frequência que são severamente degradados durante a aquisição ou transmissão. Embora avanços recentes utilizando arquiteturas baseadas em transformadores e modelos de difusão tenham melhorado a modelagem de contexto global e a qualidade perceptiva, eles frequentemente incorrem em complexidade computacional significativa. Por outro lado, as Redes Neurais Convolucionais (CNNs) tradicionais dependem de mapeamentos locais lineares seguidos por não-linearidades pontuais, o que limita sua capacidade expressiva para modelar estruturas locais complexas e texturas de alta frequência sem aumentar a profundidade ou a largura do modelo.

Metodologia

O artigo propõe o SRGAN-CKAN, um framework híbrido de super-resolução que integra Redes de Kolmogorov–Arnold Convolucionais (CKAN) ao cenário de aprendizado adversarial do SRGAN. A inovação central é a reformulação do operador convolucional padrão como uma transformação não linear baseada em patches.

O Operador CKAN

Em vez de tratar a convolução como uma projeção linear de patches locais ($y_{i,j} = w^\top p_\ell$), o operador CKAN processa cada vetor de patch local $p_\ell$ através de um mapeamento não linear aprendível $g(\cdot)$ implementado via uma Rede de Kolmogorov–Arnold (KAN).

• Mecanismo: O mapa de características de entrada é desdobrado em patches locais sobrepostos. Cada vetor de patch é processado por uma camada KAN consistindo em dois componentes:
  1. Uma transformação linear fatorada usando coeficientes aprendíveis e matrizes de base fixas.
  2. Uma transformação não linear baseada em splines, onde cada dimensão de entrada é aproximada usando funções de base de spline aprendíveis ($\phi(x) = \sum \alpha_m B_m(x)$).
• Integração: Esses componentes são agregados, normalizados e remodelados de volta no mapa de características espacial. Isso permite que o modelo capture dependências locais mais ricas e relações complexas dependentes de contexto entre pixels vizinhos sem aumentar significativamente a complexidade arquitetural.

Arquitetura e Treinamento

A arquitetura SRGAN-CKAN mantém a estrutura padrão do SRGAN:

• Gerador: Transforma entradas LR em estimativas HR usando blocos residuais onde convoluções padrão são substituídas por operadores CKAN. Inclui extração inicial de características, um tronco residual e estágios de super-resolução.
• Discriminador: Avalia o realismo perceptivo das imagens geradas em relação a alvos HR reais usando análise hierárquica de textura.
• Protocolo de Treinamento: O modelo segue um processo de treinamento em duas etapas sob recursos restritos (NVIDIA RTX 4060, 8GB VRAM, tamanho de lote 1):
  1. Pré-treinamento Supervisionado (fase SRResNet): Otimizado usando perda de conteúdo para garantir consistência estrutural.
  2. Ajuste Fino Adversarial (fase SRGAN): Otimiza conjuntamente o gerador e o discriminador usando uma combinação de perdas de conteúdo, pixel e adversarial para aprimorar a qualidade perceptiva.

Principais Contribuições

1. Reformulação da Convolução: Os autores introduzem uma representação funcional patch-a-patch de transformações locais de imagem dentro do framework SRGAN usando um mecanismo de projeção inspirado em Kolmogorov–Arnold (CKAN).
2. Implementação de um Pipeline Completo: O trabalho projeta e implementa um pipeline de treinamento completo, incluindo pré-treinamento supervisionado e ajuste fino adversarial, especificamente otimizado para recursos de hardware mínimos.
3. Análise Experimental Controlada: O estudo fornece uma comparação controlada demonstrando que o modelo proposto melhora a qualidade perceptiva enquanto preserva a fidelidade de reconstrução, alcançando um compromisso favorável entre métricas baseadas em distorção (PSNR, MS-SSIM) e perceptivas (LPIPS).

Resultados Experimentais

O modelo foi avaliado no conjunto de dados DIV2K (subconjunto de 1600 imagens) com um fator de upscaling de $\times4$.

• Fidelidade vs. Percepção: A transição da fase de pré-treinamento (SRResNet-CKAN) para a fase adversarial (SRGAN-CKAN) resultou em uma degradação mínima no PSNR (redução de 0,055 dB) e MS-SSIM (redução de 0,0022), enquanto melhorou significativamente o LPIPS (de 0,2124 para 0,1947).
• Comparação com Baselines: Comparado a uma baseline convencional de SRGAN convolucional, o SRGAN-CKAN alcançou PSNR (24,90 dB vs. 20,07 dB) e MS-SSIM mais altos, juntamente com uma redução substancial no LPIPS (0,1947 vs. 0,3226).
• Eficiência de Recursos: Esses resultados foram alcançados sob configurações computacionais restritas (GPU única, tamanho de lote limitado), contrastando com métodos state-of-the-art que frequentemente exigem hardware de ponta e iterações extensas de treinamento.

Significado e Afirmações

O artigo afirma que o SRGAN-CKAN introduz uma direção complementar às abordagens existentes ao aprimorar o poder representacional das transformações locais em vez de depender de arquiteturas globalmente intensivas. Ao substituir mapeamentos locais lineares por representações funcionais baseadas em splines, o método permite a modelagem expressiva de estruturas locais complexas e texturas de alta frequência usando recursos de hardware mínimos.

Os autores enfatizam que essa abordagem fornece uma alternativa eficiente e escalável aos modelos baseados em transformadores ou de difusão, equilibrando com sucesso o compromisso inerente entre fidelidade de reconstrução e realismo perceptivo na super-resolução adversarial. O trabalho destaca o potencial de integrar representações funcionais (especificamente KANs) em arquiteturas de aprendizado profundo para tarefas de restauração de imagem.