SuperF: Neural Implicit Fields for Multi-Image Super-Resolution

Resumo Técnico: SuperF: Campos Neurais Implícitos para Super-Resolução Multi-Imagem

1. Formulação do Problema

Imagens de alta resolução são frequentemente limitadas por restrições de sensores, interferências atmosféricas e custos de aquisição, afetando domínios que vão desde sensoriamento remoto via satélite até fotografia em smartphones. Embora métodos de Super-Resolução de Imagem Única (SISR) tentem resolver esse problema inverso utilizando priors fortes aprendidos a partir de conjuntos de dados de alta resolução (HR), eles frequentemente produzem estruturas "alucinadas" que divergem da realidade. Isso é particularmente problemático para aplicações científicas e médicas, onde a fidelidade é crítica.

A Super-Resolução Multi-Imagem (MISR) oferece uma alternativa ao aproveitar múltiplos quadros de baixa resolução (LR) capturados com deslocamentos sub-pixel. Esses deslocamentos introduzem artefatos de aliasing variados que, quando combinados, contêm informações complementares para reconstruir o sinal HR subjacente. No entanto, abordagens MISR existentes frequentemente dependem de aprendizado supervisionado que exige grandes conjuntos de dados pareados LR-HR (que são caros de adquirir) ou métodos de otimização no momento do teste (TTO) que podem ter dificuldades com alinhamento sub-pixel preciso ou exigir etapas complexas de pré-processamento, como registro explícito.

2. Metodologia

Os autores propõem o SuperF, uma abordagem de otimização no momento do teste (TTO) que utiliza Representações Neurais Implícitas (INRs) para resolver o problema MISR sem exigir quaisquer dados de treinamento HR.

Arquitetura Central:

• INR Compartilhado: O método emprega um Perceptron Multicamadas (MLP) baseado em coordenadas que atua como uma função contínua mapeando coordenadas 2D para intensidades RGB. Este MLP é compartilhado entre todos os quadros de entrada LR, representando efetivamente o sinal HR contínuo subjacente.
• Otimização Conjunta: Diferentemente de métodos anteriores que tratam alinhamento e reconstrução separadamente, o SuperF otimiza conjuntamente:
  1. Os parâmetros do MLP compartilhado (o sinal HR).
  2. O alinhamento sub-pixel de cada quadro LR em relação a um quadro base.
• Parametrização de Transformação Afina: Em vez de usar uma rede separada para estimar matrizes de transformação (como feito em trabalhos similares de fusão de rajadas), o SuperF parametriza diretamente a transformação afina para cada quadro usando parâmetros de transição aprendíveis ($\Delta x, \Delta y$) e rotação ($\alpha$). O quadro base é fixado como o sistema de coordenadas de referência ($A^{(1)} = I$).
• Projeção Espectral: Para lidar com variações de brilho e contraste entre quadros, o modelo inclui uma camada de projeção espectral específica do quadro (escala e deslocamento por banda espectral), que é otimizada juntamente com o alinhamento.

Componentes Técnicos Chave:

• Estratégia de Supersampling: Para superar o viés espectral de MLPs baseados em coordenadas (que tendem a aprender baixas frequências primeiro), o modelo é otimizado em uma grade de coordenadas de alta resolução correspondente à resolução de saída alvo. A saída é então reamostrada para baixo (via média/pooling ou filtro boxcar) para corresponder aos quadros de entrada LR para cálculo da perda. Isso força a rede a aprender detalhes de alta frequência necessários para satisfazer as restrições LR.
• Codificação Posicional: As coordenadas de entrada do MLP são transformadas usando recursos de Fourier (funções de base seno/cosseno aleatórias) para permitir que a rede represente sinais de alta frequência de forma eficaz. A escala desses recursos é específica do domínio (por exemplo, $\sigma=10$ para satélite, $\sigma=3$ para nível do solo).
• Estimativa de Incerteza: Para lidar com ruído (por exemplo, nuvens em imagens de satélite ou ruído do sensor), o MLP produz uma estimativa de incerteza por pixel (log-variância) juntamente com os valores RGB. A otimização minimiza a perda de Verossimilhança Negativa Logarítmica Gaussiana (GNLL), permitindo que o modelo aumente as estimativas de variância para pixels ruidosos em vez de forçar uma reconstrução perfeita, melhorando assim a robustez.

3. Contribuições Principais

1. Algoritmo SuperF: Um método TTO inovador para MISR que compartilha uma INR entre múltiplos quadros LR deslocados enquanto otimiza conjuntamente o alinhamento sub-pixel. Os autores demonstram que parametrizar diretamente transformações afins e otimizar em uma grade supersampled é crucial para adaptar INRs ao MISR.
2. Alinhamento e Representação Aprimorados: Ao parametrizar diretamente transformações e usar supersampling, o método alcança alinhamento sub-pixel superior e uma representação mais contínua do sinal HR em comparação com bases de INR existentes.
3. Conjunto de Dados SatSynthBurst: A introdução de um conjunto de dados sintético de rajada de satélite derivado de imagens HR abertas, apresentando deslocamentos sub-pixel controlados e ruído, para facilitar a pesquisa em MISR.
4. Generalização de Domínio: A abordagem é validada tanto em imagens de satélite quanto em rajadas de câmeras portáteis ao nível do solo, demonstrando robustez através de diferentes domínios sem exigir pré-treinamento específico de domínio.

4. Resultados Experimentais

O método foi avaliado nos conjuntos de dados SatSynthBurst (satélite sintético) e SyntheticBurst (portátil ao nível do solo) com fatores de aumento de $\times2$, $\times4$ e $\times8$.

• Desempenho: O SuperF supera as bases de estado da arte TTO, incluindo regressão de kernel direcionável (Lafenetre et al., 2023) e uma abordagem modificada de fusão de rajada INR (NIR, Nam et al., 2022).
  • No SatSynthBurst, o SuperF (perda GNLL) alcançou um PSNR de 37,26 ($\times2$), 34,03 ($\times4$) e 29,28 ($\times8$), superando significativamente a base bilinear e todos os outros métodos.
  • No SyntheticBurst, o SuperF também superou consistentemente as bases, alcançando 29,48 ($\times2$), 27,47 ($\times4$) e 26,58 ($\times8$) de PSNR.
• Estudos de Ablação:
  • A remoção da otimização conjunta de alinhamento resultou em quedas de desempenho comparáveis ou piores que o aumento bilinear, confirmando que o alinhamento sub-pixel é crítico.
  • A parametrização direta de transformações afins provou ser mais eficaz do que usar um MLP separado para estimá-las.
  • A estratégia de supersampling mostrou-se essencial para reduzir o erro de alinhamento e melhorar a qualidade da reconstrução.
• Aplicação no Mundo Real: O método foi aplicado com sucesso a imagens reais de satélite Sentinel-2, lidando com cobertura de nuvens variável e níveis de ruído. A perda GNLL demonstrou robustez específica a pixels nublados, ignorando-os efetivamente durante a otimização.

5. Significado e Alegações

O artigo posiciona o SuperF como um avanço significativo no MISR ao abordar a dependência de grandes conjuntos de dados de treinamento HR e o risco de alucinação inerente aos métodos supervisionados de SISR.

• Sem Treinamento: Como método TTO, o SuperF não requer treinamento offline em dados HR, tornando-o imediatamente aplicável a novos domínios (por exemplo, qualquer local na Terra) e reduzindo o risco de gerar estruturas inexistentes.
• Robustez: A integração da estimativa de incerteza permite que o modelo lide com ruído do mundo real (nuvens, mudanças de iluminação) mais eficazmente do que abordagens baseadas em MSE padrão.
• Limitações: Os autores reconhecem que o processo de otimização iterativa leva vários segundos por imagem, o que pode limitar aplicações móveis em tempo real, mas é aceitável para sensoriamento remoto e análise científica. Eles também observam que o método assume que os quadros observados retratam a mesma cena; mudanças drásticas de cena ou oclusões pesadas permanecem desafiadoras, embora o módulo de incerteza ofereça alguma mitigação.

Em conclusão, o SuperF aproveita a natureza contínua dos campos neurais para unificar o alinhamento de quadros e a reconstrução de super-resolução, oferecendo uma solução robusta e eficiente em dados para aumentar a resolução em cenários de múltiplas imagens.