Beyond Visual Fidelity: Benchmarking Super-Resolution Models for Large-Scale Remote Sensing Imagery via Downstream Task Integration

1. Declaração do Problema

As técnicas de super-resolução (SR) para sensoriamento remoto têm sido tradicionalmente avaliadas usando métricas de fidelidade visual, como a Razão Sinal-Ruído de Pico (PSNR) e o Índice de Similaridade Estrutural (SSIM). Essas métricas medem a precisão ao nível de pixel ou a similaridade perceptual em relação a uma imagem de alta resolução de referência (ground-truth).

No entanto, o artigo argumenta que essas métricas são insuficientes para aplicações de sensoriamento remoto porque:

• Desalinhamento com Utilidade: Alta fidelidade visual não se traduz necessariamente em desempenho aprimorado em tarefas descendentes do mundo real (por exemplo, classificação de cobertura do solo, mapeamento de infraestrutura, estimativa de biomassa).
• Detalhes Espúrios: Modelos generativos (como GANs) podem produzir detalhes visualmente nítidos, mas espectralmente incorretos ("alucinações") que degradam o desempenho de modelos analíticos descendentes.
• Falta de Benchmarks: Os benchmarks existentes de SR (por exemplo, DIV2K, SEN2VENµS) focam em imagens naturais ou redução de escala sintética e carecem de integração com tarefas específicas de observação da Terra.

2. Metodologia: GeoSR-Bench

Os autores introduzem o GeoSR-Bench, o primeiro conjunto de dados de benchmark projetado para avaliar modelos de SR com base em sua utilidade em tarefas descendentes.

A. Construção do Conjunto de Dados

O conjunto de dados compreende ~36.000 localizações globalmente, apresentando pares de imagens espacialmente co-localizados e temporalmente alinhados em duas tarefas de SR entre plataformas:

1. Grosso para Médio: MODIS (500m) $\rightarrow$ Landsat-8 (30m).
2. Médio para Alto: Sentinel-2 (10m) $\rightarrow$ NAIP (0,6m).

Processamento de Dados e Controle de Qualidade:

• Emparelhamento Coincidente: Utilizou-se o Apache Sedona para realizar joins espaço-temporais em milhões de imagens, garantindo que os pares fossem adquiridos dentro de uma janela de 1 dia.
• Amostragem Estratificada: Para evitar viés em direção a paisagens homogêneas (por exemplo, florestas), o conjunto de dados utiliza amostragem estratificada para garantir uma proporção igual de manchas urbanas e não urbanas.
• Filtragem: Mascaramento rigoroso de nuvens/neve (usando bandas QA) e inspeção visual manual para remover inconsistências temporais (por exemplo, construção, inundações) e desalinhamentos espectrais.
• Alinhamento Espectral: Utilizaram-se produtos de reflectância de superfície e bandas amostradas para cima (upsampled) para corresponder às resoluções (por exemplo, bandas de 20m/60m do Sentinel-2 amostradas para cima para 10m).

B. Integração de Tarefas Descendentes

Para cada uma das duas tarefas de SR, o benchmark inclui 5 conjuntos de dados descendentes (10 no total), cobrindo classificação e regressão ao nível de pixel:

• Classificação: Segmentação de rios, cobertura do solo urbana, Camadas de Dados de Terras Agrícolas (CDL), pegadas de edifícios, detecção de estradas, cobertura vegetal.
• Regressão: Estimativa de Produção Primária Bruta (GPP), Estimativa de Modelo de Altura do Dossel (CHM).
• Rótulos: Derivados de fontes de alta qualidade (por exemplo, Microsoft Building Footprints, ESA WorldCover, USDA NAIP) e alinhados com os pares de imagens coincidentes.

C. Protocolo de Avaliação

A avaliação segue um processo de duas etapas:

1. Treinamento de SR: 9 modelos representativos de SR (abrangendo Transformers, Operadores Neurais, GANs e Difusão) são pré-treinados nos conjuntos de dados de SR.
2. Avaliação Descendente:
   • Modelos de SR são ajustados finamente (fine-tuned) para tarefas descendentes específicas.
   • Modelos de tarefa descendente (U-Net, SegFormer, Mask2Former) são treinados nas imagens de SR geradas.
   • O desempenho é comparado contra: (a) Entradas Originais de Baixa Resolução (LR), (b) Verdade Terrena Original de Alta Resolução (HR) e (c) Saídas de SR Geradas.

3. Contribuições Principais

1. Conjunto de Dados GeoSR-Bench: Um conjunto de dados em grande escala e com controle de qualidade que integra tarefas de SR com 10 aplicações descendentes diversas em regiões globais e específicas dos EUA.
2. Framework de Avaliação Integrado a Tarefas: Um protocolo que vai além do PSNR/SSIM para medir a "utilidade real" da SR, quantificando melhorias na segmentação de cobertura do solo, mapeamento de infraestrutura e estimativa de variáveis biofísicas.
3. Avaliação Abrangente: Avaliação de 9 modelos de SR state-of-the-art em 270 configurações experimentais (2 tarefas de SR $\times$ 9 modelos $\times$ 3 modelos descendentes $\times$ 5 tarefas).
4. Código Aberto: Liberação completa do conjunto de dados, modelos treinados e código de avaliação para facilitar pesquisas futuras.

4. Resultados Principais

Os experimentos produziram várias descobertas críticas:

• Correlação Fraca entre Fidelidade e Utilidade:

  • Métricas tradicionais (PSNR/SSIM) frequentemente não correlacionam com o desempenho em tarefas descendentes. Em muitos cenários competitivos (top-k modelos), a correlação é fraca ou até mesmo negativa.
  • Modelos com o maior PSNR (frequentemente baseados em Transformers ou Operadores Neurais usando perda L1) nem sempre produzem os melhores resultados descendentes.
  • Por outro lado, modelos com PSNR mais baixo (por exemplo, SeD baseado em GANs) às vezes superam outros em tarefas descendentes porque recuperam texturas espaciais finas críticas para limites de objetos (por exemplo, estradas, edifícios), apesar de imprecisões espectrais.

• Lacunas de Desempenho:

  • Embora os modelos de SR geralmente melhorem em relação às entradas originais de Baixa Resolução, uma lacuna significativa de desempenho permanece entre as saídas de SR e a verdade terrena original de Alta Resolução.
  • Para a tarefa MODIS para Landsat-8, modelos Transformer e Operadores Neurais lideraram no desempenho descendente.
  • Para a tarefa Sentinel-2 para NAIP, o modelo baseado em GAN SeD mostrou os maiores ganhos (até 30% de melhoria sobre a linha de base LR) devido à sua capacidade de recuperar texturas de grão fino.

• Limitações Sub-pixel:

  • Experimentos no conjunto de dados TreeFinder (detecção de árvores individuais menores que o tamanho do pixel do Sentinel-2) mostraram que a SR oferece utilidade mínima (ganho de 0-4%) para tarefas sub-pixel. A diluição espectral na entrada grosseira torna impossível recuperar com precisão a localização exata de alvos pequenos, independentemente da fidelidade visual do modelo de SR.

5. Significado

• Mudança de Paradigma: O artigo desafia a comunidade a parar de otimizar modelos de SR apenas para métricas visuais. Argumenta que o desempenho em tarefas descendentes deve ser a métrica primária para avaliar SR em observação da Terra.
• Orientação para Seleção de Modelos: As descobertas sugerem que selecionar um modelo de SR com base em PSNR/SSIM pode ser enganoso. Pesquisadores e praticantes devem avaliar modelos com base na aplicação específica (por exemplo, escolher GANs para mapeamento de infraestrutura onde a nitidez das bordas é crítica, mesmo que o PSNR seja menor).
• Direção Futura: Os resultados destacam a necessidade de novas arquiteturas e funções de perda de SR projetadas explicitamente para preservar características relevantes para a tarefa (por exemplo, limites semânticos, consistência espectral) em vez de apenas precisão ao nível de pixel.

Em conclusão, o GeoSR-Bench estabelece que imagens "mais bonitas" nem sempre significam "melhores dados" para análise, necessitando de uma nova era de desenvolvimento de super-resolução integrada a tarefas.