Resumo Técnico: Mind the Gap: Quantificando o Gap de Domínio em Super-Resolução de Difusão Cross-Sensor

Declaração do Problema

Aplicações de sensoriamento remoto, como o monitoramento de incêndios florestais e a gestão de recursos, enfrentam um dilema crítico de resolução espacial. Missões disponíveis gratuitamente, como o Sentinel-2, oferecem alta frequência temporal, mas resolução moderada (10 m/pixel), enquanto sistemas comerciais, como o PlanetScope, fornecem maior resolução (3 m/pixel) mediante custo. A Super-Resolução (SR) visa preencher essa lacuna reconstruindo imagens de alta resolução (HR) a partir de observações de baixa resolução (LR).

No entanto, um desafio fundamental persiste: a ausência de observações pareadas reais LR–HR de diferentes sensores. Consequentemente, a maioria dos modelos de SR é treinada em dados degradados sinteticamente (por exemplo, downsampling bicúbico de imagens HR). Isso cria um gap de domínio significativo quando esses modelos são aplicados a imagens cross-sensor reais. Os dados de treinamento sintéticos não capturam as propriedades espectrais, radiométricas e geométricas complexas dos sensores reais, levando a um desempenho instável e a uma potencial degradação da qualidade da imagem quando implantados em dados de satélite reais. Embora modelos baseados em difusão tenham alcançado resultados de estado da arte em SR de imagens naturais, suas capacidades de generalização neste contexto específico de sensoriamento remoto cross-sensor permanecem amplamente não quantificadas.

Metodologia

Construção do Dataset

Os autores construíram um dataset de grande escala, geometricamente e temporalmente alinhado, compreendendo 175 regiões dos EUA, pareando imagens Sentinel-2 (10 m) e PlanetScope (3 m).

• Alinhamento: Os pares foram adquiridos via PlanetHub com alinhamento geométrico sub-pixel.
• Proximidade Temporal: Os pares foram filtrados para minimizar a evolução da cena, com a maioria situando-se dentro de uma janela de ±15 dias.
• Alinhamento Espectral: Para garantir validade física, seis bandas espectrais sobrepostas (Azul Costal, Azul, Verde, Vermelho, Red Edge, NIR) foram selecionadas de ambos os sensores, evitando a "alucinação" de informação espectral.
• Configurações Experimentais: O estudo utilizou três configurações distintas:
  1. Caso I (Baseline Sintético): Treinamento e teste em dados do PlanetScope sinteticamente degradados (PlanetLR → PlanetHR).
  2. Caso II (Quantificação do Gap de Domínio): Treinamento em dados sintéticos do PlanetScope, mas teste em dados reais do Sentinel-2 (SentinelLR → PlanetHR).
  3. Caso III (Mapeamento Direto): Treinamento e teste diretamente em pares reais de Sentinel-2 para PlanetScope (SentinelLR → PlanetHR).

Modelos Avaliados

Cinco arquiteturas de SR baseadas em difusão de estado da arte foram avaliadas sob condições idênticas usando um backbone U-Net unificado (30M de parâmetros) para isolar os efeitos da formulação de difusão:

1. DDPM: Modelo probabilístico de difusão de denoising padrão.
2. Flow Matching (FM): Um paradigma generativo determinístico que aprende um campo vetorial.
3. Image-to-Image Schrödinger Bridge (I2SB): Tradução de frames como uma ponte estocástica entre distribuições.
4. ResShift: Reparametriza a cadeia de Markov para deslocar resíduos entre imagens HR e LR.
5. UniDB: Generaliza pontes de difusão usando Controle Ótimo Estocástico.

Métricas de Avaliação

O estudo empregou métricas padrão (PSNR, SSIM, LPIPS) e introduziu uma métrica inovadora:

• LPIPSSat: Uma métrica perceptual adaptada ao domínio baseada em um backbone ResNet-50 pré-treinado de forma autossupervisionada em dados RGB do Sentinel-2. Diferente do LPIPS padrão (treinado no ImageNet), o LPIPSSat é ajustado para as características espectrais e texturais de imagens de observação da Terra.

Tarefa de Downstream

Para avaliar a utilidade prática, as imagens aprimoradas por SR foram avaliadas em uma tarefa de delineação de mudança de área queimada usando uma U-Net treinada no dataset CaBuAr. Isso testou se os modelos de SR preservam informações relevantes para a tarefa ou introduzem artefatos que prejudicam a segmentação.

Principais Resultados

Desempenho Quantitativo

• Sucesso Sintético, Falha Real (Caso I vs. Caso II): Modelos treinados em dados sintéticos (Caso I) alcançaram pontuações altas (PSNR > 45 dB). No entanto, quando aplicados a dados cross-sensor reais (Caso II), o desempenho colapsou catastroficamente. O PSNR caiu para ~16.7 dB, e as pontuações perceptuais indicaram que os modelos estavam ativamente degradando a entrada ao impor priors sintéticos (ex: nitidez do tipo bicúbica) que não correspondiam à realidade física dos dados do Sentinel-2.
• Adaptação Limitada (Caso III): O treinamento direto em dados reais cross-sensor (Caso III) permitiu uma recuperação parcial do desempenho. As métricas perceptuais melhoraram significativamente em relação ao Caso II, mas os resultados permaneceram muito abaixo do baseline sintético (Caso I). A alta variância nos dados do mundo real (devido à iluminação e diferenças de sensores) dificultou a otimização consistente entre as arquiteturas.
• Sensibilidade da Métrica: O LPIPSSat provou ser mais sensível às discrepâncias espectrais e estruturais do que o LPIPS padrão, refletindo melhor as falhas em cenários do mundo real.

Impacto na Tarefa de Downstream

• Modelos Sintéticos (Caso II): Quando usados como etapa de pré-processamento para a tarefa de área queimada, os modelos treinados sinteticamente forneceram melhorias modestas, porém consistentes, sobre o baseline, provavelmente porque aprimoram características visuais sem introduzir artefatos complexos específicos do domínio.
• Modelos do Mundo Real (Caso III): Modelos treinados em dados reais introduziram "artefatos destrutivos" e alucinações que degradaram o desempenho da segmentação de downstream. O objetivo duplo de aprender tanto a super-resolução quanto a adaptação de domínio simultaneamente provou ser instável, resultando em outputs que eram menos úteis para a tarefa específica do que as entradas de baixa resolução originais.

Principais Contribuições

1. Quantificação Sistemática: O primeiro estudo sistemático quantificando o gap de generalização de sintético-para-real em SR baseado em difusão para sensoriamento remoto, demonstrando que o treinamento sintético não prepara os modelos para os desafios cross-sensor reais.
2. Métrica LPIPSSat: Introdução de uma nova métrica perceptual adaptada ao domínio baseada em características autossupervisionadas do Sentinel-2, oferecendo uma avaliação mais fiel de imagens de observação da Terra do que métricas genéricas.
3. Dataset de Grande Escala: Construção de um dataset pareado de grande escala e rigorosamente alinhado de imagens Sentinel-2 e PlanetScope, permitindo uma avaliação rigorosa de SR cross-sensor.

Significância e Alegações

O artigo argumenta que a dependência atual de treinamento sintético para SR de satélites é uma "limitação fundamental" do campo. Embora o treinamento sintético ofereça um baseline estável, ele falha completamente quando transferido para cenários cross-sensor reais. Por outro outro lado, o treinamento direto em dados reais introduz dificuldades de otimização e objetivos emaranhados (SR + adaptação de domínio) que resultam em outputs instáveis e repletos de artefatos.

Os autores concluem que o campo enfrenta um dilema: o treinamento sintético é estável, mas de utilidade limitada; enquanto o treinamento no mundo real é necessário para a adaptação, mas atualmente é instável demais para implantação prática. Eles postulam que a pesquisa futura deve focar em desmembrar a super-resolução da adaptação de domínio, sugerindo que as arquiteturas atuais não podem se adaptar totalmente à diversidade física e radiométrica dos sensores reais sem novas abordagens metodológicas. O trabalho serve como uma fundação para o desenvolvimento de métodos de generalização cross-sensor robustos, em vez de apenas melhorar as arquiteturas de modelos.