Cross-Scale Pansharpening via ScaleFormer and the PanScale Benchmark

Este artigo apresenta o PanScale, o primeiro grande conjunto de dados e benchmark para fusão de imagens multiespectrais em múltiplas escalas, e propõe o ScaleFormer, uma nova arquitetura baseada em transformadores que supera os métodos atuais ao generalizar eficazmente para resoluções não vistas durante o treinamento.

O essencial

Imagine que você tem duas fotos de uma mesma cidade tiradas de um avião.

1. A Foto P&B (Pancromática): É uma foto em preto e branco, super nítida. Você consegue ver cada telha do telhado, cada folha da árvore e cada detalhe da rua. Mas ela não tem cor.
2. A Foto Colorida (Multiespectral): É uma foto com todas as cores do mundo (verde das plantas, azul da água, marrom da terra), mas ela está tremida e embaçada. Os detalhes são borrados.

O objetivo do Pansharpening (o tema do papel) é como um "casamento perfeito" entre essas duas fotos. Queremos pegar a nitidez da foto P&B e a cor da foto colorida para criar uma única imagem: super nítida e super colorida.

O Problema: O "Efeito Quebra-Cabeça" e a "Memória Cheia"

Até agora, os cientistas treinavam seus computadores (redes neurais) usando apenas fotos pequenas (como um quadrado de 200x200 pixels). Funcionava bem para essas fotos pequenas.

Mas, na vida real, os satélites tiram fotos gigantescas (1600x1600 pixels ou mais). Quando tentam usar esses modelos treinados em fotos pequenas para processar fotos gigantes, dois problemas graves acontecem:

1. O Computador "Trava" (Memória Cheia): Processar uma foto gigante de uma vez só exige tanta memória que o computador explode (OOM - Out Of Memory).
2. O "Efeito Quebra-Cabeça" (Bloqueio): Para contornar o problema de memória, os engenheiros cortam a foto gigante em pedacinhos, processam cada um separadamente e colam de volta. O problema? A costura fica visível. A imagem fica com linhas estranhas, como um quebra-cabeça mal montado. Além disso, como o modelo nunca viu uma foto tão grande durante o treino, ele se confunde e a qualidade cai.

A Solução: O "ScaleFormer" e o "PanScale"

Os autores deste trabalho criaram duas coisas principais para resolver isso:

1. O PanScale: A Nova "Escola de Treino"

Eles perceberam que não havia um "campo de treinamento" adequado. Então, criaram o PanScale.

• A Analogia: Imagine que antes, os alunos de pilotagem só voavam em simuladores de avião de brinquedo (fotos pequenas). Agora, eles criaram um simulador que vai desde o avião de brinquedo até o jato comercial gigante.
• O PanScale é um banco de dados gigante com fotos reais de satélites, variando de tamanhos pequenos a enormes, cobrindo cidades, oceanos e florestas. Eles também criaram o PanScale-Bench, que é como um "prova final" padronizada para ver qual método consegue voar bem em qualquer tamanho de foto.

2. O ScaleFormer: O "Tradutor Universal"

A grande inovação é o modelo chamado ScaleFormer. Como ele funciona?

• A Ideia Genial: Em vez de tentar "enxergar" a foto inteira de uma vez (o que deixa o computador louco), o ScaleFormer transforma a imagem em uma sequência de blocos, como se fosse uma frase em um livro.
• A Analogia do Livro:
  • Imagine que cada "pedaço" da foto é uma palavra.
  • Se a foto é pequena, o livro tem poucas páginas (poucas palavras).
  • Se a foto é gigante, o livro tem muitas páginas (muitas palavras).
  • O segredo do ScaleFormer é que ele aprende a ler qualquer tamanho de livro sem precisar mudar o alfabeto. Ele trata o tamanho da foto não como "tamanho da imagem", mas como "quantidade de páginas na sequência".

Como ele evita o "Efeito Quebra-Cabeça"?
O ScaleFormer usa uma técnica inteligente chamada "Bucket Sampling" (Amostragem em Baldes).

• Durante o treino, ele não vê apenas fotos de um tamanho fixo. Ele vê fotos cortadas de tamanhos variados, como se estivesse praticando com livros de 10, 50 ou 100 páginas aleatoriamente.
• Isso ensina o modelo a ser flexível. Quando chega a hora de processar uma foto gigante na vida real, ele simplesmente "adiciona mais páginas" à sequência, sem precisar recortar e colar a imagem. O resultado é uma imagem contínua, sem costuras e sem travar o computador.

O Resultado: Voo Livre

Os testes mostraram que o ScaleFormer é o melhor de todos:

• Qualidade: As imagens finais são mais nítidas e as cores são mais fiéis à realidade do que os métodos antigos.
• Eficiência: Ele consome menos memória e processa fotos gigantes muito mais rápido.
• Generalização: Ele funciona tão bem em fotos pequenas quanto em fotos gigantescas, algo que os modelos anteriores não conseguiam fazer sem perder qualidade.

Resumo em uma frase:
Os autores criaram uma nova "escola" de dados gigantes e um "aluno" (ScaleFormer) que aprendeu a ler imagens de qualquer tamanho como se fossem sequências de palavras, permitindo criar fotos de satélite super nítidas e coloridas sem travar o computador ou deixar marcas de corte.

Resumo técnico

Resumo Técnico: Cross-Scale Pansharpening via ScaleFormer e o PanScale Benchmark

1. O Problema

O Pansharpening (afiação de imagens pancromáticas) é o processo de fundir imagens pancromáticas (PAN) de alta resolução espacial com imagens multiespectrais (MS) de baixa resolução para gerar imagens multiespectrais de alta resolução (HRMS). Embora existam avanços recentes baseados em CNNs e Transformers, a maioria dos métodos atuais enfrenta limitações críticas em cenários do mundo real:

• Generalização de Escala Limitada: Os modelos são geralmente treinados em "crops" (recortes) de baixa resolução (ex: 200x200 ou 256x256 pixels). Quando aplicados a imagens de alta resolução (800x800, 1600x1600 ou maiores), sofrem de uma mudança de distribuição (distribution shift), onde as estatísticas de entrada (médias, variâncias) diferem drasticamente das de treinamento, degradando a qualidade da fusão.
• Custos Computacionais Exponenciais: Métodos baseados em Transformers têm complexidade quadrática em relação ao número de patches. Processar imagens de alta resolução diretamente causa um aumento explosivo no uso de memória (VRAM) e computação, frequentemente levando a erros de "Out-Of-Memory" (OOM) em GPUs de consumo.
• Artefatos de Blocos: Para contornar a falta de memória, os engenheiros recorrem à inferência em blocos (tiled inference), o que introduz descontinuidades visíveis e artefatos nas bordas das imagens.
• Falta de Benchmarks Padronizados: Não existiam conjuntos de dados ou protocolos de avaliação que cobrissem simultaneamente múltiplas escalas e resoluções, dificultando a comparação justa e o desenvolvimento de métodos robustos.

2. Metodologia Proposta

Os autores propõem duas contribuições principais: o PanScale (dataset e benchmark) e o ScaleFormer (arquitetura de rede).

A. PanScale Dataset e Benchmark

• PanScale: O primeiro dataset de fusão de imagens de sensoriamento remoto projetado especificamente para cenários de multiresolução e alta resolução.
  • Coletado via Google Earth Engine (GEE) a partir de três plataformas satelitais: Jilin-1, Landsat-9 e Skysat.
  • Cobre uma ampla gama de resoluções espaciais (de 0,5m a 15m) e cenários geográficos diversos (urbano, montanhoso, oceânico, deserto).
  • Inclui conjuntos de treinamento e testes em múltiplas escalas (de 200x200 até 2000x2000 pixels).
• PanScale-Bench: Um protocolo de avaliação abrangente que utiliza métricas baseadas em referência (PSNR, SSIM, ERGAS, Q) e sem referência (Dλ, DS, QNR) para avaliar a generalização em diferentes escalas.

B. ScaleFormer (Arquitetura)

O ScaleFormer reformula o problema de generalização de resolução como um problema de generalização de comprimento de sequência.

1. Scale-Aware Patchify (SAP):

   • Em vez de tratar a imagem como uma grade fixa, o SAP tokeniza a imagem em patches de tamanho fixo, mas organiza-os em uma dimensão de sequência cujo comprimento é proporcional à escala da imagem.
   • Treinamento com "Bucketing": Durante o treinamento, o modelo é exposto a janelas de tamanho variável (amostragem em buckets), forçando-o a aprender representações estáveis independentemente do tamanho total da imagem. Isso reduz a lacuna entre a distribuição de treinamento e inferência.
   • Inferência Determinística: Na inferência, usa-se um tamanho de janela fixo, permitindo que imagens maiores sejam processadas apenas aumentando o comprimento da sequência, mantendo as estatísticas por token estáveis.

2. Modelagem Desacoplada (Decoupled Modeling):

   • A arquitetura separa a aprendizagem de características espaciais dentro dos patches da modelagem de dependências sequenciais entre os patches.
   • Módulos Single-Transformer:
     • Spatial Transformer: Aprende dependências espaciais dentro de cada patch.
     • Sequence Transformer: Aprende correlações entre patches ao longo da dimensão de escala.
   • Módulos Cross-Transformer: Facilitam a interação bidirecional entre as características da imagem PAN e MS nas dimensões espacial e sequencial.

3. Posicionamento e Extrapolacão:

   • Incorpora Rotary Positional Encoding (RoPE) nas camadas de atenção. O RoPE codifica informações de posição relativa contínua, permitindo que o modelo generalize para comprimentos de sequência (e, portanto, resoluções) não vistos durante o treinamento.

3. Resultados Principais

Os experimentos foram conduzidos no PanScale, comparando o ScaleFormer com métodos tradicionais (GS, IHS) e state-of-the-art (SOTA) baseados em Deep Learning (MSDCNN, HFIN, ARConv, Pan-mamba, etc.).

• Qualidade de Fusão: O ScaleFormer superou consistentemente todos os métodos concorrentes em todas as métricas (PSNR, SSIM, ERGAS, Q) em todos os conjuntos de dados (Jilin, Landsat, Skysat) e em todas as escalas de resolução.
• Generalização de Escala: Enquanto os métodos SOTA apresentavam degradação significativa de desempenho à medida que a resolução de entrada aumentava (devido à mudança de distribuição), o ScaleFormer manteve um desempenho estável e superior, mesmo em resoluções ultra-altas (até 2000x2000).
• Eficiência Computacional:
  • O ScaleFormer possui um número de parâmetros comparável ao Pan-mamba e significativamente menor que métodos como HFIN e ARConv.
  • Em termos de complexidade (GFLOPs) e uso de memória, o ScaleFormer escala de forma muito mais eficiente. Ele evita o uso excessivo de memória e os artefatos de blocos típicos da inferência em tiles, permitindo processar imagens inteiras de alta resolução sem OOM.
• Qualidade Visual: As comparações qualitativas mostraram que o ScaleFormer preserva melhor os detalhes espaciais finos e a fidelidade espectral, evitando distorções e artefatos de blocos visíveis em outros métodos.

4. Contribuições Chave

1. PanScale Dataset & Benchmark: Introdução do primeiro dataset e benchmark padronizado para avaliação de pansharpening em cenários de múltiplas escalas e alta resolução, preenchendo uma lacuna crítica na comunidade.
2. ScaleFormer: Uma nova arquitetura que desacopla a modelagem espacial da modelagem de escala, tratando a variação de resolução como variação de comprimento de sequência.
3. Técnicas de Generalização: Uso estratégico de Bucket Training (amostragem de janelas variáveis) e RoPE para permitir que o modelo generalize para escalas nunca vistas durante o treinamento.
4. Eficiência e Robustez: Demonstração de que é possível realizar fusão de imagens de sensoriamento remoto de ultra-alta resolução com alta qualidade e baixo custo computacional, superando as limitações de memória e generalização dos métodos atuais.

5. Significado e Impacto

Este trabalho é fundamental para a aplicação prática de pansharpening em cenários reais de sensoriamento remoto. Ao resolver o problema da generalização de escala e dos custos computacionais, o ScaleFormer permite que satélites e sistemas de monitoramento processem imagens de alta resolução de forma eficiente e precisa, sem depender de técnicas de "patching" que degradam a qualidade da imagem. A disponibilidade do dataset PanScale e do código fonte estabelece um novo padrão para o desenvolvimento e avaliação de futuros algoritmos de fusão de imagens multiespectrais.