Fast Kernel-Space Diffusion for Remote Sensing Pansharpening

Resumo Técnico: Difusão Rápida no Espaço do Kernel para Fusão de Imagens de Sensoriamento Remoto

Declaração do Problema
A fusão de imagens (pansharpening) visa fundir imagens pancromáticas (PAN) de alta resolução com imagens multiespectrais de baixa resolução (LRMS) para gerar imagens multiespectrais de alta resolução (HRMS) que preservem tanto detalhes espaciais finos quanto informações espectrais ricas. Embora os métodos de aprendizado profundo (DL) tenham alcançado progresso significativo, eles frequentemente lutam para capturar os prios estatísticos globais inerentes às distribuições de dados de sensoriamento remoto. Por outro lado, os modelos baseados em difusão oferecem capacidades poderosas de mapeamento de distribuição, mas sofrem com latência de inferência proibitiva devido à sua natureza de amostragem iterativa, particularmente quando aplicados a imagens de sensoriamento remoto de alta resolução e multi-canal. Abordagens de difusão existentes frequentemente reconstroem imagens a partir de ruído Gaussiano puro, um processo que os autores argumentam ser contra-intuitivo e computacionalmente oneroso, dado que a maioria das informações espaciais e espectrais já está disponível nas imagens de entrada PAN e LRMS.

Metodologia: KSDiff
Os autores propõem o KSDiff, uma estrutura inovadora que integra as forças de modelagem de distribuição dos modelos de difusão com a eficiência de inferência dos métodos tradicionais de DL. Em vez de gerar a imagem final diretamente, o KSDiff utiliza um processo de difusão no espaço latente para gerar kernels convolucionais enriquecidos com contexto global. Esses kernels são então usados para aprimorar uma rede padrão de fusão baseada em regressão.

A metodologia compreende três componentes principais:

1. Codificador de Fusão Latente em Pirâmide (PLFE):
   Para extrair características de prior compactas, os autores introduzem um PLFE. Diferentemente de uma concatenação ingênua, o PLFE emprega uma arquitetura de pirâmide multi-escala onde as características PAN e LRMS são progressivamente refinadas sob a orientação da HRMS de verdade (durante o pré-treinamento) ou das entradas PAN/LRMS (durante a inferência). Ele utiliza um mecanismo de atenção cruzada com complexidade linear para aliviar os encargos computacionais em imagens grandes e um portão de fusão dinâmico para equilibrar adaptativamente as características da ramificação original com as características orientadas pela HRMS, garantindo consistência espacial-espectral.

2. Gerador de Kernel:
   A inovação central reside na geração de kernels convolucionais em vez de pixels de imagem. O gerador recebe uma representação latente e produz um tensor central de baixo rank e matrizes fator.

   • Tensor Central: Gerado a partir de um vetor de centróide da representação latente via uma MLP.
   • Gerador de Fator Unificado: Produz matrizes fator a partir de características de entrada usando uma espinha dorsal compartilhada leve e um mecanismo de atenção multi-cabeça consciente de estrutura.
   • Reparametrização: O kernel convolucional final é construído modulando um kernel base com esses fatores gerados via álgebra de tensores (produtos modo-n), permitindo uma modulação de kernel eficiente e expressiva com influência de prior controlável.

3. Estratégia de Treinamento em Duas Etapas:

   • Etapa 1 (Pré-treinamento): O PLFE e o gerador de kernel são otimizados conjuntamente com uma espinha dorsal de fusão (U-Net) para aprender uma representação de prior latente informativa ($z_0$) a partir de imagens HRMS de verdade.
   • Etapa 2 (Treinamento de Difusão): Um modelo de difusão é treinado para aproximar o prior da representação latente. O processo forward adiciona ruído a $z_0$, e o processo reverso prevê $z_0$ condicionado às entradas PAN e LRMS (codificadas por um PLFE2 simplificado). O objetivo de treinamento combina a perda de difusão (prever $z_0$) e uma perda de regressão (reconstruir a imagem HRMS final), permitindo otimização de ponta a ponta.

Inferência
Durante a inferência, o sistema contorna o pesado codificador de pré-treinamento. O PLFE2 extrai um código condicional das imagens PAN e LRMS. Um processo de difusão reversa (usando amostragem DDIM) gera a representação latente prevista $\hat{z}_0$ a partir de ruído Gaussiano. Esta representação é alimentada no gerador de kernel para produzir kernels dinâmicos, que reparametrizam as camadas convolucionais da rede de fusão para fundir as entradas.

Contribuições Principais

• Estrutura KSDiff: Uma abordagem inovadora que integra representações latentes geradas por difusão no design de kernels convolucionais, aproveitando modelos de difusão para modelagem de distribuição enquanto mantém a velocidade de inferência rápida dos métodos determinísticos de DL.
• Arquitetura e Treinamento: Introdução do Codificador de Fusão Latente em Pirâmide (PLFE) e de um esquema de treinamento em duas etapas adaptado para fusão, facilitando a integração de informações espaciais-espectrais multi-escala em redes existentes baseadas em regressão.
• Desempenho e Eficiência: O método alcança desempenho quantitativo e visual competitivo, oferecendo velocidades de inferência comparáveis aos métodos tradicionais de DL e ordens de magnitude mais rápidas (mais de 500×) do que as bases recentes de fusão baseadas em difusão.

Resultados Experimentais
Extensos experimentos foram conduzidos em três conjuntos de dados de referência: WorldView-3 (WV3), GaoFen-2 (GF2) e QuickBird (QB).

• Métricas Quantitativas: O KSDiff superou métodos tradicionais de última geração, bases de aprendizado profundo (por exemplo, PanNet, DiCNN, FusionNet, LAGConv) e métodos recentes baseados em difusão (por exemplo, PanDiff, PLRDiff) em métricas como SAM, ERGAS, Q2n, SCC e HQNR.
• Velocidade de Inferência: O KSDiff alcançou um tempo de inferência de aproximadamente 0,077 segundos no conjunto de dados WV3, significativamente mais rápido que o PanDiff (261,41s) e o PLRDiff (40,14s), mantendo desempenho superior aos métodos de DL sem difusão.
• Estudos de Ablação: Os resultados confirmaram a necessidade do prior de difusão latente, a eficácia do PLFE sobre concatenações simples e a eficiência do gerador de kernel consciente de tensores em comparação com abordagens ingênuas de MLP.
• Generalização: O método demonstrou fortes capacidades de generalização ao ser testado no conjunto de dados WorldView-2, apesar de ter sido treinado no WV3.

Significado
O artigo afirma que o KSDiff fornece uma solução prática e escalável para fusão de imagens de sensoriamento remoto. Ao deslocar o processo de difusão do espaço de pixels para o espaço de kernels, a estrutura aborda com sucesso o gargalo de latência dos modelos de difusão sem sacrificar sua capacidade de modelar distribuições de dados complexas. Esta abordagem permite reconstrução de alta qualidade com inferência rápida, tornando-a adequada para aplicações que exigem processamento em tempo real ou quase real de dados de sensoriamento remoto.