Super-résolution non supervisée d'images hyperspectrales de télédétection utilisant un entraînement entièrement synthétique

Resumo Técnico: Super-resolução de Imagem Única Hiperespectral Não Supervisionada via Treinamento Totalmente Sintético

Definição do Problema
Imagens hiperespectrais (HSIs) fornecem informações espectrais ricas através de centenas de comprimentos de onda, tornando-as valiosas para aplicações como monitoramento de vegetação, análise de uso do solo e astrofísica. No entanto, devido a restrições ópticas, sensores hiperespectrais tipicamente possuem resolução espacial inferior em comparação com os multiespectrais. A tarefa de Super-resolução de Imagem Única Hiperespectral (SISR) visa aumentar a resolução espacial enquanto preserva a fidelidade espectral.

Os métodos atuais de SISR dependem predominantemente de aprendizado supervisionado, que requer dados de verdade fundamental (ground truth) pareados de baixa resolução (LR) e alta resolução (HR). Um gargalo significativo existe neste domínio: o dado de verdade fundamental de alta resolução (HR) é raramente disponível na prática. Consequentemente, abordagens supervisionadas são limitadas pela falta de conjuntos de dados adequados. Embora alguns métodos utilizem transferência de aprendizado ou arquiteturas convolucionais específicas (ex: convoluções 3D), eles permanecem limitados pela indisponibilidade de referências de mundo real em alta resolução.

Metodologia
Os autores propõem uma abordagem não supervisionada inovadora que contorna a necessidade de verdade fundamental HR real, treinando uma rede neural inteiramente em dados sintéticos. O método integra desmistura (unmixing) hiperespectral com um modelo estocástico de geração de imagem. O processo consiste em três etapas principais:

1. Desmistura Hiperespectral (Hyperspectral Unmixing):
   A imagem hiperespectral de baixa resolução de entrada ($HSI_{LR}$) é decomposta em dois componentes usando um modelo de mistura linear:

   • Endmembers ($S$): Assinaturas espectrais de materiais puros, extraídas usando o algoritmo Volume Minimum.
   • Mapas de Abundância ($A_{LR}$): Mapas espaciais representando a proporção de cada material em cada pixel, obtidos via estimativa de mínimos quadrados.
     A suposição é que $HSI_{LR} = \sum S \cdot A_{LR}$.

2. Geração de Dados Sintéticos (Modelo Dead Leaves):
   Para gerar pares de treinamento, os autores empregam o modelo "Dead Leaves", um processo estocástico originalmente introduzido por Matheron para modelar meios porosos e posteriormente adaptado para imagens naturais.

   • Processo de Geração: Mapas de abundância sintéticos são criados sobrepondo sequencialmente formas retangulares aleatórias ("folhas") em posições e orientações aleatórias. Este processo mimetiza as propriedades estatísticas de cenas naturais, particularmente as estatísticas não gaussianas.
   • Restrições de Realismo: Para garantir que os dados sintéticos reflitam a cena específica, a geometria espacial (forma, posição, rotação) das folhas é mantida consistente em todas as dimensões de material ($z$). Os valores de intensidade ($V$) para cada folha são amostrados aleatoriamente dos mapas de abundância ($A_{LR}$) da cena alvo.
   • Pares de Treinamento: Mapas de abundância de alta resolução sintéticos ($A_{DL,HR}$) são gerados diretamente. Mapas correspondentes de baixa resolução ($A_{DL,LR}$) são criados aplicando uma Função de Espalhamento de Ponto (PSF) simulada — especificamente um desfoque gaussiano seguido de subamostragem bicúbica — aos mapas de alta resolução (HR).

3. Treinamento da Rede e Reconstrução:

   • Arquitetura: Os autores utilizam a MCNet (Rede Convolucional Mista 3D/2D), uma rede convolucional (CNN) de última geração projetada para super-resolução de HSI. Ela combina convoluções 2D para extração de características espaciais e convoluções 3D para processamento espacial-espectral conjunto. A rede é adaptada para aceitar $N$ canais, correspondentes ao número de materiais de desmistura.
   • Treinamento: A rede é treinada de forma supervisionada usando os pares sintéticos $(A_{DL,LR}, A_{DL,HR})$ com uma função de perda $L1$.
   • Inferência: Durante a fase real de super-resolução, o $A_{LR}$ real é alimentado na rede treinada para prever mapas de abundância super-resolvidos ($A_{SR}$). O $HSI_{SR}$ final é reconstruído recombinando as abundâncias preditas com os endmembers originais: $HSI_{SR} = \sum S \cdot A_{SR}$.

Principais Contribuições

• Estrutura Não Supervisionada: O artigo introduz um pipeline de SISR totalmente não supervisionado que elimina a dependência de dados de verdade fundamental de alta resolução indisponíveis.
• Estratégia de Treinamento Sintético: Demonstra a eficácia de treinar modelos de aprendizado profundo em dados sintéticos gerados pelo modelo Dead Leaves, especificamente adaptados para replicar as propriedades estatísticas de mapas de abundância hiperespectrais.
• Integração de Desmistura: Diferente de abordagens sintéticas anteriores, este método integra totalmente a etapa de desmistura hiperespectral no fluxo de trabalho de super-resolução, garantindo que a consistência espectral seja mantida durante todo o processo.
• Melhoria da Adaptação da Arquitetura: O método adapta a arquitetura MCNet para operar nos componentes de desmistura em vez de cubos espectrais brutos, otimizando a rede para a tarefa específica de realce de mapas de abundância.

Resultados Experimentais
O método foi avaliado no dataset Urban (capturado pelo sensor HYDICE), compreendendo 307 $\times$ 307 pixels e 162 bandas espectrais utilizáveis. Um fator de super-resolução de 4 foi aplicado.

• Configuração de Treinamento: 5.000 pares de mapas de abundância sintéticos foram gerados. A rede foi treinada por 200 épocas usando o otimizador Adam.
• Comparações: O método proposto (identificado como MCNet-DL) foi comparado com:
  • Interpolação bicúbica.
  • Métodos supervisionados de última geração: MCNet, SSPSR e HSISR.
  • Nota: Para garantir uma comparação justa, os métodos supervisionados foram treinados em 16 patches do dataset Urban, utilizando uma estratégia de validação cruzada leave-one-out, proporcionando-lhes condições ideais que são frequentemente impraticáveis em cenários do mundo real.
• Métricas de Desempenho: A avaliação utilizou Relação Sinal-Ruído de Pico (PSNR), Ângulo Espectral (SAM) e Erro de Síntese Global Dimensional Sem Unidade Relativo (ERGAS).
• Achados Quantitativos: O MCNet-DL superou todos os métodos concorrentes em todas as métricas:
  • PSNR: 26,69 dB (vs. 25,56 dB para MCNet).
  • SAM: 14,53° (menor é melhor; vs. 16,52° para MCNet).
  • ERGAS: 7,60 (menor é melhor; vs. 8,72 para MCNet).
• Achados Qualitativos: A inspeção visual dos patches reconstruídos mostrou que o método proposto recuperou significativamente mais detalhes espaciais em comparação com a interpolação bicúbica e outros métodos SOTA, com reconstruções parecendo mais precisas do que a MCNet padrão aplicada diretamente aos patches de HSI.

Significância e Alegações
O artigo afirma que a abordagem proposta aborda eficazmente a limitação crítica da escassez de dados na super-resolução hiperespectral. Ao utilizar o modelo Dead Leaves para gerar mapas de abundância sintéticos estatisticamente relevantes, os autores demonstram que uma rede treinada inteiramente em dados sintéticos pode superar métodos supervisionados treinados em dados reais, embora estes tenham sido artificialmente particionados.

Os autores posicionam este trabalho como uma evolução de sua pesquisa anterior [26], destacando que a integração total da desmistura hiperespectral resulta em um método de super-resolução completo, eficiente e verdadeiramente não supervisionado. Os resultados sugerem que a geração de dados sintéticos é uma estratégia viável e poderosa para treinar modelos de aprendizado profundo em aplicações de sensoriamento remoto onde a verdade fundamental é inacessível.