Hyperspectral Image Fusion with Spectral-Band and Fusion-Scale Agnosticism

Resumo Técnico: Fusão de Imagens Hiperespectrais com Agnosticismo de Banda Espectral e Escala de Fusão

Declaração do Problema
As abordagens atuais de aprendizado profundo para a fusão de Imagens Multiespectrais e Hiperespectrais (MS/HS) enfrentam três limitações fundamentais que dificultam sua aplicabilidade e transferibilidade no mundo real:

1. Rigidez Arquitetural: A maioria dos modelos é projetada com dimensões de canal fixas (hard-coded), exigindo treinamentos separados para sensores com diferentes números de bandas espectrais (ex: 31 vs. 191 bandas) ou um ajuste fino (fine-tuning) custoso.
2. Escassez de Dados e Escala do Modelo: Os conjuntos de dados de HSI são tipicamente pequenos e isolados. Treinar modelos em conjuntos de dados únicos e pequenos limita a capacidade e leva ao overfitting, enquanto a incapacidade de agrupar dados de sensores heterogêneos impede o aprendizado de características generalizáveis.
3. Escalonamento Espacial Fixo: Os modelos existentes são treinados para fatores de upscaling inteiros específicos (ex: 4×, 8×), aprendendo mapeamentos discretos de grade para grade que falham ao lidar com fatores de escala arbitrários ou não inteiros, exigidos em muitas aplicações.

Metodologia: O Framework SSA
Para enfrentar esses desafios, os autores propõem o SSA, um framework universal projetado com agnosticismo de banda espectral e de escala de fusão. A arquitetura é um pipeline de fusão baseado em representação contínua de ponta a ponta, composto por duas inovações primárias:

1. Kernels Matryoshka (MK) para Agnosticismo Espectral:
   Inspirados no Aprendizado de Representação Matryoshka (MRL), os autores introduzem a Camada de Kernel Matryoshka (MKL). Em vez de fixar as dimensões de entrada/saída, a MKL utiliza uma estrutura de pesos "aninhada" ($W_{nested}$) que suporta um número máximo de canais ($C_{max}$). Durante a passagem direta (forward pass), o modelo fatia dinamicamente um kernel válido ($W_{valid}$) dos pesos aninhados com base no número específico de canais de entrada ($C_{in}$) ou canais de saída desejados ($C_{out}$). Isso permite que um único modelo processe entradas espectrais heterogêneas e reconstrua saídas com variadas contagens de bandas sem modificação arquitetural.

2. Representação Neural Implícita (INR) para Agnosticismo de Escala:
   O framework substitui camadas de upsampling discretas por um backbone de Representação Neural Implícita. O processo de fusão modela a HSI de Alta Resolução (HR-HSI) como uma função contínua parametrizada por um Perceptron Multicamadas (MLP).

• Codificação: A HSI de Baixa Resolução (LR-HSI) e a MSI de Alta Resolução (HR-MSI) são codificadas em códigos espectrais e espaciais latentes.
• Consulta Contínua (Continuous Querying): Para qualquer coordenada alvo $p$ no espaço de alta resolução, o modelo consulta os códigos latentes. Ele amostra características espaciais locais e identifica o vizinho espectral mais próximo no espaço latente de baixa resolução.
• Decodificação: Um decodificador MLP compartilhado prevê o vetor de resíduo espectral para a coordenada de consulta com base nos códigos latentes e coordenadas relativas.
• Reconstrução: A HR-HSI final é obtida adicionando o resíduo previsto à imagem base interpolada por bicúbica. Essa abordagem baseada em coordenadas permite a reconstrução em quaisquer resoluções espaciais, incluindo escalas não inteiras.

Estratégia de Treinamento
Os autores utilizam uma Estratégia de Treinamento Conjunto Cross-Sensor. Em vez de treinar modelos separados para cada conjunto de dados, eles constroem mini-batches amostrando de um pool de conjuntos de dados heterogêneos (ex: CAVE, Pavia, Washington DC). Dentro de um único mini-batch, as amostras compartilham dimensões espaciais e contagens de bandas idênticas (garantindo homogeneidade estrutural para o processamento em lote), mas os parâmetros do modelo são otimizados através de diversos conjuntos de dados. Isso força a rede a aprender um mapeamento de fusão universal em vez de memorizar características específicas de cada dataset.

Principais Contribuições

• Kernels Matryoshka (MK): Um novo princípio arquitetural que permite o processamento nativo de contagens arbitrárias de bandas espectrais, facilitando o treinamento conjunto em conjuntos de dados heterogêneos.
• Modelagem de Escala Contínua: A integração de INR para substituir o escalonamento discreto por uma função contínua, permitindo a reconstrução em escalas espaciais arbitrárias.
• Framework Unificado: O modelo SSA alcança performance de estado da arte (SOTA) enquanto se generaliza para sensores e escalas não vistos, reduzindo significativamente a necessidade de retreinamento por sensor.

Resultos Experimentais
Experimentos extensivos foram conduzidos em sete conjuntos de dados públicos de hiperespectrais (CAVE, Harvard, PaviaC, PaviaU, Chikusei, Botswana, Washington DC) cobrindo diversos sensores e faixas espectrais (de 31 a 191 bandas).

• Performance: O único modelo SSA alcançou performance SOTA em todas as métricas in-distribution (PSNR, SAM, ERGAS, SSIM) nos datasets CAVE e PaviaC.
• Generalização: Em avaliações fora da distribuição (escalas de 8×, 16×, 32×), o SSA garantiu consistentemente os melhores ou segundos melhores resultados, superando modelos especializados treinados individualmente para cada dataset.
• Cenários Não Vistos: O modelo demonstrou generalização robusta para datasets não vistos (Houston, Loukia) com diferentes configurações de bandas e escalas fracionárias não vistas (ex: 3.2×, 5.7×) sem retreinamento, superando baselines que dependem de redimensionamento bicúbico ou treinamento de escala fixa.
• Ablação: A análise confirmou que o design do Kernel Matryoshka mitiga efetivamente a interferência do treinamento multi-dataset, e que o aumento da capacidade do modelo melhora a qualidade da reconstrução sem sacrificar a eficiência de inferência prática em GPUs modernas.

Significância e Alegações
O artigo postula que o SSA aborda o "trilema" da rigidez arquitetural, escassez de dados e escalonamento espacial fixo na fusão MS/HS. Ao demonstrar que um único modelo, treinado conjuntamente, pode igualar ou exceder o desempenho de modelos especializados e específicos de cada dataset, os autores argumentam que sua abordagem pavimenta o caminho para futuros modelos de fundação de HSI. O trabalho sugere que a transição para frameworks universais e agnósticos é um caminho viável para superar as limitações dos métodos atuais de aprendizado profundo específicos para sensores. Os autores reconhecem o custo computacional da INR como uma potencial limitação, mas enfatizam a robustez de seu modelo como uma base para análise hiperespectral de propósito geral.