Hyperspectral Image Classification using Spectral-Spatial Mixer Network

Resumo Técnico: SS-MixNet para Classificação de Imagens Hiperespectrais

Problema
A classificação de Imagens Hiperespectrais (HSI) é uma tarefa crítica em sensoriamento remoto, exigindo a extração eficaz de características tanto espectrais quanto espaciais para distinguir tipos de cobertura terrestre. Embora o Aprendizado Profundo (DL) tenha avançado o campo, as abordagens existentes enfrentam limitações específicas. As CNNs 1D tradicionais frequentemente negligenciam o contexto espacial, enquanto as CNNs 2D não exploram totalmente a natureza tridimensional dos dados HSI. Embora as CNNs 3D e modelos híbridos (ex: HybridSN) abordem isso, eles podem ser computacionalmente pesados. Por outro lado, arquiteturas baseadas em Transformers (ex: ViT, IP-SWIN) oferecem fortes capacidades de modelagem para dependências de longo alcance, mas tipicamente demandam grandes quantidades de dados rotulados e recursos computacionais significativos, tornando-as menos eficazes em cenários de sensoriamento remoto onde os dados rotulados são escassos.

Metodologia
O artigo propõe o SS-MixNet, um framework de aprendizado profundo leve projetado para equilibrar eficiência computacional com uma extração de características robusta. A arquitetura processa patches hiperespectrais através das seguintes etapas:

1. Pré-processamento e Extração de Características Locais:

   • A Análise de Componentes Principais (PCA) é aplicada para reduzir a redundância espectral.
   • Duas camadas de convolução 3D (usando kernels $3 \times 3 \times 3$) processam os patches de entrada para capturar conjuntamente correlações espectrais e espaciais locais, preservando a continuidade espectral enquanto extraem estruturas locais.

2. Mistura Espectral-Espacial (A Inovação Central):
   Inspirado na arquitetura MLPMixer, o modelo emprega dois blocos de misturadores do tipo MLP paralelos para modelar dependências de longo alcance sem depender de mecanismos de atenção pesados ou convoluções padrão:

   • Bloco Misturador Espectral (Spectral Mixer Block): Trata cada banda espectral como um token. Ele aplica Perceptrons de Camada Multicamadas (MLPs) ao longo da dimensão espectral para cada localização espacial para aprender relações interbandas.
   • Bloco Misturador Espacial (Spatial Mixer Block): Trata cada localização espacial dentro de um patch como um token. Ele aplica MLPs ao longo das dimensões espaciais ($M \times M$) para cada canal espectral para modelar interações espaciais.
   • Ambos os blocos utilizam conexões residuais para preservar a informação original enquanto aprofundam a representação.

3. Mecanismo de Atenção:
   Um módulo de Atenção baseada em Convolução Depthwise leve é integrado. Este mecanismo processa cada canal independentemente para gerar uma máscara de atenção espacial via ativação sigmoid. A máscara modula os mapas de características através de multiplicação elemento a elemento, realçando regiões discriminativas com overhead computacional mínimo.

4. Classificação:
   As características processadas passam por um Global Average Pooling (GAP) e são enviadas a um classificador Softmax para prever os rótulos das classes.

Principais Contribuições

• Arquitetura Inovadora: Introdução do SS-MixNet, que desacopla a mistura espectral e espacial usando blocos MLP paralelos, permitindo a modelagem de dependências não locais em ambas as dimensões.
• Eficiência: O modelo é projetado para ser computacionalmente eficiente, utilizando menos parâmetros do que muitos de seus equivalentes baseados em Transformers, mantendo o alto desempenho.
• Atenção Leve: A integração de um mecanismo de atenção baseado em convolução depthwise melhora a discriminação de características sem o alto custo da autoatenção padrão.
• Eficiência de Dados: O framework é especificamente avaliado sob condições extremas de escassez de dados, utilizando apenas 1% de dados rotulados para treinamento e validação.

Resultados Experimentais
O modelo foi avaliado em dois conjuntos de dados: QUH-Tangdaowan e QUH-Qingyun. Foi comparado contra 2D-CNN, 3D-CNN, IP-SWIN, SimPoolFormer e HybridKAN.

• Dataset Tangdaowan: O SS-MixNet alcançou a Acurácia Geral (OA) mais alta de 95,68%, Acurácia Média (AA) de 92,44% e coeficiente Kappa de 95,08%. Superou o próximo melhor método (3D-CNN) em mais de 1% em OA e obteve a melhor acurácia em 11 de 18 classes.
• Dataset Qingyun: O SS-MixNet alcançou uma OA de 93,86%, AA de 86,83% e Kappa de 91,86%, superando consistentemente todos os métodos comparados.
• Estudo de Ablação: Experimentos confirmaram que a adição do misturador espectral, do misturador espacial e do mecanismo de atenção melhorou incrementalmente o desempenho, com a arquitetura completa produzindo os melhores resultados.
• Custo Computacional: O SS-MixNet demonstrou um equilíbrio ponderado, exigindo aproximadamente 141K parâmetros e 1.9M FLOPs. Isso é significativamente mais eficiente que o SimPoolFormer (57M FLOPs), enquanto oferece capacidades de representação superiores às das CNNs padrão.

Significância e Alegações
O artigo afirma que o SS-MixNet fornece uma solução robusta para a classificação de HSI, particularmente em cenários de supervisão limitada. Ao combinar efetivamente convoluções 3D para características locais com misturadores MLP para dependências globais, o modelo entrega previsões precisas e confiáveis mesmo quando treinado com apenas 1% de dados rotulados. Os autores afirmam que o modelo aborda com sucesso o compromisso entre o alto custo computacional dos Transformers e a capacidade de modelagem limitada das CNNs tradicionais. Os resultados confirmam a capacidade do modelo de aprender representações espectrais-espaciais discriminativas, tornando-o um candidato viável para tarefas de Observação da Terra onde a rotulagem de dados é cara ou escassa. O trabalho futuro é proposto para estender este framework para classificação cross-domain e configurações semi-supervisionadas.