Unmixing-Guided Spatial-Spectral Mamba with Clustering Tokens for Hyperspectral Image Classification

Resumo Técnico: Unmixing-Guided Spatial-Spectral Mamba com Tokens de Agrupamento para Classificação de Imagens Hiperespectrais

1. Problema e Motivação

A classificação de imagens hiperespectrais (HSI) é fundamental para monitoramento ambiental e exploração de recursos, mas enfrenta desafios significativos:

• Efeito de Mistura Espectral: Pixels frequentemente contêm misturas de vários materiais, dificultando a identificação pura.
• Heterogeneidade Espacial-Espectral: A complexidade e variabilidade dos dados tornam difícil preservar fronteiras de classes e detalhes finos.
• Limitações de Modelos Atuais:
  • CNNs: Capturam bem características locais, mas falham em dependências de longo alcance.
  • Transformers: Lidam bem com correlações de longo alcance, mas possuem alto custo computacional e risco de sobreajuste devido ao mecanismo de atenção.
  • Mamba (Modelos de Estado Espacial): Oferecem complexidade linear e capturam dependências de longo alcance, mas sofrem com o problema de "decaimento de correlação" quando aplicados a sequências de tokens extremamente longas (toda a imagem), tornando-se ineficientes para capturar padrões sutis em imagens HSI altamente heterogêneas.

O artigo propõe que a decomposição da imagem em clusters fisicamente significativos (através de desmistificação/espectro) pode melhorar a eficiência da modelagem Mamba.

2. Metodologia Proposta

O modelo proposto é uma arquitetura de aprendizado profundo multi-tarefa que integra Desmistificação Espectral (Unmixing) com um Mamba Espacial-Espectral Guiado por Agrupamento. A arquitetura consiste em quatro componentes principais:

A. Ramo de Desmistificação com Aprendizado de Variabilidade de Endmembers

• Utiliza um modelo de mistura linear (LMM) para decompor a imagem em Abundâncias (mapas de fração) e Endmembers (assinaturas espectrais puras).
• Variabilidade de Endmembers: Diferente de abordagens cegas, o modelo inicializa os endmembers usando Análise de Componentes de Vértice (VCA) e introduz pesos de variabilidade aprendidos pixel a pixel. Isso permite que um endmember global seja dinamicamente reconstruído como uma combinação convexa de variantes espectrais locais, capturando mudanças sutis na assinatura espectral.

B. Seleção Adaptativa de Top-K Tokens Baseada em Abundância

• Em vez de tratar a imagem inteira como uma única sequência longa, o modelo utiliza os mapas de abundância para definir clusters.
• Estratégia Top-K: Um mecanismo eficiente seleciona apenas os tokens mais informativos (com base nos valores de abundância temporal e espacial) para cada cluster de abundância.
• Vantagem: Reduz drasticamente a complexidade computacional de $O(L \cdot d \cdot s)$ para $O(\sum K_p \cdot d \cdot s)$, onde $K_p \ll L$ (número total de pixels), focando apenas em regiões relevantes.

C. Módulo Mamba Espacial-Espectral Guiado por Desmistificação

• Blocos Específicos por Abundância: O modelo emprega blocos Mamba paralelos (P+1 blocos) para processar tokens selecionados de forma independente para cada mapa de abundância.
• Processamento Duplo:
  1. Espacial: Aprende relações espaciais entre os tokens selecionados dentro de um mapa de abundância específico.
  2. Espectral: Reorganiza os tokens para aprender características espectrais agrupadas através de todos os tokens informativos.
• Tokens não selecionados são processados por um bloco Mamba separado e depois fundidos.

D. Função de Perda Multi-Tarefa

• O modelo é supervisionado simultaneamente para duas tarefas:
  1. Classificação: Minimiza a perda de entropia cruzada ($L_{CE}$).
  2. Desmistificação: Minimiza a distância angular espectral (SAD) entre a imagem original e a reconstruída ($L_{um}$).
• Inclui uma penalidade de esparsidade não convexa ($||A||_{1/2}$) nos mapas de abundância para garantir soluções fisicamente plausíveis.

3. Principais Contribuições

1. Redes de Desmistificação Guiadas: Projeto de uma rede que aprende automaticamente endmembers e mapas de abundância, considerando explicitamente a variabilidade espectral dos materiais.
2. Estratégia de Seleção de Tokens Top-K: Criação de uma estratégia adaptativa baseada em clusters de abundância para gerar sequências de tokens Mamba, melhorando a capacidade de representação e reduzindo o custo computacional.
3. Módulo Mamba Guiado por Desmistificação: Desenvolvimento de um novo módulo que supera os modelos Mamba tradicionais no aprendizado e sequenciamento de tokens, preservando detalhes finos e fronteiras.
4. Framework Multi-Tarefa: Integração de desmistificação e classificação em um único modelo, resultando não apenas em mapas de classificação precisos, mas também em bibliotecas espectrais e mapas de abundância completos.

4. Resultados Experimentais

O modelo foi avaliado em quatro conjuntos de dados públicos (QUH-Tangdaowan, Houston, Pavia University e Fanglu Tea Farm) e comparado com o estado da arte (RF, SSRN, SS-ConvNeXt, Transformers, MambaHSI, SDMamba, etc.).

• Desempenho Geral: O modelo proposto superou consistentemente as abordagens concorrentes em métricas de Acurácia Global (OA), Acurácia Média (AA) e Coeficiente Kappa.
  • Exemplo: No dataset QUH-Tangdaowan, alcançou 98,25% de OA, superando o segundo melhor (MambaHSI com 97,76%).
• Preservação de Detalhes: Visualizações (Figura 3) mostram que o modelo preserva bordas nítidas e detalhes finos (como árvores individuais e sombras de edifícios) muito melhor do que modelos baseados em patches (SDMamba) ou modelos Mamba padrão (MambaHSI), que tendem a suavizar excessivamente as imagens.
• Qualidade da Desmistificação: Os mapas de abundância estimados são mais distintos e espacialmente coerentes, e os endmembers aprendidos capturam efetivamente a variabilidade espectral (Figura 4).
• Estudo de Ablação: A remoção de qualquer componente (codificação posicional, seleção Top-K, variabilidade) resultou em queda de desempenho, confirmando a importância de cada módulo.
• Impacto do Número de Endmembers (P): A análise mostrou que um número maior de endmembers (considerando variabilidade) melhora a performance, mesmo que exceda o número de classes reais.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na classificação de imagens hiperespectrais ao demonstrar que a desmistificação espectral pode guiar eficientemente a modelagem de sequências em redes de estado espacial (Mamba).

• Inovação: Resolve o problema de ineficiência e perda de detalhes dos modelos Mamba em imagens grandes e heterogêneas ao introduzir uma seleção de tokens baseada em física (abundância).
• Aplicabilidade: O modelo fornece saídas ricas (mapas de classificação + mapas de abundância + bibliotecas espectrais), o que é crucial para aplicações práticas de uso e cobertura do solo.
• Futuro: Os autores planejam estender o framework para adaptação de domínio e modelos de base (foundation models), além de desenvolver métodos para determinar dinamicamente o número ideal de endmembers sem inicialização prévia.

O código do projeto está disponível publicamente, facilitando a reprodutibilidade e o avanço da pesquisa na área.