Cosine-Normalized Attention for Hyperspectral Image Classification

Título: Atenção Normalizada por Cosseno para Classificação de Imagens Hiperespectrais

1. Problema e Motivação

A classificação de imagens hiperespectrais (HSIC) é um desafio fundamental na sensoriamento remoto, onde cada pixel possui um espectro denso de bandas. Embora os métodos baseados em Transformers tenham melhorado a modelagem de dependências espaciais e espectrais de longo alcance, a maioria deles utiliza o mecanismo de atenção padrão baseado em produto escalar (dot-product).

O artigo identifica uma incompatibilidade geométrica crítica:

• Limitação do Produto Escalar: A similaridade por produto escalar mistura a magnitude e a orientação (ângulo) dos vetores de características. Em dados hiperespectrais, a magnitude do sinal pode variar significativamente devido a condições de iluminação, efeitos atmosféricos ou variações do sensor, mesmo quando a identidade do material permanece a mesma.
• Natureza dos Dados: Em sensoriamento remoto, a similaridade espectral é frequentemente melhor avaliada por medidas angulares (como o Spectral Angle Mapper - SAM), onde a direção do espectro é mais informativa que sua magnitude absoluta.
• Escassez de Rótulos: A disponibilidade limitada de dados rotulados (apenas 1% no estudo) torna os modelos complexos propensos a overfitting, exigindo mecanismos de atenção robustos e com viés indutivo adequado.

2. Metodologia Proposta

Os autores propõem uma reformulação geométrica do mecanismo de atenção, integrando-a em uma arquitetura Transformer espacial-espectral leve.

• Normalização $\ell_2$: As representações de query ($Q$) e key ($K$) são projetadas em uma hiperesfera unitária através da normalização $\ell_2$. Isso elimina a influência da magnitude dos vetores, focando puramente no alinhamento angular.
• Similaridade de Cosseno Quadrado: Em vez de usar apenas a similaridade de cosseno ($\cos \theta$), o método propõe o uso da similaridade de cosseno ao quadrado ($\cos^2 \theta$).
  • Objetivo: Esta operação não linear "afina" a distribuição de atenção, aumentando a distinção entre pares de tokens fortemente alinhados e fracamente alinhados, tornando o mecanismo mais discriminativo para assinaturas espectrais similares.
• Arquitetura: O mecanismo é inserido em um Transformer baseado em patches (janelas sobrepostas). O modelo utiliza uma codificação posicional aprendível e um classificador leve (média global + camada densa) para garantir que as melhorias de desempenho sejam atribuídas à formulação da atenção e não ao aumento da complexidade do modelo.

3. Contribuições Principais

1. Revisão Geométrica da Atenção: Demonstra que a função de pontuação da atenção não é apenas um detalhe de implementação, mas um viés indutivo crucial que deve alinhar-se com a geometria dos dados hiperespectrais (angularidade).
2. Novo Mecanismo de Pontuação: Introdução da fórmula de atenção normalizada por cosseno com quadrado, que suprime variações de magnitude e enfatiza relações angulares.
3. Análise Controlada: Realização de um estudo comparativo rigoroso dentro da mesma arquitetura backbone, testando 11 variantes de pontuação (incluindo produto escalar, cosseno, cosseno quadrado, aditiva e suas versões cruzadas) para isolar o efeito da função de similaridade.
4. Eficiência em Cenários de Poucos Dados: Validação de que melhorar a geometria da pontuação é tão eficaz quanto aumentar a complexidade do modelo, permitindo alto desempenho com um backbone leve e apenas 1% de dados de treinamento.

4. Resultados Experimentais

Os experimentos foram conduzidos em três conjuntos de dados de referência (Salinas, WHU Hi HongHu e QUH-Tangdaowan) sob condições extremas de escassez de rótulos (1% de treino).

• Desempenho Superior: A abordagem proposta (especificamente a variante Cosine-Squared ou CS2) alcançou consistentemente o melhor desempenho, superando modelos recentes baseados em Transformers (como MSST, S2CIFT) e modelos baseados em Mamba (como SSAM, DBMLLA, GraphMamba).
• Métricas: No conjunto de dados Salinas (SA), a variante CS2 obteve um Kappa de 99,24% e uma Precisão Geral (OA) de 99,32%, superando significativamente as bases de comparação.
• Visualização: Os mapas de classificação gerados pelo modelo proposto apresentaram regiões mais homogêneas, menos erros isolados e fronteiras de classe mais limpas, especialmente em áreas de confusão espectral.
• Análise de Ablação:
  • A normalização de Query e Key combinada com o quadrado do cosseno foi a configuração mais eficaz.
  • Fatores arquitetônicos (profundidade, dimensão de embedding) tiveram impacto menor quando a função de similaridade estava correta.
  • O modelo demonstrou robustez gradual ao ruído espectral, confirmando que a similaridade baseada em cosseno é menos sensível a variações de magnitude induzidas por ruído.

5. Significado e Conclusão

O trabalho estabelece que alinhar a pontuação da atenção com a estrutura angular das assinaturas hiperespectrais oferece uma alternativa simples, interpretável e altamente eficaz ao produto escalar tradicional.

A principal conclusão é que, para dados hiperespectrais, a geometria da função de similaridade é um fator determinante para o aprendizado de representações discriminativas. Ao reduzir a sensibilidade a variações de magnitude (comuns em sensoriamento remoto) e focar na orientação espectral, o método proposto permite que modelos leves generalizem bem mesmo com supervisão extremamente limitada, superando arquiteturas muito mais complexas. Isso sugere um novo paradigma para o design de Transformers em sensoriamento remoto, onde a adequação geométrica supera a mera complexidade paramétrica.