Cosine-Normalized Attention for Hyperspectral Image Classification

Resumen Técnico: Atención Normalizada por Coseno para Clasificación de Imágenes Hiperespectrales

1. Planteamiento del Problema

La clasificación de imágenes hiperespectrales (HSIC) es una tarea fundamental en la teledetección, pero enfrenta desafíos significativos:

• Geometría de los Datos: Los métodos basados en Transformers actuales suelen utilizar la similitud de producto punto escalado (dot-product) para calcular la atención. Esta métrica depende tanto de la magnitud del vector como de su orientación. Sin embargo, en datos hiperespectrales, la identidad del material suele estar mejor representada por la dirección angular de la firma espectral que por su magnitud absoluta (la cual varía debido a condiciones de iluminación, atmósfera o sensor).
• Escasez de Etiquetas: La anotación pixel a pixel de imágenes hiperespectrales es costosa y laboriosa, lo que resulta en conjuntos de entrenamiento con muy pocas muestras etiquetadas (el estudio utiliza un escenario de solo el 1% de datos de entrenamiento).
• Complejidad vs. Generalización: Los modelos recientes (Transformers y Mamba) a menudo aumentan la complejidad arquitectónica para mejorar el rendimiento, lo que puede llevar al sobreajuste en escenarios con pocas etiquetas.

2. Metodología Propuesta

Los autores proponen reformular el mecanismo de atención desde una perspectiva geométrica, integrando una Atención Normalizada por Coseno dentro de una arquitectura Transformer espacial-espectral.

• Procesamiento de Patches: La imagen hiperespectral se divide en parches tridimensionales ($P \times P \times C$) que se convierten en secuencias de tokens.
• Normalización $\ell_2$: Antes de calcular la similitud, los vectores de consulta (query) y clave (key) se proyectan sobre una hiperesfera unitaria mediante normalización $\ell_2$. Esto elimina la influencia de la magnitud del vector.
• Función de Puntuación (Scoring):
  • Se calcula la similitud de coseno entre los vectores normalizados ($\cos \theta$).
  • Se aplica una operación de cuadrado a la similitud de coseno: $Score = (\cos \theta)^2$.
  • Justificación: El cuadrado del coseno enfatiza las relaciones angulares fuertes (vectores muy alineados) y suprime aún más las relaciones débiles, creando una distribución de atención más concentrada y discriminativa.
• Arquitectura: El mecanismo se integra en un Transformer ligero (4 capas, 4 cabezas, dimensión de embebido 64) que procesa tanto el contexto espacial como el espectral.

3. Contribuciones Clave

1. Revisión Geométrica de la Atención: Identifican que el producto punto estándar es subóptimo para firmas espectrales y proponen una alineación con la geometría angular intrínseca de los datos hiperespectrales.
2. Análisis Controlado: A diferencia de estudios que comparan arquitecturas completas diferentes, este trabajo evalúa 11 variantes de funciones de puntuación (producto punto, coseno, coseno al cuadrado, aditiva, etc.) dentro de la misma arquitectura base. Esto aísla el impacto de la función de similitud como un "sesgo inductivo" crítico.
3. Rendimiento con Pocos Datos: Demuestran que una modificación simple en la función de atención puede superar a modelos complejos (Transformers avanzados y modelos basados en Mamba) en escenarios de supervisión extrema (1% de etiquetas).
4. Robustez: El enfoque es menos sensible a variaciones de magnitud y ruido espectral, lo cual es crucial en aplicaciones de teledetección reales.

4. Resultados Experimentales

El modelo fue evaluado en tres conjuntos de datos de referencia: Salinas (SA), WHU Hi HongHu (HH) y QUH-Tangdaowan (TD).

• Comparativa de Rendimiento:
  • La variante Coseno al Cuadrado (CS2) y sus variantes cruzadas lograron consistentemente el mejor rendimiento en términos de Precisión Global (OA), Coeficiente Kappa ($\kappa$) y Precisión Promedio (AA).
  • En el conjunto SA, la variante Cross Scaled Dot-Product (C-SDP) y MSA-CS2 obtuvieron los mejores resultados.
  • En HH, la variante Cosine (CS) superó a todas las demás.
  • El método propuesto superó a modelos recientes basados en CNN, Transformers (MSST, S2CIFT, WaveFormer) y Mamba (SSAM, DBMLLA, GraphMamba), a pesar de utilizar una arquitectura mucho más ligera.
• Visualización: Los mapas de clasificación generados por el modelo propuesto mostraron regiones más homogéneas, menos errores aislados y límites de clase más limpios en comparación con las líneas base.
• Análisis de Ablación:
  • La normalización tanto de query como de key fue crucial para el rendimiento óptimo.
  • La estrategia de cuadrado del coseno superó a la similitud de coseno simple y al producto punto, confirmando que la no linealidad ayuda a discriminar firmas espectrales cercanas.
  • La arquitectura mostró ser robusta al ruido espectral (hasta 20-30 dB) y a variaciones en el tamaño del parche.

5. Significado e Impacto

Este trabajo destaca que la elección de la función de similitud dentro de un mecanismo de atención no es un detalle de implementación menor, sino un sesgo inductivo fundamental que moldea el aprendizaje de representaciones.

• Paradigma de Eficiencia: Sugiere que alinear la geometría de la atención con la naturaleza de los datos (angular en lugar de euclidiana) puede ser más efectivo que simplemente aumentar la complejidad del modelo o el número de parámetros.
• Aplicabilidad: Ofrece una solución simple, interpretable y de bajo costo computacional para mejorar la clasificación hiperespectral, especialmente en situaciones donde los datos etiquetados son escasos.
• Futuro: Abre la puerta a explorar esta geometría en aprendizaje auto-supervisado y aplicaciones de teledetección multimodal.

En conclusión, la propuesta demuestra que para los datos hiperespectrales, la dirección importa más que la magnitud, y adaptar los mecanismos de atención a esta realidad geométrica conduce a un rendimiento superior y más robusto.