Dynamic Memory Transformer for Hyperspectral Image Classification

Resumen Técnico: MemFormer para la Clasificación de Imágenes Hiperespectrales

1. Planteamiento del Problema

La clasificación de imágenes hiperespectrales (HSIC) es fundamental en aplicaciones como la agricultura de precisión y la observación terrestre, pero enfrenta desafíos críticos debido a la alta dimensionalidad de los datos y la escasez de muestras etiquetadas. Los problemas principales identificados son:

• Variabilidad Espectral: Cambios en la iluminación, condiciones atmosféricas y ruido del sensor generan una gran varianza intraclase, dificultando la discriminación.
• Complejidad Espacial-Espectral: Los modelos deben capturar tanto texturas locales como dependencias de largo alcance (contexto global) simultáneamente.
• El Fenómeno de Hughes: La cantidad de bandas espectrales supera a menudo el número de muestras de entrenamiento, lo que provoca sobreajuste (overfitting) y degradación del rendimiento.
• Limitaciones de los Modelos Actuales:
  • Los Transformers puros, aunque buenos capturando contexto global, sufren de patrones de atención redundantes y costos computacionales cuadráticos.
  • Las arquitecturas Híbridas (CNN-Transformer) aumentan la complejidad y el tiempo de entrenamiento.
  • Muchos modelos existentes requieren pre-entrenamiento a gran escala o no generalizan bien entre diferentes sensores y resoluciones.

2. Metodología Propuesta: MemFormer

El artículo propone MemFormer, una arquitectura Transformer ligera diseñada específicamente para HSIC. Su núcleo se basa en dos innovaciones principales:

A. Mecanismo de Atención Mejorado con Memoria Dinámica
En lugar de depender únicamente de la auto-atención estándar (MHSA), MemFormer integra un módulo de memoria global compacto:

• Funcionamiento: Se mantiene un vector de memoria global ($M$) que se actualiza dinámicamente en cada lote (batch) mediante una política FIFO (First-In-First-Out).
• Proceso:
  1. Las consultas ($Q$) se generan a partir de los tokens de entrada actuales.
  2. Las claves ($K$) y valores ($V$) se derivan exclusivamente de la memoria dinámica actualizada.
  3. La atención se calcula como $A = \text{Softmax}(QK_m^T / \sqrt{K})V_m$.
  4. Tras cada lote, la memoria se actualiza promediando las respuestas de atención y descartando la entrada más antigua.
• Beneficio: Esto permite retener y refinar información contextual a través de las capas, reduciendo la redundancia de la atención y modelando dependencias de largo alcance de manera eficiente sin aumentar drásticamente la complejidad computacional.

B. Incrustación Posicional Espacial-Espectral (SSPE)
Para preservar la integridad estructural sin depender de codificaciones convolucionales pesadas, se propone un esquema de codificación posicional específico del dominio:

• Codificación Espacial: Utiliza funciones sinusoidales para codificar las coordenadas 2D $(x, y)$ de cada parche, preservando la continuidad espacial.
• Codificación Espectral: Utiliza un esquema similar para codificar el orden de las bandas espectrales.
• Fusión: Ambas codificaciones se proyectan y concatenan mediante una red neuronal (MLP) para crear una representación unificada que entiende tanto la posición espacial como la secuencia espectral.

3. Contribuciones Clave

1. Atención con Memoria Dinámica: Integración de un módulo de memoria global no entrenable pero actualizable dinámicamente dentro del mecanismo de atención, logrando un equilibrio entre capacidad representativa y eficiencia computacional.
2. SSPE (Spatial-Spectral Positional Embedding): Diseño de una codificación posicional que captura explícitamente la continuidad espacial y el orden espectral, eliminando la necesidad de pre-procesamiento costoso o encoders convolucionales pesados.
3. Arquitectura Ligera: MemFormer logra un alto rendimiento con un número reducido de parámetros en comparación con arquitecturas jerárquicas o híbridas complejas.

4. Resultados Experimentales

El modelo fue evaluado en tres conjuntos de datos de referencia: Indian Pines (IP), WHU-Hi-HanChuan (HC) y WHU-Hi-HongHu (HH). Se comparó contra CNNs 2D/3D, modelos híbridos y otros Transformers (como WaveFormer y Hypersinet).

• Rendimiento en Indian Pines (IP):

  • Precisión Global (OA): 99.55%
  • Precisión Promedio (AA): 99.38%
  • Coeficiente Kappa ($\kappa$): 99.49%
  • Comparación: Superó significativamente a CNNs y otros Transformers, mejorando el Kappa en más del 4% respecto a la auto-atención estándar.

• Rendimiento en WHU-Hi-HanChuan (HC):

  • OA: 99.27%, AA: 98.67%, $\kappa$: 99.14%.
  • Mostró una reducción notable de ruido en los mapas de clasificación.

• Rendimiento en WHU-Hi-HongHu (HH):

  • OA: 98.51%, AA: 97.26%, $\kappa$: 98.12%.
  • Destacó en la clasificación de clases difíciles (ej. Clase 2 y 8) donde otros modelos fallaron.

• Eficiencia:

  • MemFormer es notablemente ligero (aprox. 0.82M parámetros en el conjunto HH), requiriendo menos tiempo de entrenamiento y menos FLOPs que arquitecturas pesadas como Pyramid Transformer (PF) o 3D CNN.
  • Estudio de Ablación: Se determinó que un tamaño de memoria de 10 tokens ofrece el mejor equilibrio entre retención de contexto y reducción de ruido.

5. Significado e Impacto

El trabajo de MemFormer es significativo por varias razones:

• Eficiencia en Datos Limitados: Demuestra que es posible lograr un rendimiento superior en HSIC sin depender de grandes volúmenes de datos de pre-entrenamiento, abordando directamente el problema de la escasez de etiquetas.
• Reducción de Redundancia: La introducción de la memoria dinámica resuelve el problema de la redundancia en los patrones de atención de los Transformers, permitiendo una modelización más limpia de las dependencias espaciales-espectrales.
• Generalización: La arquitectura SSPE y el mecanismo de memoria permiten que el modelo sea robusto ante variaciones en la resolución espacial y espectral, lo cual es crucial para aplicaciones de observación terrestre reales.
• Viabilidad Práctica: Al ser una arquitectura ligera con alta precisión, MemFormer es un candidato viable para su implementación en sistemas con recursos limitados o para el procesamiento en tiempo real de datos hiperespectrales.

En conclusión, MemFormer establece un nuevo paradigma para la clasificación de imágenes hiperespectrales, equilibrando la complejidad arquitectónica con la capacidad de modelado, superando a los métodos actuales en precisión, eficiencia y robustez.