Hyperspectral Image Classification using Spectral-Spatial Mixer Network

Resumen Técnico: SS-MixNet para la Clasificación de Imágenes Hiperespectrales

Planteamiento del Problema
La clasificación de Imágenes Hiperespectrales (HSI) es una tarea crítica en la teledetección, que requiere la extracción efectiva de características tanto espectrales como espaciales para distinguir tipos de cobertura terrestre. Si bien el Aprendizaje Profundo (DL) ha avanzado en este campo, los enfoques existentes enfrentan limitaciones específicas. Las CNN 1D tradicionales suelen descuidar el contexto espacial, mientras que las CNN 2D no logran explotar plenamente la naturaleza tridimensional de los datos HSI. Aunque las arquitecturas basadas en 3D-CNN y modelos híbridos (por ejemplo, HybridSN) abordan esto, pueden ser computacionalmente pesadas. Por el contrario, las arquitecturas basadas en Transformers (por ejemplo, ViT, IP-SWIN) ofrecen capacidades de modelado sólidas para dependencias de largo alcance, pero típicamente demandan grandes cantidades de datos etiquetados y recursos computacionales significativos, lo que las hace menos efectivas en escenarios de teledetección donde los datos etiquetados son escasos.

Metodología
El artículo propone SS-MixNet, un marco de aprendizaje profundo ligero diseñado para equilibrar la eficiencia computacional con una extracción de características robusta. La arquitectura procesa parches hiperespectrales a través de las siguientes etapas:

1. Preprocesamiento y Extracción de Características Locales:

   • Se aplica el Análisis de Componentes Principales (PCA) para reducir la redundancia espectral.
   • Dos capas de convolución 3D (usando núcleos de $3 \times 3 \times 3$) procesan los parches de entrada para capturar conjuntamente las correlaciones espectrales y espaciales locales, preservando la continuidad espectral mientras se extraen las estructuras locales.

2. Mezcla Espectral-Espacial (La Innovación Central):
   Inspirado en la arquitectura MLPMixer, el modelo emplea dos bloques de mezcladores de estilo MLP en paralelo para modelar dependencias de largo alcance sin depender de mecanismos de atención pesados o convoluciones estándar:

   • Bloque Mezclador Espectral (Spectral Mixer Block): Trata cada banda espectral como un token. Aplica Perceptrones Multicapa (MLPs) a través de la dimensión espectral para cada ubicación espacial con el fin de aprender las relaciones entre bandas.
   • Bloque Mezclador Espacial (Spatial Mixer Block): Trata cada ubicación espacial dentro de un parche como un token. Aplica MLPs a través de las dimensiones espaciales ($M \times M$) para cada canal espectral con el fin de modelar las interacciones espaciales.
   • Ambos bloques utilizan conexiones residuales para preservar la información original mientras se profundiza la representación.

3. Mecanismo de Atención:
   Se integra un módulo de Atención basada en Convolución Depthwise ligero. Este mecanismo procesa cada canal de forma independiente para generar una máscara de atención espacial mediante una activación sigmoid. La máscara modula los mapas de características mediante multiplicación elemento a elemento, realzando las regiones discriminativas con un gasto computacional mínimo.

4. Clasificación:
   Las características procesadas pasan por un Pooling Global Average (GAP) y se introducen en un clasificador Softmax para predecir las etiquetas de clase.

Contribuciones Clave

• Arquitectura Novedosa: Introducción de SS-MixNet, que desacopla la mezcla espectral y espacial utilizando bloques MLP paralelos, permitiendo el modelado de dependencias no locales en ambas dimensiones.
• Eficiencia: El modelo está diseñado para ser computacionalmente eficiente, utilizando menos parámetros que muchas contrapartes basadas en Transformers mientras mantiene un alto rendimiento.
• Atención Ligera: La integración de un mecanismo de atención basado en convolución depthwise mejora la discriminación de características sin el alto costo de la autoatención estándar.
• Eficiencia de Datos: El marco se evalúa específicamente bajo condiciones extremas de escasez de datos, utilizando solo el 1% de datos etiquetados para entrenamiento y validación.

Resultados Experimentales
El modelo fue evaluado en dos conjuntos de datos: QUH-Tangdaowan y QUH-Qingyun. Se comparó contra 2D-CNN, 3D-CNN, IP-SWIN, SimPoolFormer y HybridKAN.

• Dataset Tangdaowan: SS-MixNet logró la mayor Exactitud Global (OA) de 95.68%, Exactitud Promedio (AA) de 92.44% y coeficiente Kappa de 95.08%. Superó al siguiente mejor método (3D-CNN) por más de un 1% en OA y alcanzó la mejor exactitud en 11 de las 18 clases.
• Dataset Qingyun: SS-MixNet logró una OA de 93.86%, AA de 86.83% y Kappa de 91.86%, superando consistentemente a todos los métodos comparados.
• Estudio de Ablación: Los experimentos confirmaron que añadir el mezclador espectral, el mezclador espacial y el mecanismo de atención mejoró incrementalmente el rendimiento, siendo la arquitectura completa la que arrojó los mejores resultados.
• Costo Computacional: SS-MixNet demostró un equilibrio compensado, requiriendo aproximadamente 141K parámetros y 1.9M FLOPs. Esto es significativamente más eficiente que SimPoolFormer (57M FLOPs) mientras ofrece mejores capacidades de representación que las CNN estándar.

Significancia y Reivindicaciones
El artículo afirma que SS-MixNet proporciona una solución robusta para la clasificación de HSI, particularmente en escenarios con supervisión limitada. Al combinar eficazmente las convoluciones 3D para características locales con mezcladores MLP para dependencias globales, el modelo ofrece predicciones precisas y fiables incluso cuando se entrena con solo el 1% de datos etiquetados. Los autores sostienen que el modelo aborda con éxito el compromiso entre el alto costo computacional de los Transformers y la capacidad de modelado limitada de las CNN tradicionales. Los resultados confirman la capacidad del modelo para aprender representaciones espectrales-espaciales discriminativas, lo que lo convierte en un candidato viable para tareas de Observación de la Tierra donde el etiquetado de datos es costoso o escaso. Se propone como trabajo futuro extender este marco a la clasificación de dominio cruzado y entornos semi-supervisados.