SSFT: A Lightweight Spectral-Spatial Fusion Transformer for Generic Hyperspectral Classification

1. El Problema

La clasificación de imágenes hiperespectrales (HSI) enfrenta desafíos únicos que la diferencian de la visión por computadora RGB tradicional:

• Alta dimensionalidad y redundancia: Los datos consisten en cientos de bandas espectrales estrechas, lo que genera correlaciones fuertes entre bandas adyacentes y ruido.
• Escasez de datos etiquetados: A diferencia de las grandes bases de datos RGB, los conjuntos de datos HSI suelen ser pequeños y desequilibrados, especialmente en aplicaciones fuera de la observación terrestre (como agricultura de precisión o inspección de residuos).
• Desplazamiento de dominio (Domain Shift): Las variaciones en sensores, óptica, iluminación y preprocesamiento crean diferencias significativas entre conjuntos de datos, dificultando la generalización de modelos entrenados en un dominio específico.
• Limitaciones de las arquitecturas actuales: Los modelos modernos (CNNs 3D, Transformers grandes) tienden a ser computacionalmente costosos y propensos al sobreajuste en regímenes de pocos datos. Además, las estrategias de aumento de datos comunes en RGB (perturbaciones espectrales arbitrarias) pueden violar la física de adquisición y generar señales irreales en HSI.

2. Metodología: SSFT (Spectral–Spatial Fusion Transformer)

Los autores proponen SSFT, una arquitectura ligera diseñada específicamente para regímenes de baja supervisión y heterogéneos. Su diseño se basa en la factorización del aprendizaje de representaciones en dos ramas paralelas que se integran mediante mecanismos de atención cruzada.

Componentes Principales:

1. Codificador Espectral ($E_s$):

   • Procesa las firmas espectrales de cada píxel de forma independiente.
   • Utiliza auto-atención a lo largo de la dimensión espectral para modelar dependencias de largo alcance entre bandas.
   • Incorpora embeddings aprendidos para la identidad de los canales (bandas).
   • Es eficiente en datos y preserva el detalle espectral fino.

2. Codificador Espacial ($E_p$):

   • Extrae características de estructura local (bordes, texturas, patrones regionales).
   • Utiliza una arquitectura convolucional ligera (convoluciones 2D, normalización por lotes y activación GELU).
   • Aprovecha los sesgos inductivos de las CNN para capturar patrones espaciales de manera eficiente.

3. Módulo de Fusión:

   • Integra las dos ramas mediante atención cruzada (Cross-Attention).
   • Los tokens espaciales actúan como queries, mientras que los tokens espectrales actúan como keys y values.
   • Esto permite una interacción bidireccional controlada: el contexto espacial condiciona la información espectral de manera adaptativa, preservando la invariancia espacial de la rama convolucional.

4. Entrenamiento y Supervisión:

   • Incluye cabezales de clasificación auxiliares en las salidas de las ramas individuales (antes de la fusión) para proporcionar supervisión profunda (deep supervision), estabilizando el entrenamiento.
   • No utiliza reducción de dimensionalidad previa (como PCA), permitiendo un entrenamiento de extremo a extremo.
   • Nota crítica sobre aumento de datos: El estudio demuestra que, en HSI, el aumento de datos estándar a menudo perjudica el rendimiento; el modelo es más robusto sin aumentos agresivos.

3. Contribuciones Clave

• Arquitectura Ligera: SSFT cuenta con solo 516.000 parámetros (aprox. 0.52M), lo que representa menos del 2% de los parámetros de los métodos líderes anteriores (como ResNet-152 o HiT), logrando un rendimiento superior.
• Diseño Factorizado: La separación explícita de las vías espectral y espacial, unidas por atención cruzada, aborda la tensión entre la integración expresiva y la robustez en entornos con pocos datos.
• Evaluación Multi-Dominio: Se valida en el HSI-Benchmark, un conjunto heterogéneo que cubre tres dominios distintos:
  1. HRSS: Observación terrestre satelital (grandes extensiones espaciales).
  2. Fruit: Evaluación de condición de frutas (cercanía, diferencias espectrales sutiles).
  3. Debris: Reconocimiento de materiales de escombros (clasificación de grano fino).
• Análisis de Robustez: Se demuestra que las estrategias de entrenamiento para RGB no se transfieren directamente a HSI, especialmente en cuanto al aumento de datos.

4. Resultados Experimentales

En HSI-Benchmark:

• Rendimiento General: SSFT alcanza el mejor puntaje global (84.87), superando a todos los métodos comparados.
• Dominios Específicos:
  • Debris: Logra el primer lugar con 93.33% de precisión (superando al anterior líder por un margen significativo).
  • Fruit: Logra el primer lugar con 61.72% (mejora de 3.44 puntos sobre el estado del arte anterior).
  • HRSS: Mantiene una competitividad alta (99.56%), cerca de los mejores modelos grandes.
• Eficiencia: Logra estos resultados con una fracción mínima de parámetros y costos computacionales (FLOPs).

En SpectralEarth (Transferencia):

• Se evaluó en el gran benchmark SpectralEarth (tarea CORINE).
• Aunque los modelos grandes pre-entrenados (ViT-S, ResNet) obtienen puntajes ligeramente superiores con fine-tuning completo, SSFT demuestra una capacidad de transferencia notablemente competitiva dada su pequeña escala, ofreciendo un excelente equilibrio entre tamaño y rendimiento.

Estudios de Ablación:

• Importancia de las ramas: Desactivar la rama espacial reduce drásticamente la precisión global (a ~38%), mientras que desactivar la rama espectral la reduce a ~71%. Esto confirma que ambas vías son esenciales y complementarias.
• Aumento de datos: El entrenamiento sin aumentos de datos obtuvo el mejor rendimiento global. La mayoría de las transformaciones (corte, rotación, ruido espectral) degradaron el rendimiento, especialmente en el dominio "Debris", donde las señales espectrales finas son críticas.

5. Significado e Impacto

El trabajo de SSFT es significativo porque:

1. Democratiza la clasificación HSI: Proporciona un modelo de alto rendimiento que es viable para despliegue en dispositivos con recursos limitados (edge computing), donde los modelos masivos no son prácticos.
2. Valida la eficiencia sobre la complejidad: Demuestra que en escenarios de datos limitados y heterogéneos, arquitecturas grandes y complejas no siempre son la solución óptima; un diseño factorizado y eficiente puede superar a los gigantes.
3. Cambio de paradigma en el entrenamiento: Pone de manifiesto que las "recetas" de entrenamiento de visión RGB (especialmente el aumento de datos agresivo) pueden ser contraproducentes en HSI, abogando por estrategias validadas empíricamente que respeten la física de la adquisición espectral.
4. Generalización: Al lograr un rendimiento de vanguardia en dominios tan dispares (satélites, frutas, escombros) con un solo modelo, SSFT se posiciona como una solución robusta para la clasificación genérica de hiperespectrales.