3D Fourier-based Global Feature Extraction for Hyperspectral Image Classification

Título: Extracción de Características Globales Basada en Fourier 3D para la Clasificación de Imágenes Hiperespectrales (HGFNet)

1. El Problema

La clasificación de imágenes hiperespectrales (HSIC) es fundamental en teledetección, pero enfrenta desafíos inherentes a los datos: alta dimensionalidad, fuerte correlación inter-banda (redundancia espectral) y heterogeneidad espacial compleja. Los métodos existentes presentan limitaciones críticas:

• Modelos basados en Transformers: Aunque capturan dependencias de largo alcance mediante atención auto-asociada, sufren de una complejidad computacional cuadrática ($O(n^2)$), lo que dificulta su escalabilidad.
• Métodos basados en Fourier (actuales): Suelen aplicar transformadas de Fourier rápidas (FFT) solo en las dimensiones espaciales (2D), ignorando las dependencias espectrales críticas entre bandas que son la característica más discriminativa de los datos hiperespectrales.
• Desequilibrio de clases: Los conjuntos de datos reales a menudo tienen una distribución de clases muy desbalanceada, donde las clases minoritarias tienen pocos píxeles etiquetados, lo que lleva a un rendimiento deficiente en la clasificación de estas categorías.

2. Metodología: HGFNet

El artículo propone HGFNet (Hybrid GFNet), una arquitectura híbrida que combina la extracción de características locales mediante convoluciones 3D con el filtrado global en el dominio de la frecuencia inspirado en GFNet.

• Extracción Local (Front-end): Utiliza tres capas convolucionales 3D seguidas de la función de activación GeLU. Esto permite capturar estructuras locales espaciales-espectrales finas, gradientes espectrales y contextos de vecindad, actuando como un sesgo inductivo fuerte para datos con pocas muestras.
• Filtrado Global en el Dominio de la Frecuencia (Bloques GFNet): La innovación central es la introducción de tres transformadas de Fourier complementarias adaptadas a la naturaleza 3D de los datos:
  1. Transformada de Fourier Espectral (SFT): FFT 1D a lo largo del eje espectral para modelar variaciones de frecuencia por longitud de onda y dependencias inter-banda.
  2. Transformada de Fourier Espacial (SpFT): FFT 2D sobre las dimensiones espaciales para capturar patrones globales y correlaciones a larga distancia.
  3. Transformada de Fourier Espacio-Espectral (SSFT): FFT 3D conjunta que modela estructuras de frecuencia acopladas entre la organización espacial y el espectro.
  • Estos bloques utilizan máscaras de frecuencia aprendibles para suprimir ruido y realzar componentes informativos, seguido de capas MLP y conexiones residuales.
• Pérdida Adaptativa Focal (AFL): Para abordar el desequilibrio de clases, se introduce una función de pérdida que ajusta dinámicamente los pesos y el enfoque por clase según su frecuencia. A diferencia de la pérdida focal estándar, AFL adapta la fuerza de enfoque para cada clase individualmente, mejorando la discriminación de clases minoritarias sin penalizar excesivamente las mayoritarias.
• Cabeza de Clasificación: Un cabezal totalmente conectado adaptativo que mejora la generalización en conjuntos de datos con distribuciones de clases variables.

3. Contribuciones Clave

1. Generalización de Fourier de Alta Dimensión: Propone por primera vez el uso conjunto de transformadas 1D, 2D y 3D (SFT, SpFT, SSFT) dentro de una red neuronal para modelar explícitamente tanto las correlaciones espectrales como las espaciales, superando las limitaciones de los métodos anteriores que trataban el espectro como canales estáticos.
2. Fusión Híbrida Local-Global: Integra la inductividad local de las CNN 3D (para manejar píxeles mixtos y ruido) con la eficiencia global del filtrado Fourier (para consistencia espacial y dependencias de largo alcance), logrando un equilibrio computacional superior a los Transformers.
3. Optimización para Desequilibrio: La propuesta de AFL mejora significativamente el rendimiento en escenarios reales con etiquetas escasas y desbalanceadas, un problema común en HSIC que a menudo se pasa por alto en el diseño de arquitecturas.
4. Eficiencia Computacional: Al utilizar FFT ($O(n \log n)$) en lugar de atención auto-asociada completa, el modelo logra una escalabilidad superior para datos de alta dimensión.

4. Resultados Experimentales

El modelo se evaluó en tres conjuntos de datos de referencia: Indian Pines (IP), WHU Hi HanChuan (HC) y WHU Hi HongHu (HH).

• Rendimiento General: HGFNet superó consistentemente a los métodos más avanzados (SOTA), incluyendo SpectralFormer, HViT, WaveFormer, WaveMamba y Mamba.
  • En el conjunto HH, logró un Kappa de 99.13% y una Precisión General (OA) de 99.31%.
  • En el conjunto HC, alcanzó una OA de 99.24% y un Kappa de 99.11%.
  • En el conjunto IP, obtuvo una OA de 98.46% y un Kappa de 98.24%.
• Análisis de Ablación:
  • La combinación de las tres transformadas (SSFT) fue superior a usar solo espaciales (SpFT) o solo espectrales (SFT), confirmando que la información espectral y espacial son complementarias.
  • La pérdida AFL superó a la pérdida focal estándar (SFL), demostrando su eficacia en el manejo de clases minoritarias.
  • HGFNet superó a los baselines basados en atención (Transformers) y a otros métodos basados en frecuencia (Wavelets), validando la ventaja de la modelización explícita de frecuencias 3D.
• Calidad Visual: Los mapas de clasificación generados mostraron regiones más coherentes espacialmente, con menos ruido "sal y pimienta" y límites de clase más claros en comparación con los competidores.

5. Significado e Impacto

Este trabajo representa un avance significativo en la clasificación de imágenes hiperespectrales al cerrar la brecha entre el modelado local detallado y la captura eficiente de dependencias globales.

• Paradigma Eficiente: Demuestra que el dominio de la frecuencia, específicamente mediante FFT 3D, puede reemplazar o complementar eficazmente a los costosos mecanismos de atención en Transformers, ofreciendo una alternativa escalable.
• Robustez Práctica: La integración de la pérdida adaptativa y la modelización de correlaciones inter-banda hace que el sistema sea más robusto para aplicaciones del mundo real donde los datos son escasos, ruidosos y desbalanceados.
• Dirección Futura: Aunque el modelo asume estacionariedad de la señal (una limitación ante variaciones no estacionarias complejas), establece una base sólida para futuras investigaciones en representaciones de frecuencia adaptativas y convoluciones 3D ligeras para escalar a resoluciones ultra-altas.

En resumen, HGFNet establece un nuevo estado del arte al unificar de manera principial la extracción de características locales y globales mediante operadores de Fourier específicos para hiperespectro, logrando una precisión superior y una mayor eficiencia computacional.