A Novel Graph-Regulated Disentangling Mamba Model with Sparse Tokens for Enhanced Tree Species Classification from MODIS Time Series

Resumen Técnico: Un Modelo Mamba de Desacoplamiento Regulado por Grafos con Tokens Escasos para la Clasificación Mejorada de Especies Arbóreas a partir de Series Temporales MODIS

Enunciado del Problema
La clasificación precisa de especies arbóreas utilizando datos de series temporales del Espectrorradiómetro de Imágenes de Resolución Moderada (MODIS) es crítica para el monitoreo ambiental, pero sigue siendo un desafío. Las principales dificultades provienen de:

1. Diferencias Sutiles en las Firmas: Las especies arbóreas a menudo exhiben firmas espectro-temporales débiles y similares, lo que conduce a una pobre separabilidad de clases en espacios espaciales-espectrales-temporales de alta dimensión.
2. Acoplamiento de Información: Existe un fuerte acoplamiento entre la información espacial, espectral y temporal, que los modelos de aprendizaje profundo estándar luchan por desacoplar para una extracción efectiva de características.
3. Contexto y Complejidad a Gran Escala: Modelar el contexto topológico a gran escala es difícil para los modelos locales (como las CNN), mientras que los modelos globales (como los Transformers) sufren de complejidad computacional cuadrática con secuencias largas. Además, los modelos estándar de Espacio de Estados Estructurado (Mamba), aunque eficientes, enfrentan limitaciones para modelar correlaciones geográficas más allá de los parches de entrada, no logran desacoplar la información acoplada y sufren de decaimiento de correlación y alta complejidad al procesar secuencias densas de tokens.

Metodología
Los autores proponen el modelo Mamba Escaso de Desacoplamiento Regulado por Grafos (GDS-Mamba), que integra tres componentes arquitectónicos centrales para abordar los desafíos mencionados anteriormente:

1. Flujo Regulado por Grafos en Mini-lotes: Para capturar correlaciones geográficas a gran escala, el modelo trata los parches de imagen de entrada dentro de un mini-lote como nodos en un grafo. Se construye una matriz de adyacencia utilizando un kernel de Función de Base Radial (RBF) basado en la distancia euclidiana entre los vectores espectrales de los píxeles centrales. Una capa de Red de Convolución de Grafos (GCN) procesa luego estos nodos para aprender efectos de correlación espacial entre las muestras de entrada, modelando explícitamente relaciones que se extienden más allá de los parches de imagen individuales.

2. Mamba de Desacoplamiento Espacial-Espectral-Temporal: Para abordar el acoplamiento de la información, la arquitectura emplea un tallo de convolución grupal para generar flujos de tokens distintos: tokens espectrales ($F$), tokens temporales ($Z$) y tokens espaciales ($S$). Estos flujos se procesan de forma independiente por módulos Mamba dedicados para capturar patrones espaciales independientes, firmas espectrales y comportamientos fenológicos temporales. Las características resultantes se fusionan con las características del grafo derivadas de la GCN antes de ser pasadas a una cabeza de clasificación.

3. Mecanismo de Tokens Escasos: Para mitigar el problema del decaimiento de correlación y reducir la complejidad computacional inherente a los modelos Mamba estándar con secuencias largas, los autores introducen un enfoque de tokens escasos.

   • Escasez Espectral y Temporal: Los mecanismos de auto-atención calculan puntuaciones de importancia para los tokens. Una estrategia de selección top-$k$ identifica y retiene solo el subconjunto más significativo de tokens espectrales y temporales, descartando el resto.
   • Escasez Espacial: Un mecanismo similar selecciona un subconjunto de tokens espaciales basado en su importancia relativa a un token central.
     Esta selección adaptativa asegura que el modelo se centre en el subconjunto óptimo de tokens, mejorando la eficiencia y el aprendizaje de características.

Contribuciones Clave
El artículo afirma tres contribuciones principales:

1. Modelado de Correlaciones a Gran Escala: El diseño de un enfoque regulado por grafos en mini-lotes que explora explícitamente las correlaciones topológicas entre los parches de imagen de entrada, abordando una limitación de los modelos Mamba estándar en cuanto al contexto geográfico.
2. Extracción de Características Desacopladas: La propuesta de una arquitectura Mamba de desacoplamiento novedosa que procesa independientemente las dimensiones espacial, espectral y temporal para romper el acoplamiento de alta dimensión característico de los datos de series temporales MODIS.
3. Eficiencia y Robustez mediante Escasez: El desarrollo de enfoques novedosos de tokens escasos que aprenden adaptativamente el subconjunto óptimo de tokens, abordando efectivamente el problema del decaimiento de correlación y reduciendo la complejidad del modelo.

Resultados Experimentales
El modelo fue evaluado utilizando datos anuales a gran escala MOD13Q1 (23 pasos temporales, 6 variables) de dos provincias canadienses: Alberta (9 clases) y Saskatchewan (4 clases).

• Conjunto de Datos de Alberta: GDS-Mamba logró una Precisión General (OA) del 93.94%, una Precisión Promedio (AA) del 92.68% y un Kappa del 91.31%. Superó a doce baselines de última generación, incluidas variantes de RNN, LSTM, ResNet-101, ViT, SwinTransformer y Mamba-HSI estándar.
• Generalización Transprovincial (Saskatchewan): En una prueba de transferencia sin entrenamiento previo (zero-shot), el modelo logró una OA del 80.19% y un Kappa del 63.89%, demostrando capacidades de generalización robustas.
• Estudios de Ablación: La eliminación de las ramas espectrales o temporales resultó en las caídas de rendimiento más significativas, destacando su papel crítico. La eliminación del módulo de grafo también causó disminuciones notables, confirmando el valor de modelar correlaciones a gran escala.
• Eficiencia: El modelo es computacionalmente eficiente, requiriendo solo 1.31M de parámetros y 358.02M de FLOPs, significativamente menos que arquitecturas pesadas como SiT (59.74M de parámetros) o ConvLSTM (107,058.13M de FLOPs).

Significado
El artículo afirma que el modelo GDS-Mamba aborda sistemáticamente los cuellos de botella clave de los modelos Mamba estándar en aplicaciones de teledetección: el modelado de correlaciones geográficas a gran escala, el acoplamiento espacial-espectral-temporal y el decaimiento de correlación debido a la complejidad de la secuencia. Al integrar la regulación por grafos, el procesamiento desacoplado y los mecanismos de tokens escasos, el modelo logra una precisión de clasificación superior y una mejor generalización mientras mantiene una huella computacional ligera, convirtiéndolo en una solución viable para mapear especies arbóreas sobre regiones extensas y heterogéneas utilizando datos de series temporales MODIS.