Resumen Técnico: Modelo de Espacio de Estados de Fusión Guiado por Relación Axial para Segmentación de Imágenes de Sensado Óptico-Elevación

Enunciado del Problema

La segmentación semántica de imágenes de teledetección de alta resolución es crítica para tareas de observación terrestre como la planificación urbana y la gestión de desastres. Sin embargo, confiar únicamente en imágenes ópticas a menudo produce resultados subóptimos en escenas complejas debido a la información espectral y textural limitada. Si bien los datos de elevación del Modelo de Superficie Digital (DSM) proporcionan pistas geométricas y estructurales complementarias, los métodos existentes de fusión multimodal enfrentan dos desafíos principales:

1. Modelado Multiescala Insuficiente: La mayoría de los métodos basados en Modelos de Espacio de Estados (SSM) operan sobre secuencias de tokens de escala única, luchando para capturar simultáneamente detalles locales de grano fino y dependencias contextuales globales gruesas inherentes a los objetos de teledetección.
2. Fusión Cross-Modal Subóptima: La relevancia semántica entre las características ópticas (espectro/textura) y de elevación (geometría/estructura) varía entre las categorías de objetos. Las estrategias de fusión existentes a menudo fallan en modelar adaptativamente estas correlaciones cross-modales complejas y conscientes del contexto.

Metodología: ARG-Mamba

Los autores proponen ARG-Mamba (Mamba de Fusión Guiado por Relación Axial), un marco de codificador-decodificador de doble flujo basado en Modelos de Espacio de Estados (SSM) diseñado para la segmentación semántica óptico-elevación. La arquitectura integra el modelado de dependencias de largo alcance de complejidad lineal con una fusión cross-modal explícita.

1. Módulo de Espacio de Estados Multiescala (MS-SSM)

Para abordar la variación de escala, los autores introducen el MS-SSM dentro de los Bloques de Espacio de Estado Visual (VSSB) del codificador.

• Mecanismo: El módulo divide los mapas de características de entrada en múltiples subcaracterísticas a lo largo de la dimensión del canal, procesando cada una a diferentes escalas espaciales (por ejemplo, $\{1, 2, 4, 8\}$).
• Escaneo: Emplea un Escaneo Selectivo Multiescala (MS-SS2D) que realiza un escaneo bidireccional dentro de ventanas no superpuestas para cada escala. Esto restringe la distancia de escaneo para minimizar el ruido mientras captura estructuras locales.
• Fusión: Las características de todas las escalas se concatenan y procesan mediante proyección lineal y convolución por profundidad (DConv) para fusionar adaptativamente las pistas multiescala y reconciliar las redundancias de canal. Esto permite que el modelo capture tanto detalles locales como dependencias globales con complejidad computacional lineal.

2. Módulo de Fusión Guiado por Relación Axial (ARGFM)

Insertado entre las etapas correspondientes de los codificadores óptico y de elevación, el ARGFM facilita una interacción cross-modal estructurada.

• Capa de Atención de Relación Axial (ARAL): En lugar de calcular una matriz de atención 2D completa (que tiene una complejidad de $O((HW)^2)$), la ARAL descompone la matriz de relación densa entre los tokens ópticos y de elevación en atenciones axiales por filas y por columnas. Esto reduce la complejidad a $O(HW(H+W))$ mientras captura patrones de interacción alineados con estructuras de teledetección tipo cuadrícula (por ejemplo, carreteras, edificios).
• SSM de Fusión (Fus-SSM): Los tokens conscientes de la relación generados por la ARAL actúan como moduladores para un bloque SSM de fusión. Este bloque concatena cruzadamente los tokens de contexto local y los tokens de relación, utilizando un escaneo selectivo para propagar información y facilitar una interacción profunda entre las pistas espectrales y geométricas.
• Integración: Las características refinadas se pasan a través de atención cruzada y proyecciones lineales para producir representaciones fusionadas para el decodificador, mientras que las características específicas de la modalidad continúan hacia la siguiente etapa del codificador.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Marco ARG-Mamba: Un marco novedoso que integra SSMs con una fusión guiada por relación axial explícita para capturar eficientemente dependencias de largo alcance en imágenes de teledetección multifuente.
2. MS-SSM: Un módulo diseñado para manejar variaciones de escala en imágenes de alta resolución, permitiendo el modelado conjunto de detalles locales de grano fino y contexto global dentro de un marco unificado de complejidad lineal.
3. ARGFM: Un mecanismo que modela explícitamente correlaciones cross-modales globales mediante descomposición axial, permitiendo una fusión eficiente y estructurada de características ópticas y de elevación heterogéneas.

Resultados Experimentales

Los autores evaluaron ARG-Mamba en dos conjuntos de datos de referencia: ISPRS Vaihingen (9 cm GSD) e ISPRS Potsdam (5 cm GSD), ambos conteniendo seis clases de cobertura terrestre.

• Rendimiento Cuantitativo: ARG-Mamba superó consistentemente a seis métodos de última generación (incluyendo PSTNet, FEANet, GMNet, CMNeXt, FTransUNet y MFNet) en todas las métricas (puntuación F1, Precisión General y mIoU).
  • En Vaihingen, logró un mIoU del 83.72% (frente al 82.42% del siguiente mejor, MFNet).
  • En Potsdam, logró un mIoU del 85.30% (frente al 85.10% de MFNet).
  • Se observaron mejoras notables en la detección de objetos pequeños y complejos como "Coches" y "Vegetación Baja".
• Análisis Cualitativo: Los resultados visuales mostraron que ARG-Mamba producía mapas de segmentación con límites de objetos más claros y etiquetado de regiones más consistente, particularmente en la extracción de edificios y el reconocimiento de objetos pequeños, con ruido de desorden reducido en comparación con las líneas base CNN y Transformer.
• Eficiencia Computacional: El modelo demostró una eficiencia favorable, requiriendo significativamente menos parámetros (77.1M) y FLOPs (56.4G) que modelos híbridos pesados como MFNet (313.2M parámetros) y FEANet (255.3M parámetros), manteniendo al mismo tiempo tiempos de inferencia más rápidos (0.268s).

Significado y Afirmaciones

El artículo afirma que ARG-Mamba ofrece una solución equilibrada para la segmentación óptico-elevación al abordar las limitaciones de los enfoques multiescala y multimodal existentes. Al aprovechar la complejidad lineal de los SSMs y la eficiencia estructural de la descomposición de relación axial, el marco logra una precisión de última generación sin los costos computacionales prohibitivos asociados con arquitecturas basadas en Transformer o híbridas pesadas. Los autores afirman que su enfoque es particularmente adecuado para tareas de teledetección a gran escala donde se requieren tanto alta precisión como eficiencia computacional. El código se pone a disposición del público para apoyar investigaciones adicionales en este dominio.