Resumen Técnico: SPDM – Modelado de Espacio de Estados Modulado por Geometría con Restricciones de Variedad

1. Planteamiento del Problema

El pronóstico de series temporales multivariantes enfrenta un desafío fundamental: capturar las estructuras de correlación en constante evolución entre variables que interactúan. Las arquitecturas neuronales de secuencias existentes, incluyendo los Transformers y los Modelos de Espacio de Estados (SSM) estándar como Mamba, tratan en gran medida las relaciones entre canales como estáticas o descartan su continuidad geométrica.

• Los Transformers dependen de mecanismos de autoatención que incurren en una complejidad computacional cuadrática ($O(L^2)$) y tienen dificultades para propagar estructuras de correlación de forma continua a lo largo de la dimensión temporal.
• Los SSM estándar (p. ej., Mamba) logran una complejidad lineal pero típicamente modelan las interacciones multivariantes como secuencias planas o grafos estáticos, fallando al no considerar las propiedades geométricas intrínsecas de las matrices de covarianza en evolución.
• Los Métodos Geométricos Existentes a menudo dependen de priors geométricos estáticos o aplican transformaciones geométricas como mecanismos auxiliares, en lugar de modelar la estructura de correlación como una trayectoria continua sobre una variedad geométrica con principios definidos.

El problema central es la falta de una arquitectura que pueda mantener simultáneamente la eficiencia computacional de los SSM mientras modela explícitamente la estructura de correlación cruzada en evolución como una trayectoria geométrica continua.

2. Metodología: Arquitectura SPDM

Los autores proponen SPDM (Geometry-Modulated State Space Modeling with Manifold Constraints), una arquitectura que trata la evolución de la estructura de correlación cruzada como una trayectoria continua en la variedad de Matrices Simétricas Definidas Positivas (SPD) ($\mathcal{P}_N$). El modelo integra dos rutas cooperativas para realizar la dinámica de espacio de estados con restricciones de variedad.

Ruta A: Ruta de Trayectoria de la Variedad SPD

Esta ruta construye y procesa la evolución geométrica de las correlaciones:

1. Construcción de Covarianza Dinámica: La secuencia de entrada se despliega en ventanas deslizantes superpuestas. Para cada ventana, se calcula una matriz de covarianza de muestra $\Sigma_t$, trazando una trayectoria discreta en $\mathcal{P}_N$.
2. Proyección al Espacio Tangente: Para permitir el procesamiento eficiente por parte de bloques neuronales estándar, la trayectoria se proyecta a un espacio tangente euclidiano.
   • Se establece un punto de referencia utilizando la Media de Fréchet de Log-Euclídea ($\bar{\Sigma}$), la cual respeta la geometría curva de la variedad.
   • Cada matriz de covarianza se proyecta al espacio tangente $T_{\bar{\Sigma}}\mathcal{P}_N$ mediante el mapa logarítmico: $V_t = \log_{\bar{\Sigma}}(\Sigma_t)$.
   • Las matrices simétricas resultantes se aplanan en vectores triangulares superiores.
3. Geometry Mamba: Un módulo Mamba dedicado procesa la secuencia de vectores tangentes para capturar la dinámica temporal de la trayectoria geométrica, produciendo los parámetros de modulación ($\mathbf{h}_{geo}$).
4. Alineación de Ventana Dispersa (Sparse Window Alignment): Para cerrar la brecha de granularidad entre las características geométricas a nivel de ventana y los tokens a nivel de variable, se emplea una estrategia de alineación dispersa. Las señales geométricas se inyectan solo en pasos de tiempo específicos correspondientes a los centros de las ventanas, evitando la difusión de información causada por la interpolación lineal.

Ruta B: Codificador Mamba Modulado

Esta ruta procesa la serie temporal bruta mientras es guiada por las señales geométricas de la Ruta A:

1. Inversión de Embedding: Las variables son tratadas como tokens, y la secuencia se transpone para que Mamba escanee a través de las variables en lugar de los pasos de tiempo.
2. Mamba Modulado por Geometría: La innovación central reside en la inyección directa de las señales geométricas en los parámetros selectivos de espacio de estados ($\mathbf{B}$ y $\mathbf{C}$) del codificador Mamba VC (Variable Channel).
   • En lugar de tratar la geometría como una señal de condicionamiento externa, el modelo intercepta la parametrización interna del SSM.
   • Las señales geométricas se proyectan e inyectan aditivamente en $\mathbf{B}$ y $\mathbf{C}$: $\mathbf{B} = \mathbf{B}_{base} + \mathbf{W}_{geo}^B(\Delta_{geo})$ y $\mathbf{C} = \mathbf{C}_{base} + \mathbf{W}_{geo}^C(\Delta_{geo})$.
   • Este mecanismo permite que las vías de entrada-a-estado y estado-a-salida del SSM respondan adaptativamente a los cambios en la topología de correlación subyacente.

Complejidad y Eficiencia

La arquitectura preserva la complejidad de tiempo lineal ($O(L)$) del escaneo paralelo de Mamba. Aunque la Ruta A implica descomposiciones de autovalores ($O(N^3)$), los autores emplean una proyección de bajo rango para conjuntos de datos de alta dimensión para reducir esto a $O(R^3)$, asegurando la escalabilidad. La complejidad general sigue siendo lineal con respecto a la longitud de la secuencia y el número de variables.

3. Principales Contribuciones

El artículo describe tres contribuciones principales:

1. Principio de Dinámica de Espacio de Estados Restringida por Variedad: Los autores demuestran que tratar las correlaciones cruzadas en evolución como trayectorias riemannianas continuas en la variedad SPD proporciona una regularización geométrica efectiva para el pronóstico basado en SSM.
2. Arquitectura SPDM: Un SSM consciente de la geometría que realiza este principio escaneando trayectorias de la variedad SPD en el espacio tangente y modulando directamente los parámetros selectivos de Mamba mediante el gating geométrico. Esto logra una conciencia geométrica intrínseca sin condicionamiento externo ni sacrificio de la complejidad lineal.
3. Validación Empírica: Experimentos exhaustivos en once conjuntos de datos de referencia del mundo real confirman que la dinámica restringida por variedad es el factor dominante detrás del rendimiento del modelo, más que componentes arquitectónicos aislados.

la 4. Resultados Experimentales

Los autores evaluaron SPDM en once conjuntos de datos (incluyendo ETTh1/2, ETTm1/2, ECL, Exchange, Weather, PEMS03/07/08 y Illness) que cubren diversos dominios, conteos de variables (7 a 883) y granularidades temporales.

• Precisión de Pronóstico: SPDM alcanzó un rendimiento SOTA (Estado del Arte) o cercano al SOTA en todos los ámbitos. Obtuvo el mejor promedio de MSE/MAE en ETTh1, ETTh2, Weather e Illness. En conjuntos de datos de alta dimensión como ECL (321 variables) y los benchmarks de PEMS, SPDM superó consistentemente a bases sólidas como S-Mamba, iTransformer y PatchTST, particularmente en la captura de dinámicas complejas entre variables.
• Estudios de Ablación:
  • Inyección Geométrica: Eliminar la inyección de señales geométricas en $\mathbf{B}$ y $\mathbf{C}$ causó una degradación significativa del rendimiento, especialmente en conjuntos de datos de alta dimensión (por ejemplo, un aumento del 12.6% en MSE en ECL), validando la necesidad de la modulación directa de parámetros.
  • Estrategia de Alineación: La alineación de ventana dispersa propuesta superó a la interpolación lineal, confirmando que preservar la resolución temporal nativa de las ventanas de covarianza es crucial.
  • Regularización: Se encontró que la regularización de suavidad geodésica explícita era redundante, ya que la media de Fréchet de Log-Euclídea y la proyección tangente imponen intrínsecamente una suavidad geométrica suficiente.
• Eficiencia: SPDM demostró una velocidad de entrenamiento y eficiencia de memoria superiores en comparación con los modelos basados en Transformers y de parcheo (patching), manteniendo un bajo uso de memoria GPU mientras alcanzaba una precisión competitiva.
• Robustez: El modelo mostró una alta resiliencia al ruido gaussiano, manteniendo la precisión funcional incluso bajo perturbaciones fuertes ($\sigma=0.5$), atribuido al efecto regularizador geométrico de la proyección de la variedad.
• Modelado de Largo Alcance: A diferencia de las bases que sufren de saturación o degradación del rendimiento con el aumento de las ventanas de observación (lookback windows), SPDM exhibió una disminución suave y monotónica del error a medida que aumentaba la longitud del lookback.

5. Significado y Reivindicaciones

El artículo afirma que SPDM establece un paradigma fundacional para la dinámica neuronal restringida por variedad dentro de las arquitecturas de espacio de estados. Su importancia radica en:

• Unir Geometría y Eficiencia: Integra con éxito la geometría riemanniana (específicamente las restricciones de la variedad SPD) con la eficiencia de tiempo lineal de Mamba, superando el compromiso entre fidelidad geométrica y escalabilidad computacional.
• Regularización Basada en Principios: El trabajo postula que las restricciones geométricas actúan como un regularizador con principios que guía y estabiliza la dinámica de escaneo selectivo de los SSM, permitiendo al modelo distinguir entre cambios de régimen estructural genuinos y ruido estocástico.
• Intervención Arquitectónica: Al intervenir en el nivel de la parametrización del SSM (modulando $\mathbf{B}$ y $\mathbf{C}$), SPDM convierte a la geometría en un componente formativo del proceso de modelado de secuencias, en lugar de un complemento auxiliar.

Los autores concluyen que este enfoque abre vías para el aprendizaje profundo geométrico sobre representaciones estructuradas no euclidianas, con posibles extensiones futuras que incluyen el manejo de señales muestreadas irregularmente y el aprovechamiento de variedades de producto de orden superior.