On the Generalization Properties of Selective State-Space Models for Filtering Tasks for Unknown Systems

Resumen Técnico: Propiedades de Generalización de los Modelos de Espacio de Estados Selectivos para Tareas de Filtrado en Sistemas Desconocidos

Este artículo investiga la capacidad de los Modelos de Espacio de Estados Selectivos (SSM), específicamente la arquitectura Mamba, para realizar tareas de filtrado y predicción de trayectorias en sistemas dinámicos cuyas leyes de movimiento son desconocidas durante el entrenamiento.

1. El Problema

Tradicionalmente, el filtrado de sistemas dinámicos (como la predicción de estados futuros a partir de observaciones ruidosas) se aborda mediante métodos clásicos como el Filtro de Kalman (KF) o el Filtro de Kalman Extendido (EKF). Sin embargo, estos requieren un modelo matemático explícito del sistema.

Recientemente, los Transformers han demostrado capacidad de "aprendizaje en contexto" (in-context learning), permitiendo inferir la estructura de un sistema desconocido a partir de observaciones pasadas. El problema que plantea este estudio es determinar si los SSMs pueden igualar o superar a los Transformers en esta tarea, considerando que los SSMs ofrecen una complejidad computacional lineal y no dependen de una "ventana de contexto" fija, lo que teóricamente les permitiría manejar secuencias arbitrariamente largas.

2. Metodología

Los autores proponen un marco de entrenamiento basado en la Minimización del Riesgo Empírico (ERM):

• Entrenamiento: Se entrena un SSM utilizando una muestra de $M$ sistemas distintos extraídos de una distribución $\mathcal{D}_{sys}$. El modelo aprende a mapear una secuencia de entradas $Y_{t-1}$ a una salida predicha $\hat{y}_t$.
• Inferencia (Run-time): Se presenta al modelo un sistema nuevo y desconocido $S_0$ de la misma distribución. El SSM debe realizar el filtrado en línea, prediciendo la siguiente salida basándose únicamente en la historia observada.

El estudio utiliza una arquitectura de SSM selectivo (LTV - Linear Time-Varying) que discretiza un modelo continuo mediante un tiempo de muestreo dependiente de la entrada (usando la función softplus).

3. Contribuciones Clave

A. Análisis Teórico (Novedad principal):
El artículo presenta, según los autores, las primeras garantías de generalización para SSMs en aplicaciones de filtrado.

• Robustez del SSM (Teorema 1): Demuestran que los SSMs son robustos ante perturbaciones en los datos de entrada. Si ocurre un error o ruido en un instante $\tau$, el error en la predicción decae exponencialmente con el tiempo $(t-\tau)$ debido a la estabilidad del sistema y la naturaleza del modelo.
• Cota de Generalización (Teorema 2): Derivan un límite superior para el riesgo excesivo. La conclusión fundamental es que el error de generalización de los SSMs decae de forma exponencial con el horizonte de tiempo $T$ (específicamente con una tasa de $\rho^T \sqrt{T}$), lo cual es significativamente más fuerte y rápido que la tasa de decaimiento observada en los Transformers.

B. Resultados Empíricos:
Se comparó el SSM con un Transformer (GPT-2) y un Filtro de Kalman (KF) en cuatro escenarios:

1. Entorno Lineal-Gaussiano: El SSM y el Transformer logran un rendimiento estable con mucho menos error que un KF mal especificado, y el SSM lo hace con muchos menos parámetros.
2. Cambio de Dinámica (Switching): Ante un cambio abrupto en las reglas del sistema a mitad de la trayectoria, el SSM se adapta más rápido que el Transformer y es más resiliente que el KF.
3. Ruido Coloreado: Cuando el ruido no es blanco (tiene correlación temporal), los modelos aprendidos (SSM y Transformer) superan al KF, demostrando que pueden aprender la estructura del ruido.
4. Generalización de Longitud: Al probar con secuencias más largas de las vistas en el entrenamiento, el Transformer muestra un aumento en el error, mientras que el SSM mantiene la estabilidad, validando su ventaja arquitectónica.

4. Significado y Conclusiones

El trabajo demuestra que los SSMs selectivos son una alternativa superior a los Transformers para el control y la estimación de sistemas dinámicos por tres razones principales:

1. Eficiencia: Requieren menos parámetros para alcanzar precisiones similares.
2. Robustez: Tienen una capacidad de adaptación superior ante cambios en la dinámica del sistema.
3. Escalabilidad: Su capacidad de generalización a horizontes temporales largos es teórica y empíricamente superior, lo que los hace ideales para aplicaciones de control donde la seguridad y la precisión en tiempos prolongados son críticas.