Resumen Técnico: Propiedades de Regularidad y Estabilidad de los SSM Selectivos con Compuerta Discontinua

Planteamiento del Problema

Los Modelos de Espacio de Estados Selectivos (SSM, por sus siglas en inglés), como Mamba, se han vuelto centrales para el modelado de secuencias largas. Sin embargo, sus propiedades de estabilidad siguen estando poco comprendidas. A diferencia de los sistemas clásicos Invariantes en el Tiempo Lineales (LTI) o los sistemas no lineales suaves, los SSM selectivos presentan coeficientes de espacio de estados ($A, B, C$) que son modulados en línea mediante una señal de compuerta dependiente de cada token. Esto crea un sistema que no es ni LTI ni clásicamente no lineal, sino más bien un sistema híbrido con parámetros dependientes de los datos y discontinuos. Los análisis existentes suelen centrarse en la expresividad o tratan la recurrencia como un sistema dinámico fijo por cada entrada, careciendo de un relato unificado basado en la energía sobre cómo estos modelos olvidan las condiciones iniciales, almacenan energía o mantienen la estabilidad ante perturbaciones.

Metodología

Los autores abordan el problema a través de la lente de la teoría de control clásica, específicamente la pasividad, la disipatividad y la Estabilidad de Entrada a Estado (ISS). Una innovación conceptual clave es la separación explícita de dos señales:

1. Señal de Selección ($x(\cdot)$): Programa la dinámica al determinar las matrices variantes en el tiempo $A, B, C$.
2. Entrada de Impulso ($u(\cdot)$): La entrada del puerto que impulsa la dinámica y aparece en la tasa de suministro.

Aunque las arquitecturas de compuerta por token suelen establecer $x \equiv u$, los autores mantienen esta separación para clarificar los cuantificadores en los análisis de pasividad e ISS.

Marco Teórico

El artículo analiza SSM selectivos en tiempo continuo definidos por:
$$\dot{h}(t) = A(\Delta(t), x(t))h(t) + B(\Delta(t), x(t))u(t)$$
$$y(t) = C(\Delta(t), x(t))h(t)$$
donde $\Delta(t)$ es una señal de compuerta auxiliar (típicamente de constante por tramos). El análisis asume una regularidad $L^p_{loc}$ suave, acomodando las discontinuidades introducidas por la compuerta.

Pasos teóricos clave incluyen:

• Disipatividad Estricta: Establecer las condiciones bajo las cuales el sistema exhibe un olvido exponencial de las condiciones iniciales.
• Análisis de Selección Congelada: Congelar la señal de selección ($x(t) \equiv 0$) para revelar un subsistema pasivo de Tiempo Variable Lineal (LTV). Aprovechando resultados recientes de Morandin & Hinsen (2024), los autores demuestran que este subsistema admite una función de almacenamiento cuadrática mínima con regularidad Semicontinua Superior Absolutamente Superior Localmente (AUC$_{loc}$), incluso bajo compuertas discontinuas.
• Almacenamiento Cuadrático Universal: Investigar las restricciones estructurales impuestas si una única función de almacenamiento cuadrática debe certificar la pasividad a través de todos los esquemas de selección admisibles. Esto conduce a una Desigualdad Matriz Lineal (LMI) paramétrica y al concepto de "olvido irreversible" (una vez que una dirección del estado entra en el núcleo de la matriz de almacenamiento, no puede volver a ser observable).
• ISS Global: Derivar condiciones suficientes para la Estabilidad de Entrada a Estado (ISS) global con respecto a la entrada de impulso $u(\cdot)$, uniformemente sobre los esquemas de selección.

Puente Discreto y Regularización

Para hacer la teoría accionable para las arquitecturas modernas, los autores traducen la LMI paramétrica en el tiempo continuo a una LMI de bloque muestreado para la recurrencia de escaneo selectivo de Mamba.

• Derivan una desigualdad de disipatividad de un solo paso en tiempo discreto.
• Definen un regularizador diferenciable, $R_{LMI}$, que penaliza el mayor autovalor de la matriz de bloque muestreado $L_k(P, \beta)$ en cada paso de token.
• Este regularizador se integra en el bucle de entrenamiento de una arquitectura real basada en Mamba (SST) como una restricción suave.

Contribuciones Clave

1. Modelo de Dos Señales: Una formulación limpia de los SSM selectivos que separa la señal de selección de la entrada del puerto, permitiendo un análisis riguroso de pasividad e ISS.
2. Olvido Exponencial: Una prueba formal de que la disipatividad estricta ($\beta > 0$) combinada con límites cuadráticos implica el decaimiento exponencial de las trayectorias homogéneas, uniformemente sobre los esquemas de selección admisibles.
3. Estructura de Energía Canónica: Demostración de que el subsistema de selección congelada posee una función de almacenamiento cuadrática mínima con regularidad AUC$_{loc}$. Esto proporciona una justificación basada en la energía para inicializaciones principios como HiPPO.
4. Restricciones Estructurales y Olvido Irreversible: Bajo la hipótesis de almacenamiento cuadrático universal, los autores derivan una LMI paramétrica y demuestran que el rango de la matriz de almacenamiento es no creciente. Esto formaliza el "olvido irreversible": las direcciones del estado descartadas por la estructura de energía no pueden ser recuperadas por el mecanismo de compuerta.
5. Condiciones de ISS Global: Condiciones suficientes para la estabilidad global con respecto a las entradas de impulso, uniformemente sobre los esquemas de selección.
6. Regularizador LMI Discreto: Un regularizador práctico y diferenciable derivado de la teoría continua, aplicable al núcleo de escaneo selectivo de Mamba.
7. Validación Empírica: Evaluación extensiva en siete conjuntos de datos de series temporales y cuatro horizontes de predicción, demostrando la capacidad del regularizador para reducir las violaciones de LMI sin degradar la precisión limpia.

Resultados

La evaluación empírica se realizó en la arquitectura SST (una mezcla de rutas de Mamba y atención de corto alcance) a través de 28 pares de conjunto de datos-horizonte (ETTh1/2, ETTm1/2, clima, electricidad, tráfico).

• Reducción de la Violación de LMI: El regularizador LMI discreto redujo la violación media de la LMI del núcleo Mamba muestreado aproximadamente en un 92% (de 0.0358 a 0.0029) en todos los 28 pares.
• Precisión Limpia: La reducción en las violaciones de LMI se produjo con un costo insignificante en el Error Cuadrático Medio (MSE) limpio, con una diferencia de menos del 0.018% en comparación con la línea base sin regularizar.
• Ablación de Conservatismo: Reemplazar la matriz de almacenamiento identidad fija ($P=I$) por una matriz diagonal aprendible ($P=\text{diag}(q)$) produjo una mejora de Pareto estricta (menores violaciones, misma precisión) en los 28 pares, confirmando la flexibilidad del marco.
• Robustez ante Perturbaciones: Bajo perturbaciones inyectadas (ruido gaussiano, picos, máscaras, etc.), el regularizador mejoró los diagnósticos internos de Mamba (redujo las violaciones de LM en ~60% y las normas de estado en ~3.4%). Sin embargo, no produjo una mejora medible en el MSE de pronóstico robusto. Los autores señalan explícitamente esto como un "negativo honesto", atribuyéndolo al hecho de que el regularizador restringe solo el núcleo de Mamba, mientras que la red circundante (normalización, residuales, enrutamiento) absorbe los efectos de la perturbación en la salida final.
• Estabilidad del Enrutador: Una ablación que intentaba aprender un esquema de enrutamiento consciente de la energía (penalizando el uso de Mamba cuando las violaciones locales de LMI son altas) resultó en un resultado neutral. Aunque los pesos de Mamba se inclinaron ligeramente hacia abajo, la correlación entre el peso de Mamba y la violación de LMI fue esencialmente cero, lo que sugiere que el entrenamiento en datos limpios no induce un enrutamiento consciente de la energía.

Significado y Reivindicaciones

El artículo posiciona un puente entre la teoría de control clásica y las arquitecturas modernas de aprendizaje profundo. Su importancia radica en:

• Claridad Teórica: Proporcionar un relato unificado basado en la energía para los SSM selectivos, yendo más allá de los diagnósticos de exponentes de Lyapunov hacia propiedades estructurales como la pasividad e ISS.
• Justificación de Inicializaciones: Ofrecer una explicación teórica de por qué las inicializaciones como HiPPO son efectivas (proporcionan un paisaje de energía cuadrática bien condicionado).
• Herramientas Prácticas: Introducir un regularizador de bajo costo y diferenciable que puede integrarse en los flujos de entrenamiento existentes para imponer estabilidad estructural en el núcleo del SSM.
• Delimitación Honesta: Los autores son explícitos sobre las limitaciones de sus afirmaciones. No afirman que el regularizador certifique la pasividad de toda la red profunda, ni que garantice mejoras en la robustez del MSE por sí solo. Encuadran los resultados como una "reducción sustancial de la violación" en lugar de una "pasividad certificada", y reconocen que la brecha entre la estabilidad del núcleo y la robustez de extremo a extremo sigue siendo una dirección de investigación abierta.

En resumen, el artículo traduce con éxito las garantías de tiempo continuo de la teoría de control en un criterio de entrenamiento verificable y diferenciable para los SSM selectivos, demostrando que estas restricciones estructurales pueden imponerse con un costo de precisión insignificante mientras se mejora significativamente los diagnósticos de estabilidad interna.