Resumen Técnico: TIDES – Conciencia Temporal Implícita en Modelos de Espacio de Estados Selectivos

Declaración del Problema

Los datos secuenciales del mundo real, como observaciones clínicas, lecturas de sensores ambientales y eventos financieros, rara vez se muestrean en una cuadrícula regular. Los modelos de secuencia estándar suelen asumir pasos de tiempo uniformes, obligándolos a resamplear los datos (descartando información temporal) o a aumentar las entradas con características de tiempo explícitas.

Dos familias dominantes de Modelos de Espacio de Estados (SSM) abordan el modelado de secuencias pero enfrentan un compromiso fundamental respecto a las series temporales irregulares:

1. SSM de tiempo continuo (por ejemplo, S5): Estos preservan el significado físico del paso de tiempo ($\tilde{\Delta} \equiv \Delta$), lo que les permite manejar marcas de tiempo irregulares de forma nativa integrando la dinámica continua sobre el tiempo transcurrido real. Sin embargo, suelen ser Lineales e Invariantes en el Tiempo (LTI), lo que significa que su dinámica no cambia según el contenido de la entrada, limitando la expresividad por token.
2. SSM Selectivos (por ejemplo, Mamba): Estos logran una fuerte expresividad por token al hacer que el paso de discretización $\tilde{\Delta}$ y las matrices de proyección ($B, C$) sean funciones dependientes de la entrada. Esto permite que el modelo adapte su constante de tiempo efectiva token a token. Sin embargo, este diseño colapsa $\tilde{\Delta}$ desde un intervalo de muestreo físico hacia una puerta aprendida. En consecuencia, el modelo pierde su manejo nativo del tiempo irregular; para procesar datos irregulares, debe tratar los deltas de tiempo como características de entrada explícitas. El artículo argumenta que este acoplamiento indirecto impide que el modelo extrapole a regímenes de irregularidad (deltas de tiempo) no vistos durante el entrenamiento.

Metodología: TIDES

Los autores proponen TIDES (Decaimiento Implícito en el Tiempo y Selectividad de Valores Propios), una variante de SSM selectivo diseñada para conciliar la expresividad de Mamba con la semántica del tiempo físico de S5.

Principio de Diseño Central

TIDES traslada la dependencia de la entrada desde el paso de discretización ($\tilde{\Delta}$) hacia el generador de tiempo continuo (la matriz de estado $\Lambda$ y las proyecciones $B, C$).

• Conciencia Temporal Implícita: El paso de tiempo $\tilde{\Delta}$ permanece estrictamente físico ($\tilde{\Delta} \equiv \Delta$), determinado únicamente por las marcas de tiempo de observación. No es una función aprendida de la entrada.
• Generador Selectivo: La dependencia de la entrada se aplica a:
  • $\text{Re}(\Lambda)$: La parte real de los valores propios (tasas de decaimiento) se convierte en una función de la entrada. Esto permite que el modelo "olvide más rápido" o "mantenga más tiempo" según el contenido, proporcionando la selectividad necesaria.
  • $B$ y $C$: Las proyecciones de entrada y salida son dependientes de la entrada, permitiendo que el modelo filtre el ruido y module la lectura/escritura del estado.
  • $\text{Im}(\Lambda)$: La parte imaginaria (frecuencia de oscilación) permanece estática. Los autores argumentan que modular la frecuencia por token carece de una interpretación de tiempo continuo limpia y encuentran empíricamente que perjudica el rendimiento.

Detalles de la Arquitectura

• Inicialización: El modelo se inicializa con sesgos derivados de HiPPO para $\Lambda, B, C$ y pesos de proyección inicializados en cero. Esto asegura que el modelo comience desde una recurrencia LTI bien condicionada y aprenda la selectividad como una perturbación suave.
• Proyecciones de Bajo Rango: Para gestionar la cantidad de parámetros, las proyecciones densas para $B$ y $C$ se factorizan en estructuras de bajo rango ($r \ll PH$).
• Proyectores Profundos: La vía de entrada incluye bloques residuales de Unidad Lineal Puerta (GLU) antes de la proyección final para introducir no linealidad, similar al preprocesamiento de Mamba.
• Normalización: Se aplica RMSNorm a los parámetros proyectados ($\text{Re}(\Lambda), B, C$) inmediatamente antes de la discretización para estabilizar el entrenamiento, evitando perturbaciones ilimitadas en la recurrencia.
• Reparametrización Estable: $\text{Re}(\Lambda)$ se reparametriza (por ejemplo, mediante mapeo exponencial o estable) para asegurar que los valores propios permanezcan en el semiplano estable, previniendo recurrencias explosivas independientemente de la entrada.

Contribuciones Clave

1. Arquitectura: TIDES introduce un diseño donde la selectividad reside en el generador de tiempo continuo ($\text{Re}(\Lambda), B, C$) mientras que el paso de discretización permanece como una cantidad física e implícita. Esto permite que el modelo maneje marcas de tiempo irregulares de forma nativa sin sacrificar la expresividad por token.
2. Análisis Mecanístico (Fading Flash): Los autores introducen una nueva prueba de diagnóstico, Fading Flash, que aísla dos modos de fallo:
   • Rigidez LTI: La incapacidad de S5 para modelar múltiples tasas de decaimiento simultáneamente.
   • Fallo de Extrapolación: La incapacidad de modelos tipo Mamba para generalizar a deltas de tiempo ($\Delta$) fuera de la distribución de entrenamiento.
   • Se demuestra que TIDES es la única arquitectura que supera ambos, manteniendo un rendimiento robusto a través de valores $\Delta$ no vistos mientras captura dinámicas dependientes de la zona.
3. Resultados Empíricos: TIDES logra nuevos rangos promedio de vanguardia (SOTA) en:
   • Clasificación de Series Temporales UEA: Superando a LogNCDE, RFormer y otros puntos de referencia.
   • Regresión Physiome-ODE: Superando a LinODEnet y otros modelos de pronóstico de series temporales irregulares.

Hallazgos Experimentales

• Fading Flash: En este experimento controlado, S5 falló al capturar decaimientos dependientes de la zona (baja expresividad), mientras que MambaS (un sustituto de Mamba) falló al extrapolar a valores $\Delta$ de tiempo de prueba fuera del rango de entrenamiento (tasas de decaimiento efectivas desviadas). TIDES aprendió con éxito las tasas de decaimiento correctas para todas las zonas y permaneció robusto en un amplio rango de $\Delta$ de tiempo de prueba.
• Ablación de Eliminación Aleatoria: En el conjunto de datos EigenWorms con eliminación aleatoria de pasos de tiempo, TIDES mantuvo una alta precisión incluso con tasas de eliminación extremas ($r_{test}=0.9$) no vistas durante el entrenamiento. Por el contrario, MambaS y RFormer colapsaron significativamente a altas tasas de eliminación, confirmando que $\tilde{\Delta}$ dependiente de la entrada o ventanas de firma fijas no generalizan a regímenes de muestreo irregulares.
• Ablación en $\text{Im}(\Lambda)$: Hacer que la parte imaginaria de los valores propios dependa de la entrada no mejoró el rendimiento y lo degradó ligeramente, apoyando la decisión de diseño de mantener las frecuencias de oscilación estáticas.

Significado y Afirmaciones

El artículo afirma que TIDES demuestra que la expresividad por token y la semántica fiel del tiempo físico son compatibles, siempre que la dependencia de la entrada se enrute a través del generador de tiempo continuo en lugar del paso de discretización.

Los autores postulan un principio de diseño más amplio para secuencias muestreadas irregularmente: mantener la discretización y la expresividad separadas. El intervalo de muestreo físico debe entrar al modelo solo a través de la regla de discretización analítica, mientras que la expresividad debe residir en el generador de tiempo continuo. Esta separación permite que los modelos sean simultáneamente expresivos y extrapolativos a regímenes de muestreo no vistos durante el entrenamiento.

El artículo es modesto en su alcance, declarando explícitamente que TIDES está diseñado para series temporales irregulares (datos clínicos, de sensores, de simulación) y no se presenta como un reemplazo general de Mamba para tareas de cuadrícula regular como el modelado de lenguaje, donde el papel de la puerta de tiempo dependiente de la entrada difiere. El trabajo sugiere que el principio de separar el manejo del tiempo de la expresividad puede extenderse a otras arquitecturas de tiempo continuo, incluidas las Ecuaciones Diferenciales Ordinarias Neuronales (Neural ODEs) y variantes de atención de tiempo continuo.