Time-Varying Deep State Space Models for Sequences with Switching Dynamics

Resumen Técnico: Modelos de Espacio de Estados Profundos de Variación Temporal para Secuencias con Dinámicas de Conmutación

Enunciado del Problema
La identificación y modelado de sistemas de variación temporal siguen siendo un desafío fundamental en el procesamiento de señales y la identificación de sistemas. Muchos procesos del mundo real, como los mercados financieros, el clima y la actividad neuronal, exhiben dinámicas de variación temporal inherentes donde los comportamientos subyacentes del sistema evolucionan con el tiempo. Aunque los Modelos de Espacio de Estados (SSM) ofrecen un marco principiado para la identificación de sistemas, los Sistemas Dinámicos Lineales (LDS) clásicos asumen dinámicas de transición fijas e invariantes en el tiempo. Extensiones como los Sistemas Dinámicos Lineales de Conmutación (SLDS) manejan cambios de régimen, pero requieren una estimación explícita del número de modos y órdenes del modelo, lo que dificulta el aprendizaje. Por el contrario, los SSM Profundos modernos han logrado un alto rendimiento en secuencias largas, pero tradicionalmente dependen de parámetros invariantes en el tiempo o mecanismos dependientes de la entrada, lo cual puede no capturar explícitamente dinámicas suaves y continuamente variables en el tiempo independientes de la entrada.

Metodología
Los autores proponen una nueva clase de Modelos de Espacio de Estados Profundos de Variación Temporal (TV-SSM). Este marco integra expansiones de funciones base de variación temporal en arquitecturas de SSM profundo.

• Formulación del Modelo: La innovación central reemplaza las matrices fijas $A, B, C$ de un SSM estándar por matrices dependientes del tiempo $A[t], B[t], C[t]$. Cada elemento de estas matrices se modela como una combinación lineal de funciones base aprendibles:
  $$[A[t]]_{ij} = \sum_{k=1}^{K_A} a^{(k)}_{i,j} \times \phi^{(k)}_{A,i,j}[t]$$
  Expansiones similares se aplican a $B[t]$ y $C[t]$. Las funciones base (por ejemplo, funciones gaussianas, funciones seno o constantes) son fijas, mientras que sus coeficientes son parámetros aprendibles. Esto permite que el modelo represente dinámicas suaves y continuas sin definir explícitamente modos de conmutación.
• Estabilidad: Para garantizar la estabilidad de las dinámicas de variación temporal, los autores imponen una restricción sobre los elementos diagonales de $A[t]$ (asumiendo una estructura diagonal por simplicidad). Durante el entrenamiento, si la suma de los valores absolutos de los coeficientes para un elemento diagonal excede 1, se aplica una estrategia de escalado para re-normalizar los coeficientes, asegurando que los valores propios permanezcan estrictamente dentro del círculo unitario.
• Complejidad: Aunque el número de parámetros entrenables aumenta por un factor del tamaño del diccionario ($K_A, K_B, K_C$) por elemento de matriz, la complejidad de inferencia permanece comparable a la de los modelos invariantes en el tiempo. Las matrices dependientes del tiempo pueden pre-calcularse durante la fase de inferencia, resultando en las mismas operaciones de Multiplicación-Acumulación (MAC) que un SSM estándar. Sin embargo, la complejidad espacial aumenta debido al almacenamiento de parámetros dependientes del tiempo.

Contribuciones Clave

1. Marco Novel: El artículo introduce un marco de SSM profundo que parametriza las matrices de transición de estado, entrada y salida a lo largo del tiempo utilizando funciones base aprendibles, permitiendo el modelado de dinámicas suaves y continuamente variables en el tiempo sin conmutación explícita de modos.
2. Validación Experimental: El enfoque se valida en dos tareas distintas:
   • Datos Sintéticos: Un Sistema Dinámico Lineal de Conmutación (SLDS) de cuatro modos donde la verdad fundamental implica dinámicas de conmutación.
   • Datos del Mundo Real: Una tarea de eliminación de ruido en voz donde la voz limpia se corrompe con ruido generado por un SLDS de cuatro modos, simulando patrones de ruido recurrentes como maquinaria rotativa.
3. Análisis Arquitectónico: Los autores investigan compensaciones relacionadas con la asignación de funciones base a través de las matrices $A, B,$ y $C$, el impacto de la profundidad del modelo y la relación entre la cantidad de parámetros y el rendimiento.

Resultados

• Sistemas de Conmutación Sintéticos: En el sistema de cuatro modos, el modelo completamente de variación temporal superó consistentemente a sus contrapartes invariantes en el tiempo. Notablemente, el estudio reveló que hacer que la matriz de transición de estado $A[t]$ sea variable en el tiempo por sí sola fue insuficiente para capturar dinámicas de conmutación en $B$ o $C$; por el contrario, hacer que $B[t]$ o $C[t]$ sean variables en el tiempo pudo compensar una $A$ fija. Los modelos invariantes en el tiempo tendieron a aprender un "promedio" entre modos, resultando en un Mayor Error Cuadrático Medio (MSE).
• Eliminación de Ruido en Voz: En la tarea de eliminación de ruido en audio, los modelos de variación temporal superaron significativamente a los modelos invariantes en el tiempo.
  • Rendimiento: La mejor configuración de variación temporal logró una Relación Señal-Ruido (SI-SNR) de 19.6 dB (comenzando desde un ruido de 5 dB), mientras que los modelos invariantes en el tiempo se estancaron alrededor de 7.8 dB, independientemente de la profundidad de la red o las funciones de activación.
  • Eficiencia de Parámetros: Incluso cuando el número total de parámetros entrenables se igualó entre modelos de variación temporal e invariantes en el tiempo, el enfoque de variación temporal produjo resultados superiores. Aumentar el número de parámetros por neurona mejoró el rendimiento del modelo de variación temporal pero no tuvo efecto en el modelo invariante en el tiempo, lo que sugiere que este último no puede aprovechar la capacidad adicional para capturar dinámicas no estacionarias.
  • Asignación de Bases: Asignar el presupuesto de funciones base completamente a la matriz de salida $C$ o a la matriz de entrada $B$ produjo un mejor rendimiento que asignarlo a la matriz de transición de estado $A$.

Significado y Afirmaciones
El artículo afirma que el modelo de variación temporal propuesto ofrece una solución flexible y eficiente para tareas de identificación de sistemas que involucran dinámicas de conmutación o no estacionarias. Al modelar dinámicas dependientes del tiempo explícitamente a través de funciones base, el enfoque evita la complejidad de estimar modos de conmutación discretos requeridos por los SLDS, mientras supera a los SSM Profundos estándar invariantes en el tiempo. Los autores notan que el modelo mantiene una complejidad computacional comparable durante la inferencia a sus contrapartes invariantes en el tiempo.

El estudio concluye que, aunque los modelos invariantes en el tiempo más grandes no pueden compensar la falta de flexibilidad inherente para capturar dinámicas de conmutación, el marco de variación temporal propuesto aprende y se adapta exitosamente a estos comportamientos. Los autores sugieren que el trabajo futuro debería explorar configuraciones no estacionarias no periódicas, diferentes familias de funciones base y la comparación con arquitecturas de transformadores no estacionarios para clarificar aún más las compensaciones de este enfoque.