Resumen Técnico: Incrustaciones Fieles de Datos Irregulares y Asíncronos para Log-NCDEs en Línea

Planteamiento del Problema

Los modelos de aprendizaje automático en tiempo continuo, como las Ecuaciones Diferenciales Controladas por Redes Neuronales (NCDE) y las Log-NCDE, ofrecen un marco natural para procesar datos de series temporales irregulares, asíncronos y dispersos. Sin embargo, persiste un cuello de botella crítico en el diseño: cómo incrustar observaciones discretas en una trayectoria de tiempo continuo sin introducir artefactos.

Los enfoques estándar dependen de la interpolación o la imputación para reconstruir una trayectoria de observación continua antes de alimentarla al modelo. Como se ilustra en el artículo, estos métodos sufren de inconvenientes significativos:

• La imputación rellena los valores faltantes con datos que nunca se observaron en la práctica.
• La interpolación puede generar valores fuera del rango observado de los datos o imponer dinámicas artificiales entre las mediciones.
• Estos pasos de reconstrucción introducen "comportamiento no observado" en la representación, obligando al modelo a consumir entradas potencialmente poco realistas.

El artículo argumenta que una representación de tiempo continuo fiel debe preservar únicamente la información que fue realmente observada, dejando la reconstrucción del comportamiento no observado al proceso de modelado en sí mismo, y no al proceso de incrustación.

Metodología

1. Fundamento Teórico: Incrustaciones Fieles

Los autores formalizan el concepto de una incrustación fiel. Demuestran un resultado de transferencia de universalidad (Lema 1) que establece que si el espacio de datos $X$ y el espacio de entrada del modelo $P$ son espacios topológicos de Hausdorff, y la incrustación $\phi: X \to P$ es continua e inyectiva, entonces la universalidad de un modelo aguas abajo en subconjuntos compactos de $P$ se transfiere al espacio de datos original $X$.

Esto implica que, para modelos universales como las NCDE y las Log-NCDE, la incrustación no necesita reconstruir la trayectoria; simplemente debe ser un mapa continuo e inyectivo que preserve la distinguibilidad de los flujos de datos distintos.

2. Incrustación Propuesta: Trayectoria de Control para Log-NCDE

Basándose en la trayectoria de control rectilínea introducida para las NCDE por Morrill et al. [2022], los autores construyen una incrustación fiel específicamente para Log-NCDE. A diferencia de las NCDE estándar, que utilizan valores puntuales de una trayectoria de control, las Log-NCDE operan sobre firmas logarítmicas de intervalos.

La incrustación propuesta opera de la siguiente manera:

• Representación de Entrada: La entrada consiste en un flujo de observaciones discretas $x = ((t_0, s_0, x_0), \dots, (t_n, s_n, x_n))$ y variables observadas continuamente $C$ (por ejemplo, el tiempo).
• Codificación Incremental: En lugar de interpolar valores, cada observación se convierte en un incremento de álgebra de Lie $\Delta_i$. Este incremento captura:
  • El cambio en el valor para cada canal observado desde su última observación.
  • Un incremento en una "coordenada de conteo" dedicada para distinguir entre un valor repetido y la ausencia de una nueva observación.
  • Opcionalmente, información local de orden superior (por ejemplo, áreas con signo precalculadas) si está disponible.
• Composición de Intervalos: Para cualquier intervalo de consulta $[\alpha, \beta)$, la incrustación construye un factor de firma $G_{\alpha, \beta}$ componiendo:
  • Factores de firma de las variables observadas continuamente (por ejemplo, el tiempo) sobre los huecos entre eventos.
  • Factores exponenciales $E_i = \exp(\Delta_i)$ para cada evento discreto que ocurre dentro del intervalo.
• Extracción de Firma Logarítmica: La firma logarítmica del intervalo $\Phi_{\alpha, \beta}$ se obtiene aplicando el logaritmo a la firma compuesta $G_{\alpha, \beta}$.

Esta construcción permite el cálculo en línea y el procesamiento en paralelo en el tiempo mediante escaneos asociativos, ya que la firma logarítmica de un intervalo depende únicamente de las observaciones hasta el final de dicho intervalo.

3. Arquitectura del Modelo: Log-SLiCE

Los autores implementan esta incrustación dentro de las Ecuaciones Diferenciales Controladas Lineales Estructuradas (SLiCE), específicamente la variante Log-SLiCE.

• La evolución del estado oculto en un intervalo está gobernada por una actualización Log-ODE impulsada por la firma logarítmica del intervalo.
• Para modelos lineales, el flujo del intervalo tiene una solución en forma cerrada que involucra exponenciales de matrices de la firma logarítmica.
• Esta estructura permite calcular los estados ocultos a través de los intervalos en paralelo utilizando un escaneo asociativo, reduciendo significativamente la complejidad computacional en comparación con los solucionadores de EDO secuenciales.

Contribuciones Clave

1. Formalización de Incrustaciones Fieles: El artículo demuestra que las incrustaciones continuas e inyectivas transfieren la universalidad desde el espacio de entrada del modelo de vuelta al espacio de datos, justificando la eliminación de los pasos de interpolación.
2. Construcción Novel de Incrustación: Una incrustación continua e inyectiva para flujos irregulares que registra las observaciones como factores de álgebra tensorial (incrementos) y los compone en firmas logarítmicas de intervalos sin interpolación.
3. Implementación Eficiente de Log-SLiCE: Un algoritmo en paralelo en el tiempo para Log-NCDE que aprovecha la formulación de firmas logarítmicas de intervalos, permitiendo un entrenamiento y una inferencia eficientes en secuencias largas.
4. Validación Empírica: Experimentos exhaustivos que demuestran precisión, eficiencia y robustez ante la irregularidad y la dispersión.

Resultados Experimentales

1. Eficiencia y Precisión (EigenWorms)

En el conjunto de datos EigenWorms (17,984 observaciones por serie), el método Log-ODE combinado con Log-SLiCE (BD-SLiCE) logró:

• Precisión: 86.1% de precisión de prueba (vs. 75.0% para NCDE estándar), una mejora de 11.1 puntos porcentuales.
• Velocidad: Redujo el tiempo de paso de entrenamiento en un factor de casi 3,000 (de 26.02s a 0.009s).
• Memoria: Mantuvo un uso de memoria GPU comparable al de las NCDE estándar.

2. Generalización a Muestreo Irregular (Datos Acoplados Sintéticos)

Utilizando un sistema sinusoidal sintético, los autores probaron la generalización entre regímenes.

• Los modelos entrenados con datos dispersos asíncronos (el régimen más difícil) permanecieron robustos en todos los demás regímenes de muestreo (regular sincrónico, irregular sincrónico, irregular asíncrono).
• Los modelos entrenados con datos regulares no lograron generalizar a configuraciones asíncronas dispersas, lo que sugiere que aprendieron atajos basados en rejillas de muestreo fijas.
• La incrustación fiel permitió a los modelos aprender las dinámicas subyacentes independientemente de la rejilla de observación.

3. Explotación de Información de Orden Superior (Movimiento Browniano)

En un sistema lineal impulsado por movimiento browniano donde la solución depende de términos de corchete de Lie de segundo orden (área de Lévy):

• Los modelos que utilizan firmas logarítmicas de Nivel 2 (incluyendo información de área) lograron un Error Cuadrático Medio (MSE) significativamente menor que aquellos que utilizan solo Nivel 1 (incrementos).
• El enfoque incorporó con éxito información de orden superior precalculada, demostrando flexibilidad más allá de los incrementos de primer orden.

4. Robustez ante la Eliminación de Entradas (Benchmarks UEA)

En seis conjuntos de datos de clasificación de series temporales multivariadas de UEA, los autores simularon una eliminación severa de entradas (hasta el 95% de las observaciones eliminadas).

• BD-SLiCE con la incrustación propuesta mantuvo un alto rendimiento, disminuyendo solo del 64.0% (sin eliminación) al 62.5% (95% de eliminación).
• Logró el mejor rango promedio en todos los niveles de eliminación, superando a las líneas base recurrentes (S5, LRU, S6, Mamba) y a las NCDE estándar, particularmente bajo una dispersión severa.

Significado y Afirmaciones

El artículo afirma que las representaciones de tiempo continuo deben priorizar la preservación de los datos observados sobre la reconstrucción de comportamientos no observados. Al formalizar las "incrustaciones fieles" y demostrar que preservan la universalidad de los modelos aguas abajo, los autores proporcionan una justificación teórica para eludir la interpolación.

El método propuesto ofrece una alternativa fiable, en línea y eficiente a las incrustaciones basadas en interpolación. Desacopla los tiempos de muestreo de entrada de las rejillas de consulta de salida, soporta el cálculo en paralelo y demuestra una robustez superior ante la irregularidad, la asincronía y la dispersión de datos. Los resultados sugieren que, para modelos universales de tiempo continuo, la calidad de la incrustación reside en su capacidad para codificar fielmente los incrementos y intervalos observados, y no en su capacidad para adivinar la trayectoria entre observaciones.