Resumen Técnico: ChronoSSM

Planteamiento del Problema

Los modelos de secuencias autorregresivos modernos, incluyendo los Transformers y los Modelos de Espacio de Estados (SSMs), se entrenan predominantemente para predecir "qué" sucede después en una secuencia, tratando a menudo el "cuándo" como una preocupación secundaria o una señal auxiliar. En dominios donde los eventos portan metadatos temporales explícitos —como trazas de procesos de negocio, registros clínicos, tráfico de red y grafos de conocimiento temporal— esta separación limita la capacidad del modelo para realizar razonamiento temporal, detección de anomalías y una reconstrucción fiel de la cronología de los eventos.

Una estrategia común para abordar esto es un enfoque de dos etapas: primero entrenar un modelo para la predicción del siguiente evento, congelar sus representaciones y luego ajustar un módulo de temporización separado. Este método asume implícitamente que las representaciones optimizadas únicamente para la predicción de tokens ya contienen una estructura temporal suficiente. Los autores argumentan que esta suposición es cuestionable, ya que el objetivo de generación de tokens recompensa características que mejoran la verosimilitud del siguiente evento, pero no incentiva explícitamente la codificación de los tiempos entre llegadas.

Metodología: ChronoSSM

Los autores presentan ChronoSSM, un Modelo de Espacio de Estados autorregresivo diseñado para modelar conjuntamente eventos y marcas de tiempo dentro de un mismo esqueleto (backbone).

Arquitectura del Modelo

• Esqueleto (Backbone): El modelo utiliza un esqueleto autorregresivo causal (instanciado principalmente con Mamba2, un SSM selectivo) que procesa un historial de tokens $X_k$ para producir representaciones de token por token $h_k$.
• Cabezales Duales:
  1. Cabezal de Predicción de Token: Un mapa lineal que predice el siguiente token $x_{k+1}$.
  2. Cabezal de Predicción Temporal: Una función que predice el tiempo entre llegadas $\Delta t_{k+1}$.
• Representación Temporal: Para predecir el tiempo entre eventos, el modelo define la representación de transición $r_{k+1}$ como la diferencia entre estados ocultos consecutivos: $r_{k+1} = \Delta h_{k+1} = h_{k+1} - h_k$. Esto alinea la representación del intervalo de tiempo con el cambio en el estado latente.
• Función de Pérdida: El objetivo de entrenamiento combina la predicción de tokens y la predicción temporal mediante una log-verosimilitud negativa ponderada:
  $$\mathcal{L} = \mathcal{L}_{tok} + \lambda_\tau \mathcal{L}_{time}$$
  Donde $\mathcal{L}_{tok}$ es la entropía cruzada categórica para los tokens, y $\mathcal{L}_{time}$ es la log-verosimilitud negativa de los tiempos entre llegadas (modelada como una densidad log-normal sobre objetivos transformados logarítmicamente para manejar valores cero y heterogeneidad).

Regímenes de Entrenamiento

El artículo realiza una comparación controlada entre dos esquemas de optimización para aislar el impacto de la supervisión temporal en el esqueleto:

1. Entrenamiento Conjunto (Joint Training): El esqueleto, el cabezal de tokens y el cabezal temporal se optimizan simultáneamente. Los gradientes de ambas pérdidas (token y temporal) actualizan los parámetros compartidos del esqueleto ($\theta$). Esto permite que la supervisión temporal moldee directamente las representaciones aprendidas.
2. Entrenamiento de Dos Etapas (Two-Stage Training): El esqueleto y el cabezal de tokens se entrenan primero utilizando únicamente $\mathcal{L}_{tok}$. Luego, el esqueleto se congela y el cabezal temporal se entrena sobre las representaciones resultantes congeladas. Esto sirve como el grupo de control donde los gradientes temporales no pueden modificar el esqueleto.

Configuración Experimental

La evaluación abarca cuatro dominios distintos con estructuras de secuencia y densidades de marcas de tiempo variables:

1. Trazas de Procesos de Negocio (BPI2018): Marcas de tiempo densas para registros de actividad.
2. Secuencias de Eventos Clínicos (MIMIC-IV): Marcas de tiempo densas y por ráfagas para constantes vitales y observaciones de pacientes.
3. Tráfico de Red: Con marcas de tiempo parciales (marcas de tiempo solo en los límites de los paquetes).
4. Grafos de Conocimiento Temporal (GDELT): Con marcas de tiempo parciales (marcas de tiempo solo en marcadores de hechos).

El estudio también incluye la generación de música simbólica en el apéndice.

Resultados Clave

RQ1: Recuperabilidad Temporal

Los autores investigan si el entrenamiento conjunto produce representaciones donde la información de los intervalos entre llegadas es más recuperable que en el entrenamiento de dos etapas. Utilizan dos métricas de diagnóstico sobre las representaciones congeladas:

• Sonda Lineal (Linear Probe): Una sonda de regresión de Ridge que predice el objetivo temporal a partir de la representación.
• Puntuación de Cohesión Temporal (TCS): Una medida geométrica de si las transiciones con intervalos de tiempo similares se agrupan en el espacio de representación.

Hallazgos: En todos los dominios, el entrenamiento conjunto produce consistentemente representaciones con mayor recuperabilidad temporal.

• El tráfico de red mostró la mejora más drástica (el TCS aumentó de 0.147 a 0.622).
• BPI2018 y MIMIC-IV mostraron mejoras significativas en el rendimiento de la sonda lineal ($R^2$ y MAE), aunque la cohesión geométrica (TCS) mejoró de forma más modesta.
• Los grafos de conocimiento temporal mostraron ganancias consistentes, aunque menores, en todas las métricas.

RQ2: Degradación de la Calidad

Los autores evalúan si la inyección de supervisión temporal degrada sistemáticamente la capacidad principal de generación de eventos del modelo.

Hallazgos: No hay evidencia de degradación sistemática en la calidad de la generación bajo el entrenamiento conjunto.

• BPI2018: La calidad de la generación (medida por la similitud de Damerau-Levenshtein) fue idéntica entre el entrenamiento conjunto y el de dos etapas.
• MIMIC-IV: El entrenamiento conjunto mostró una ligera degradación en las métricas de distribución marginal de tokens de eventos (JSD y distancia TV), pero mantuvo una recuperación idéntica para eventos clínicos frecuentes.
• Tráfico de Red y KG Temporal: El entrenamiento conjunto en realidad mejoró la calidad de la generación de contenido. En estos dominios, el entrenamiento conjunto produjo una menor divergencia de Jensen-Shannon para las cabeceras de paquetes y mejores métricas de predicción de enlaces (MRR, Hits@k) en comparación con el entrenamiento de dos etapas.

Significancia y Reivindicaciones

El artículo sostiene que la supervisión temporal explícita puede mejorar la recuperabilidad temporal de las representaciones aprendidas sin degradar materialmente el modelado de eventos autorregresivo.

Conclusiones clave:

• Representación Unificada: El entrenamiento conjunto logra aprender la semántica de los eventos y la dinámica temporal dentro de una representación unificada, desafiando la suposición de que el entrenamiento de solo tokens es suficiente para tareas temporales.
• Dependencia del Dominio: La interacción entre la recuperabilidad temporal y la calidad de la generación depende del dominio. En algunos casos (Tráfico de Red, KG Temporal), la supervisión temporal parece mejorar las regularidades estructurales capturadas por el generador de tokens, lo que conduce a un mejor rendimiento general.
• Implicación Práctica: Este enfoque abre el camino para entrenar modelos generativos con conciencia temporal que no requieren un pipeline desacoplado de dos etapas, beneficiando potencialmente tareas posteriores como la detección de anomalías y la previsión que dependen de una cronología fiel.

Los autores mantienen la modestia, señalando que, si bien las ganancias a nivel de representación son claras, una evaluación rigurosa de la fidelidad de la distribución de las marcas de tiempo durante la generación autorregresiva libre sigue siendo una dirección para trabajos futuros. También enfatizan que los beneficios del entrenamiento conjunto dependen de la estructura específica del dominio y la densidad de la supervisión temporal.