Structured Neural Marked Point Processes for Interpretable Event Interaction Modeling

Resumen Técnico: Procesos Puntuales Marcados Neuronales Estructurados para la Modelación Interpretable de Interacciones de Eventos

Planteamiento del Problema
Los flujos de eventos multiclase son ubicuos en dominios como redes sociales, cadenas de suministro y registros médicos. Un desafío central en la modelación de estos flujos es equilibrar una alta precisión predictiva con la necesidad de descubrir relaciones estructuradas e interpretables entre eventos. Los modelos existentes de procesos puntuales neuronales (por ejemplo, Procesos de Hawkes Neuronales, Procesos de Hawkes con Transformadores) ofrecen alta expresividad al utilizar redes neuronales profundas para parametrizar las intensidades condicionales. Sin embargo, codifican las interacciones entre eventos de manera de "caja negra" dentro de representaciones latentes, lo que impide el descubrimiento explícito de dependencias estructuradas como excitación, inhibición o efectos retardados. Por el contrario, los modelos clásicos como los procesos de Hawkes estándar son interpretables pero a menudo se restringen a efectos excitatorios y asumen un decaimiento inmediato de la influencia, fallando en capturar picos retardados o dinámicas inhibitorias comunes en sistemas del mundo real.

Metodología: Proceso Puntual Marcado Neuronal Estructurado (SNMPP)
Los autores proponen SNMPP, un marco diseñado para lograr flexibilidad de modelado mientras permite el descubrimiento explícito y basado en datos de estructuras de interacción por evento y por clase.

• Arquitectura del Modelo:
  El núcleo de SNMPP es un núcleo de influencia neuronal en forma de producto que descompone la influencia de un evento pasado de tipo $k_n$ sobre la intensidad de tipo $k$ en dos componentes neuronales distintos:
  $$f(e_{k_n}, e_k, \Delta t) = \psi(e_{k_n}, e_k) \cdot \phi(e_{k_n}, e_k, |\Delta t - d_{k_n, k}|)$$

  1. Red de Interacción con Signo ($\psi$): Este componente toma como entrada las incrustaciones de los tipos de evento de origen y destino, y produce un escalar con signo. Caracteriza explícitamente la topología de interacción: valores positivos indican excitación, valores negativos indican inhibición, y valores cercanos a cero indican neutralidad. Esto permite que el modelo aprenda relaciones dirigidas sin parámetros separados para cada par ordenado.
  2. Red Temporal Monótona Consciente del Retardo ($\phi$): Este componente modela la evolución temporal de la fuerza de influencia. Está diseñada para ser monótonamente decreciente con respecto al retraso temporal para capturar patrones de decaimiento. Crucialmente, la entrada a esta red es la diferencia de tiempo absoluta desplazada por un parámetro de retardo aprendible ($d_{k_n, k}$). Esta formulación permite que el modelo capture efectos de pico retardados, donde la influencia es inicialmente débil, alcanza un pico en un retraso específico y luego decae.
  3. Restricciones: Para garantizar la interpretabilidad y la estabilidad, la salida de la red temporal se restringe al rango acotado $[0, 1]$ utilizando una transformación diferenciable de recorte suave. Esto separa la magnitud/signo (manejado por $\psi$) de la forma temporal (manejado por $\phi$).

• Algoritmo de Entrenamiento:
  La verosimilitud de las secuencias de eventos observadas involucra términos integrales que carecen de soluciones de forma cerrada. Los autores desarrollan un estimador de Monte Carlo estratificado para un entrenamiento eficiente. En lugar de extraer muestras uniformemente de todo el intervalo entre eventos, el intervalo se divide en $Q$ segmentos no superpuestos, extrayéndose una muestra de cada uno. Esta estratificación reduce la varianza del estimador de verosimilitud mientras preserva la sensibilidad a las variaciones locales en la función de intensidad, permitiendo un descenso de gradiente estocástico estable.

Contribuciones Clave

1. Descubrimiento Explícito de Interacciones: A diferencia de los modelos neuronales de caja negra, SNMPP recupera explícitamente la topología de interacción (excitación, inhibición, neutralidad) y las dinámicas temporales (patrones de decaimiento, parámetros de retardo) directamente de los datos.
2. Modelado Temporal Flexible: El modelo acomoda comportamientos temporales diversos, incluidos efectos retardados donde la influencia alcanza su pico después de un retraso temporal, una característica a menudo observada en tratamientos médicos y reabastecimiento de cadenas de suministro pero pasada por alto por los núcleos exponenciales estándar.
3. Aprendizaje Eficiente: El estimador de Monte Carlo estratificado propuesto proporciona una aproximación insesgada y de baja varianza de las integrales de verosimilitud, facilitando un entrenamiento robusto en conjuntos de datos complejos.

Resultados Experimentales
El artículo valida SNMPP mediante tres configuraciones experimentales distintas:

• Datos Sintéticos: En conjuntos de datos sintéticos que presentan disparadores retardados e interacciones inhibitorias, SNMPP recupera con precisión las intensidades condicionales de la verdad fundamental, los signos de interacción, los parámetros de retardo y las formas del núcleo. Supera a los procesos de Hawkes estándar (que fallan en inhibición/retraso) y a las líneas base neuronales (que no logran recuperar explícitamente la estructura).
• Benchmarks del Mundo Real: Evaluado en cinco conjuntos de datos (MIMIC, Amazon, Retweet, Taxi, StackOverflow), SNMPP logra un rendimiento de vanguardia en la predicción del tiempo del siguiente evento (RMSE más bajo) en todos los conjuntos de datos. Si bien la precisión en la predicción del tipo de evento es competitiva con las mejores líneas base neuronales, no siempre las supera, demostrando que el sesgo inductivo estructurado no compromete el poder predictivo.
• Simulación de Cadena de Suministro: En un entorno simulado gobernado por restricciones físicas y reglas de decisión (en lugar de un proceso puntual predefinido), SNMPP descubre con éxito la estructura de interacción subyacente. Identifica correctamente la excitación (pedidos que disparan el reabastecimiento), la inhibición (llegadas de existencias que suprimen nuevos pedidos), la puerta dura (roturas de stock que suprimen la demanda) y el parámetro de retardo específico (aprox. 4.0 unidades de tiempo) correspondiente a los tiempos de entrega.

Significado y Afirmaciones
El artículo afirma que SNMPP cierra exitosamente la brecha entre la alta expresividad de los procesos puntuales neuronales y la interpretabilidad de los modelos clásicos. Al introducir un núcleo de influencia neuronal estructurado, el método permite el descubrimiento explícito de relaciones estructuradas (incluyendo inhibición y efectos retardados) sin sacrificar la precisión predictiva. Los autores argumentan que esta parametrización estructurada actúa como un sesgo inductivo efectivo, regularizando el problema de aprendizaje y mejorando la generalización temporal. El trabajo demuestra que es posible ir más allá de las representaciones de caja negra para descubrir mecanismos interpretables, como efectos de pico retardados y topologías inhibitorias, en flujos de eventos complejos y multiclase. Se señala que el trabajo futuro podría extender el modelo a perfiles de influencia temporal asimétricos.