In-Context Learning of Temporal Point Processes with Foundation Inference Models

Este artículo presenta FIM-PP, un modelo de inferencia fundacional que utiliza el aprendizaje en contexto y el entrenamiento previo en datos sintéticos para inferir funciones de intensidad condicional de procesos puntuales temporales marcados sin necesidad de entrenamiento adicional, igualando el rendimiento de modelos especializados en la predicción de eventos.

Lo esencial

¡Claro que sí! Imagina que este paper es como la historia de un genio predestinado que aprende a predecir el futuro de eventos caóticos sin necesidad de estudiar cada caso por separado.

Aquí tienes la explicación de "FIM-PP" (el modelo del paper) en lenguaje sencillo, con analogías de la vida real:

1. El Problema: El "Carpintero" vs. El "Maestro"

Imagina que tienes que predecir cuándo ocurrirán cosas en el futuro:

• ¿Cuándo llegará el próximo tweet viral?
• ¿Cuándo un cliente comprará algo en Amazon?
• ¿Cuándo un conductor de taxi recogerá a un pasajero?

Hasta ahora, los modelos de inteligencia artificial funcionaban como carpinteros novatos. Si querías predecir tweets, tenías que construir un modelo nuevo desde cero. Si querías predecir taxis, tenías que construir otro modelo nuevo. Tenían que "aprender" las reglas de cada sistema desde cero, gastando mucho tiempo y energía.

La idea de este paper: ¿Y si en lugar de tener un carpintero para cada trabajo, tuviéramos un Maestro Carpintero Universal? Un modelo que ya ha visto millones de tipos de madera, herramientas y diseños, y que puede entrar a tu taller, mirar tus herramientas y decirte: "Ah, veo que estás haciendo sillas, ya sé cómo funciona esto, no necesito aprender de nuevo".

2. La Solución: El "Entrenamiento en el Simulador" (FIM-PP)

Los autores crearon un modelo llamado FIM-PP. Para entrenarlo, no usaron datos reales al principio (porque son escasos y difíciles de conseguir). En su lugar, crearon un universo de simulación gigante.

• La Analogía del Videojuego: Imagina que entrenan a un piloto de carreras en un videojuego. En el juego, generan millones de pistas diferentes: algunas con lluvia, otras con nieve, algunas rectas, otras con curvas locas. El piloto (el modelo) practica en todas ellas.
• El Resultado: Cuando el piloto sale a la carretera real (datos del mundo real), no necesita practicar de nuevo. Ya conoce las reglas de la física, la fricción y el manejo. Simplemente adapta lo que aprendió en el videojuego a la situación real.

3. ¿Cómo funciona la "Aprendizaje en Contexto"?

Aquí está la magia. Normalmente, para predecir el futuro, la IA necesita ver muchos datos antes de empezar a predecir.

• La Analogía del Detective: Imagina que eres un detective.
  • Método antiguo: Te dan un caso nuevo (ej. una serie de robos) y tienes que leer miles de libros de criminología, investigar a los sospechosos y escribir un informe nuevo desde cero.
  • Método FIM-PP (Aprendizaje en contexto): Te dan un caso nuevo, pero también te dan una muestra de otros casos (el "contexto"). El detective (el modelo) mira rápidamente esos otros casos y dice: "¡Ah! Estos robos siguen el mismo patrón que los que vi en mi entrenamiento. Sé exactamente qué hacer".

El modelo toma una lista de eventos pasados (el contexto) y, sin reentrenarse, calcula la probabilidad de qué pasará a continuación. Es como si el modelo tuviera una memoria instantánea que se actualiza con cada nuevo dato que le das.

4. Los Resultados: ¿Funciona de verdad?

Los autores probaron su "Maestro Universal" en escenarios reales:

• Taxis en Nueva York: Prediciendo cuándo y dónde recogerán pasajeros.
• Amazon: Prediciendo cuándo la gente dejará reseñas.
• Twitter: Prediciendo cuándo se viralizará un tweet.

El hallazgo sorprendente:

1. Modo "Cero Disparos" (Zero-shot): El modelo fue capaz de predecir estos eventos reales sin haber visto ni un solo dato real antes. Solo con su entrenamiento en el "videojuego" (datos sintéticos), funcionó tan bien como los modelos especializados que sí habían sido entrenados con esos datos reales.
2. Ajuste Rápido (Fine-tuning): Si le das un poco de datos reales (como darle al detective un par de casos específicos de tu ciudad), el modelo se adapta en minutos y se vuelve incluso mejor que los expertos, pero sin tardar horas o días en aprender.

5. ¿Por qué es importante esto?

Hasta ahora, la Inteligencia Artificial para eventos en el tiempo (como terremotos, ventas o tweets) era como tener un médico especialista para cada enfermedad. Si tenías una enfermedad rara, necesitabas un doctor nuevo.

Con FIM-PP, tenemos un médico generalista brillante que:

1. Ha estudiado millones de enfermedades teóricas.
2. Puede diagnosticar una enfermedad real apenas la ve.
3. Si le das un poco de historial médico del paciente, se vuelve un especialista en ese paciente en segundos.

En resumen

Este paper nos dice que no necesitamos reinventar la rueda para cada nuevo sistema de eventos. Podemos crear un "cerebro" fundamental que aprenda las reglas generales del caos y el tiempo, y luego usarlo para predecir casi cualquier cosa, desde el tráfico hasta las redes sociales, de forma rápida y eficiente.

Es el paso de tener miles de herramientas pequeñas a tener una sola herramienta maestra que sabe cómo usar todas ellas.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "In-Context Learning of Temporal Point Processes with Foundation Inference Models", publicado en ICLR 2026.

1. Planteamiento del Problema

El modelado de secuencias de eventos irregulares y asíncronos mediante Procesos de Puntos Temporales con Marcas (MTPPs) es fundamental en dominios como neurociencia, redes sociales, finanzas y epidemiología. El objetivo es predecir el tiempo y el tipo (marca) del siguiente evento dado el historial de eventos pasados.

Sin embargo, los enfoques neuronales actuales presentan limitaciones críticas:

• Falta de transferibilidad: Requieren entrenar un modelo especializado desde cero para cada nuevo sistema o conjunto de datos.
• Costo computacional: El entrenamiento desde cero es costoso y lento.
• Incapacidad de generalización: Los modelos aprenden representaciones específicas de un régimen dinámico y no pueden adaptarse a otros sin reentrenamiento.

Existe una brecha significativa: mientras que los modelos fundacionales (Foundation Models) han revolucionado el procesamiento de lenguaje natural y otros sistemas dinámicos (como EDOs y SDEs), no existía un modelo fundacional capaz de inferir procesos de puntos de manera zero-shot (sin entrenamiento adicional) o con few-shot (ajuste rápido).

2. Metodología: FIM-PP

Los autores proponen FIM-PP (Foundation Inference Model for Point Processes), un modelo basado en la inferencia amortizada y el aprendizaje en contexto (in-context learning). La metodología se divide en tres etapas principales:

A. Generación de Datos Sintéticos (Pre-entrenamiento)

Para entrenar un modelo general, se crea un conjunto de datos sintético masivo (14.4 millones de eventos) derivado de una distribución amplia sobre MTPPs.

• Distribución de Prior: Se define una familia amplia de funciones de intensidad condicional que incluye:
  • Procesos de Hawkes clásicos (con kernels exponenciales).
  • Procesos de Poisson (sin interacciones).
  • Procesos periódicos (base sinusoidal).
  • Procesos con excitación inicial alta (distribución Gamma).
  • Kernels no monótonos y desplazados (distribución Rayleigh).
• Interacciones: Se muestrean aleatoriamente factores de interacción ($z_{\kappa\kappa'}$) para cubrir efectos excitatorios, inhibitorios y neutros entre diferentes marcas.
• Objetivo: Crear un "prior" robusto que cubra tanto dinámicas dentro de la distribución como fuera de ella.

B. Arquitectura del Modelo

FIM-PP utiliza una arquitectura basada en Transformers diseñada para inferir la función de intensidad condicional $\lambda(t, \kappa | H_t)$ directamente a partir del contexto.

1. Codificación del Contexto: Un conjunto de secuencias de eventos de referencia ($C = \{S_j\}$) se codifica mediante un encoder Transformer jerárquico. Cada secuencia se procesa independientemente y luego se combina para obtener una representación global del contexto.
2. Codificación del Historial (Query): El historial de eventos de la secuencia objetivo ($H_t$) hasta el tiempo $t$ se codifica y se utiliza como Query en un decoder Transformer.
3. Mecanismo de Atención: El decoder atiende a la representación del contexto (Keys y Values). Esto permite al modelo "recordar" patrones dinámicos aprendidos durante el pre-entrenamiento y aplicarlos al historial actual.
4. Parametrización de Intensidad: La salida del decoder se proyecta a través de MLPs para estimar parámetros de una función de intensidad paramétrica flexible (similar a Hawkes pero con parámetros dependientes del historial):
   $$\hat{\lambda}(t, \kappa | H_t) = \hat{\mu} + (\hat{\alpha} - \hat{\mu}) \exp(-\hat{\beta}(t - t_{last}))$$
   Donde $\hat{\mu}$ es la intensidad base, $\hat{\alpha}$ el salto tras un evento y $\hat{\beta}$ la tasa de relajación.
5. Normalización: Se emplea una normalización por instancia en el tiempo para que el modelo sea invariante a las escalas temporales absolutas, permitiendo generalizar entre datasets con diferentes magnitudes de tiempo.

C. Entrenamiento y Ajuste Fino (Fine-tuning)

• Pre-entrenamiento: Se minimiza la verosimilitud negativa (NLL) en el conjunto sintético masivo. El modelo aprende a mapear contextos de eventos a funciones de intensidad.
• Modo Zero-Shot: El modelo pre-entrenado se aplica directamente a datos reales sin actualizar sus pesos.
• Fine-tuning: El modelo puede ajustarse rápidamente (en minutos) a un dataset específico utilizando una pequeña fracción de sus datos de entrenamiento como contexto, manteniendo la arquitectura base pero adaptando los pesos a las particularidades del sistema objetivo.

3. Contribuciones Clave

1. Primer Modelo Fundacional para MTPPs: Introducción de FIM-PP, capaz de inferir procesos de puntos en modo zero-shot sin entrenamiento específico por dataset.
2. Marco de Generación Sintética: Desarrollo de un generador de datos sintéticos que abarca una distribución amplia de dinámicas (excitatorias, inhibitorias, periódicas, kernels complejos), actuando como un prior fuerte para la generalización.
3. Arquitectura de Aprendizaje en Contexto: Adaptación exitosa de la arquitectura Transformer para estimar operadores infinitesimales (funciones de intensidad) de sistemas dinámicos, utilizando el contexto como memoria de patrones dinámicos.
4. Eficiencia y Flexibilidad: Demostración de que el ajuste fino es extremadamente rápido (minutos vs. horas de entrenamiento desde cero) y requiere menos recursos computacionales, haciéndolo viable para usuarios con recursos limitados.

4. Resultados Experimentales

Los autores evaluaron FIM-PP en cinco datasets reales de referencia (TAXI, TAOBAO, STACKOVERFLOW, AMAZON, RETWEET) comparándolo con modelos de vanguardia (CDiff, Dual-TPP, NHP, etc.).

• Predicción Zero-Shot: FIM-PP (sin ajuste) logra un rendimiento competitivo, a menudo igualando o superando a modelos especializados en métricas de error de tiempo (RMSE$\Delta$t, sMAPE$\Delta$t) y distancia de transporte óptimo (OTD), especialmente en datasets como TAXI y RETWEET.
• Predicción con Fine-tuning: Al realizar un ajuste fino rápido, FIM-PP supera consistentemente a todos los modelos baselines en todas las métricas y horizontes de predicción (N=5, 10, 20).
• Generalización a Kernels No Vistos: El modelo demostró capacidad para inferir correctamente procesos con kernels de ley de potencia (Power-law) y Rayleigh, tipos que no estaban explícitamente presentes en la distribución de pre-entrenamiento, validando la robustez del prior sintético.
• Limitaciones en Predicción de Marca: En tareas de predicción del siguiente evento (N=1), el modo zero-shot tuvo dificultades con patrones específicos de datasets reales (como alternancias estrictas entre dos marcas en TAXI o dominancia de una sola marca en TAOBAO) que no estaban bien cubiertos por el prior sintético. Sin embargo, el fine-tuning corrigió significativamente estos errores.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en el modelado de procesos temporales:

• De Especialización a Generalización: Elimina la necesidad de entrenar modelos desde cero para cada nueva aplicación, permitiendo una caracterización rápida y precisa de sistemas dinámicos desconocidos.
• Interpretabilidad: Al estimar directamente la función de intensidad (en lugar de muestrear eventos generativamente), el modelo mantiene la interpretabilidad física de los procesos de puntos (tasas de excitación, inhibición, bases temporales).
• Escalabilidad: La capacidad de usar un solo modelo pre-entrenado para múltiples dominios (desde tráfico hasta redes sociales) reduce drásticamente la huella de carbono y el costo computacional de la investigación y aplicación de MTPPs.
• Futuro: Abre la puerta a la creación de "modelos fundacionales" para otros sistemas dinámicos complejos, sugiriendo que la inferencia amortizada en contexto es una vía viable para aprender leyes dinámicas universales a partir de datos sintéticos diversos.

En resumen, FIM-PP demuestra que es posible construir un modelo fundacional para procesos de puntos temporales que no solo generaliza bien a datos reales sin entrenamiento, sino que también ofrece un punto de partida superior para el ajuste fino, superando a los métodos especializados actuales.