Towards Continuous-time Causal Foundation Models

Este artículo propone un modelo fundacional causal de tiempo continuo que garantiza la invariancia de la ley de la trayectoria frente a los horarios de observación mediante la integración en una cuadrícula fina con observaciones desacopladas, demostrando un rendimiento superior sobre los métodos de integración ingenuos en diversos escenarios de dinámicas no lineales y datos irregulares.

Lo esencial

Imagina que estás intentando enseñar a una inteligencia artificial superinteligente a predecir el futuro de un sistema que cambia con el tiempo, como el movimiento de un fármaco a través del cuerpo humano o la reacción de un túnel de viento ante una ráfaga repentina.

Por lo general, los modelos de IA observan el tiempo en "instantáneas", como un álbum de fotos donde cada página es un momento fijo (1 segundo, 2 segundos, 3 segundos). Pero el mundo real no espera a que el reloj marque el tiempo. Fluye de manera continua.

Este artículo trata sobre enseñar a una IA a comprender ese flujo, en lugar de solo las instantáneas. Aquí está el desglose usando analogías simples:

1. El Problema: La Trampa de "Parar y Arrancar"

Los autores señalan un error común. Si intentas enseñar a una IA sobre un proceso continuo (como un río que fluye) mostrándole solo instantáneas tomadas en momentos específicos, la IA aprende el cronograma de las instantáneas, no el río en sí.

• La Analogía: Imagina que intentas aprender cómo acelera un coche.
  • La Mala Forma (Discreta/Ingenua): Solo miras el velocímetro cada vez que parpadeas. Si parpadeas lentamente, ves una aceleración lenta. Si parpadeas rápido, ves una aceleración rápida. La IA aprende que "qué tan rápido parpadeo" determina la velocidad, no el motor.
  • El Resultado: La IA está confundida. Si le muestras un nuevo cronograma de parpadeos, falla porque aprendió el patrón de tu parpadeo, no la física del coche.

2. La Solución: La "Cámara de Alta Velocidad"

El artículo propone una nueva forma de entrenar estos modelos llamada Modelos Fundacionales Causales de Tiempo Continuo. En lugar de tomar una instantánea por intervalo, utilizan un enfoque de "cámara de alta velocidad".

• La Analogía: Para entender el coche, grabas el motor funcionando a una velocidad superalta (miles de cuadros por segundo), creando un video perfecto y suave de la aceleración. Luego, le muestras a la IA este video fluido.
• El Truco: Incluso si la IA solo es probada con instantáneas lentas (como un médico que revisa a un paciente una vez al día), ya ha aprendido la física suave y continua del entrenamiento de alta velocidad. Conoce la "ley del río", no solo la "ley de las instantáneas".

3. Los Tres Niveles de Entrenamiento

Los autores crearon una "lista de niveles" para categorizar qué tan bien manejan el tiempo diferentes modelos:

• Nivel 1 (El Álbum de Fotos): La vieja forma. La IA solo conoce pasos de tiempo fijos. Falla si el timing cambia.
• Nivel 2 (El Camarógrafo Perezoso): La IA intenta ser continua pero solo toma una foto entre observaciones. Es mejor, pero aún se confunde si los intervalos de tiempo cambian. Es como adivinar la velocidad del coche basándose solo en dos fotos borrosas.
• Nivel 3 (El Profesional de Alta Velocidad): Esto es lo que logra el artículo. La IA simula la física en una cuadrícula superfinas (miles de pasos diminutos) y luego solo muestra a la IA los momentos específicos que necesita ver.
  • El Resultado: La IA aprende las leyes verdaderas e inmutables del sistema. No le importa si las observaciones llegan cada segundo, cada hora o en momentos aleatorios.

4. El Experimento: ¿Realmente Funciona?

El equipo probó esto con dos tipos de "motores de física":

1. Lineal: Física simple y en línea recta (como un resorte).
2. No lineal: Física compleja y retorcida (como un sistema meteorológico caótico).

Pusieron a competir al "Camarógrafo Perezoso" (Nivel 2) contra el "Profesional de Alta Velocidad" (Nivel 3).

• El Hallazgo: El Profesional de Alta Velocidad ganó en cada ocasión.
• La Sorpresa: Cuando la IA fue entrenada con el método de Alta Velocidad, ni siquiera necesitó que le dijeran "cuánto tiempo pasó entre las observaciones". Simplemente entendió el flujo de forma natural. Pero cuando se entrenó con el método Perezoso, la IA tenía que ser informada explícitamente de los intervalos de tiempo para funcionar bien.

5. Pruebas del Mundo Real (La Prueba "Zero-Shot")

Los autores intentaron usar su nueva IA con datos del mundo real que nunca había visto antes (Zero-Shot).

• Farmacocinética: Predecir los niveles de fármacos en la sangre (Teofilina y Warfarina). La IA pudo rastrear el aumento y la disminución del fármaco sorprendentemente bien, aunque fue entrenada con datos sintéticos.
• Sistemas Físicos: Un experimento en un túnel de viento. La IA predijo con éxito cómo la velocidad del túnel de viento reaccionaría a un cambio repentino en la potencia del ventilador.

La Conclusión

Este artículo construye una mejor "máquina del tiempo" para la IA. Al obligar a la IA a aprender las leyes suaves y continuas de cómo cambian las cosas (usando una simulación de alta velocidad) en lugar de solo memorizar los intervalos entre puntos de datos, la IA se vuelve mucho más inteligente al predecir el futuro, incluso cuando los datos llegan en momentos extraños e irregulares.

Lo que el artículo NO afirma:

• No afirma que esto esté listo para reemplazar a médicos o ingenieros todavía.
• No afirma que resuelva todo tipo de problema de series temporales.
• Admite que las pruebas del mundo real fueron "preliminares" y necesitan más trabajo antes de ser utilizadas en situaciones críticas.

Es un paso fundamental: demostrar que si le enseñas a una IA a ver el tiempo como un río que fluye en lugar de una serie de piedras para saltar, aprende las reglas del universo mucho mejor.

Resumen técnico

Resumen Técnico: Hacia Modelos Fundacionales Causales de Tiempo Continuo

1. Enunciado del Problema

Las Redes Ajustadas a Datos Previos (PFN) han extendido con éxito la inferencia causal a datos tabulares y series temporales de tiempo discreto mediante el preentrenamiento de transformadores en Modelos Causales Estructurales (SCM) sintéticos. Sin embargo, los priores temporales causales existentes operan sobre rejillas enteras discretas. Un intento ingenuo de extender estos a tiempo continuo, reescribiendo los mecanismos como Ecuaciones Diferenciales Estocásticas (SDE) e integrándolos una vez por intervalo de observación, no logra una verdadera continuidad.

El problema central es que si una SDE se avanza solo en los intervalos de observación (integración ingenua), la ley conjunta de la trayectoria depende del calendario de observación específico. En consecuencia, el prior permanece efectivamente como un modelo de Markov de tiempo discreto "vestido con SDE", sin cumplir el requisito de que el proceso generador de datos sea invariante al momento en que se observa. Esta limitación es crítica para dominios con datos irregulares y heterogéneos en cuanto a calendario, como la farmacocinética (momentos de muestreo elegidos clínicamente), sistemas físicos con eventos de retardo variable y registros electrónicos de salud con datos faltantes.

2. Metodología

2.1. Definición de Priores Causales de Tiempo Continuo

El artículo establece un criterio preciso para un prior causal de tiempo continuo: la ley conjunta de una trayectoria muestreada debe ser invariante al calendario de observación. El calendario de observación se trata como una medición pura, no como parte del SCM Temporal (TSCM) subyacente.

Basándose en este criterio, los autores proponen una taxonomía de tres niveles:

• Nivel (A) Discreto: SCM estándar de tiempo discreto definidos únicamente sobre una rejilla entera.
• Nivel (B) Continuo Ingenuo: Una SDE integrada una vez por intervalo de observación (Euler–Maruyama sobre la rejilla de observación). La ley de la trayectoria varía con el tamaño del intervalo $\Delta_i$, fallando el criterio de continuidad.
• Nivel (C) Continuo de Rejilla Fina: La SDE se integra sobre una rejilla fina ($\Delta_{fine} \ll \min \Delta_{obs}$) y luego se submuestrea al calendario de observación. A medida que $\Delta_{fine} \to 0$, esto converge a la ley verdadera de la SDE, satisfaciendo el criterio de continuidad aproximadamente en pasos finitos.

2.2. Construcción del Prior de Tiempo Continuo

La construcción propuesta realiza el Nivel (C) sobre un Grafo Acíclico Dirigido (DAG) aleatorio con los siguientes componentes:

• Muestreo de Grafos: Las variables se muestrean de un DAG aleatorio o estructuras canónicas (por ejemplo, puerta trasera, puerta delantera, variables instrumentales). Se pueden incluir confusores ocultos.
• Familias de Mecanismos:
  • Deriva Lineal: Procesos de Ornstein–Uhlenbeck (OU) donde la deriva es una combinación lineal de los padres.
  • Deriva No Lineal: Pequeñas Redes Neuronales de Capas Múltiples (MLP) con activaciones tanh que reemplazan la suma parental lineal, acotadas para garantizar la estabilidad de la trayectoria.
• Conmutación de Régimen: Una fracción de las trayectorias sigue un TSCM de conmutación de régimen de tiempo continuo con una matriz de transición de Markov "pegajosa", modelando rupturas estructurales (por ejemplo, fases de absorción frente a eliminación en farmacología).
• Intervenciones: El prior soporta intervenciones duras (fijar un valor), suaves (desplazar la deriva) y variables en el tiempo sobre ventanas específicas. Los contrafactuales se generan reutilizando el mismo ruido de Wiener.
• Simulación: Las trayectorias se generan integrando la SDE sobre una rejilla fina utilizando Euler–Maruyama con incrementos de Browniano remuestreados en cada paso fino, y luego se submuestrean al calendario de observación irregular.

2.3. Arquitectura: Codificador PFN Consciente de $\Delta t$

El modelo utiliza un codificador transformador causal que opera sobre una ventana pre-intervención.

• Incrustación Temporal: En lugar de incrustaciones posicionales enteras aprendidas, el modelo utiliza una incrustación de Fourier del tiempo continuo: $\phi(t) = W_\phi [\sin(2\pi f_k t), \cos(2\pi f_k t)]$.
• Incrustación de Intervalos: Los intervalos entre observaciones ($\Delta t_i$) se incrustan utilizando la misma familia después de una transformación $\log(1+\Delta t_i)$.
• Inferencia: El modelo toma datos observados, marcas de tiempo, especificaciones de intervención y un tiempo de consulta para predecir la distribución del resultado bajo intervención.

3. Contribuciones Clave

1. Criterio de Continuidad: Una definición formal que requiere la invariancia de la ley de la trayectoria ante los calendarios de observación, operacionalizada mediante una taxonomía de tres niveles.
2. Construcción del Nivel (C): Una realización práctica de priores de tiempo continuo utilizando integración de rejilla fina, DAGs aleatorios, derivas OU/MLP y calendarios irregulares.
3. Validación Empírica: Un estudio de ablación controlado $2 \times 2$ (Codificador $\times$ Integrador) que demuestra que la integración de rejilla fina es superior a la integración ingenua, particularmente a medida que se refinan las rejillas de evaluación.

4. Resultados Experimentales

4.1. Estudio de Ablación

Los autores entrenaron PFN en dos priores (OU Lineal y Deriva Neural No Lineal) con dos integradores (Ingenuo vs. Fino) y dos codificadores (Solo Posicional vs. Consciente del Tiempo).

• Rendimiento del Integrador: La integración de rejilla fina superó a la integración ingenua en 8 de 8 celdas experimentales en ambos priores y discretizaciones de evaluación. La brecha de rendimiento ($\Delta$) creció monótonamente a medida que la rejilla de evaluación se volvía más fina (por ejemplo, en el prior Neural, la brecha aumentó de +0.0048 a +0.0088 a medida que se refinaban los subpasos de evaluación). Esto confirma que el entrenamiento con rejilla fina alinea el modelo con el límite verdadero de la SDE, mientras que el entrenamiento ingenuo introduce un sesgo de discretización.
• Rendimiento del Codificador: El beneficio del codificador consciente del tiempo (incrustación de Fourier de los intervalos) fue condicional al integrador.
  • Con integración ingenua, el codificador consciente del tiempo superó significativamente al codificador solo posicional, compensando la dinámica dependiente del calendario.
  • Con integración fina, la elección del codificador fue empíricamente inerte (diferencia nula), lo que sugiere que el proceso generador de datos se había vuelto suficientemente invariante al calendario, eliminando la necesidad de características de intervalo explícitas.

4.2. Transferencia Zero-Shot (Preliminar)

El artículo reporta resultados preliminares de transferencia zero-shot en tres conjuntos de datos del mundo real sin ajuste fino:

• Farmacocinética (Teofilina y Warfarina): El modelo logró una fuerte correlación ($r \approx 0.88$) en la concentración plasmática de Warfarina, rastreando trayectorias impulsadas por la dosis. El rendimiento en Teofilina fue moderado ($r \approx 0.53$ para lineal). Los autores señalan que las mejoras en RMSE sobre las líneas base ingenuas fueron pequeñas debido al estrecho agrupamiento de los datos de concentración, pero la correlación de Pearson confirmó el seguimiento dinámico.
• Sistemas Físicos (Cámara Causal): En un banco de impulsos de túnel de viento, el PFN de mecanismo mixto logró una correlación de Pearson de $r = 0.95$ en la dinámica de RPM, superando significativamente al modelo lineal ($r = 0.39$). Esto sugiere que el modelo capturó con éxito dinámicas exponenciales no lineales y de saturación.

5. Significado y Afirmaciones

El artículo afirma proporcionar un criterio de continuidad preciso para los modelos fundacionales causales, avanzando más allá de la "ropa de SDE" para modelos discretos. El significado principal radica en demostrar que la integración de rejilla fina es necesaria para realizar este criterio, como lo evidencia la brecha de rendimiento creciente en rejillas de evaluación más finas.

Los autores son modestos en sus afirmaciones sobre la aplicación en el mundo real:

• Los resultados de transferencia zero-shot se describen como "preliminares" y "corroborativos", aún no competitivos con las líneas base específicas del dominio (por ejemplo, NONMEM para farmacocinética).
• El éxito en la Cámara Causal requirió un cambio de una referencia de "ruido blanco" estructuralmente inadecuada a un conjunto de datos con intervenciones binarias explícitas y dinámicas reales.
• El artículo reconoce limitaciones, incluida la necesidad de replicación con múltiples semillas, la incapacidad de las derivas neuronales actuales para capturar ruido correlacionado en el tiempo (solo ruido de Markov) y la naturaleza preliminar de la transferencia a datos reales.

El trabajo se posiciona como un paso fundamental hacia una inferencia causal de tiempo continuo verdadera, ofreciendo una construcción que permite a los transformadores amortizar la inferencia causal en una familia de TSCM impulsados por SDE con calendarios de observación irregulares.