🤖 machine learning

In-Context Learning of Stochastic Differential Equations with Foundation Inference Models

El artículo presenta FIM-SDE, un modelo fundacional preentrenado que aprovecha el aprendizaje en contexto y el entrenamiento supervisado sobre diversas trayectorias de SDE para lograr la estimación precisa y zero-shot de las funciones de deriva y difusión a partir de datos de series temporales ruidosos, superando consistentemente a los modelos base tradicionales cuando se ajusta finamente en conjuntos de datos específicos.

Autores originales: Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

Publicado 2026-06-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de descifrar las reglas de un juego solo observando a alguien jugar, pero hay un inconveniente: el jugador es empujado de un lado a otro por ráfagas de viento invisibles y aleatorias. Puedes ver hacia dónde se mueve, pero no puedes ver el viento en sí, y tu visión del juego a veces es borrosa o se interrumpe.

Este es el problema que enfrentan los científicos al estudiar las Ecuaciones Diferenciales Estocásticas (SDE). Estas son fórmulas matemáticas que describen sistemas que se mueven con una mezcla de flujo predecible (como la corriente de un río) y caos aleatorio (como el viento). El objetivo es encontrar las dos "funciones" ocultas que los controlan:

La Deriva (Drift): La parte predecible (la corriente del río).
La Difusión (Diffusion): La parte aleatoria (el viento).

Normalmente, descifrar estas reglas requiere muchos datos, mucho tiempo y muchas conjeturas sobre cómo podrían ser las reglas. Si los datos son desordenados o escasos, los métodos antiguos suelen fallar o tardan demasiado en computarse.

La Nueva Solución: FIM-SDE

Los autores de este artículo presentan una nueva herramienta llamada FIM-SDE (Modelo de Inferencia de Base para SDEs). Piensa en FIM-SDE como un detective superinteligente que ha pasado años estudiando millones de juegos falsos en un laboratorio de simulación.

Así es como funciona, usando analogías sencillas:

1. El "Campo de Entrenamiento" (Pre-entrenamiento)

Antes de que el detective vea siquiera un caso real, asiste a un enorme campo de entrenamiento.

La Simulación: Los investigadores generan 600,000 escenarios falsos. Inventan reglas de "deriva" y "difusión" aleatorias (principalmente fórmulas matemáticas simples como polinomios), simulan el juego y luego "corrompen" deliberadamente los datos. Añaden ruido, desenfocan la visión y saltan pasos de tiempo.
La Lección: El detective (el modelo de IA) es entrenado para mirar estos registros de juegos falsos y desordenados y adivinar inmediatamente las reglas ocultas que los crearon. Aprende a reconocer patrones dentro del caos.

2. El Superpoder de "Cero Disparos" (Aprendizaje en Contexto)

Una vez entrenado, el detective puede mirar un registro de un juego completamente nuevo (datos del mundo real) y adivinar las reglas inmediatamente, sin necesidad de estudiar ese juego específico durante horas.

La Analogía: Imagina que has visto miles de tipos diferentes de patrones climáticos. Si alguien te muestra una foto nueva y ligeramente borrosa de una tormenta, puedes decir instantáneamente: "Ah, eso es un sistema de baja presión con vientos fuertes", sin necesidad de ejecutar una nueva simulación por computadora.
El Resultado: El artículo muestra que FIM-SDE puede observar datos desordenados de cosas como los precios de las acciones, los precios del petróleo o la velocidad del viento y adivinar las reglas subyacentes casi tan bien como los expertos que han pasado días analizando esos datos específicos.

3. El "Estudio Rápido" (Ajuste Fino)

A veces, la primera suposición del detective es buena, pero no perfecta. Tal vez el juego real tiene una peculiaridad extraña que el campo de entrenamiento no cubrió.

La Analogía: En lugar de empezar desde cero, el detective solo necesita un curso de repaso rápido.
El Resultado: El artículo afirma que FIM-SDE puede adaptarse a un conjunto de datos nuevo y específico en solo 100 pasos (iteraciones). Otros métodos podrían necesitar 5,000 pasos para obtener la misma precisión. Es como si el detective ya conociera el idioma y solo necesitara aprender algunas palabras de jerga nuevas, mientras que otros están intentando aprender todo el idioma desde cero.

¿Qué Probaron?

Los autores probaron este detective en dos tipos de desafíos:

Problemas Clásicos de Física: Sistemas como el "Doble Pozo" (una bola rodando entre dos colinas) y el "Atractor de Lorenz" (un famoso modelo de clima caótico).
Datos del Mundo Real: Precios de acciones de Facebook y Tesla, fluctuaciones de precios del petróleo y grabaciones de la velocidad del viento.

El Veredicto

Con Datos Desordenados: FIM-SDE es mucho más robusto que los métodos antiguos. Cuando los datos son ruidosos o escasos, los métodos antiguos suelen rendirse o dar respuestas incorrectas. FIM-SDE sigue funcionando.
En Velocidad: Es increíblemente rápido para adaptarse. Puede aprender un nuevo sistema 50 veces más rápido que los métodos previos de aprendizaje profundo.
En Precisión: Cuando obtiene un "ajuste fino" rápido sobre los datos específicos, supera a todos los demás métodos (incluyendo la matemática simbólica y los procesos gaussianos) en precisión.

Las Limitaciones (La Letra Pequeña)

El artículo es honesto sobre lo que el detective no puede hacer todavía:

Reglas Simples Únicamente: El detective fue entrenado con reglas matemáticas relativamente simples (polinomios). Si el mundo real utiliza reglas increíblemente complejas y no matemáticas, el detective podría tener dificultades.
Sistemas Pequeños: Funciona mejor en sistemas con 1 a 3 variables (como una bola moviéndose en un espacio 3D). Intentar aplicar esto a sistemas con cientos de variables es actualmente demasiado difícil porque la simulación del "campo de entrenamiento" se vuelve demasiado lenta y propensa a errores.

En resumen: FIM-SDE es una IA pre-entrenada que aprende la "gramática" del movimiento aleatorio a partir de millones de simulaciones. Puede leer instantáneamente una historia desordenada del mundo real y adivinar las reglas, y si le das un poco de ayuda extra, se convierte en el mejor para adivinar esas reglas más rápido que cualquier otro.

Resumen Técnico: Aprendizaje en Contexto de Ecuaciones Diferenciales Estocásticas con Modelos de Inferencia de Base

Planteamiento del Problema

Las Ecuaciones Diferenciales Estocásticas (SDE, por sus siglas en inglés) modelan sistemas dinámicos donde los flujos deterministas (drift o deriva) se superponen con fluctuaciones aleatorias (difusión). Un desafío central en el aprendizaje automático y el descubrimiento científico es la estimación o "descubrimiento" preciso de estas funciones de deriva y difusión a partir de datos de series temporales ruidosos.

Los enfoques actuales enfrentan limitaciones significativas:

Regresión Simbólica: Depende fuertemente de diccionarios preespecificados de funciones de base y a menudo requiere datos densos y limpios.
Regresión de Procesos Gaussianos (GP): Utiliza priors no paramétricos pero es sensible al conocimiento previo y suele tener dificultades de convergencia cuando los datos son escasos o ruidosos, requiriendo frecuentemente aproximaciones variacionales.
SDEs Neuronales: Representan la deriva y la difusión mediante redes neuronales, pero típicamente requieren un entrenamiento costoso que involucra retropropagación a través de resolvedores de SDE (a menudo mediante métodos de sensibilidad adjunta) y deben entrenarse desde cero para cada nuevo sistema.

El artículo identifica una brecha para un método que pueda realizar la estimación in-context (zero-shot) de las funciones de las SDE a partir de datos ruidosos sin un reentrenamiento extensivo, manteniéndose robusto ante observaciones dispersas y ruido.

Metodología: FIM-SDE

Los autores presentan FIM-SDE (Modelo de Inferencia de Base para SDEs), un modelo de reconocimiento neuronal preentrenado diseñado para mapear trayectorias de SDE ruidosas y discretamente observadas directamente a sus funciones subyacentes de deriva y difusión. La metodología consta de dos componentes principales:

1. Modelo de Generación de Datos

Para entrenar un modelo capaz de generalizar a sistemas no vistos, los autores construyen un conjunto de datos sintéticos basado en un prior generativo $p_{prior}(f, G)$ .

Espacio de Funciones: Las funciones de deriva se muestrean de polinomios de grado $\leq 3$ , y las funciones de difusión de polinomios positivos de grado $\leq 2$ . Esto cubre una amplia gama de modelos físicos, incluyendo sistemas caóticos.
Simulación y Corrupción: Las trayectorias de las SDE se simulan utilizando el esquema de Euler-Maruyama. Estas trayectorias son luego "corruptas" para imitar datos del mundo real:
- Ruido: Se aplica ruido Gaussiano aditivo.
- Muestreo Irregular: Las trayectorias se submuestrean para crear tiempos de inter-observación irregulares ( $\Delta \tau$ ), que pueden ser significativamente mayores que el paso de simulación ( $\Delta t$ ).
Datos de Entrenamiento: El conjunto de datos comprende tuplas de series temporales corruptas y sus correspondientes pares de deriva/difusión de verdad fundamental (ground-truth).

2. Arquitectura del Modelo de Reconocimiento Neuronal

FIM-SDE es una arquitectura basada en Transformers inspirada en Operadores Neuronales (específicamente DeepONets) y en la inferencia amortizada.

Representación de Entrada: El contexto de entrada consiste en tuplas de transición $(y_i, \Delta y_i, \Delta y_i^2, \Delta \tau_i)$ derivadas de las series temporales ruidosas. La inclusión de $\Delta y^2$ permite que la red aprenda canales de características separados para la estimación de la deriva y la difusión.
Matriz de Contexto: Un codificador Transformer con auto-atención ( $\Psi$ ) procesa las tuplas de transición embebidas para crear una "Matriz de Contexto". Esta actúa como el equivalente a la red Branch-net de un DeepONet, codificando todo el historial de observación.
Atención Funcional: Para estimar la deriva o la difusión en una ubicación de consulta $x$ específica, el modelo emplea un mecanismo de "Atención Funcional" (equivalente a la red Trunk-net de un DeepONet). Este mecanismo consulta la Matriz de Contexto utilizando la ubicación $x$ como consulta, ponderando dinámicamente las transiciones según su proximidad espacial a $x$ .
Objetivo de Entrenamiento: El modelo se entrena para minimizar el Error Cuadrático Medio (MSE) ponderado entre las funciones estimadas y la verdad fundamental. Se utiliza un estimador de incertidumbre aprendible $U_\theta$ para reducir el peso en regiones donde el modelo tiene incertidumbre (por ejemplo, áreas con pocos datos o altamente ruidosas), evitando la inestabilidad numérica.

3. Estrategia de Ajuste Fino (Finetuning)

Aunque FIM-SDE opera en modo zero-shot, admite un ajuste fino rápido:

Datos Densos: El ajuste fino maximiza la verosimilitud de las transiciones de corto tiempo.
Datos Dispersos: El ajuste fino simula la SDE inferida sobre los intervalos de observación y minimiza la discrepancia entre los estados observados y simulados.
Esto permite que el modelo se adapte a procesos específicos (tanto densos como dispersos) con significativamente menos iteraciones que una SDE Neuronal desde cero.

Contribuciones Clave

Modelo de Generación de Datos: Un modelo novedoso para el muestreo y la corrupción de trayectorias de SDE restringidas a deriva y difusión polinómicas de bajo grado. Los autores demuestran empíricamente que este modelo codifica un prior fuerte, permitiendo la generalización tanto a sistemas sintéticos intra-distribución como a conjuntos de datos del mundo real.
Primer Reconocedor Neuronal In-Context: FIM-SDE es el primer modelo neuronal capaz de estimar funciones de deriva y difusión de SDEs de baja dimensión a partir de datos ruidosos de manera zero-shot.
Adaptación Rápida: Puede ajustarse a procesos objetivo (tanto densos como dispersos) convergiendo hasta 50 veces más rápido que los métodos estándar de SDE Neuronal, mientras que finalmente los supera en rendimiento.

Resultados Experimentales

Los autores evaluaron FIM-SDE en ocho sistemas canónicos de SDE (ej. pozo doble, atractor de Lorenz) y cuatro conjuntos de datos del mundo real (precios de acciones de Facebook/Tesla, precios del petróleo, velocidad del viento).

Desempeño Zero-Shot: En sistemas canónicos con diversos niveles de ruido ( $\rho$ ) y brechas de observación ( $\Delta \tau$ ), FIM-SDE logró un desempeño robusto. En entornos ruidosos o dispersos, superó consistentemente a las líneas base de Regresión Simbólica (BISDE) y Procesos Gaussianos (SparseGP). En datos limpios y densos, funcionó de manera comparable a estas líneas base. Notablemente, FIM-SDE se mantuvo estable donde los métodos simbólicos y de GP frecuentemente producían estimaciones de SDE inválidas o fallaban en la convergencia.
Datos del Mundo Real: En datos de precios de acciones, el desempeño zero-shot de FIM-SDE superó tanto a BISDE como a LatentSDE. En datos de viento y petróleo, aunque el desempeño zero-shot de FIM-SDE fue ligeramente inferior al de BISDE, el ajuste fino de FIM-SDE produjo el mejor desempeño general en todos los sistemas.
Eficiencia: Al realizar el ajuste fino en el atractor de Lorenz, FIM-SDE superó a la línea base LatentSDE (entrenada durante 5000 iteraciones) en menos de 100 iteraciones. En conjuntos de datos del mundo real, FIM-SDE requirió solo 100 iteraciones de ajuste fino en comparación con las 5000 de LatentSDE, lo que representa una reducción de cómputo de 50 $\times$ .

Significado y Reivindicaciones

El artículo afirma que FIM-SDE funciona como un verdadero modelo de base para el descubrimiento de SDE. Su importancia radica en:

Evadir los Cuellos de Botella de Entrenamiento: Elimina la necesidad de costosos procesos de entrenamiento específicos para cada sistema y de la retropropagación a través de resolvedores de SDE para cada nuevo conjunto de datos.
Robustez: Maneja eficazmente datos ruidosos, dispersos e irregularmente muestreados sin requerir una regularización variacional explícita entre las observaciones.
Automatización Científica: Al proporcionar una solución zero-shot que puede adaptarse rápidamente, ofrece un camino hacia la automatización del descubrimiento científico en escenarios donde el conocimiento previo de la dinámica es escaso.

Los autores reconocen limitaciones, principalmente que el actual prior está restringido a derivas y difusiones polinómicas de bajo grado y sistemas de baja dimensión (debido a las tasas de rechazo en el muestreo de alta dimensión). Sin embargo, postulan que los fuertes sesgos inductivos aprendidos de esta clase restringida son suficientes para servir como una potente inicialización para aplicaciones del mundo real.