🤖 machine learning

Neural Kolmogorov Equations: Parallelizable Learning of Stochastic Dynamics under General Noise

Este artículo introduce las Ecuaciones de Kolmogorov Neuronales (NKEs), un marco determinista de dimensión infinita que reformula las SDEs neuronales para modelar la evolución de la densidad de probabilidad, permitiendo así el aprendizaje de ruido de tipo Lévy general y logrando un entrenamiento paralelo en el tiempo para una mayor eficiencia y precisión en comparación con los enfoques autorregresivos existentes.

Autores originales: Arthur Bizzi, Olga Fink

Publicado 2026-07-22

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Arthur Bizzi, Olga Fink

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas predecir la trayectoria futura de una hoja que flota río abajo. En un mundo perfecto y tranquilo, podrías dibujar una única línea suave que muestre exactamente por dónde irá. Pero los ríos reales son desordenados. Hay remolinos, ráfagas de viento repentinas y golpes aleatorios contra las rocas. Este es el mundo de la "dinámica estocástica": sistemas que se mueven con una mezcla de reglas predecibles y ruido caótico y aleatorio. Los científicos e ingenieros utilizan estos modelos para comprender todo, desde cómo colapsan los mercados de valores hasta cómo las moléculas rebotan dentro de tu cuerpo.

Durante mucho tiempo, las computadoras intentaron aprender estos caminos desordenados simulando miles de "hojas" (o partículas) individuales una por una, paso a paso. Es como intentar predecir el clima rastreando cada gota de lluvia individualmente. Es lento, es difícil de realizar en paralelo (como hacer que muchas computadoras trabajen juntas) y a menudo se queda estancado cuando el ruido es extraño o salta repentinamente. La gran pregunta ha sido: ¿Puede enseñarse a una computadora a entender la forma del caos mismo, en lugar de solo perseguir gotas individuales?

Este artículo presenta una nueva y astuta forma de hacer precisamente eso, llamada Ecuaciones de Kolmogorov Neuronales (NKE, por sus siglas en inglés). En lugar de intentar adivinar dónde aterrizará una sola partícula, los autores enseñan a una computadora a observar cómo una "nube" de partículas se expande, se estira y se divide a lo largo del tiempo. Piensa en esto como pasar de rastrear a un único corredor en una carrera a observar a todo el grupo de corredores como un único bloque de energía cambiante.

El equipo, liderado por Arthur Bizzi y Olga Fink, descubrió que al observar la "nube" (la densidad de probabilidad) en lugar de los puntos individuales, podían aprender las reglas del juego de manera mucho más rápida y precisa. Su método, probado en varios sistemas caóticos, demostró que este enfoque de "observar la nube" maneja mejor el ruido complejo y repentino o los saltos extrañosos que los métodos anteriores. Permite que las computadoras aprendan las reglas subyacentes de la aleatoriedad sin necesidad de simular cada paso de cada partícula, lo que lo convierte en una poderosa nueva herramienta para comprender el mundo impredecible.

La vieja forma: Perseguir el caos

Para entender por qué este nuevo método es tan importante, veamos cómo funcionaba antes. Imagina que estás tratando de aprender cómo rebota una pelota en una habitación llena de corrientes de aire invisibles y erráticas. La vieja forma, utilizada por las "Ecuaciones Diferenciales Estocásticas Neuronales" (SDE neuronales), era simular el viaje de la pelota una y otra vez.

La computadora decía: "Muy bien, la pelota está aquí. Ahora, adivinemos el viento, movamos la pelota, adivinemos el viento de nuevo, movámosla de nuevo". Hace esto miles de veces para construir una imagen de dónde podría terminar la pelota. Esto es como intentar aprender a conducir un coche chocando contra una pared, reiniciando e intentándolo de nuevo, una y otra vez. Es costoso, lento y, si el viento cambia de dirección repentinamente (un "salto" o un "choque"), la computadora a menudo se confunde. También tiene dificultades si el viento sopla de forma diferente en distintas direcciones (ruido acoplado), porque generalmente asume que el caos es simple y uniforme.

La nueva forma: Observar la nube

Los autores de este artículo se dieron cuenta de que, si bien las partículas individuales son caóticas, el grupo de partículas a menudo sigue un patrón más suave y predecible. Tomaron prestado un concepto de la física llamado Ecuación de Kolmogorov hacia adelante.

Aquí está la analogía: en lugar de rastrear una sola hoja, imagina que la hoja es parte de una niebla gigante y brillante.

Deriva (Drift): Si hay una corriente en el río, toda la niebla se mueve en una dirección.
Difusión (Diffusion): Si el agua es turbulenta, la niebla se expande, volviéndose más ancha y plana.
Saltos (Jumps): Si una ráfaga de viento repentina golpea, la niebla puede dividirse en dos masas separadas o estirarse en una forma extraña.

Las "Ecuaciones de Kolmogorov Neuronales" (NKE) tratan a la niebla como el personaje principal. La computadora aprende un conjunto de reglas que describen cómo esta niebla se mueve, se expande y se divide.

Cómo ocurre la magia

El equipo desglosó esto en tres partes, utilizando una técnica llamada División de Operadores (Operator Splitting). Piensa en esto como un chef que prepara un plato complejo manejando los ingredientes uno por uno, y luego mezclándolos perfectamente.

La Deriva (El empuje): La computadora aprende cómo se mueve la niebla en promedio. Observa hacia dónde se mueve el centro de la niebla y aprende la fuerza de "empuje".
La Difusión (La expansión): La computadora aprende cómo se ensancha la niebla. Observa cómo los bordes de la niebla se expanden y aprende la fuerza de "expansión".
Los Saltos (La división): Esta es la parte difícil. A veces la niebla no solo se expande; de repente se rompe. La computadora aprende a reconocer estas ruptas repentinas y las modela como una nueva nube más pequeña que aparece en otro lugar.

Para que esto funcionara, utilizaron un truco llamado Modelos de Mezcla Gaussiana. Imagina que la niebla no es solo una gran masa, sino una colección de orbes más pequeños, redondos y brillantes (como un enjambre de luciérnagas). La computadora rastrea cómo estos orbes se mueven, se estiran y se multiplican. Si un orbe recibe un "salto", podría dividirse en dos nuevos orbes. Al rastrear estos orbes, la computadora puede aprender las reglas del caos sin necesidad de simular jamás una sola partícula solitaria.

Lo que encontraron

Los autores probaron este nuevo método en varios escenarios desafiantes, incluyendo:

El Oscilador de Lorenz: Un sistema caótico famoso que tiene forma de mariposa.
El Modelo de Black-Scholes: Un sistema utilizado para predecir los precios de las acciones, que a menudo tiene ruido "acoplado" (donde la aleatoriedad en un precio afecta a otro).
Sistemas con Saltos: Escenarios donde el sistema salta repentinamente a un nuevo estado, como un desplome del mercado de valores o una partícula golpeando una pared.

En estas pruebas, el método NKE fue un claro ganador.

Precisión: Predijo la forma futura de la niebla mucho mejor que los métodos antiguos. Por ejemplo, en la prueba del sistema de Lorenz, el viejo método "Euler-Maruyama" tuvo una puntuación de error de aproximadamente 0.95 para la expansión de la nube, mientras que el nuevo método NKE la redujo a 0.075. Esa es una diferencia enorme.
Velocidad: Debido a que la computadora no tiene que simular miles de trayectorias individuales una por una, puede aprender mucho más rápido. En algunas pruebas, los métodos antiguos tardaron miles de segundos en entrenar, mientras que el nuevo método lo hizo en una fracción de ese tiempo.
Flexibilidad: El nuevo método pudo manejar el ruido "acoplado" (donde las cosas están entrelazadas) y los saltos repentinos, cosas con las que los métodos antiguos tenían dificultades o que ni siquiera podían realizar.

El problema (Limitaciones)

Por supuesto, ningún truco de magia es perfecto. Los autores señalan algunas cosas a tener en cuenta:

Tasa de Muestreo: El método funciona mejor cuando los datos llegan en intervalos regulares (como un reloj que suena cada segundo). Si los datos son desordenados y llegan en tiempos aleatorios, especialmente cuando hay saltos, el método se queda un poco estancado.
Complejidad: El método utiliza "mezclas gaussianas" (los orbes brillantes). Si el sistema es increíblemente complejo o tiene demasiadas dimensiones (como una niebla con millones de variables), las matemáticas se vuelven demasiado pesadas y los "orbes" podrían no ser suficientes para describir la forma con precisión.

Por qué es importante

Este artículo no solo ofrece una forma ligeramente más rápida de hacer lo mismo; cambia la perspectiva. En lugar de luchar contra el caos persiguiendo partículas individuales, abraza el caos modelando la forma de la nube de probabilidad.

Al convertir un problema desordenado y aleatorio en un problema determinista (predecible) sobre cómo se mueven y cambian las formas, los autores han abierto la puerta para aprender sistemas complejos del mundo real que antes eran demasiado difíciles de modelar. Ya sea prediciendo cómo se propaga un virus, cómo reacciona un mercado financiero a un choque o cómo se mueve un robot a través de un entorno accidentado, este enfoque de "observar la nube" nos brinda una lente más nítida, rápida y flexible para ver el futuro.

Resumen Técnico: Ecuaciones de Kolmogorov Neuronales (NKEs)

1. Formulación del Problema

El artículo aborda las limitaciones de las Ecuaciones Diferenciales Estocásticas (SDE) neuronales existentes para aprender la dinámica estocástica a partir de datos. Aunque las SDE neuronales han surgido como herramientas poderosas para modelar sistemas de Markov en tiempo continuo, los enfoques actuales enfrentan tres restricciones principales:

Diversidad de Ruido: Los métodos existentes asumen mayoritariamente ruido gaussiano continuo y no acoplado (por ejemplo, movimiento browniano). Tienen dificultades con el ruido no isotrópico, el ruido acoplado y la dinámica discontinua, como fluctuaciones de cola pesada o procesos de salto (procesos de Lévy).
Escalabilidad y Eficiencia de Entrenamiento: La mayoría de las SDE neuronales dependen del entrenamiento autorregresivo mediante esquemas de integración estocástica (por ejemplo, Euler-Maruyama). Esto requiere la simulación repetida de trayectorias, lo cual es computacionalmente costoso, difícil de paralelizar en el tiempo y, a menudo, numéricamente inexacto.
Supuestos de Modelado: Muchos enfoques asumen que la estructura del ruido impulsor es conocida (formas paramétricas fijas), lo que impide el aprendizaje de operadores de difusión-salto generales directamente de los datos.

Los autores plantean el problema como un problema inverso: dada una secuencia de realizaciones independientes de una SDE de Lévy-Itô observadas en pasos de tiempo discretos, el objetivo es aprender la deriva $f$ , el coeficiente de difusión $gg^\top$ y un modelo generativo condicional para la distribución de saltos $h$ , sin asumir una forma paramétrica específica para el ruido.

2. Metodología: Ecuaciones de Kolmogorov Neuronales (NKEs)

La propuesta central son las Ecuaciones de Kolmogorov Neuronales (NKEs), una reformulación determinista e infinita dimensional de las SDE neuronales. En lugar de modelar trayectorias estocásticas individuales, las NKEs modelan la evolución de la función de densidad de probabilidad (PDF) gobernada por la Ecuación de Kolmogorov hacia Adelante (KFE), también conocida como la ecuación de Fokker-Planck.

2.1 Fundamento Teórico

La KFE describe la evolución macroscópica de la masa de probabilidad de un sistema $p_t(x)$ a través de una ecuación diferencial parcial (PDE) lineal:
$\frac{d}{dt}p_t = \mathcal{L}p_t = (\mathcal{A} + \mathcal{D} + \mathcal{J})p_t$
donde $\mathcal{L}$ es el generador de Kolmogorov descompuesto en:

Advección ( $\mathcal{A}$ ): Impulsada por el campo vectorial de deriva $f$ .
Difusión ( $\mathcal{D}$ ): Impulsada por el tensor de difusión $gg^\top$ .
Salto ( $\mathcal{J}$ ): Impulsada por la medida de Lévy $h$ .

Esta formulación transforma el problema de aprendizaje de la simulación de trayectorias estocásticas al aprendizaje de una PDE determinista, permitiendo el uso de herramientas del análisis de PDE y permitiendo un modelado agnóstico al ruido.

2.2 Proyección de Galerkin Lagrangiana

Dado que la KFE opera en un espacio infinito dimensional de medidas, los autores proponen una proyección finita dimensional tratable utilizando la discretización de Galerkin Lagrangiana.

Representación: La densidad evolutiva $p_t$ se aproxima como una mezcla de $K$ gaussianas: $p_t(x) \approx \sum \pi_k \mathcal{N}(\mu_k, \Sigma_k)$ .
Proyección: El generador infinito dimensional $\mathcal{L}$ se proyecta sobre el espacio de mezclas gaussianas ( $\mathcal{G}$ ) mediante los operadores $\Pi$ y $\Pi^\dagger$ , resultando en un generador proyectado $\hat{\mathcal{L}} = \Pi \circ \mathcal{L} \circ \Pi^\dagger$ .
Acciones del Operador:
- Advección: Transporta la media y estira/rota la covarianza basándose en la deriva $f$ .
- Difusión: Dispersa la covarianza sin afectar la media.
- Saltos: Modelados como una convolución con una medida de salto. Para la tratabilidad, los saltos pequeños se aproximan como advección-difusión dependiente del estado, mientras que los saltos grandes se modelan mediante una mezcla gaussiana condicional que divide los componentes gaussianos originales.

2.3 Estrategia de Aprendizaje y División de Operadores

Las NKE emplean un esquema de división de Strang (exactitud de segundo orden) en lugar de la división de Lie-Trotter de primer orden utilizada en los métodos estándar de Euler-Maruyama (EM). El entrenamiento procede en cuatro pasos distintos:

Preprocesamiento de Datos: Los datos de trayectoria se agrupan en paquetes gaussianos empíricos. Los saltos grandes se identifican y filtran utilizando un umbral basado en la Desviación Absoluta de la Mediana (MAD) para separar el aprendizaje de advección-difusión del aprendizaje de saltos.
Aprendizaje de Advección: Una red neuronal $f_\theta$ aprende la deriva minimizando el desajuste entre la evolución de la media observada y el transporte predicho de las medias gaussianas. Se utiliza una condición de "encontrarse a mitad de camino" (regla trapezoidal) para imponer una exactitud de segundo orden.
Aprendizaje de Difusión: Una red neuronal que parametriza $gg^\top_\vartheta$ aprende el coeficiente de difusión rastreando la variación temporal de las covarianzas gaussianas, tras restar la contribución de la deriva.
Aprendizaje de Saltos: Un modelo generativo condicional (Red de Densidad de Mezcla) aprende el semigrupo de salto $H_s$ modelando la distribución de los incrementos de salto filtrados como una convolución de la gaussiana de origen con una mezcla de saltos aprendida.

Crucialmente, este enfoque permite el entrenamiento paralelo en el tiempo porque las funciones de pérdida para la deriva y la difusión pueden calcularse de forma independiente a través de los pasos de tiempo y las partículas, evitando la dependencia autorregresiva de las SDE neuronales estándar.

3. Contribuciones Clave

El artículo afirma las siguientes contribuciones:

Aprendizaje de Ruido de Forma General: Las NKEs introducen una estrategia agnóstica al ruido capaz de manejar cualquier acoplamiento en el ruido gaussiano y procesos de salto generales (incluyendo distribuciones de salto dependientes del estado) sin supuestos paramétricos predefinidos.
Escalabilidad y Exactitud: Al reformular el problema como una PDE determinista sobre mezclas gaussianas y utilizar la división de Strang, las NKE permiten el entrenamiento paralelo en el tiempo. Esto evita el costo computacional de la simulación autorregresiva mientras retiene (y a menudo mejora) la exactitud predictiva en comparación con los métodos basados en EM.
Marco Unificado: El método proporciona un tratamiento unificado para la difusión continua y la dinámica de salto discontinua dentro de un único marco generativo, aprendiendo la estructura de los impulsores estocásticos de tipo Lévy directamente de la evolución de la densidad.

4. Resultados Experimentales

Los autores evaluaron las NKE en varios bancos de pruebas, incluyendo sistemas con ruido acoplado y procesos de salto:

Benchmarks: Oscilador de Lorenz (ruido browniano geométrico), Black-Scholes multivariante (movimiento browniano geométrico acoplado), sistema de doble pozo multivariante (saltos gaussianos) y un problema de dinámica molecular de grano grueso rarefactorizado.
Líneas Base: Comparadas contra Euler-Maruyama paralelizable, Flujo de Coincidencia de Trayectorias (TFM) y SDE-GANs autorregresivas.
Desempeño:
- Exactitud: Las NKE lograron consistentemente un Error Cuadrático Medio (MSE) más bajo tanto en vectores de media como en matrices de covarianza, así como distancias de Wasserstein más bajas, en comparación con todas las líneas base. Por ejemplo, en el oscilador de Lorenz, las NKE redujeron el MSE medio de ~1.8 (EM/TFM) a ~0.047.
- Tiempo de Entrenamiento: Las NKE mantuvieron tiempos de entrenamiento competitivos. Aunque fueron ligeramente más lentas que las líneas base EM más simples en algunos casos, fueron significativamente más rápidas que las SDE-GAN (que requerían miles de segundos) y comparables a TFM.
- Robustez: Las NKE modelaron con éxito sistemas con ruido no diagonal acoplado y procesos de salto donde las líneas base o bien fallaron en converger o exhibieron una exactitud deficiente.

5. Significación y Limitaciones

Significación:
El artículo argumenta que las NKE representan una alternativa fundamentada a la clásica simulación basada en trayectorias de las SDE neuronales. Al desplazar el enfoque de las trayectorias ruidosas individuales hacia la evolución determinista de las densidades de probabilidad, el método supera los cuellos de botella de escalabilidad del entrenamiento autorregresivo y las limitaciones de diversidad de ruido de la estimación de máxima verosimilitud. Permite el aprendizaje de impulsores estocásticos complejos de tipo Lévy directamente de los datos.

Limitaciones:
Los autores reconocen explícitamente dos limitaciones principales:

Restricciones de la Tasa de Muestreo: En presencia de saltos, el método requiere actualmente tasas de muestreo constantes porque el semigrupo de salto se aprende como una iteración fija $e^{\mathcal{J}s}$ . Extender esto a un muestreo no uniforme sigue siendo un desafío abierto para la representación actual de la GMM de Lagrangian.
Dimensionalidad y Representación: La dependencia de los Modelos de Mezcla Gaussiana (GMM) limita la aplicabilidad a sistemas de dimensiones extremadamente altas (por ejemplo, modelos generativos complejos). Además, para $K > 1$ , el operador de proyección puede ser mal planteado, lo que conduce a problemas de no unicidad y convergencia al aprender patrones de salto complejos y dependientes del estado sin regularización adicional.