📊 statistics

Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions

Este artículo propone un algoritmo de aprendizaje por refuerzo de tiempo continuo libre de modelo, Hawkes-CT DDPG, que resuelve problemas de control estocástico no markovianos impulsados por procesos de salto-difusión de Hawkes multivariantes mediante la aproximación previa del sistema con una representación markoviana de dimensión finita y la posterior aplicación de aprendizaje de gradiente de política determinista.

Autores originales: Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

Publicado 2026-08-20

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo digital, las amenazas rara vez llegan como eventos aislados e independientes. En cambio, tienden a agruparse, donde una brecha o ataque hace que un segundo sea más probable que lo siga, creando una cadena de daños en cascada. Este comportamiento, conocido como autoexcitación, es un patrón fundamental en todo, desde los terremotos hasta las caídas de los mercados financieros, y es cada vez más central para comprender el riesgo cibernético. Para gestionar tales riesgos, los defensores deben tomar decisiones dinámicas sobre cómo asignar sus limitados recursos de seguridad a medida que el entorno de amenazas cambia. Sin embargo, las herramientas matemáticas tradicionalmente utilizadas para optimizar estas decisiones tienen dificultades cuando la memoria del sistema es compleja. Si la probabilidad de un ataque depende de todo el historial de eventos pasados en lugar de solo el momento actual, el problema se vuelve demasiado enredado para que los métodos estándar lo resuelvan de manera eficiente.

Un equipo de investigadores ha desarrollado un nuevo enfoque para desenredar esta complejidad, creando un método que permite a las computadoras aprender estrategias de defensa óptimas en tiempo real, incluso cuando las reglas subyacentes de la amenaza son desconocidas. Su trabajo se centra en un tipo específico de modelo matemático llamado proceso de Hawkes, que está diseñado para capturar ese comportamiento de agrupación. El desafío que enfrentaron fue que estos modelos son "no markovianos", lo que significa que el futuro del sistema depende de todo su pasado, lo que hace imposible utilizar algoritios de aprendizaje estándar y eficientes que dependen solo del estado presente. Para superar esto, los investigadores idearon una forma de comprimir la memoria infinita del sistema en un conjunto finito de señales observables, convirtiendo efectivamente un problema dependiente de la historia en uno que puede ser resuelto con el aprendizaje automático moderno.

El núcleo de su solución involucra una técnica llamada "markovianización". Imagine intentar predecir el clima no solo mirando la temperatura actual, sino recordando cada una de las gotas de lluvia que cayeron en el último siglo. Ese es el nivel de memoria que posee un proceso de Hawkes. Los investigadores se dieron cuenta de que, en lugar de intentar recordar cada evento pasado, se podría aproximar la memoria del sistema utilizando una colección de filtros simples y de decaimiento. Construyeron un nuevo estado para el algoritmo de aprendizaje que incluye el estado actual del sistema más un conjunto de estos filtros, cada uno rastreando cómo los eventos pasados se han desvanecido con el tiempo. Al hacer esto, transformaron el complejo problema dependiente de la historia en uno manejable y de dimensión finita que una computadora puede navegar.

Una vez que el problema fue remodelado a esta forma más simple, el equipo aplicó un algoritmo de aprendizaje por refuerzo en tiempo continuo, al cual llamaron Hawkes CT-DDPG. A diferencia de los métodos tradicionales que aprenden en pasos discretos, este algoritmo aprende continuamente, ajustando su estrategia a medida que ocurren los eventos en tiempo real. El sistema opera de manera libre de modelo (model-free), lo que significa que no necesita conocer las fórmulas matemáticas específicas que gobiernan los ataques o los mecanismos de defensa. En su lugar, aprende puramente observando el tiempo de llegada de los eventos, el estado del sistema y los costos asociados con diferentes acciones. Utiliza una red neuronal para actuar como un "crítico" que evalúa qué tan buena fue una decisión, y otra red como un "actor" que decide qué acción tomar a continuación, refinando constantemente su política para minimizar el costo total de los incidentes de seguridad.

Para probar su método, los investigadores simularon tres tipos diferentes de entornos de amenazas, cada uno con un patrón distinto de cómo los eventos pasados influyen en el futuro. El primer escenario utilizó un patrón exponencial simple, donde la influencia de los eventos pasados se desvanece de manera rápida y predecible. El segundo utilizó un patrón de Erlang, que representa un proceso de desvanecimiento más complejo y de múltiples etapas. El tercer escenario, y el más difícil, utilizó un patrón de ley de potencia, donde la influencia de los eventos pasados decae muy lentamente, creando una cola larga y pesada de memoria que es notoriamente difícil de modelar. En cada caso, compararon su método de aprendizaje en tiempo continuo contra técnicas de aprendizaje de tiempo discreto estándar y contra un "oráculo" teórico: una solución perfecta que conoce todas las reglas subyacentes de antemano.

Los resultados mostraron que el nuevo método fue altamente efectivo. En el caso exponencial simple, el algoritmo funcionó casi tan bien como el oráculo perfecto, reduciendo los costos significativamente en comparación con las estrategias de defensa estáticas. Cuando los investigadores pasaron a los escenarios más complejos de Erlang y de ley de potencia, la ventaja de su enfoque se hizo aún más clara. El algoritmo que utilizó los filtros de memoria para aproximar la historia del sistema superó consistentemente a los métodos de aprendizaje estándar que ignoraban la estructura de la memoria. En el escenario de la ley de potencia, que no tiene una representación simple exacta, la versión filtrada de su algoritmo redujo el costo promedio en casi un cinco por ciento en comparación con la versión que no utilizó los filtros de memoria. Esto demostró que capturar la historia del sistema a través de estos filtros era crucial para tomar buenas decisiones.

Además, el estudio demostró que este enfoque funciona incluso cuando los detalles específicos de la amenaza son desconocidos. El algoritmo aprendió con éxito a minimizar los costos sin haber sido informado de la forma matemática exacta de la memoria de la amenaza o de los coeficientes específicos que gobiernan cómo se propagan los ataques. Al observar únicamente los tiempos de llegada de los eventos y los estados resultantes del sistema, fue capaz de construir un modelo interno que era suficiente para encontrar estrategias de defensa casi óptimas. Los investigadores verificaron sus hallazgos comparando sus resultados con soluciones analíticas donde existían y con referencias numéricas de alta fidelidad donde no las había, confirmando que su método produjo consistentemente los mejores resultados entre todas las técnicas de aprendizaje probadas.

Este trabajo representa un paso significativo hacia la gestión de sistemas autoexcitantes complejos. Demuestra que, incluso cuando un problema parece demasiado enredado para resolverlo porque depende de demasiada historia, es posible encontrar una solución práctica aproximando esa historia con un conjunto finito de herramientas. Para las organizaciones que enfrentan la constante y evolutiva amenaza de los ciberataques, esto significa que ahora existe un camino viable para utilizar la inteligencia artificial para asignar dinámicamente los recursos de seguridad, aprendiendo de cada incidente para protegerse mejor contra la próxima ola de amenazas, todo ello sin necesidad de comprender plenamente las matemáticas complejas del peligro mismo.

Resumen Técnico: Aprendizaje por Refuerzo en Tiempo Continuo para Difusiones de Saltos de Hawkes Controladas

Planteamiento del Problema

Este artículo aborda el control estocástico de ecuaciones diferenciales estocásticas (SDE) multivariantes impulsadas por procesos de Hawkes en un entorno no markoviano. El desafío central surge de la dependencia de la trayectoria inherente a los procesos de Hawkes: la intensidad de eventos futuros depende de todo el historial de eventos pasados, lo que convierte al sistema en no markoviano a menos que el núcleo sea una exponencial simple. Esta dependencia de la memoria impide la aplicación directa de la teoría clásica de control estocástico y de los principios estándar de programación dinámica (ecuaciones de Hamilton-Jacobi-Bell Bellman) que dependen de espacios de estados de dimensión finita.

El objetivo específico es desarrollar un marco de aprendizaje por refuerzo (RL) libre de modelo para minimizar los costos asociados con incidentes de cascada en tales sistemas. El entorno consiste en un proceso de difusión de saltos controlado donde la acción de control influye tanto en la deriva/volatilidad de la difusión como en la "lectura" de la memoria de Hawkes (los coeficientes del núcleo), mientras que los propios coeficientes del núcleo permanecen desconocidos para el aprendiz.

Metodología

1. Markovianización de Dimensión Finita

Para superar la naturaleza no markoviana de los núcleos de Hawkes generales, los autores proponen un procedimiento de Markovianización.

Aproximación: Aproximan el núcleo general $\Phi(\tau, a)$ utilizando una mezcla de exponenciales:
$\Phi(\tau, a) \approx \Phi_K(\tau, a) = \sum_{k=1}^K Q_k(a) e^{-\beta_k \tau}$
donde $Q_k(a)$ son coeficientes matriciales (potencialmente con entradas negativas) y $\beta_k$ son tasas de decaimiento.
Elevación de Estado (State Lifting): Esta aproximación permite que la memoria de dimensión infinita sea representada por un conjunto finito de variables de estado auxiliares $Z^{K,k}_t$ , que son integrales ponderadas exponencialmente de saltos pasados. Estas variables satisfacen ODEs de salto lineales:
$dZ^{K,k}_t = -\beta_k Z^{K,k}_t dt + dN_t$
Construcción Online: Crucialmente, el vector de estado $S^K_t = (t, X_t, Z^{K,1}_t, \dots, Z^{K,K}_t)$ puede construirse online utilizando únicamente los tiempos de eventos observados y las etiquetas de los componentes, sin conocimiento de los coeficientes del núcleo subyacente, la intensidad base o la dinámica del sistema. Esto permite un enfoque libre de modelo (model-free).

2. Algoritmo Hawkes CT-DDPG

El artículo formula un algoritmo de Gradiente de Política Determinista Profundo en Tiempo Continuo (CT-DDPG) adaptado para el sistema de Hawkes Markovianizado.

Arquitectura Actor-Crítico:
- Crítico: Aprende la función de valor $V(t, x, z)$ y una función de tasa de ventaja $Q(t, x, z, a)$ . El entrenamiento se basa en la propiedad de martingala de la integral estocástica asociada a la ecuación de Bellman. La función de pérdida minimiza el residuo del método de momento generalizado.
- Actor: Actualiza la política determinista $\pi_\zeta$ utilizando el teorema del gradiente de política derivado de la tasa de ventaja.
Tasa de Ventaja: El algoritmo utiliza una función de tasa de ventaja definida como:
$A^\zeta_K(t, x, z, a) = \mathcal{L}^a_K J^\zeta_K - \rho J^\zeta_K + c(t, x, a)$
donde $\mathcal{L}^a_K$ es el generador extendido del sistema Markovianizado.
Entrenamiento: El método emplea un buffer de repetición (replay buffer) para almacenar transiciones $(S^K_t, a_t, \text{coste}, S^K_{t+1})$ y utiliza objetivos de diferencia temporal (TD) de múltiples pasos para actualizar las redes.

Principales Contribuciones

Teoría de Convergencia: Los autores demuestran que la aproximación markoviana del proceso de Hawkes, su intensidad y la función de valor convergen al sistema no markoviano original y al valor del problema primal a medida que el número de filtros exponenciales $K \to \infty$ . Esto proporciona una base teórica para reemplazar la memoria de dimensión infinita con un estado de dimensión finita.
RL Libre de Modelo en Tiempo Continuo: El artículo introduce Hawkes CT-DDPG, un algoritmo libre de modelo capaz de resolver difusiones de saltos de Hawkes controladas. Opera observando únicamente los tiempos de eventos, la realización de la SDE y un conjunto elegido de filtros de decaimiento, sin requerir conocimiento de los coeficientes del núcleo o los parámetros de deriva/difusión del sistema.
Manejo de Núcleos No Markovianos: El marco extiende con éxito el aprendizaje por refuerzo en tiempo continuo a sistemas con núcleos complejos y no markovianos (específicamente núcleos de Erlang y de ley de potencia), una capacidad que no está presente en los métodos de RL de tiempo discreto aplicados directamente a datos de eventos brutos.

Resultados Numéricos

Los autores evalúan Hawkes CT-DDPG contra tres tipos de núcleos: exponencial simple, Erlang y ley de potencia.

Benchmarks:
- Para los núcleos exponencial y Erlang, se construyeron benchmarks "Oráculo" utilizando el Método de Galerkin Profundo (DGM) para resolver las ecuaciones HJB de dimensión finita exactas (ya que estos núcleos admiten representaciones markovianas exactas).
- Para el núcleo de ley de potencia (que no tiene una representación exacta de dimensión finita), se utilizó un benchmark de "Mezcla DGM/HJB", basado en la aproximación del núcleo mediante una mezcla finita de exponenciales.
Comparaciones: El método propuesto se comparó contra:
- Una política estática seleccionada mediante validación.
- Métodos de RL de tiempo discreto: Soft Actor-Critic (SAC) y Deep Deterministic Policy Gradient (DDPG).
- Estudios de ablación comparando el enfoque "filtrado" (Markovianizado) frente a enfoques de "solo estado actual" (sin memoria).
Hallazgos:
- Desempeño: Hawkes CT-DDPG superó consistentemente a los métodos de RL de tiempo discreto (SAC y DDPG) y a las políticas estáticas en todos los tipos de núcleos.
- Proximidad al Oráculo: En todos los escenarios, Hawkes CT-DDPG fue el aproximador más cercano a sus respectivos benchmarks de Oráculo.
- Impacto de la Markovianización: La inclusión del banco de filtros exponenciales (Markovianización) redujo significativamente los costos en comparación con el uso únicamente del estado físico actual. Para el núcleo Erlang, el filtrado redujo los costos en un 13.4% para CT-DDPG; para el núcleo de ley de potencia, la reducción fue del 4.67%.
- Robustez: El método demostró efectividad incluso cuando los parámetros del núcleo subyacente y la dinámica del sistema eran completamente desconocidos para el agente.

Significancia y Reivindicaciones

El artículo afirma proporcionar un marco riguroso teórico y práctico para controlar procesos de saltos autoexcitados en tiempo continuo. Su principal significancia radica en cerrar la brecha entre la naturaleza no markoviana de los procesos de Hawkes y los requisitos del aprendizaje por refuerzo moderno en tiempo continuo.

Los autores sostienen que su método:

Extiende con éxito los hallazgos del RL en tiempo continuo (específicamente CT-DDPG) a las difusiones impulsadas por Hawkes.
Ofrece una solución viable para controlar el riesgo cibernético y los incidentes de cascada donde los ataques se agrupan y los efectos de memoria son críticos, y donde los parámetros del sistema son desconocidos.
Demuestra que la Markovianización de dimensión finita mediante mezclas exponenciales es una estrategia robusta para aproximar núcleos de Hawkes generales, permitiendo el uso de arquitecturas actor-crítico estándar en tiempo continuo.

El trabajo no pretende resolver la teoría de existencia general para sistemas de Hawkes de bucle cerrado no lineales, sino que se centra específicamente en los aspectos de aproximación y control. Posiciona al Hawkes CT-DDPG como una alternativa superior a los métodos de tiempo discreto para problemas caracterizados por llegadas de eventos en tiempo continuo y dependencia de la memoria.