📊 statistics

Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions

Dit artikel stelt een modelvrij continu-tijd reinforcement learning-algoritme voor, Hawkes-CT DDPG, dat niet-Markoviaanse stochastische regelproblemen gedreven door multivariate Hawkes spring-diffusies oplost door het systeem eerst te benaderen met een einddimensionale Markoviaanse representatie en vervolgens deterministische policy gradient learning toe te passen.

Oorspronkelijke auteurs: Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

Gepubliceerd 2026-08-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de digitale wereld komen dreigingen zelden aan als geïsoleerde, onafhankelijke gebeurtenissen. In plaats daarvan hebben ze de neiging te clusteren, waarbij een breuk of aanval een tweede aanval waarschijnlijker maakt, wat een cascade van schade creëert. Dit gedrag, bekend als zelfexcitatie, is een fundamenteel patroon in alles van aardbevingen tot crashes op de financiële markten, en het staat steeds meer centraal bij het begrijpen van cyberrisico's. Om dergelijke risico's te beheersen, moeten verdedigers dynamische beslissingen nemen over hoe zij hun beperkte beveiligingsbronnen toewijzen naarmate het dreigingslandschap verschuift. Echter, de wiskundige instrumenten die traditioneel worden gebruikt om deze beslissingen te optimaliseren, worstelen wanneer het geheugen van het systeem complex is. Als de waarschijnlijkheid van een aanval afhangt van de volledige geschiedenis van eerdere gebeurtenissen in plaats van alleen het huidige moment, wordt het probleem te verstrengeld voor standaardmethoden om het efficiënt op te lossen.

Een team van onderzoekers heeft een nieuwe aanpak ontwikkeld om deze complexiteit te ontwarren, een methode die computers in staat stelt om in realtime optimale verdedigingsstrategieën te leren, zelfs wanneer de onderliggende regels van de dreiging onbekend zijn. Hun werk richt zich op een specif kind van wiskundig model genaamd een Hawkes-proces, dat is ontworpen om dat clustergedrag te vangen. De uitdaging waarmee zij werden geconfronteerd, was dat deze modellen "niet-Markoviaans" zijn, wat betekent dat de toekomst van het systeem afhangt van zijn volledige verleden, waardoor het onmogelijk is om standaard, efficiënte leeralgoritmen te gebruiken die alleen op de huidige staat vertrouwen. Om dit te overwinnen, hebben de onderzoekers een manier bedacht om het oneindige geheugen van het systeem te comprimeren tot een eindige set observeerbare signalen, waardoor een geschiedenisafhankelijk probleem effectief wordt omgezet in een probleem dat met moderne machine learning kan worden opgelost.

De kern van hun oplossing omvat een techniek genaamd "Markovianisering". Stel je voor dat je het weer probeert te voorspellen niet alleen door naar de huidige temperatuur te kijken, maar door elke enkele regendruppel te onthouden die in de afgelopen eeuw is gevallen. Dat is het niveau van geheugen dat een Hawkes-proces bezit. De onderzoekers realiseerden zich dat men, in plaats van elke gebeurtenis uit het verleden te proberen te onthouden, het geheugen van het systeem kan benaderen met een collectie eenvoudige, vervagende filters. Ze construeerden een nieuwe staat voor het leeralgoritme die de huidige systeemstatus bevat plus een reeks van deze filters, die elk bijhouden hoe gebeurtenissen uit het verleden in de loop van de tijd zijn vervaagd. Door dit te doen, transformeerden ze het complexe, geschiedenisafhankelijke probleem in een beheersbaar, einddimensioneel probleem waar een computer doorheen kan navigeren.

Zodra het probleem in deze eenvoudigere vorm werd gevormd, paste het team een continu-tijd reinforcement learning-algoritme toe, dat zij Hawkes CT-DDPG noemden. In tegen tegenstelling tot traditionele methoden die leren in discrete stappen, leert dit algoritme continu en past het zijn strategie aan terwijl gebeurtenissen in realtime plaatsvinden. Het systeem werkt op een model-vrije wijze, wat betekent dat het niet de specifieke wiskundige formules hoeft te kennen die de aanvallen of de verdedigingsmechanismen beheersen. In plaats daarvan leert het puur door het observeren van de timing van gebeurtenissen, de staat van het systeem en de kosten die verbonden zijn aan verschillende acties. Het gebruikt een neuraal netwerk om als een "critic" te fungeren die evalueert hoe goed een beslissing was, en een ander netwerk als een "actor" die besluit welke actie als volgende genomen moet worden, waarbij het beleid constant wordt verfijnd om de totale kosten van beveiligingsincidenten te minimaliseren.

Om hun methode te testen, simuleerden de onderzoekers drie verschillende soorten dreigingsomgevingen, elk met een ander patroon van hoe gebeurtenissen uit het verleden de toekomst beïnvloeden. Het eerste scenario gebruikte een eenvoudig exponentieel patroon, waarbij de invloed van gebeurtenissen uit het verleden snel en voorspelbaar vervaagt. Het tweede scenario gebruikte een Erlang-patroon, dat een complexer, meerfasig vervagingsproces vertegenwoordigt. Het derde en moeilijkste scenario gebruikte een power-law patroon, waarbij de invloed van gebeurtenissen uit het verleden zeer langzaam afneemt, wat een lange, zware staart van geheugen creëert die berucht moeilijk te modelleren is. In elk geval vergeleken ze hun continu-tijd leer methode met standaard discrete-tijd leertechnieken en met een theoretische "oracle"—een perfecte oplossing die alle onderliggende regels vooraf kent.

De resultaten lieten zien dat de nieuwe methode zeer effectief was. In het eenvoudige exponentiële geval presteerde het algoritme bijna net zo goed als de perfecte oracle, waarbij de kosten aanzienlijk werden verminderd in vergelijking met statische verdedigingsstrategieën. Wanneer de onderzoekers overgingen naar de complexere Erlang- en power-law scenario's, werd het voordeel van hun aanpak nog duidelijker. Het algoritme dat de geheugenfilters gebruikte om de geschiedenis van het systeem te benaderen, presteerde consequent beter dan de standaard leermethoden die de geheugenstructuur negeerden. In het power-law scenario, dat geen exacte eenvoudige representatie heeft, verminderde de gefilterde versie van hun algoritme de gemiddelde kosten met bijna vijf procent vergeleken met de versie die de geheugenfilters niet gebruikte. Dit bewees dat het vastleggen van de geschiedenis van het systeem via deze filters cruciaal was voor het nemen van goede beslissingen.

Bovendien bewees de studie dat deze aanpak werkt, zelfs wanneer de specifieke details van de dreiging onbekend zijn. Het algoritme slaagde erin de kosten te minimaliseren zonder ooit de exacte wiskundige vorm van het geheugen van de dreiging of de specifieke coëfficiënten die bepalen hoe aanvallen zich verspreiden, te hebben gekend. Door enkel de aankomsttijden van gebeurtenissen en de resulterende systeemstatussen te observeren, was het in staat een intern model te construeren dat voldoende was om bijna optimale verdedigingsstrategieën te vinden. De onderzoekers verifieerden hun bevindingen door hun resultaten te vergelijken met analytische oplossingen waar die bestonden en met hoogwaardige numerieke benchmarks waar dat niet het geval was, waarmee werd bevestigd dat hun methode consistent de beste resultaten produceerde van alle geteste leertechnieken.

Dit werk vormt een belangrijke stap vooruit in het beheren van complexe, zelfexcitante systemen. Het laat zien dat zelfs wanneer een probleem te verstrengeld lijkt om op te lossen omdat het afhankelijk is van te veel geschiedenis, het mogelijk is om een praktische oplossing te vinden door die geschiedenis te benaderen met een eindige set instrumenten. Voor organisaties die geconfronteerd worden met de constante, evoluerende dreiging van cyberaanvallen, betekent dit dat er nu een levensvatbaar pad is om kunstmatige intelligentie te gebruiken om beveiligingsbronnen dynamisch toe te wijzen, waarbij van elk incident wordt geleerd om beter te beschermen tegen de volgende golf van dreigingen, allemaal zonder de complexe wiskunde van het gevaar zelf volledig te hoeven begrijpen.

Technische Samenvatting: Continu-tijd Reinforcement Learning voor Gecontroleerde Hawkes Jump-Diffusies

Probleemstelling

Dit artikel behandelt de stochastische controle van multivariate Hawkes-gedreven stochastische differentiaalvergelijkingen (SDE's) in een niet-Markoviaanse setting. De kernuitdaging komt voort uit de padafhankelijkheid die inherent is aan Hawkes-processen: de intensiteit van toekomstige gebeurtenissen hangt af van de volledige geschiedenis van het verleden, wat het systeem niet-Markoviaans maakt, tenzij de kernel een eenvoudige exponentiële functie is. Deze geheugenafhankelijkheid verhindert de directe toepassing van klassieke stochastische controletheorie en standaard dynamische programmeerprincipes (Hamilton-Jacobi-Bellman vergelijkingen), die steunen op einddimensionale toestandsruimten.

Het specifieke doel is om een model-vrij reinforcement learning (RL) raamwerk te ontwikkelen om kosten te minimaliseren die gepaard gaan met cascade-incidenten in dergelijke systemen. De setting betreft een gecontroleerd jump-diffusieproces waarbij de controleactie zowel de drift/volatiliteit van de diffusie als de "readout" van het Hawkes-geheugen (de kernelcoëfficiënten) beïnvloedt, terwijl de kernelcoëfficiënten zelf onbekend blijven voor de leerling.

Methodologie

1. Einddimensionale Markovianisering

Om de niet-Markoviaanse aard van algemene Hawkes-kernels te overwinnen, stellen de auteurs een Markovianiseringsprocedure voor.

Approximatie: Ze benaderen de algemene kernel $\Phi(\tau, a)$ met een mengsel van exponenten:
$\Phi(\tau, a) \approx \Phi_K(\tau, a) = \sum_{k=1}^K Q_k(a) e^{-\beta_k \tau}$
waarbij $Q_k(a)$ matrixcoëfficiënten zijn (potentieel met negatieve waarden) en $\beta_k$ vervalssnelheden zijn.
State Lifting: Deze benadering maakt het mogelijk om het oneindig dimensionale geheugen te representeren door een eindige set hulpvariabelen $Z^{K,k}_t$ , die exponentieel gewogen integraal van het verleden van sprongen zijn. Deze variabelen voldoen aan lineaire jump-ODEs:
$dZ^{K,k}_t = -\beta_k Z^{K,k}_t dt + dN_t$
Online Constructie: Cruciaal is dat de toestandsvector $S^K_t = (t, X_t, Z^{K,1}_t, \dots, Z^{K,K}_t)$ online kan worden geconstrueerd met behulp van enkel geobserveerde gebeurtenistijden en componentlabels, zonder kennis van de onderliggende kernelcoëfficiënten, de baseline intensiteit of de systeemdynamica. Dit maakt een model-vrije aanpak mogelijk.

2. Hawkes CT-DDPG Algoritme

Het artikel formuleert een Continuous-Time Deep Deterministic Policy Gradient (CT-DDPG) algoritme, aangepast voor het Markovianized Hawkes-systeem.

Actor-Critic Architectuur:
- Critic: Leert de waardefunctie $V(t, x, z)$ en een advantage-rate functie $Q(t, x, z, a)$ . De training steunt op de martingale-eigenschap van het stochastische integraal geassocieerd met de Bellman-vergelijking. De verliesfunctie minimaliseert het residu van de gegeneraliseerde momentmethode.
- Actor: Update de deterministische policy $\pi_\zeta$ met behulp van de policy gradient theorem afgeleid van de advantage rate.
Advantage Rate: Het algoritme maakt gebruik van een advantage rate functie gedefinieerd als:
$A^\zeta_K(t, x, z, a) = \mathcal{L}^a_K J^\zeta_K - \rho J^\zeta_K + c(t, x, a)$
waarbij $\mathcal{L}^a_K$ de uitgebreide generator is van het Markovianized systeem.
Training: De methode maakt gebruik van een replay buffer om transities $(S^K_t, a_t, \text{cost}, S^K_{t+1})$ op te slaan en gebruikt multi-step temporal difference (TD) targets om de netwerken te updaten.

Belangrijkste Bijdragen

Convergentietheorie: De auteurs bewijzen dat de Markovianized benadering van het Hawkes-proces, de intensiteit en de waardefunctie convergeren naar het oorspronkelijke niet-Markoviaanse systeem en de primaire probleemwaarde naarmate het aantal exponentiële filters $K \to \infty$ . Dit biedt een theoretische basis om het oneindig dimensionale geheugen te vervangen door een einddimensionale toestandsruimte.
Model-vrije Continuous-Time RL: Het artikel introduceert Hawkes CT-DDPG, een model-vrij algoritme dat in staat is om gecontroleerde Hawkes jump-diffusies op te lossen. Het opereert door enkel gebeurtenistijden, de realisatie van de SDE en een gekozen set vervalfilters te observeren, zonder kennis van de kernelcoëfficiënten of de drift/diffusieparameters van het systeem.
Afhandeling van Niet-Markoviaanse Kernels: Het raamwerk slaagt erin de continuous-time RL succesvol uit te breiden naar systemen met complexe, niet-Markoviaanse kernels (specifiek Erlang en power-law kernels) door de toestandsruimte te verhogen ("lifting"), een capaciteit die niet aanwezig is in standaard discrete-tijd RL-methoden toegepast op ruwe gebeurtenisdata.

Numerieke Resultaten

De auteurs evalueren Hawkes CT-DDPG tegen drie typen kernels: eenvoudige exponentiële, Erlang, en power-law.

Benchmarks:
- Voor de exponentiële en Erlang kernels werden "Oracle" benchmarks geconstrueerd met behulp van de Deep Galerkin Method (DGM) om de exacte einddimensionale HJB-vergelijkingen op te lossen (aangezien deze kernels een exacte Markoviaanse representatie toelaten).
- Voor de power-law kernel (die geen exacte einddimensionale representatie heeft), werd een "Mixture DGM/HJB" benchmark gebruikt, gebaseerd op het benaderen van de kernel met een eindig exponentieel mengsel.
Vergelijkingen: De voorgestelde methode werd vergeleken met:
- Een gevalideerde statische policy.
- Discrete-tijd RL-methoden: Soft Actor-Critic (SAC) en Deep Deterministic Policy Gradient (DDPG).
- Ablatie-studies die de "gefilterde" (Markovianized) aanpak vergelijken met "current-state only" (zonder geheugen) benaderingen.
Bevindingen:
- Prestaties: Hawkes CT-DDPG presteerde consistent beter dan discrete-tijd RL-methoden (SAC en DDPG) en statische policies over alle kerneltypen heen.
- Nabijheid tot Oracle: In alle scenario's bleef Hawkes CT-DDPG de dichtstbijzijnde benadering van de respectieve Oracle benchmarks.
- Impact van Markovianisering: De inclusie van de exponentiële filterbank (Markovianisering) verminderde de kosten aanzienlijk vergeleken met het gebruik van enkel de huidige fysieke toestand. Voor de Erlang-kernel verminderde filtering de kosten met 13,4% voor CT-DDPG; voor de power-law-kernel was de reductie 4,67%.
- Robuustheid: De methode toonde effectiviteit, zelfs wanneer de onderliggende kernelparameters en systeemdynamica volledig onbekend waren voor de agent.

Betekenis en Claims

Het artikel beweert een rigoureus theoretisch en praktisch raamwerk te bieden voor het controleren van zelf-exciterende jump-processen in continue tijd. De primaire betekenis ligt in het overbruggen van de kloof tussen de niet-Markoviaanse aard van Hawkes-processen en de vereisten van moderne continuous-time reinforcement learning.

De auteurs stellen dat hun methode:

De bevindingen van continuous-time RL (specifiek CT-DDPG) succesvol heeft uitgebreid naar Hawkes-gedreven diffusies.
Een levensvatbare oplossing biedt voor het controleren van cyberrisico's en cascade-incidenten waarbij aanvallen clusteren en geheugeneffecten cruciaal zijn, en waar systeemparameters onbekend zijn.
Aantoont dat einddimensionale Markovianisering via exponentiële mengsels een robuuste strategie is voor het benaderen van algemene Hawkes-kernels, wat het gebruik van standaard actor-critic architecturen in continue tijd mogelijk maakt.

Het werk claimt niet de algemene existentietheorie voor niet-lineaire closed-loop Hawkes-systemen op te lossen, maar richt zich specifiek op de benaderings- en controleaspecten. Het positioneert Hawkes CT-DDPG als een superieur alternatief voor discrete-tijd methoden voor problemen die gekenmerkt worden door continue-tijd gebeurtenis-arrivals en geheugenafhankelijkheid.