📊 statistics

Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions

Dieses Paper schlägt einen modellfreien kontinuierlichen Reinforcement-Learning-Algorithmus, Hawkes-CT DDPG, vor, der nicht-markovsche stochastische Kontrollprobleme, die durch multivariate Hawkes-Sprungdiffusionen getrieben werden, löst, indem er das System zunächst durch eine endlichdimensionale Markovianisierung approximiert und anschließend deterministisches Policy-Gradient-Lernen anwendet.

Ursprüngliche Autoren: Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

Veröffentlicht 2026-08-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der digitalen Welt treffen Bedrohungen selten als isolierte, unabhängige Ereignisse auf. Stattdessen neigen sie dazu, zu clustern, wobei ein Bruch oder Angriff die Wahrscheinlichkeit eines zweiten erhöht, was eine kaskadierende Kette von Schäden erzeugt. Dieses Verhalten, bekannt als Selbstexzitation, ist ein grundlegendes Muster in allem, von Erdbeben bis hin zu Finanzmarkteinstürzen, und es ist zunehmend zentral für das Verständnis von Cyberrisiken. Um solche Risiken zu managen, müssen Verteidiger dynamische Entscheidungen darüber treffen, wie sie ihre begrenzten Sicherheitsressourcen bei Verschiebungen im Bedrohungsumfeld zuteilen. Die mathematischen Werkzeuge, die traditionell zur Optimierung dieser Entscheidungen verwendet werden, haben jedoch Schwierigkeiten, wenn das Gedächtnis des Systems komplex ist. Wenn die Wahrscheinlichkeit eines Angriffs von der gesamten Historie vergangener Ereignisse abhängt und nicht nur vom gegenwärtigen Moment, wird das Problem für Standardmethoden zu verworren, um es effizient zu lösen.

Ein Forschungsteam hat einen neuen Ansatz entwickelt, um diese Komplexität zu entwirren, und eine Methode geschaffen, die es Computern ermöglicht, optimale Verteidigungsstrategien in Echtzeit zu erlernen, selbst wenn die zugrunde liegenden Regeln der Bedrohung unbekannt sind. Ihre Arbeit konzentriert sich auf einen speziellen Typus mathematischer Modelle, den sogenannten Hawkes-Prozess, der darauf ausgelegt ist, dieses Clustering-Verhalten zu erfassen. Die Herausforderung bestand darin, dass diese Modelle „nicht-markovsch“ sind, was bedeutet, dass die Zukunft des Systems von seiner gesamten Vergangenheit abhängt, wodurch es unmöglich wird, standardmäßige, effiziente Lernalgorithmen zu verwenden, die sich nur auf den gegenwärtigen Zustand stützen. Um dies zu überwinden, entwickelten die Forscher einen Weg, das unendliche Gedächtnis des Systems in einen endlichen Satz beobachtbarer Signale zu komprimieren und damit ein geschichtshängiges Problem in ein mit modernem maschinellem Lernen lösbares Problem zu verwandeln.

Der Kern ihrer Lösung umfasst eine Technik namens „Markovianisierung“. Stellen Sie sich vor, Sie versuchen das Wetter vorherzusagen, indem Sie nicht nur die aktuelle Temperatur betrachten, sondern sich an jeden einzelnen Regentropfen erinnern, der im letzten Jahrhundert gefallen ist. Das ist das Ausmaß an Gedächtnis, das ein Hawkes-Prozess besitzt. Die Forscher erkannten, dass man, anstatt jedes vergangene Ereignis zu versuchen zu erinnern, das Gedächtnis des Systems durch eine Sammlung einfacher, abklingender Filter annähern kann. Sie konstruierten einen neuen Zustand für den Lernalgorithmus, der den aktuellen Systemstatus plus einen Satz dieser Filter umfasst, wobei jeder Filter verfolgt, wie vergangene Ereignisse im Laufe der Zeit verblasst sind. Durch dies verwandelten sie das komplexe, geschichtshängige Problem in ein handhabbares, eindimensionales Problem, das ein Computer navigieren kann.

Sob dem Problem in diese einfachere Form umgestaltet worden war, wandte das Team einen kontinuierlichen Reinforcement-Learning-Algorithmus an, den sie Hawkes CT-DDPG nannten. Im Gegensatz zu traditionellen Methoden, die in diskreten Schritten lernen, lernt dieser Algorithmus kontinuierlich und passt seine Strategie an, während Ereignisse in Echtzeit geschehen. Das System arbeitet modellfrei, was bedeutet, dass es nicht die spezifischen mathematischen Formeln kennen muss, die die Angriffe oder die Verteidigungsmechanismen regeln. Stattdessen lernt es rein durch die Beobachtung der Ankunftszeiten von Ereignissen, des Systemzustands und der mit verschiedenen Aktionen verbundenen Kosten. Es nutzt ein neuronales Netzwerk, das als „Critic“ fungiert, um zu bewerten, wie gut eine Entscheidung war, und ein anderes Netzwerk als „Actor“, das entscheidet, welche Aktion als Nächstes zu treffen ist, wobei es seine Strategie ständig verfeinert, um die Gesamtkosten von Sicherheitsvorfällen zu minimieren.

Um ihre Methode zu testen, simulierten die Forscher drei verschiedene Arten von Bedrohungsumgebungen, jede mit einem unterschiedlichen Muster darin, wie vergangene Ereignisse die Zukunft beeinflussen. Das erste Szenario verwendete ein einfaches exponentielles Muster, bei dem der Einfluss vergangener Ereignisse schnell und vorhersehbar verblasst. Das zweite verwendete ein Erlang-Muster, das einen komplexeren, mehrstufigen Abklingprozess darstellt. Das dritte und schwierigste Szenario verwendete ein Potenzgesetz-Muster (Power-Law), bei dem der Einfluss vergangener Ereignisse sehr langsam abnimmt und einen langen, schweren „Heavy Tail“ des Gedächtnisses erzeugt, der notorisch schwer zu modellieren ist. In jedem Fall verglichen sie ihre kontinuierliche Lernmethode mit Standard-Lerntechniken in diskreter Zeit und mit einem theoretischen „Oracle“ – einer perfekten Lösung, die alle zugrunde liegenden Regeln im Voraus kennt.

Die Ergebnisse zeigten, dass die neue Methode äußerst effektiv war. Im einfachen exponentiellen Fall arbeitete der Algorithmus fast so gut wie das perfekte Oracle und reduzierte die Kosten im Vergleich zu statischen Verteidigungsstrategien erheblich. Als die Forscher zu den komplexeren Erlang- und Potenzgesetz-Szenarien übergingen, wurde der Vorteil ihres Ansatzes noch deutlicher. Der Algorithmus, der die Gedächtnisfilter nutzte, um die Historie des Systems zu approximieren, übertraf konsistent die Standard-Lernmethoden, die die Gedächtnisstruktur ignorierten. Im Potenzgesetz-Szenario, das keine exakte einfache Darstellung besitzt, reduzierte die gefilterte Version ihres Algorithmus die durchschnittlichen Kosten um fast fünf Prozent im Vergleich zu der Version, die die Gedächtnisfilter nicht verwendete. Dies demonstrierte, dass die Erfassung der Systemhistorie durch diese Filter entscheidend war, um gute Entscheidungen zu treffen.

Darüber hinaus bewies die Studie, dass dieser Ansatz auch dann funktioniert, wenn die spezifischen Details der Bedrohung unbekannt sind. Der Algorithmus lernte erfolgreich, die Kosten zu minimieren, ohne jemals die exakte mathematische Form des Gedächtnisses der Bedrohung oder die spezifischen Koeffizienten, die die Ausbreitung von Angriffen steuern, bekannt bekommen zu haben. Durch die reine Beobachtung der Ankunftszeiten von Ereignissen und der resultierenden Systemzustände war er in der Lage, ein internes Modell zu konstruieren, das ausreichte, um nahezu optimale Verteidigungsstrategien zu finden. Die Forscher verifizierten ihre Ergebnisse durch den Vergleich mit analytischen Lösungen, sofern diese existierten, und mit hochpräzisen numerischen Benchmarks, wo dies nicht der Fall war, wodurch sie bestätigten, dass ihre Methode unter allen getesteten Lerntechniken konsistent die besten Ergebnisse lieferte.

Diese Arbeit stellt einen bedeutenden Fortschritt im Management komplexer, selbstexzitierender Systeme dar. Sie zeigt, dass es selbst dann möglich ist, eine praktische Lösung zu finden, wenn ein Problem scheinbar zu verworren ist, weil es von zu viel Geschichte abhängt, indem man diese Historie mit einem endlichen Satz von Werkzeugen approximiert. Für Organisationen, die mit der ständigen, sich entwickelnden Bedrohung durch Cyberangriffe konfrontiert sind, bedeutet dies, dass es nun einen praktikablen Weg gibt, künstliche Intelligenz einzusetzen, um Sicherheitsressourcen dynamisch zuzuweisen und aus jedem Vorfall zu lernen, um besser gegen die nächste Welle von Bedrohungen geschützt zu sein – und das alles, ohne die komplexe Mathematik der Gefahr selbst vollständig verstehen zu müssen.

Technisches Resümee: Kontinuierliches Reinforcement Learning für kontrollierte Hawkes-Jump-Diffusionsprozesse

Problemstellung

Diese Arbeit befasst sich mit der stochastischen Steuerung von multivariaten, durch Hawkes-Prozesse getriebenen stochastischen Differentialgleichungen (SDEs) in einem nicht-markovschen Setting. Die zentrale Herausforderung ergibt sich aus der Pfadabhängigkeit, die den Hawkes-Prozessen eigen ist: Die Intensität zukünftiger Ereignisse hängt von der gesamten Historie vergangener Ereignisse ab, was das System nicht-markovsch macht, sofern der Kernel keine einfache Exponentialfunktion ist. Diese Gedächtnisabhängigkeit verhindert die direkte Anwendung der klassischen stochastischen Steuerungstheorie und der Standard-Dynamischen-Programmierung (Hamilton-Jacobi-Bellman-Gleichungen), welche auf endlichen Zustandsräumen basieren.

Das spezifische Ziel ist die Entwicklung eines modellfreien Reinforcement Learning (RL) Frameworks zur Minimierung der Kosten assoziierter Kaskadenereignisse in solchen Systemen. Das Setting umfasst einen kontrollierten Jump-Diffusion-Prozess, bei dem die Steuerungsmaßnahme sowohl den Drift/die Volatilität der Diffusion als auch das „Auslesen“ des Hawkes-Gedächtnisses (die Koeffizienten des Kernels) beeinflusst, während die Koeffizienten des Kernels selbst für den Lernenden unbekannt bleiben.

Methodik

1. Endlich-dimensionale Markovianisierung

Um die nicht-markovsche Natur allgemeiner Hawkes-Kernel zu überwinden, schlagen die Autoren eine Markovianisierungsprozedur vor.

Approximation: Sie approximieren den allgemeinen Kernel $\Phi(\tau, a)$ durch eine Mischung aus Exponentialfunktionen:
$\Phi(\tau, a) \approx \Phi_K(\tau, a) = \sum_{k=1}^K Q_k(a) e^{-\beta_k \tau}$
wobei $Q_k(a)$ Matrizenkoeffizienten (potenziell mit negativen Einträgen) und $\beta_k$ Zerfallsraten sind.
State Lifting: Diese Approximation ermöglicht es, das unendlichdimensionale Gedächtnis durch einen endlichen Satz Hilfszustandsvariablen $Z^{K,k}_t$ darzustellen, welche exponentiell gewichtete Integrale vergangener Sprünge sind. Diese Variablen erfüllen lineare Jump-ODEs:
$dZ^{K,k}_t = -\beta_k Z^{K,k}_t dt + dN_t$
Online-Konstruktion: Entscheidend ist, dass der Zustandsvektor $S^K_t = (t, X_t, Z^{K,1}_t, \dots, Z^{K,K}_t)$ online unter Verwendung lediglich beobachteter Ereigniszeiten und Komponenten-Labels konstruiert werden kann, ohne Kenntnis der zugrunde liegenden Kernel-Koeffizienten, der Basisintensität oder der Systemdynamik. Dies ermöglicht einen modellfreien Ansatz.

2. Hawkes CT-DDPG Algorithmus

Die Autoren formulieren einen Continuous-Time Deep Deterministic Policy Gradient (CT-DDPG) Algorithmus, der für das Markovianisierte Hawkes-System angepasst wurde.

Actor-Critic-Architektur:
- Critic: Lernt die Wertfunktion $V(t, x, z)$ und eine Advantage-Rate-Funktion $Q(t, x, z, a)$ . Das Training stützt sich auf die Martingal-Eigenschaft des stochastischen Integrals, das mit der Bellman-Gleichung assoziiert ist. Die Verlustfunktion minimiert das Residuum der verallgemeinerten Momentenmethode.
- Actor: Aktualisiert die deterministische Policy $\pi_\zeta$ unter Verwendung des Policy Gradient Theorems, das aus der Advantage-Rate abgeleitet ist.
Advantage Rate: Der Algorithmus verwendet eine Advantage-Rate-Funktion, definiert als:
$A^\zeta_K(t, x, z, a) = \mathcal{L}^a_K J^\zeta_K - \rho J^\zeta_K + c(t, x, a)$
wobei $\mathcal{L}^a_K$ der erweiterte Generator des Markovianisierten Systems ist.
Training: Die Methode verwendet einen Replay-Buffer, um Übergänge $(S^K_t, a_t, \text{cost}, S^K_{t+1})$ zu speichern, und nutzt Multi-Step Temporal Difference (TD) Targets, um die Netzwerke zu aktualisieren.

Zentrale Beiträge

Konvergenztheorie: Die Autoren beweisen, dass die Markovianisierte Approximation des Hawkes-Prozesses, seiner Intensität und der Wertfunktion gegen das ursprüngliche nicht-markovsche System und den primalen Problemwert konvergiert, wenn die Anzahl der exponentiellen Filter $K \to \infty$ geht. Dies liefert eine theoretische Grundlage für den Ersatz des unendlichdimensionalen Gedächtnisses durch einen endlich-dimensionalen Zustand.
Modellfreies Continuous-Time RL: Die Arbeit führt einen Hawkes CT-DDPG Algorithmus ein, der in der Lage ist, kontrollierte Hawkes-Jump-Diffusionsprozesse zu lösen. Er operiert durch Beobachtung lediglich der Ereigniszeiten, der Realisierung der SDE und eines gewählten Satzes von Zerfallsfiltern, ohne Kenntnis der Kernel-Koeffizienten oder der Drift-/Diffusionsparameter des Systems zu benötigen.
Umgang mit nicht-markovschen Kernels: Das Framework erweitert erfolgreich das Continuous-Time RL auf Systeme mit komplexen, nicht-markovschen Kernels (speziell Erlang- und Power-Law-Kernels) durch State Lifting – eine Fähigkeit, die Standard-Discrete-Time RL-Methoden bei direkter Anwendung auf Roh-Ereignisdaten fehlt.

Numerische Ergebnisse

Die Autoren evaluieren Hawkes CT-DDPG gegenüber drei Arten von Kernels: einfache Exponentialfunktionen, Erlang und Power-Law.

Benchmarks:
- Für die Exponential- und Erlang-Kernels wurden „Oracle“-Benchmarks mittels der Deep Galerkin Method (DGM) konstruiert, um die exakten endlich-dimensionalen HJB-Gleichungen zu lösen (da diese Kernels exakte Markovianische Repräsentationen besitzen).
- Für den Power-Law-Kernel (der keine exakte endlich-dimensionale Repräsentation besitzt) wurde ein „Mixture DGM/HJB“-Benchmark verwendet, der auf der Approximation des Kernels durch eine endliche Exponential-Mischung basiert.
Vergleiche:
- Die vorgeschlagene Methode wurde gegen drei Typen verglichen: eine validierte statische Policy, diskrete Zeit-RL-Methoden (Soft Actor-Critic (SAC) und Deep Deterministic Policy Gradient (DDPG)) sowie Ablationsstudien, die den „gefilterten“ (Markovianisierten) Ansatz gegenüber „Current-State Only“-Ansätzen (oh-ne Gedächtnis) untersuchten.
Ergebnisse:
- Performance: Hawkes CT-DDPG übertraf konsistent die diskreten Zeit-RL-Methoden (SAC und DDPG) sowie die statischen Policies über alle Kernel-Typen hinweg.
- Nähe zum Oracle: In allen Szenarien blieb Hawkes CT-DDPG der engste Approximator der jeweiligen Oracle-Benchmarks.
- Auswirkung der Markovianisierung: Die Einbeziehung der exponentiellen Filterbank (Markovianisierung) reduzierte die Kosten im Vergleich zur Nutzung des reinen physikalischen Zustands signifikant. Für den Erlang-Kernel reduzierte die Filterung die Kosten für CT-DDPG um 13,4 %; für den Power-Law-Kernel betrug die Reduktion 4,67 %.
- Robustheit: Die Methode zeigte ihre Effektivität selbst dann, wenn die zugrunde liegenden Kernel-Parameter und die Systemdynamik für den Agenten vollständig unbekannt waren.

Bedeutung und Ansprüche

Das Paper beansprucht, einen rigorosen theoretischen und praktischen Rahmen für die Steuerung selbsterregender Sprungprozesse in kontinuierlicher Zeit bereitzustellen. Seine primäre Bedeutung liegt in der Überbrückung der Lücke zwischen der nicht-markovschen Natur von Hawkes-Prozessen und den Anforderungen moderner Continuous-Time Reinforcement Learning-Verfahren.

Die Autoren behaupten, dass ihre Methode:

Die Erkenntnisse des Continuous-Time RL (speziell CT-DDPG) erfolgreich auf Hawkes-getriebene Diffusionen ausweitet.
Eine praktikable Lösung für die Steuerung von Cyber-Risiken und Kaskadenereignissen bietet, bei denen Angriffe gehäuft auftreten und Gedächtniseffekte kritisch sind und in denen die Systemparameter unbekannt sind.
Demonstriert, dass die endlich-dimensionale Markovianisierung via Exponential-Mischungen eine robuste Strategie zur Approximation allgemeiner Hawkes-Kernel darstellt, was die Verwendung von Standard-Actor-Critic-Architekturen in kontinuierlicher Zeit ermöglicht.

Die Arbeit beansprucht nicht, die allgemeine Existenztheorie für nichtlineare geschlossene Hawkes-Systeme zu lösen, sondern konzentriert sich spezifisch auf die Approximations- und Steuerungsaspekte. Sie positioniert Hawkes CT-DDPG als überlegene Alternative zu diskreten Zeit-Methoden für Probleme, die durch kontinuierliche Zeit-Ereignisankünfte und Gedächtnisabhängigkeiten charakterisiert sind.