📊 statistics

Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions

Cet article propose un algorithme d'apprentissage par renforcement en temps continu sans modèle, nommé Hawkes-CT DDPG, qui résout des problèmes de contrôle stochastique non markoviens pilotés par des processus de diffusion à sauts de Hawkes multivariés en approximant d'abord le système par une représentation markovienne de dimension finie, puis en appliquant un apprentissage par gradient de politique déterministe.

Auteurs originaux : Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

Publié 2026-08-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tomasz R. Bielecki, Thibaut Mastrolia, Haoze Yan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde numérique, les menaces arrivent rarement sous la forme d'événements isolés et indépendants. Au contraire, elles ont tendance à se regrouper, où une brèche ou une attaque rend une seconde plus probable, créant une chaîne de dommages en cascade. Ce comportement, connu sous le nom d'auto-excitation, est un motif fondamental que l'on retrouve dans tout, des séismes aux krachs boursiers, et il est de plus en plus central pour comprendre le risque cybernétique. Pour gérer de tels risques, les défenseurs doivent prendre des décisions dynamiques sur la manière d'allouer leurs ressources de sécurité limitées à mesure que l'environnement de menace évolue. Cependant, les outils mathématiques traditionnellement utilisés pour optimiser ces décisions peinent lorsque la mémoire du système est complexe. Si la probabilité d'une attaque dépend de tout l'historique des événements passés plutôt que du seul moment présent, le problème devient trop inextricable pour être résolu efficacement par les méthodes standards.

Une équipe de chercheurs a développé une nouvelle approche pour démêler cette complexité, créant une méthode qui permet aux ordinateurs d'apprendre des stratégies de défense optimales en temps réel, même lorsque les règles sous-jacentes de la menace sont inconnues. Leurs travaux se concentrent sur un type spécifique de modèle mathématique appelé processus de Hawkes, conçu pour capturer ce comportement de regroupement. Le défi auquel ils ont été confrontés est que ces modèles sont « non markoviens », ce qui signifie que le futur du système dépend de tout son passé, rendant impossible l'utilisation d'algorithmes d'apprentissage standards et efficaces qui ne reposent que sur l'état présent. Pour surmonter cela, les chercheurs ont conçu un moyen de compresser la mémoire infinie du système en un ensemble fini de signaux observables, transformant ainsi un problème dépendant de l'historique en un problème pouvant être résolu avec l'apprentissage automatique moderne.

Le cœur de leur solution repose sur une technique appelée « markovianisation ». Imaginez essayer de prédire la météo non pas seulement en regardant la température actuelle, mais en se souvenant de chaque goutte de pluie tombée au cours du dernier siècle. C'est le niveau de mémoire qu'un processus de Hawkes possède. Les chercheurs ont réalisé qu'au lieu d'essayer de se souvenir de chaque événement passé, on pouvait approximer la mémoire du système à l'aide d'une collection de filtres simples et décroissants. Ils ont construit un nouvel état pour l'algorithme d'apprentissage qui comprend le statut actuel du système plus un ensemble de ces filtres, chacun suivant la façon dont les événements passés s'estompent avec le temps. En faisant cela, ils ont transformé le problème complexe dépendant de l'historique en un problème fini et gérable qu'un ordinateur peut naviguer.

Une fois le problème remodelé sous cette forme plus simple, l'équipe a appliqué un algorithme d'apprentissage par renforcement en temps continu, qu'ils ont nommé Hawkes CT-DDPG. Contra à les méthodes traditionnelles qui apprennent par étapes discrètes, cet algorithme apprend de manière continue, ajustant sa stratégie à mesure que les événements se produisent en temps réel. Le système fonctionne de manière « model-free » (sans modèle), ce qui signifie qu'il n'a pas besoin de connaître les formules mathématiques spécifiques régissant les attaques ou les mécanismes de défense. Au lieu de cela, il apprend purement en observant le moment de l'arrivée des événements, l'état du système et les coûts associés aux différentes actions. Il utilise un réseau neuronal pour agir comme un « critique » qui évalue la qualité d'une décision, et un autre réseau comme un « acteur » qui décide de la prochaine action à entreprendre, affinant constamment sa politique pour minimiser le coût total des incidents de sécurité.

Pour tester leur méthode, les chercheurs ont simulé trois types différents d'environnements de menace, chacun présentant un motif différent de la manière dont les événements passés influencent le futur. Le premier scénario utilisait un motif exponentiel simple, où l'influence des événements passés s'estompe rapidement et de manière prévisible. Le deuxième utilisait un motif d'Erlang, qui représente un processus d'atténuation plus complexe à plusieurs étapes. Le troisième scénario, le plus difficile, utilisait un motif de loi de puissance, où l'influence des événements passés décroît très lentement, créant une longue traîne de mémoire particulièrement difficile à modéliser. Dans chaque cas, ils ont comparé leur méthode d'apprentissage en temps continu à des techniques d'apprentissage en temps discret standard et à un « oracle » théorique — une solution parfaite qui connaît à l'avance toutes les règles sous-jacentes.

Les résultats ont montré que la nouvelle méthode était hautement efficace. Dans le cas exponentiel simple, l'algorithme a performé presque aussi bien que l'oracle parfait, réduisant considérablement les coûts par rapport aux stratégies de défense statiques. Lorsque les chercheurs sont passés aux scénarios plus complexes d'Erlang et de loi de puissance, l'avantage de leur approche est devenu encore plus évident. L'algorithme utilisant les filtres de mémoire pour approximer l'historique du système a systématiquement surpassé les méthodes d'apprentissage standard qui ignoraient la structure de la mémoire. Dans le scénario de la loi de puissance, qui ne possède pas de représentation simple exacte, la version filtrée de leur algorithme a réduit le coût moyen de près de cinq pour cent par rapport à la version n'utilisant pas les filtres de mémoire. Cela a démontré que capturer l'historique du système via ces filtres était crucial pour prendre de bonnes décisions.

De plus, l'étude a prouvé que cette approche fonctionne même lorsque les détails spécifiques de la menace sont inconnus. L'algorithme a réussi à apprendre à minimiser les coûts sans jamais avoir été informé de la forme mathématique exacte de la mémoire de la menace ou des coefficients spécifiques qui régissent la propagation des attaques. En observant uniquement les heures d'arrivée des événements et les états de système qui en résultent, il a été capable de construire un modèle interne suffisant pour trouver des stratégies de défense quasi optimales. Les chercheurs ont vérifié leurs conclusions en comparant leurs résultats à des solutions analytiques là où elles existaient, et à des références numériques de haute fidélité là où elles ne le permettaient pas, confirmant que leur méthode produisait systématiquement les meilleurs résultats parmi toutes les techniques d'apprentissage testées.

Ce travail représente une avancée significative dans la gestion des systèmes auto-excités complexes. Il montre que même lorsqu'un problème semble trop inextricable à résoudre parce qu'il dépend de trop d'historique, il est possible de trouver une solution pratique en approximant cet historique avec un ensemble fini d'outils. Pour les organisations confrontées à la menace constante et évolutive des cyberattaques, cela signifie qu'il existe désormais une voie viable pour utiliser l'intelligence artificielle afin d'allouer dynamiquement les ressources de sécurité, en apprenant de chaque incident pour mieux se protéger contre la prochaine vague de menaces, le tout sans avoir besoin de comprendre pleinement la mathématique complexe du danger lui-même.

Résumé Technique : Apprentissage par Renforcement en Temps Continu pour les Processus de Hawkes de Type Jump-Diffusion Contrôlés

Énoncé du Problème

Cet article traite du contrôle stochastique d'équations différentielles stochastiques (EDS) pilotées par des processus de Hawkes multivariés dans un cadre non markovien. Le défi central provient de la dépendance au sentier inhérente aux processus de Hawkes : l'intensité des événements futurs dépend de tout l'historique des événements passés, ce qui rend le système non markovien à moins que le noyau ne soit une simple exponentielle. Cette dépendance à la mémoire empêche l'application directe de la théorie classique du contrôle stochastique et des principes de programmation dynamique standard (équations de Hamilton-Jacobi-Bellman) qui reposent sur des espaces d'états à dimension finie.

L'objectif spécifique est de développer un cadre d'apprentissage par renforcement (RL) sans modèle pour minimiser les coûts associés aux incidents en cascade dans de tels systèmes. Le cadre implique un processus de diffusion à sauts contrôlé où l'action de contrôle influence à la fois la dérive/volatilité de la diffusion et la « lecture » de la mémoire de Hawkes (les coefficients du noyau), tandis que les coefficients du noyau eux-mêmes restent inconnus de l'apprenant.

Méthodologie

1. Markovianisation à Dimension Finie

Pour surmonter la nature non markovienne des noyaux de Hawkes généraux, les auteurs proposent une procédure de markovianisation.

Approximation : Ils approximent le noyau général $\Phi(\tau, a)$ par un mélange d'exponentielles :
$\Phi(\tau, a) \approx \Phi_K(\tau, a) = \sum_{k=1}^K Q_k(a) e^{-\beta_k \tau}$
où $Q_k(a)$ sont des coefficients matriciels (potentiellement avec des entrées négatives) et $\beta_k$ sont des taux de décroissance.
Élévation d'État (State Lifting) : Cette approximation permet de représenter la mémoire de dimension infinie par un ensemble fini de variables d'état auxiliaires $Z^{K,k}_t$ , qui sont des intégrales pondérées exponentiellement des sauts passés. Ces variables satisfont des équations différentielles stochastiques linéaires (jump-ODEs) :
$dZ^{K,k}_t = -\beta_k Z^{K,k}_t dt + dN_t$
Construction en Ligne : Crucialement, le vecteur d'état $S^K_t = (t, X_t, Z^{K,1}_t, \dots, Z^{K,K}_t)$ peut être construit en ligne en utilisant uniquement les temps d'événements observés, les étiquettes de composantes, sans connaître les coefficients de noyau sous-jacents, l'intensité de base ou la dynamique du système. Cela permet une approche sans modèle (model-free).

2. Algorithme Hawkes CT-DDPG

L'article formule un algorithme de Gradient de Politique Déterministe Profond en Temps Continu (CT-DDPG) adapté au système de Hawkes markovianisé.

Architecture Acteur-Critique :
- Critique : Apprend la fonction de valeur $V(t, x, z)$ et une fonction de taux d'avantage $Q(t, x, z, a)$ . L'entraînement repose sur la propriété de martingale de l'intégrale stochastique associée à l'équation de Bellman. La fonction de perte minimise le résidu de la méthode des moments généralisée.
- Acteur : Met à jour la politique déterministe $\pi_\zeta$ en utilisant le théorème du gradient de politique dérivé du taux d'avantage.
Taux d'Avantage : L'algorithme utilise une fonction de taux d'avantage définie par :
$A^\zeta_K(t, x, z, a) = \mathcal{L}^a_K J^\zeta_K - \rho J^\zeta_K + c(t, x, a)$
où $\mathcal{L}^a_K$ est le générateur étendu du système markovianisé.
Entraînement : La méthode utilise un tampon de rejeu (replay buffer) pour stocker les transitions $(S^K_t, a_t, \text{coût}, S^K_{t+1})$ et utilise des cibles de différence temporelle (TD) à plusieurs étapes pour mettre à jour les réseaux.

Principales Contributions

Théorie de la Convergence : Les auteurs prouvent que l'approximation markovianisée du processus de Hawkes, son intensité et la fonction de valeur convergent vers le système non markovien original et la valeur du problème primal lorsque le nombre de filtres exponentiels $K \to \infty$ . Cela fournit un fondement théorique pour remplacer la mémoire de dimension infinie par un état de dimension finie.
RL en Temps Continu Sans Modèle : L'article introduit le Hawkes CT-DDPG, un algorithme sans modèle capable de résoudre des diffusions de sauts de type Hawkes contrôlées. Il fonctionne en observant uniquement les temps d'événements, la réalisation de l'EDS, et un ensemble choisi de filtres de décroissance, sans nécessiter la connaissance des coefficients du noyau ou des paramètres de dérive/diffusion du système.
Gestion des Noyaux Non Markoviens : Le cadre étend avec succès l'apprentissage par renforcement en temps continu aux systèmes à noyaux complexes et non markoviens (spécifiquement les noyaux d'Erlang et de loi de puissance) en élevant l'espace d'état, une capacité absente des méthodes standard de RL en temps discret appliquées directement aux données d'événements brutes.

Résultats Numériques

Les auteurs évaluent le Hawkes CT-DDPG contre trois types de noyaux : exponentiel simple, Erlang, et loi de puissance.

Benchmarks :
- Pour les noyaux exponentiels et d'Erlang, des benchmarks « Oracle » ont été construits en utilisant la méthode de Deep Galerkin (DGM) pour résoudre les équations HJB exactes à dimension finie (puisque ces noyaux admettent des représentations markoviennes exactes).
- Pour le noyau de loi de puissance (qui n'a pas de représentation exacte de dimension finie), un benchmark « Mélange DGM/HJB » a été utilisé, basé sur l'approximation du noyau par un mélange d'exponentielles fini.
Comparaisons :
- La méthode proposée a été comparée à :
  - Une politique statique sélectionnée par validation.
  - Des méthodes de RL en temps discret : Soft Actor-Critic (SAC) et Deep Deterministic Policy Gradient (DDPG).
  - Des études d'ablation comparant l'approche « filtrée » (markovianisée) par rapport aux approches de « l'état actuel uniquement » (sans mémoire).
Constats :
- Performance : Le Hawkes CT-DDPG a systématiquement surpassé les méthodes de RL en temps discret (SAC et DDPG) ainsi que les politiques statiques pour tous les types de noyaux.
- Proximité de l'Oracle : Dans tous les scénarios, le Hawkes CT-DDPG est resté l'approximateur le plus proche des benchmarks Oracle respectifs.
- Impact de la Markovianisation : L'inclusion de la banque de filtres exponentiels (markovianisation) a considérablement réduit les coûts par rapport à l'utilisation du seul état physique actuel. Pour le noyau d'Erlang, le filtrage a réduit les coûts de 13,4 % pour le CT-DDPG ; pour le noyau de loi de puissance, la réduction était de 4,67 %.
- Robustesse : La méthode a démontré son efficacité même lorsque les paramètres du noyau sous-jacent et la dynamique du système étaient totalement inconnus de l'agent.

Signification et Revendications

L'article affirme fournir un cadre théorique et pratique rigoureux pour le contrôle des processus de sauts auto-excités en temps continu. Sa principale importance réside dans le pont jeté entre la nature non markovienne des processus de Hawkes et les exigences de l'apprentissage par renforcement moderne en temps continu.

Les auteurs affirment que leur méthode :

Étend avec succès les découvertes du RL en temps continu (spécifiquement le CT-DDPG) aux diffusions pilotées par Hawkes.
Offre une solution viable pour contrôler les risques cybernétiques et les incidents de cascade où les attaques se regroupent et où les effets de mémoire sont critiques, et où les paramètres du système sont inconnus.
Démontre que la markovianisation à dimension finie via des mélanges d'exponentielles est une stratégie robuste pour approximer les noyaux de Hawkes généraux, permettant l'utilisation d'architectures acteur-critique standard en temps continu.

Le travail ne prétend pas résoudre la théorie générale de l'existence pour les systèmes de Hawkes non linéaires en boucle fermée, mais se concentre spécifiquement sur les aspects d'approximation et de contrôle. Il positionne le Hawkes CT-DDPG comme une alternative supérieure aux méthodes en temps discret pour les problèmes caractérisés par des arrivées d'événements en temps continu et une dépendance à la mémoire.