技术摘要：受控霍克斯跳跃-扩散过程的连续时间强化学习

问题陈述

本文研究了非马尔可夫设定下，多变量霍克斯驱动随机微分方程（SDEs）的随机控制问题。核心挑战源于霍克斯过程（Hawkes processes）固有的路径依赖性：未来事件的强度取决于过去所有事件的历史，这使得系统呈现非马尔可夫特性，除非核函数是简单的指数形式。这种记忆依赖性阻碍了经典随机控制理论和标准动态规划原理（哈密顿-雅可比-贝尔曼方程，HJB）的直接应用，因为后者依赖于有限维状态空间。

具体目标是开发一种无模型强化学习（RL）框架，以最小化此类系统中级联事件相关的成本。该设定涉及一个受控跳跃-扩散过程，其中控制动作既影响扩散过程的漂移/波动率，也影响霍克斯记忆的“读取”（即核系数），而核系数本身对学习者而言是未知的。

方法论

1. 有限维马尔可夫化

为了克服一般霍克斯核的非马尔可夫特性，作者提出了一种马尔可夫化程序。

• 近似： 他们使用指数混合来近似一般核 $\Phi(\tau, a)$：
  $$\Phi(\tau, a) \approx \Phi_K(\tau, a) = \sum_{k=1}^K Q_k(a) e^{-\beta_k \tau}$$
  其中 $Q_k(a)$ 是矩阵系数（可能包含负项），$\beta_k$ 是衰减率。
• 状态提升（State Lifting）： 这种近似允许通过一组有限的辅助状态变量 $Z^{K,k}_t$ 来表示无限维的记忆，这些变量是过去跳跃的指数加权积分。这些变量满足线性跳跃常微分方程（jump-ODEs）：
  $$dZ^{K,k}_t = -\beta_k Z^{K,k}_t dt + dN_t$$
• 在线构建： 至关重要的是，状态向量 $S^K_t = (t, X_t, Z^{K,1}_t, \dots, Z^{K,K}_t)$ 可以仅利用观测到的事件时间、组件标签在线构建，而无需了解底层的核系数、基准强度或系统动力学。这实现了一种**无模型（model-free）**方法。

2. Hawkes CT-DDPG 算法

论文构建了一个针对马尔可夫化霍克斯系统的**连续时间深度确定性策略梯度（CT-DDPG）**算法。

• 演员-评论家（Actor-Critic）架构：
  • 评论家（Critic）： 学习价值函数 $V(t, x, z)$ 和优势率函数 $Q(t, x, z, a)$。其训练依赖于与贝尔曼方程相关的随机积分的鞅性质。损失函数通过最小化广义矩方法的残差来进行优化。
  • 演员（Actor）： 使用基于优势率定义的策略梯度定理来更新确定性策略 $\pi_\zeta$。
• 优势率（Advantage Rate）： 算法利用如下定义的优势率函数：
  $$A^\zeta_K(t, x, z, a) = \mathcal{L}^a_K J^\zeta_K - \rho J^\zeta_K + c(t, x, a)$$
  其中 $\mathcal{L}^a_K$ 是马尔可夫化系统的扩展生成元。
• 训练： 该方法采用经验回放池（replay buffer）存储转换数据 $(S^K_t, a_t, \text{cost}, S^K_{t+1})$，并使用多步时序差分（TD）目标来更新网络。

核心贡献

1. 收敛理论： 作者证明了随着指数滤波器数量 $K \to \infty$，霍克斯过程、其强度以及价值函数的马尔可夫化近似将收敛于原始非马尔可夫系统及其原问题值。这为用有限维状态替换无限维记忆提供了理论基础。
2. 无模型连续时间 RL： 论文引入了 Hawkes CT-DDPG，这是一种能够解决受控霍克斯跳跃-扩散过程的无模型算法。它通过仅观测事件时间、SDE 的实现情况以及一组选定的衰减滤波器来运行，无需了解核系数或系统漂移/扩散参数。
3. 处理非马尔可夫核： 该框架通过提升状态空间，成功地将连续时间强化学习扩展到了具有复杂、非马尔可夫核（特别是 Erlang 核和幂律核）的系统中，这是直接应用于原始事件数据的标准离散时间 RL 方法所不具备的能力。

数值结果

作者针对三种类型的核进行了评估：简单指数核、Erlang 核和幂律核。

• 基准测试：
  • 对于指数和 Erlang 核，利用深度伽莱金方法（DGM）构建了“先验知识（Oracle）”基准，用于求解精确的有限维 HJB 方程（因为这些核具有精确的马尔可夫表示）。
  • 对于幂律核（其没有精确的有限维表示），使用了基于将核近似为有限指数混合的“混合 DGM/HJB”基准。
• 对比实验： 将提出的方法与以下对象进行了比较：
  • 经过验证选定的静态策略。
  • 离散时间 RL 方法：软行为者-评论家算法（SAC）和深度确定性策略梯度（DDPG）。
  • 消融实验：将“滤波”（马尔可夫化）方法与“仅当前状态”（无记忆）方法进行对比。
• 研究发现：
  • 性能： 在所有核类型下，Hawkes CT-DDPG 的表现始终优于离散时间 RL 方法（SAC 和 DDPG）以及静态策略。
  • 接近先验最优： 在所有场景中，Hawkes CT-DDPG 都是最接近各自 Oracle 基准的近似器。
  • 马尔可夫化的影响： 与仅使用当前物理状态相比，引入指数滤波器组（马尔可夫化）显著降低了成本。对于 Erlang 核，滤波使 CT-DDPG 的成本降低了 13.4%；对于幂律核，成本降低了 4.67%。
  • 鲁棒性： 即使在底层核参数和系统动力学对智能体完全未知的情况下，该方法仍展现出了有效性。

意义与主张

本文旨在为连续时间内的自激跳跃过程控制提供一个严谨的理论与实践框架。其主要意义在于弥合了霍克斯过程的非马尔可夫特性与现代连续时间强化学习需求之间的鸿沟。

作者断言，其方法：

• 成功地将连续时间 RL（特别是 CT-DDPG）的成果扩展到了霍克斯驱动的扩散过程。
• 为控制网络风险和级联事件（其中攻击具有聚集性且记忆效应至关重要，且系统参数未知）提供了可行的解决方案。
• 证明了通过指数混合进行有限维马尔可夫化是近似一般霍克斯核的一种稳健策略，从而能够使用标准的演员-评论家架构进行连续时间控制。

该工作并不声称解决了非线性闭环霍克斯系统的通用存在性理论，而是侧重于近似与控制方面。它将 Hawkes CT-DDPG 定位为处理具有连续时间事件到达和记忆依赖特征问题的优于离散时间方法的替代方案。