技術要約：制御されたホークス・ジャンプ・ディフュージョンのための連続時間強化学習

問題提起

本論文は、非マルコフ的な設定における多変量ホークス駆動型確率微分方程式（SDE）の確率制御に対処するものである。核心となる課題は、ホークス過程に内在するパス依存性から生じる。将来のイベントの強度は過去のイベントの全履歴に依存するため、カーネルが単純な指数関数でない限り、システムは非マルコフ的となる。このメモリ依存性は、有限次元の状態空間に依存する古典的な確率制御理論や標準的な動的計画法の原理（ハミルトン・ヤコビ・ベルマン方程式）の直接的な適用を妨げる。

具体的な目的は、このようなシステムにおけるカスケード事象に伴うコストを最小化するためのモデルフリー強化学習（RL）フレームワークを開発することである。設定としては、制御アクションが拡散のドリフト／ボラティリティおよびホークス・メモリの「読み出し」（カーネル係数）の両方に影響を与える、制御されたジャンプ・ディフュージョン過程を扱う。なお、カーネル係数自体は学習者には未知である。

手法

1. 有限次元へのマルコフ化

一般的なホークス・カーネルの非マルコフ的な性質を克服するために、著者らはマルコフ化手順を提案している。

• 近似: 一般的なカーネル $\Phi(\tau, a)$ を、指数関数の混合として近似する：
  $$\Phi(\tau, a) \approx \Phi_K(\tau, a) = \sum_{k=1}^K Q_k(a) e^{-\beta_k \tau}$$
  ここで、$Q_k(a)$ は行列係数（負の値を持つ可能性がある）、$\beta_k$ は減衰率である。
• 状態のリフティング: この近似により、無限次元のメモリを、過去のジャンプの指数加重積分である一連の補助変数 $Z^{K,k}_t$ によって有限の変数集合として表現することが可能になる。これらの変数は、以下の線形ジャンプ常微分方程式に従う：
  $$dZ^{K,k}_t = -\beta_k Z^{K,k}_t dt + dN_t$$
• オンライン構築: 決定的な点として、状態ベクトル $S^K_t = (t, X_t, Z^{K,1}_t, \dots, Z^{K,K}_t)$ は、基礎となるカーネル係数、基底強度、またはシステム力学に関する知識なしに、観測されたイベント時刻とコンポーネントのラベルのみを用いてオンラインで構築できる。これにより、モデルフリーのアプローチが可能となる。

2. Hawkes CT-DDPG アルゴリズム

論文では、マルコフ化されたホークス・システムに適応させた**連続時間深層決定論的ポリシー・グラディエント（CT-DDPG）**アルゴリズムを定式化している。

• アクター・クリティック構造:
  • クリティック（Critic）: 値関数 $V(t, x, z)$ およびアドバンテージ・レート関数 $Q(t, x, z, a)$ を学習する。学習は、ベルマン方程式に関連するマルチンゲール特性に依拠する。損失関数は、一般化モーメント法の残差を最小化する。
  • アクター（Actor）: 決定論的ポリシー $\pi_\zeta$ を、アドバンテージ・レートから導出されたポリシー・グラディエントを用いて更新する。
• アドバンテージ・レート: アルゴリズムは、以下のように定義されるアドバンテージ・レート関数を利用する：
  $$A^\zeta_K(t, x, z, a) = \mathcal{L}^a_K J^\zeta_K - \rho J^\zeta_K + c(t, x, a)$$
  ここで、$\mathcal{L}^a_K$ はマルコフ化されたシステムの拡張生成子である。
• 学習: 遷移 $(S^K_t, a_t, \text{cost}, S^K_{t+1})$ を格納するためのリプレイバッファを採用し、ネットワークを更新するためにマルチステップ・テンポラル・ディファレンス（TD）ターゲットを使用する。

主な貢献

1. 収束理論: 著者らは、ホークス過程、その強度、および値関数が、指数フィルタの数 $K \to \infty$ において、元の非マルコフ的システムおよび原始問題の値に収束することを証明している。これは、無限次元のメモリを有限次元の状態に置き換えることの理論的基礎を提供する。
2. モデルフリー連続時間RL: 論文は、制御されたホークス・ディフュージョンを解くことができるモデルフリーアルゴリズムであるHawkes CT-DDPGを導入している。これは、カーネル係数やシステムのドリフト／拡散パラメータを知ることなく、イベント時刻、SDEの実現、および選択された減衰フィルタのみを観測することで動作する。
3. 非マルコフ的カーネルの処理: 本フレームットワークは、状態空間をリフティングすることにより、複雑な非マルコフ的カーネル（具体的にはアーランおよびべき乗則カーネル）を持つシステムへ連続時間RLを正常に拡張することに成功した。これは、生のイベントデータに直接適用される標準的な離散時間RL手法には備わっていない能力である。

数値結果

著者らは、3種類のカーネル（単純指数型、アーラン、べき乗則）に対してHawkes CT-DDPGを評価している。

• ベンチマーク:
  • 指数型およびアーラン型カーネルについては、正確な有限次元HJB方程式を解くためにDeep Galerkin Method (DGM) を用いて「Oracle」ベンチマークを構築した（これらのカーネルは正確なマルコフ表現を持つため）。
  • べき乗則カーネル（正確な有限次元表現を持たない）については、カーネルを有限の指数混合で近似することに基づいた「Mixture DGM/HJB」ベンチマークを使用した。
• 比較: 提案手法は、以下のものと比較された：
  • 検証用に選択された静的ポリシー。
  • 離散時間RL手法：Soft Actor-Critic (SAC) および Deep Deterministic Policy Gradient (DDPG)。
  • 「フィルタリングされた（マルコフ化された）」アプローチと「現在の状態のみ（メモリなし）」のアプローチを比較するアブレーション研究。
• 知見:
  • 性能: Hawkes CT-DDPGは、すべてのカーネルタイプにおいて、離散時間RL手法（SACおよびDDPG）および静的ポリシーを一貫して上回った。
  • Oracleへの近接性: すべてのシナリオにおいて、Hawkes CT-DDPGは、それぞれのOracleベンチマークに最も近い近似器であった。
  • マルコフ化の影響: 指数フィルタバンク（マルコフ化）の包含は、物理的な現在の状態のみを使用する場合と比較して、コストを大幅に減少させた。アーラン型カーネルの場合、フィルタリングによりCT-DDPGのコストは13.4%減少した。べき乗則カーネルでは4.67%の減少となった。
  • 堅牢性: 本手法は、基礎となるカーネルパラメータやシステム力学がエージェントに完全に未知である場合でも、有効性を示した。

意義と主張

本論文は、連続時間における自己励起型ジャンプ過程を制御するための、厳密な理論的かつ実践的なフレームワークを提供すると主張している。その主な意義は、ホークス過程の非マルコフ的な性質と、現代の連続時間強化学習の要件との間の溝を埋めることにある。

著者らは、自らの手法が以下を実現していると断言している：

• 連続時間RL（特にCT-DDPG）の知見を、ホークス駆動型ディフュージョンへと正常に拡張した。
• 攻撃がクラスター化し、メモリ効果が重要となるサイバーリスクやカスケード事象の制御に対する実行可能なソリューションを提供する。そこではシステムパラメータは未知である。
• 有限次元のマルコフ化（指数混合による）が、一般的なホークス・カーネルを近似するための堅牢な戦略であり、標準的なアクター・クリティック・アーキテクチャの連続時間での使用を可能にすることを実証した。

本研究は、非線形クローズドループ・ホークス・システムの一般的な存在理論を解決することを目的としているのではなく、特に近似と制御の側面に焦点を当てている。本論文は、Hawks CT-DDPGを、連続時間のイベント発生とメモリ依存性を特徴とする問題に対して、離散時間手法よりも優れた代替案として位置づけている。