Structured Neural Marked Point Processes for Interpretable Event Interaction Modeling

技術概要：解釈可能なイベント相互作用モデリングのための構造化ニューラルマークド・ポイントプロセス

問題定義
多クラスイベントストリームは、ソーシャルネットワーク、サプライチェーン、医療記録などの分野で普遍的に見られる。これらのストリームをモデル化する際の中心的な課題は、高い予測精度と、構造化された解釈可能なイベント間関係を明らかにする必要性とのバランスを取ることである。既存のニューラル・ポイントプロセスモデル（ニューラルホークスプロセス、トランスフォーマー・ホークスプロセスなど）は、深層ニューラルネットワークを用いて条件付き強度をパラメータ化することで高い表現力を提供する。しかし、それらは潜在表現内でイベント相互作用を「ブラックボックス」的に符号化しており、励起、抑制、または遅延効果といった構造化された依存関係の明示的な発見を妨げている。一方、標準的なホークスプロセスなどの古典的モデルは解釈可能であるが、しばしば励起効果に限定され、即座の影響減衰を仮定するため、現実のシステムで一般的に見られる遅れたピークや抑制的なダイナミクスを捉え損なう。

手法：構造化ニューラルマークド・ポイントプロセス（SNMPP）
著者は、モデルの柔軟性を維持しつつ、イベント単位およびクラス単位の相互作用構造の明示的かつデータ駆動型の発見を可能にするフレームワークである SNMPP を提案する。

• モデルアーキテクチャ:
  SNMPP の核心は、タイプ $k_n$ の過去のイベントがタイプ $k$ の強度に及ぼす影響を、2 つの明確なニューラル成分に分解する積形式のニューラル影響カーネルである：
  $$f(e_{k_n}, e_k, \Delta t) = \psi(e_{k_n}, e_k) \cdot \phi(e_{k_n}, e_k, |\Delta t - d_{k_n, k}|)$$

  1. 符号付き相互作用ネットワーク（$\psi$）: この成分は、ソースおよびターゲットイベントタイプの埋め込みを入力とし、符号付きスカラーを出力する。これは相互作用トポロジーを明示的に特徴づける：正の値は励起を、負の値は抑制を、ゼロに近い値は中立性を示す。これにより、モデルはすべての順序付きペアに対して個別のパラメータを必要とすることなく、方向性のある関係を学習できる。
  2. 遅延認識単調時間ネットワーク（$\phi$）: この成分は、影響強度の時間的進化をモデル化する。減衰パターンを捉えるために、時間ラグに対して単調減少するように設計されている。重要なのは、このネットワークへの入力が、学習可能な遅延パラメータ（$d_{k_n, k}$）によってオフセットされた絶対時間差である点だ。この定式化により、影響が最初は弱く、特定のラグでピークに達し、その後減衰する遅れたピーク効果をモデルが捉えることが可能になる。
  3. 制約: 解釈可能性と安定性を確保するため、時間ネットワークの出力は微分可能なソフトクリッピング変換を用いて有界範囲 $[0, 1]$ に制約される。これにより、大きさ/符号（$\psi$ が処理）と時間的形状（$\phi$ が処理）が分離される。

• 学習アルゴリズム:
  観測されたイベントシーケンスの尤度には、閉形式の解を持たない積分項が含まれる。著者は効率的な学習のための層別モンテカルロ推定量を開発した。イベント間間隔全体から一様にサンプルを抽出するのではなく、間隔を $Q$ つの非重複セグメントに分割し、各セグメントから 1 つずつサンプルを抽出する。この層別化により、尤度推定量の分散を低減しつつ、強度関数の局所的な変動に対する感度を維持し、安定した確率的勾配降下法を可能にする。

主要な貢献

1. 明示的な相互作用発見: ブラックボックス型のニューラルモデルとは異なり、SNMPP はデータから直接、相互作用トポロジー（励起、抑制、中立）および時間的ダイナミクス（減衰パターン、遅延パラメータ）を明示的に回復する。
2. 柔軟な時間モデリング: このモデルは、医療処方やサプライチェーンの補充でよく観察されるが、標準的な指数カーネルでは見逃されがちな、時間ラグ後に影響がピークに達する遅延効果など、多様な時間的挙動を許容する。
3. 効率的な学習: 提案された層別モンテカルロ推定量は、尤度積分の不偏かつ低分散な近似を提供し、複雑なデータセットにおける堅牢な学習を容易にする。

実験結果
本論文は、3 つの異なる実験設定を通じて SNMPP を検証している：

• 合成データ: 遅延トリガーと抑制的相互作用を特徴とする合成データセットにおいて、SNMPP は真の条件付き強度、相互作用の符号、遅延パラメータ、およびカーネル形状を正確に回復する。これは、抑制/遅延に失敗する標準的なホークスプロセスや、構造を明示的に回復できないニューラルベースラインを上回る性能を示す。
• 現実世界のベンチマーク: 5 つのデータセット（MIMIC、Amazon、Retweet、Taxi、StackOverflow）で評価された結果、SNMPP はすべてのデータセットにおいて次イベント時間予測（最小 RMSE）で最先端の性能を達成した。イベントタイプ予測の精度は最良のニューラルベースラインと競争力があるが、常にそれらを上回るわけではない。これは、構造的な帰納バイアスが予測能力を損なうわけではないことを示している。
• サプライチェーンシミュレーション: 事前定義されたポイントプロセスではなく、物理的制約と意思決定ルールによって支配されるシミュレーション環境において、SNMPP は潜在的な相互作用構造を成功裏に解明した。これは、発注が補充をトリガーする励起、在庫到着が新たな発注を抑制する抑制、在庫切れが需要を抑制するハードゲーティング、およびリードタイムに対応する特定の遅延パラメータ（約 4.0 時間単位）を正しく識別した。

意義と主張
本論文は、SNMPP がニューラル・ポイントプロセスの高い表現力と古典的モデルの解釈可能性の間のギャップを成功裏に埋めたと主張している。構造化されたニューラル影響カーネルを導入することで、予測精度を犠牲にすることなく、（抑制や遅延効果を含む）構造化された関係の明示的な発見を可能にする。著者らは、この構造化されたパラメータ化が効果的な帰納バイアスとして機能し、学習問題を正則化して時間的汎化を改善すると論じている。この研究は、遅れたピーク効果や抑制的トポロジーといった解釈可能なメカニズムを、複雑な多クラスイベントストリームから明らかにするために、ブラックボックス表現を超えて進むことが可能であることを実証している。今後の研究として、非対称な時間的影響プロファイルへのモデルの拡張が想定されている。