技術要約：ジャンプからシグネチャへ：時間的点過程のための生成的手法

問題提起

時間的点過程（Temporal Point Processes: TPPs）は、金融、地震学、ヘルスケアなどのアプリケーションの基礎となる、連続時間内で発生する離散的なイベントをモデル化するものである。ニューラルTPP（NTPPs）は、表現力豊かなニューラルネットワークを用いてこの分野を進展させてきたが、主に2つの限界に直面している。

1. 学習目的関数: 既存の手法は、局所的なイベントごとの損失（例：対数尤度最大化）を最適化する。これらは条件付き損失の和へと分解されるため、自己相関、長距離依存性、および結合タイミング分布といった構造的特性に対するグローバルな信号を提供することができない。
2. 評価指標: 標準的な評価は、負の対数尤度（NLL）や点別指標（例：平均絶対誤差）に依存している。これらはグローバルなシーケンス構造に対して鈍感であり、モード崩壊を隠蔽したり、過分散な予測を好んだりすることがある。さらに、既存の分布間距離（MMDやワッサースタイン距離など）は、計数パス（càdlàg ステップ関数）の空間における理論的な正当性を欠いている。

重大な理論的ギャップが存在する。ラフパス・シグネチャ（Rough path signatures）は、有界変動の連続パスに対する普遍的な特徴写像と決定性の保証を提供するが、TPPのサンプルパスは不連続（càdlàg）であるため、シグネチャに基づく生成モデリングに必要な連続性の仮定に違反しており、直接適用することができない。

手法：SIGTPP

本論文は、離散的なイベントシーケンスと連続パス理論の間のギャップを埋める、シグネチャに基づく生成フレームワークである SIGTPP を提案する。この手法は、4つのコアコンポーネントで構成される。

1. 間隔埋め込み ($\Phi$)

離散的なジャンプに対してシグネチャ手法を適用するために、著者らは計数パス（$\mathcal{N}$）の空間から連続な有界変動パス（$\mathcal{C}$）の空間への、安定かつ単射なリフトを導入する。

• メカニズム: イベント時刻 $t_k$ を持つ計数パス $\eta$ に対して、埋め込みは区分線形連続関数 $x = \Phi(\eta)$ を構築する。各イベント時刻 $t_k$ における関数の値は、間隔時間 $\tau_k = t_k - t_{k-1}$ に設定される。
• 時間拡張: シグネチャは、時間拡張された曲線 $t \mapsto (t, \Phi(\eta)_t) \in \mathbb{R}^2$ 上で計算される。これにより、絶対的なイベント時刻と間隔の長さの両方がエンコードされ、シグネチャが単射となるようにツリー状の成分が除去される。
• 理論的保証: 論文では、$\Phi$ がリプシッツ連続かつ単射であることを証明している。緩やかな分離仮定（最小間隔時間 $\delta > 0$）の下で、逆写像はヘルダー連続であり、埋め込み空間における不一致が元の計数パス空間における真の不一致を反映することを保証している。

2. グローバル・シグネチャ損失

SIGTPPは、イベントごとの条件付き密度を最適化する代わりに、完全な軌跡に対するグローバルな損失を最適化する。

• 損失関数: モデルは、生成されたパスの期待される切断シグネチャと観測されたデータパスの間の Signature-Wasserstein-1 (Sig-W1) 距離を最小化する。
• 最適化: 損失は、期待される切断シグネチャ間の $\ell_2$ 距離として定義される：
  $$\text{Sig-W}^{(M)}_1(\mu_\theta, \nu) := \left\| \mathbb{E}_{N_\theta \sim \mu_\theta} [S_M(\Phi(N_\theta))] - \mathbb{E}_{N \sim \nu} [S_M(\Phi(N))] \right\|_2^2$$
  これは、GANの敵対的識別器をテンソル代数上の直接的な指標に置き換えるものであり、学習の不安定性を回避する。

3. 評価指標

著者らは、生成的TPPを評価するための、3つの理論的に根拠のある分布間不一致を、パス間の距離 $d_N(\eta, \xi) = \int_0^{T_{max}} |\eta_t - \xi_t| dt$ に基づいて導出している。

• エネルギー距離 (E): $L_1$ 空間の負型特性によって誘導される指標。
• ワッサースタイン距離 (W1): パス間の距離を分布間の距離へと持ち上げる。
• Signature-Wasserstein-1 (Sig-W1): $\Phi$ の単射性により有効な、期待シグネチャを用いた不一致尺度として使用される。

4. モデルアーキテクチャ

SIGTPPは、単層のLSTMを用いた1ステップ自己回帰生成器として実装されている。これは、履歴の状態、現在の累積時間、および外生的なノイズを条件として、対数間隔時間を予測する。

主な貢献

1. 間隔埋め込み: 離散的なイベントシーケンス（càdlàg パス）に対してシグネチャベースの手法を適用することを可能にする、新規で安定かつ単射なマッピング。
2. SIGTPP モデル: 局所的な条件付き損失ではなく、グローバルなパスレベルの損失を用いて学習される、初のシグネチャベースの生成モデル。
3. 理論的枠組み: 埋め込みのリプシッツ連続性と単射性を確立する証明、および計数パスの空間における数学的に妥当な分布間不一致（E, W1, Sig-W1）の導出。
4. 評価分析: 点別指標（MAE/MSE）は生成の質を評価するには不十分であり、決定論的な回帰モデルを好んでしまう（分布の変動を無視してしまう）ことを示す分析。

実験結果

モデルは、4つの合成データセット（ポアソン、非定常ポアソン、単変量ホークス、多変量ホークス）と5つの実世界のデータセット（地震、Stack Overflow、Taobao、Taxi、Yelp）で評価された。

• 性能: SIGTPPは、8つの補完的な指標において最高の平均ランクを達成した。SIGTPPは、強力なベースライン（VAE, DDPM, WGAN）の64%のデータセット・指標ペアにおいて、それらを上回るか同等の性能を示した。
• 相対的改善: 相対スコア指標によれば、SIGTPPはすべてのベースラインに対して平均で少なくとも19%向上した。
• 分布の忠実度: SIGTPPは、パスレベルの分布指標（E, W1, Sig-W1）においてベースラインを大幅に上回り、結合時間法則との優れた整合性を示した。
• トレードオフ: SIGTPPはグローバルな構造には優れているが、拡散ベースのモデル（DDPM）やVAEと比較して、連続ランク確率スコア（CRPS）においてわずかに劣る結果となった。著者らは、これをパスレベルの目的関数が、局所的な条件付き較正よりもグローバルな分布の整合性を優先しているためであると説明している。
• 点別指標: 決定論的ベースライン（DETER）が最高のMAE/MSEスコアを達成しており、これは点別の誤差が生成の質や分布の忠実度を測定していないことを裏付けている。

意義と主張

本論文は、TPPの生成と評価を統一する「共通のパスベースの枠組み」を提供すると主張している。その主な意義は以下の通りである。

• シグネチャの離散イベントへの拡張: 間隔埋め込みを通じて、ラフパス理論をcàdlàg プロセスに適応させることに成功した。
• グローバル vs ローカル: グローバルなシグネチャ損失を最適化することが、従来のイベントごとの尤度最大化よりも、構造的忠実度（自己相関、長距離依存性）において優れた結果をもたらすことを示した。
• 評価の厳密性: 標準的な点別指標が生成的TPPには不十分であることを確立し、評価の標準として、理論的に正当化された一連の分布間不一致（E, W1, Sig-W1）を提供した。

著者らは、高次のシグネチャによる計算コスト、線形補間リフトの人工的な性質、および理論的境界の予備的な性質を含む制限事項も認めている。しかし、このフレームワークが、グローバルな構造が重要となる複雑な時間依存性のモデリングにおいて、堅牢な代替案を提供すると主張している。