技術要約: GTIN – テンポラルグラフにおけるイベントと時間の同時予測のための統一フレームワーク

1. 問題定義

本論文は、動的なシステムをテンポラルグラフ（時間的グラフ）としてモデル化する際の、将来のイベント予測という課題に取り組んでいる。局所的なサブグラフや特定のエッジ履歴に焦点を当てることが多い従来の静的グラフモデルや既存のテンポラルグラフ手法とは異なり、本研究は統一された予測タスクを対象としている。目的は、テンポラルグラフにおける次のイベントの3つの重要な構成要素を共同で推定することである：

1. 場所 ($c$): 次にどのエッジ（相互作用のペア）がアクティブになるか？
2. 時間 ($t$): そのイベントはいつ発生するか？
3. 特徴量 ($W$): そのイベントの属性は何であるか？

著者らは、TGNN（Temporal Graph Neural Networks）やTPP（Temporal Point Processes）といった既存の手法が、グローバルな構造的コンテキストを活用できていないことが多く、代わりに限定的な時間窓や局所的なノード近傍に依存していると主張している。この制限は、ソーシャルネットワーク、金融取引、通信ログといった実世界のシステムに固有の、複雑で長距離の時系列依存関係や不規則なイベントパターンを捉える能力を妨げている。

2. 手法: グローバル・テンポラル・インタラクション・ネットワーク (GTIN)

提案されている解決策である GTIN は、独立したエッジ予測を集計するのではなく、グラフ構造全体を単一のエンティティとして扱う統一的な数学的フレームワークである。

2.1. 数学的定式化

この問題は マルコフ点過程（Marked Point Processes） を用いて定式化されている。時刻 $t$ までのグラフの履歴 $\mathcal{H}(t)$ は、時間、特徴量、および特定のエッジインデックスを表すトリプレット $(t_i, W_i, c_i)$ のシーケンスで構成される。目標は、履歴 $\mathcal{H}(t)$ が与えられたときの次のイベントのトリプレット $\mathcal{H}(t, 1)$ の尤度を最大化することである。

尤度は以下の3つの条件付き確率に分解される：
$$P(\hat{c}, \hat{t}, \hat{W} | \mathcal{H}(t)) = P(\hat{c}|\mathcal{H}(t)) \cdot P(\hat{t}|\hat{c}, \mathcal{H}(t)) \cdot P(\hat{W}|\hat{t}, \hat{c}, \mathcal{H}(t))$$

この分解により、モデルはエッジの場所、発生時刻、およびイベントの特徴量を逐次的に予測することが可能となる。

2.2. モデルアーキテクチャ

GTINは、元のグラフのエッジを変換された「ライングラフ」におけるノードとして扱う メッセージパッシング・フレームワーク を採用している。隣接するエッジノードとは、元のグラフにおいて共通の端点を共有しているものである。

• エッジ埋め込み: 各エッジ $n$ は、自身の履歴および隣接するエッジの履歴から時系列情報を集約する埋め込み $h_n(t)$ を保持する。
  $$h_n(t) = \text{COMB}\left( \text{AGG}\{\Phi(t^j_i, W^j_i) | t^j_i \leq t, j \in \mathcal{N}(n)\}, \Phi(t^n_i, W^n_i) \right)$$
  ここで、$\text{COMB}$ は 自己注意（self-attention）メカニズム を利用し、$\text{AGG}$ は学習可能な線形変換である。
• 時間的エンコーディング: 離散化なしに連続的な時間を扱うため、モデルは ハーモニック・タイムエンコーダ（GNPPに類似）を使用し、学習可能な周波数パラメータを用いてタイムスタンプを高次元ベクトルにマッピングする。これにより、短期的な近接性、長期的な依存関係、および周期性を捉える。
• グローバルグラフ表現: 時刻 $t$ におけるグラフのグローバルな状態は、すべてのエッジ埋め込みの加重和として計算される：
  $$h_G(t) = \sum_{n=1}^{N} w_n h_n(t)$$
  このグローバルな埋め込み $h_G(t)$ は、次のイベントを予測するためのコンテキストとして機能し、予測がグラフ全体の時系列状態を考慮することを保証する。

2.3. 予測ヘッド

モデルは、グローバルおよびローカルの埋め込みに基づき、3つの異なるヘッドを利用する：

1. エッジ予測（分類）: すべての候補エッジに対するソフトマックス関数を用い、$c_i$ を予測する。
2. 時間予測（回帰）: 時間分布をガウス分布 $\mathcal{N}(\mu_t, \sigma_t^2)$ としてモデル化し、平均と分散の両方を予測することで不確実性を定量化する。
3. 特徴量予測（回帰）: イベントの特徴量を、予測されたエッジ、時間、およびグローバルな履歴に条件付けられた多変量正規分布としてモデル化する。

学習目的関数は、分類損失、時間予測損失、および特徴量予測損失の合計である負の対数尤度を最小化する。

2.4. スケーラビリティ拡張 (DGI + クラスタリング)

大規模グラフにおける計算量の問題に対処するため、著者らは Deep Graph Infomax (DGI) と 均衡K-meansクラスタリング（Balanced K-means Clustering） を用いた拡張を提案している。

• DGI: ローカルなパッチとグローバルなグラフコンテキスト間の相互情報量を保持する、教師なしノード埋め込みを学習する。
• 均衡クラスタリング: グラフをほぼ同等のサイズのサブグラフに分割する。
• 階層的予測: パイプラインは、各サブグラフが「スーパーノード」として扱われる新しい「スーパーグラフ」を構築する。このスーパーグラフにアルゴリズムを入力して、次のイベントが発生するクラスターを特定 する。ターゲットとなるクラスターが特定されると、対応するサブグラフがイベント予測モジュールに送られ、そこで時系列モデルを用いて次のイベントのタイプと発生時刻が共同で予測される。これにより、並列処理が可能になり、訓練および推論時間が大幅に短縮される。

3. 主な貢献

本論文は、主に3つの貢献を強調している：

1. グローバルなイベント・時間予測フレームワーク: ローカルな近傍への依存を超え、グラフ構造全体を分析することで、次のイベントの場所、タイミング、および特徴量を共同で予測するモデル。
2. 階層的なスケーラビリティ: テンポラルな依存関係を維持しながら、あらゆる規模のグラフを効率的に分割・処理するメカニズムを提供し、大規模データセットでの訓練を容易にする。
3. 特徴レベルのイベント予測: 構造的および時間的な予測とともにイベントの属性（特徴量）を推定する能力を提供し、より包括的な予測機能を実現する。

4. 実験結果

著者らは、3つの実世界データセット（Wikipedia, Reddit, CollegeMsg）と3つの合成データセット（Hawkes-negative, Hawkes-positive, Poisson）を用いてGTINを評価した。

• パフォーマンス: GTINは、TGAT、TGN、DyRep、およびニューラル・ポイント・プロセス（THP, SAHP, NNPP）を含むベースラインを一貫して上回った。
  • Wikipedia データセットにおいて、GTINは 10.6 のRMSEを達成し、これはTGN (23.81) や TGAT (37.66) よりも大幅に低い値であった。
  • Reddit データセットにおいて、GTINは 0.51 のRMSEを達成し、次に優れたモデル（GNPPの1.08）の誤差をほぼ半分に抑えた。
  • 合成データセットにおいて、GTINは最強のベースラインであるGNPPと比較して、エラー率を8〜70%削減した。特に、強い自己励起挙動を持つデータセット（Hawkes-positive）において優れた性能を示した。
• 場所の予測: モデルは正しいエッジを予測する能力（Hits@10 および MRR）を示し、グローバルなコンテキスト統合の有効性を検証した。
• スケーラビリティ: DGIベースのパイプラインは、RMSEのわずかな増加のみで、全データセットにわたって訓練時間を 52〜68%、推論時間を 50〜66% 短縮し、精度と効率の良好なトレードオフを確認した。
• アブレーション研究: 注意メカニズムを取り除くと、一貫してパフォーマンスの低下が見られ、注意が情報量の多い隣接ノードに重み付けを行う上で極めて重要であることが確認された。「隣接エッジの活動量」に関する分析では、GTINの優位性はローカルな活動が低いイベントの周囲で最も顕著であり、ローカルな履歴が疎な場合にグローバルな情報を活用できる能力を証明した。

5. 意義と限界

意義:
本論文は、GTINが構造的および時間的モデリングを統一することで、テンポラルイベント予測の堅牢な基礎を提供すると主張している。不規則なイベントパターンや複雑な依存関係を扱う能力は、局所的なウィンドウに制限されている手法よりも優れている。このフレームワークは、密な社会的相互作用から疎な通信ネットワークまで、多様な動的環境に適応可能な汎用的なアーキテクチャとして提示されている。

限界:
著者らは、主に2つの限界を明示的に認めている。

1. 均質性の仮定: モデルはすべてのエッジを同等に扱っており、特定の型（例：異なる種類の金融取引の区別）や文脈的関係を無視している。
2. ノード特徴量の除外: 現在の実装ではノード固有の属性（例：ユーザーのデモグラフィック情報）を組み込んでおらず、メタデータが豊富なデータセットで利用可能な貴重な予測信号を見逃している可能性がある。

本論文は、GTINが最先端の技術を進展させた一方で、将来の研究においては、ヘテロジニアス（異種混合）なエッジ型、ノード属性、および分散コンピューティングメカニズムを取り入れることで、疎な相互作用設定におけるスケーラビリティと精度をさらに向上させるべきであると結論付けている。