テクニカルサマリー：動的直交輸送を用いたテンポラル・シフ・ニューラルネットワーク（TSNN）

1. 問題提起

テンポラル・リンク予測（時系列的なリンク予測）とは、過去のイベントの時系列ストリームに基づき、継続的に進化するグラフにおける将来の接続を推論することである。既存の連続時間グラフモデルにおける根本的な課題は、**表現の整列問題（representation-alignment problem）**である。現在のアーキテクチャは通常、単一の共有されたグローバルな埋め込み空間内で動作し、ノードの状態を定義する座標軸が時間を通じて意味的に一貫していることを前提としている。しかし、動的なシステムにおいては、ノードの役割（例：ユーザーのコミュニティの変化、タンパク質の新たなパートナー獲得）がドリフトするため、学習された表現の基底そのものが変化する。保存されたベクトルは数値的には安定していても、その意味的な内容は乖離（ミスアライメント）する可能性があり、異なるローカルな文脈で学習された状態同士を比較する際に、不正確な予測を招く原因となる。メモリベースのアーキテクチャやイベント中心のエンコーダを含む既存の手法は、この明示されていないグローバル整列の仮定を継承しており、相互作用する状態を比較する前にそれらを整列させる明示的なメカニメントを欠いている。

2. 手法：テンポラル・シフ・ニューラルネットワーク (TSNN)

TSNNは、シフ（sheaf）に基づく表現学習を連続時間の相互作用ストリームへと拡張することで、この課題に対処する。TSNNは、共有のグローバル空間を用いる代わりに、各ノードに時変的な直交フレーム（ローカルな座標系）を付与する。本モデルは厳格な**予測後更新（predict-then-update）**プロトコルに従い、すべての計算が厳密に因果律に従い、事前のイベント履歴のみに依存することを保証する。

コア構成要素

• 動的ローカルフレーム: 各ノード $v$ は、スタックベクトル $h_v(t)$（意味的メモリ）と、直交写像 $U_v(t) \in \mathbb{R}^{d \times d}$ をパラメータ化するフレームパラメータ $F_v(t)$ を保持する。これらのフレームは、低ランクの**ハウスホルダー積（Householder products）**を通じて効率的にパラメータ化され、ノードあたり $O(kd)$ のパラメータのみを必要とする。
• 明示的な直交輸送: 異なるノード間の状態を比較または集約するために、TSNNはそれらを共通のローカルフレームへと明示的に輸送する。ノード間の輸送写像は $Q_{uv}(t) = U_u(t)^\top U_v(t)$ と定義される。これにより、相互作用のスコアは同期された座標系における幾何学的距離に基づいて算出され、ローカルなフレームが進化しても意味的内容が保持される。
• 座標一貫的な状態進化: ノードのフレームが更新される際、保存された隠れ状態は破棄されたり再初期化されたりしない。代わりに、変換 $\bar{h}_v^- = (U_v^+)^\top U_v^- h_v(t^-)$ を通じて正確に引き継がれる。これにより、メモリの意味的内容はローカルな座標基底の変化に対して不変であることが保証される。
• 幾何学的残差デコーダ: スコアリング機構は、整列された状態間の輸送されたユークリッド二乗距離に予測を固定する幾何学的ブランチと、関係タイプ、直近性、およびノードメタデータに基づく補正を学習する残差ブランチ（MLP）を組み合わせる。この設計は、対照的な帰納バイアスを強制しつつ、系統的な偏差に対する柔軟性を許容する。
• フルアクティブ・シフ拡散: イベント後、モデルはイベントローカルなアクティブグラフに対して、$K$ ラウンドのフィーチャースケール正規化シフ拡散を実行する。この拡散は、組合せ論的シフ・ディリクレ・エネルギーに対するメトリック勾配降下ステップとして定式化されており、単調なエネルギー減少と非拡大性を保証する。

アルゴリズム・パイプライン

各入力イベント $(u, v, t, r, x)$ に対して：

1. スコアリング: 事前イベント履歴 ($E_{<t}$) を用いて、候補となる目的地を幾何学的残差デコーダによりランク付けする。
2. 更新: 正のイベントが観測されると、エンドポイントのフレームを輸送されたパートナーの状態を用いて更新する。
3. キャリーオーバー: 事前イベントのスタックを新しいローカル座標へと変換する。
4. メッセージパッシング: 更新されたローカル座標内でメッセージを計算し、GRUによって処理する。
5. 拡散: 状態をステアストアにコミットする前に、状態を平滑化および精緻化するために、フルアクティブ拡散を適用する。

3. 主な貢献

1. シフ構造化テンポラルGNN: 各ノードが時変的な直交フレームを保有する、因果的リンク予測のための新しいフレームワーク。候補リンクは、幾何学的残差デコーダを用いて、イベント前の履歴のみから厳密にスコアリングされる。
2. 座標一貫的なメモリ進化: 相互作用する状態を集約する前に共通のフレームへと輸送し、フレームの更新を跨いで保存された隠れ状態を正確に引き継ぐことで、ローカルな座標が進化しても意味的内容を保持するメカニズム。
3. スペクトルおよび安定性の保証:
   • 誘導された次数正規化シフ・ラプラシアンは、対称正規化グラフ・ラプラシアンと直交類似であり、そのスペクトルは $[0, 2]$ に限定される。
   • フルアクティブ・フィーチャースケール拡散演算子は、組合せ論的シフ・ディリクレ・エネルギーに対するメトリック勾配ステップであることが証明されており、次数に依存しない単調減少と非拡大性を保証する。
   • フレームのドリフトは更新に線形にのみ影響を与え、その安定性は平滑化正則化項によって制御される。
4. 実証的性能: TSNNは、TGB v2、テンポラル・ヘテロジニアス、およびDGBベンチマークスイートにおいて、最先端の結果を達成した。特に、ノードの役割の不均一性が強いグラフにおいて優れた性能を示す。

4. 実験結果

著者らは、2つのトラックでTSNNを評価した：

• トラックA (TGB v2): リンク予測データセット（tgbl-wiki, tgbl-review）およびテンポラル・ヘテロジニアスグラフ（thgl-software）を含む。TSNNは15の公式ベースラインと同等またはそれを上回り、tgbl-wiki（82.82%）およびthgl-software（71.13%）で最高のMRRを達成し、tgbl-reviewにおいても大幅な改善を示した。
• トラックB (DGB): 13の標準的なベンチマーク（例：Wikipedia, Reddit, MOOC, Enron）をカバーする。TSNNは、平均精度（AP）およびAUCの両方の指標において、最も低い平均ランクを獲得した。特筆すべき進展として、TPNetと比較してMOOCで+2.97 AP、US Legis.で+6.50 APを達成している。
• 帰納的設定: 未知のノードを用いた帰納的リンク予測においても、TSNNは最も低い平均ランクを達成し、記憶された軌跡に依存しない堅牢な汎化性能を示した。
• アブレーション研究: 残差スコアラー、明示的な直交輸送、および時変ローカルフレームが、性能の主要な推進力であることを実験で確認した。輸送と動的フレームは、一貫して性能向上に寄与している。

5. 意義と主張

本論文は、TSNNが動的な関係学習における重要なギャップ、すなわち「変化するノードローカルな意味の下で表現の意味を保持するためのオペレータレベルのメカニズムの欠如」に対処していると主張している。進化するノードローカルなフレーム、明示的な輸送、およびオンラインの因果的メモリ更新を統合することで、TSNNは**基底一貫的（basis-consistent）**なテンポラル・グラフ学習を提供する。

著者らは、実証的な利得が、より豊かな拡散スペクトルによるものではなく（フレームが固定されている場合、スペクトル特性は標準的なグラフ拡散と等価である）、動的なローカルフレーム、フレーム変更を跨ぐ正確なキャリーオーバー、フルアクティブなイベントローカル拡散、およびローカル座標における非線形更新によるものであることを強調している。本モデルは、フレーム更新とメッセージMLPが選択されたローカル座標で動作するため、完全なゲージ等変（gauge-equivariant）ではなく、「基底一貫的」であると記述されている。一方で、輸送とデコーディングは同期された直交変化を尊重している。本研究は、ノードの役割が時間の経過とともにドリフトする場合、相互作用する状態の明示的な整列が正確なテンポラル予測に必要であることを確立している。