技術要約: 時系列知識グラフ補完のための SFTeAST

問題提起

時系列知識グラフ補完（TKGC）は、エンティティ間の構造的依存関係と関係の時系列的進化をモデル化することにより、時系列知識グラフ（TKG）における欠損した事実を推論することを目的としている。既存の手法は進展を見せているものの、複雑な動的シナリオにおいて主に3つの課題に直面している：

1. 協調的モデリングの欠如: 多くの手法は、幾何学的変換を通じて時系列的進化を優先する一方で構造的情報を十分に活用していなかったり、あるいはその逆であったりするため、両者の相補的な性質を活用できていない。
2. 推論の堅牢性: 標準的な推論は、履歴の出現頻度統計を活用せずにエンティティ空間全体に対して候補をスコアリングすることが多い。このような低確率でノイズの多い候補の混入は、予測の安定性を低下させる。
3. 疎なシナリオにおける汎化性能: モデルは、構造的、時系列的、および頻度属性の統合が不十分であるため、低頻度のイベント、ロングテール分布、および突然の異常事象に対して苦戦することが多い。

手法: SFTeAST

著者らは、構造、時間、および履歴頻度の情報を共同でモデル化するように設計されたフレームワークである SFTeAST (Structure Frequency and Temporal Aware Spiral Tensor Model) を提案する。このアーキテクチャは、3つのコアモジュールで構成されている。

1. 構造的類似性モジュール (Structural Similarity Module)

複雑なグラフニューラルネットワーク（GNN）に伴う高い計算コストや不安定性を回避しつつ、トポロジー的依存関係を効率的に捉えるために、このモジュールは 事前学習済みで凍結された1層の多層パーセプトロン（MLP） を採用している。

• メカニズム: このMLPは、ヘッドエンティティと関係の間の局所的な構造的関連性を学習するために、データセット上で別途事前学習される。メインのTKGCトレーニング中、そのパラメータは凍結される。
• 機能: これは、ヘッドエンティティ ($e_s$) と関係 ($e_r$) の結合埋め込みをセマンティック空間にマッピングし、候補となるテイルエンティティに対する構造的類似性スコア ($\phi_M$) を生成する。これにより、特に疎な相互作用シナリオにおいて、推論のための安定した構造的サポートを提供する。

2. 螺旋複素時間モジュール (Spiral Complex Temporal Module)

TeASTに着想を得たこのモジュールは、複素ベクトル空間における アルキメデスの螺旋 幾何学を用いて、時間の経過に伴う関係の連続的な進化をモデル化する。

• メカニズム: 関係は連続的な螺旋タイムライン上にマッピングされる。このモジュールは、アダマール積を利用して、時間埋め込み ($e_\tau$) と関係埋め込み ($e_r$) を結合し、周期性と方向性を明示的にモデル化するための時間位相埋め込みを導入する。
• 機能: 時系列の四つ組（quadruples）は3次テンソルに変換される。モジュールはテンソル分解を通じて時間的スコア ($\phi$) を計算し、静的な構造では表現できない連続的な進化パターンと周期的な規則性を捉える。

3. 履歴頻度フィルタリングモジュール (Historical Frequency Filtering Module)

ノイズに対処し推論効率を向上させるために、このモジュールは 履歴頻度フィルタリング行列 を構築する。

• メカニズム: タイムスタンプ（例：週単位または月単位）を集計し、履歴データにおける特定のトリプル組み合わせ $(s, r, o)$ の出現頻度をカウントする。
• 機能: 推論時、分位点閾値 ($\delta_\theta$) に基づいて候補マスクが生成される。この閾値を下回る低確率のエンティティは、最終的なスコアリングの前にフィルタリングされ、候補空間を効果的に削減し、ノイズの多いサンプルからの干渉を低減する。

スコア融合と最適化

最終的な予測スコアは、時間的スコアと構造的類似性スコアの加重融合である：
$$\phi_{final}(s, r, o, \tau) = \alpha \phi(s, r, o, \tau) + (1 - \alpha) \phi_M(s, r, o)$$
ここで、$\alpha$ は時間的寄与と構造的寄与のバランスをとる学習可能な重みである。モデルは、リンク予測のための負の対数尤度、テンソル分解のためのN3正則化、および時間埋め込みの滑らかさを確保するための時間的正則化を組み合わせた損失関数を用いて最適化される。

主な貢献

1. 新規な統合: TKGCのために、履歴頻度、構造、および時系列信号の共同モデリングを実現するSFTeASTの提案。
2. 効率的な構造エンコーディング: 追加の学習オーバーヘッドや深いGNNの不安定性を伴わずに局所的な依存関係を捉える、事前学習済みで凍結された1層のMLPを用いた構造的類似性スキーム。
3. 螺旋複素時間モデリング: 関係をアルキメデスの螺旋タイムラインにマッピングし、連続的な時間進化と周期性を捉えるための3次テンソル分解を使用するモジュールの導入。
4. 頻度に基づくフィルタリング: 推論中に低確率の候補エンティティを動的に削減し、ノイズに対する堅牢性を高める、新しい履歴頻度フィルタリング行列。
5. 実証的検証: 複数のデータセットと指標にわたってモデルの有効性を実証する包括的な実験。

実験結果

著者らは、3つのベンチマークデータセット（ICEWS14、ICEWS05-15、GDELT）を用いてSFTeASTを評価した。

• パフォーマンス: SFTeASTはICEWS14およびICEWS05-15のデータセットにおいて、最先端（SOTA）の性能を達成し、平均逆順位（MRR）およびHits@K指標においてベースライン（TeAST、TNTComplEx、HyGNetを含む）を大幅に上回った。例えば、ICEWS14では、MRRを0.645（HyGNet）から0.877（約36%の相対的増加）へと向上させた。ICEWS05-15では、MRRを0.678（TeHTE）から0.922（約36%の相対的増加）へと向上させた。
• GDELTのニュアンス: GDELTデータセットにおいて、SFTeASTは最高のHits@10を達成し、MRRを0.371（TLT-KGE+HGE）から0.480（約29%の相対的増加）へと向上させた。著者らは、この特定の性能特性をGDELTの高い密度と反復パターンに起因するとしており、そこではSFPLの感度認識メカニズムが非常に類似したエンティティを区別することに優れているのに対し、SFTeASTの強みは候補空間の削減と安定した融合にあるとしている。
• アブレーション研究: 構造的類似性モジュール（MLP）を除去すると、ICEWS14ではMRRが0.877から0.714（約18.6%減少）に、ICEWS05-15では0.922から0.738（約20.0%減少）に低下した。履歴頻度フィルタリングモジュール（HFF）を除去すると、ICEWS14ではMRRが0.877から0.716（約18.4%減少）に、ICEWS05-15では0.922から0.675（約26.8%減少）に低下した。これらの結果は、3つのコンポーネントすべてが必要であり、かつ相補的であることを裏付けている。
• ハイパーパラメータの感度: 実験により、融合重み $\alpha$ には最適なバランス点があることが示された。時間的信号への依存度が高すぎると、構造的識別力が弱まる。同様に、頻度閾値 $\theta$ を上げると、一般にノイズが除去されて性能が向上した。具体的には、$\theta$ を0.8から0.99に上げると、ICEWS14ではMRRが0.824から0.877（6.4%向上）に、ICEWS05-15では0.888から0.922（3.8%向上）に向上した。
• 複雑性: 理論的分析によれば、SFTeASTはエンティティ数および関係数に対してベースとなるTeASTモデルと同等の線形スケーラビリティを維持しており、大規模グラフへの適合性を保証している。

意義と主張

本論文は、SFTeASTがTKGCのための効率的、堅牢、かつ高度に汎用可能なソリューションを提供すると主張している。構造的安定性、連続的な時間力学、および統計的な頻度制約を統一することで、これらの次元を個別に扱うことが多い既存の手法の限界に対処している。著者らは、このマルチシグナル協調設計が以下のケースにおいて特に効果的であると断言している：

• 疎なタイムスタンプ・シナリオにおける推論。
• 低頻度イベントの予測。
• 推論時におけるノイズの多い候補エンティティの影響の低減。

本研究は、動的な環境に適応できるインテリジェントな知識推論システムを開発するための重要な一歩として提示されており、将来の研究におけるマルチホップ・パス予測や因果関係発見への拡張の可能性も示唆されている。