技術的サマリー：時間区間ビューの対比を通じた動的グラフ表現の学習

1. 問題定義

既存のグラフ表現学習手法は、主に静的なグラフの仮定と教師あり学習のパラダイムに依存しています。これらのアプローチは、エッジのタイムスタンプなど、実世界のグラフデータに内在する時間的情報を見落としがちであり、それにより情報の損失や性能の低下を招いています。さらに、グラフデータに対する高品質なラベルの取得はコストが高く、プライバシー制約により不可能な場合も多いため、効果的な教師なし学習手法が必要とされています。

現在の動的グラフ手法は、主に以下の 3 つの限界に直面しています：

1. 高い複雑性: 多くの手法は、時間的進化をモデル化するために逐次モデル（RNN、LSTM など）に依存しており、高い時間的・空間的複雑性を生み出し、スケーラビリティを阻害しています。
2. ノイズの多い拡張: 静的グラフに対する既存の対比学習手法は、しばしば手動によるデータ拡張（エッジの摂動、ノードのドロップなど）に依存しており、ノイズのある情報を導入したり、意味的意味を変化させたりする可能性があります。
3. 限定的な時間的モデリング: 静的な対比学習を動的グラフに直接適用することは容易ではなく、既存の動的異常検出手法は限られており、多くの場合、静的な設定に焦点を当てているか、半教師あり学習を必要としています。

2. 中核的な手法

本論文は、CLDG（動的グラフ上の対比学習）およびその拡張版である**CLDG++**を提案します。このフレームワークは、新しい帰納的バイアスとマルチビュー対比学習戦略に基づいています。

2.1. 時間的並列不変性

著者らは、時間的並列不変性の仮定を導入します：動的グラフにおいて、同じノードの意味論や予測ラベルは、エンコーダの種類にかかわらず、異なる時間区間において類似したままになる傾向があります。多様なデータセットで実証的に検証されたこの観察は、構造的変化にもかかわらず、ノードが時間を通じて一貫したアイデンティティを維持することを示唆しています。この仮定により、モデルはラベル付きデータを必要とすることなく、対比学習において同じノードの異なる時間区間ビューを正のペアとして扱うことが可能になります。

2.2. フレームワークアーキテクチャ

このフレームワークは、5 つの軽量コンポーネントで構成されています：

1. 時間区間ビューサンプリング層:
   グラフを破損させる代わりに、この手法は時間間隔に基づいて連続的な動的グラフから複数のビューをサンプリングします。最適なビュー間隔を探求するために、4 つのサンプリング戦略が提案されています：

   • 逐次的: 重なりのないビュー。
   • 高い重なり率: 75% の時間的重なり。
   • 低い重なり率: 25% の時間的重なり。
   • ランダム: ランダムにサンプリングされた時間タプル。
     これらのビュー（$\tilde{G}_1, \dots, \tilde{G}_v$）は、時間的に持続するシグナルを捉えます。

2. グラフ拡散層（CLDG++ のみ）:
   隣接行列が局所的な二値接続のみを捉えるという限界に対処するため、CLDG++ は情報伝播をシミュレートするためにグラフ拡散（具体的にはパーソナライズドページランクとヒートカーネル）を採用します。これにより、ノード間の潜在的なトポロジカルな相関とグローバルな文脈的関係を明らかにするグローバル拡散ビュー（$S_1, \dots, S_v$）が生成されます。

3. ベースエンコーダ層:
   モデルは、局所ビュー（隣接行列経由）とグローバルビュー（拡散行列経由）を処理するために、共有重みを持たない個別のエンコーダを使用します。著者らは、近隣情報を集約するために標準的な GNN（GCN、GAT、GraphSAGE など）を利用します。

4. 投影ヘッド:
   投影ヘッドは、学習されたノード埋め込みを対比損失の計算に適した空間にマッピングします。

5. 対比損失関数:
   モデルは、異なる時間区間ビューにおける同じノードの表現間の相互情報を最大化し（正のペア）、異なるノードの表現を遠ざけるように訓練されます。

   • CLDG: 異なる時間区間における同じノードの局所ビューを比較する局所 - 局所対比にのみ焦点を当てます。
   • CLDG++: 以下の多スケール対比目的関数を導入します：
     • 局所 - 局所: 時間区間全体における局所ビューの一貫性。
     • 局所 - グローバル: 同じ時間区間内における、同じノードの局所ビューとグローバルビューの一貫性。
     • グローバル - グローバル: 時間区間全体におけるグローバルビューの一貫性。

2.3. 異常検出

時間的並列不変性の仮定を活用し、著者らは教師なしの異常検出メカニズムを提案します。彼らは、異常ノードはこの不変性に違反し、異なる時間区間における表現間の一貫性が低いと仮定します。

• 異常指標: 異常スコアは、サンプリングされた時間区間ビューにおけるノードの表現間の整合性距離（1 - コサイン類似度）に基づいて計算されます。高い分散または低い一貫性は異常を示唆します。

3. 主要な貢献

1. 新しい帰納的バイアス: 動的グラフの根本的な性質として時間的並列不変性を提案し、同じノードの異なる時間区間ビューを対比ペアとして扱うことで、教師なし表現学習を可能にします。
2. 効率的なアルゴリズム（CLDG および CLDG++）:
   • 複雑な逐次モデルを暗黙的に利用することなく時間的手がかりを暗黙的に活用する対比学習フレームワークを開発し、時間的・空間的複雑性を大幅に削減しました。
   • グローバルな文脈を捉えるためにグラフ拡散を統合し、より包括的な表現のために多スケール対比目的関数（局所 - 局所、局所 - グローバル、グローバル - グローバル）を採用する**CLDG++**を導入しました。
   • 時間的一貫性の違反に基づいて異常指標を形成することで、表現モデルを教師なしの異常検出タスクとシームレスに統合しました。
3. 実証的検証: 学術引用、税務取引、ビットコインネットワーク、Reddit を含む 7 つの実世界データセットでの広範な実験により、CLDG および CLDG++ が教師なしノード分類と動的グラフ異常検出において最先端の性能を達成し、多くの場合、教師ありベースラインを上回ることが示されました。

4. 実験結果

• ノード分類: 7 つのデータセットにおいて、CLDG および CLDG++ は、既存の教師なし動的グラフ手法（CAW、TGAT、DySAT など）および対比学習ベースライン（DGI、GRACE など）を上回りました。特に、CLDG++ は教師なし手法の中で 14 個の指標（精度と重み付き F1 スコア）のうち 12 個で最良の結果を達成し、10 個の指標ではすべての教師ありベースラインをも凌駕しました。
• 異常検出: 異常検出タスクにおいて、CLDG++ はすべてのデータセットで最高 AUC スコアを達成し、教師なしおよび半教師ありベースライン（SAD、CoLA、ANEMONE など）を大幅に上回りました。定性的な可視化により、他の手法が見落とした構造的および属性の異常をモデルが正しく識別できることが確認されました。
• 複雑性: 提案された手法は優れたスケーラビリティを示しました。CLDG および CLDG++ は、逐次的な動的グラフモデル（CAW、TGAT など）と比較して、パラメータ数とトレーニング時間が大幅に少なく、大規模グラフに適しています。ノード数やエッジ数に比例してスケーリングする手法とは異なり、パラメータ数はグラフサイズに関係なく一定に保たれます。
• アブレーション研究:
  • サンプリング戦略: 逐次サンプリングとランダムサンプリングは、一般的に高重なり戦略を上回りました。これは、過度に類似したビューが自明な対比タスクにつながることを示唆しています。
  • エンコーダの柔軟性: このフレームワークは、性能低下なしにさまざまな GNN エンコーダ（GCN、GAT、GraphSAGE）と互換性があります。
  • 対比ペア: CLDG++ における 3 つの対比コンポーネントのいずれかを除去すると性能が低下し、多スケール目的関数の必要性が確認されました。

5. 意義と主張

本論文は、時間的並列不変性を導入することで、逐次モデルの計算負担や手動データ拡張のノイズなしに時間的進化をモデル化する「優雅な」方法を提供すると主張しています。その意義は以下の点にあります：

• 教師なし能力: ラベル付きデータなしで高品質な表現を学習し、異常を検出することに成功し、金融やサイバーセキュリティなどの実世界応用における重要なボトルネックに対処しました。
• スケーラビリティ: 既存の動的グラフモデルに対する軽量な代替案を提供し、メモリや時間の制約により以前の手法が失敗する大規模グラフへの応用を可能にしました。
• 統合フレームワーク: 動的グラフにおける表現学習と異常検出の間のギャップを埋め、時間的一貫性の違反が異常を特定するための堅牢なシグナルであることを実証しました。

著者らは、自らの仕事が静的グラフから動的グラフへの対比学習を一般化し、時間的情報を暗黙的に利用して最先端の結果を達成したと結論付けており、将来的には進化情報のより軽量な明示的モデリングに焦点を当てることができると認識しています。