Improving Graph Few-shot Learning with Hyperbolic Space and Denoising Diffusion

論文「Improving Graph Few-shot Learning with Hyperbolic Space and Denoising Diffusion (IMPRESS)」の詳細な技術的サマリーを以下に示す。

1. 問題定義

本論文は、グラフ少ショット学習 (FSL) の課題、特に教師なし少ショットノード分類タスクに取り組む。その目的は、メタ学習フェーズにおいてラベル付きデータに依存することなく、少数のラベル付きサポートノード（$M$-shot）と多数のラベルなしクエリノードのみを用いて、ノードを新規カテゴリに分類することである。

著者らは、既存のグラフ FSL 手法には 2 つの決定的な限界があると特定している：

1. ユークリッド空間の限界: 現在のほとんどのモデルは、ユークリッド空間においてノード表現を学習する。しかし、現実世界のグラフデータ（例：組織構造、学術分類体系）は、本質的に階層的または樹木状の構造を有している。ユークリッド幾何学は、そのような構造を埋め込む際に著しい歪みを生じ、真の幾何学的関係を捉えられない。
2. 分布バイアスと過学習: メタテストフェーズでは、モデルが通常、非常に小さなサポートセット上で分類器を訓練する。これにより 2 つの問題が生じる：
   • 小さなサポートセットの実証分布は、真のクラス分布から著しく逸脱する（分布シフト）。
   • 疎なデータ上で直接訓練すると深刻な過学習が発生し、クエリセットへの汎化能力が損なわれる。

2. 手法：IMPRESS フレームワーク

提案されるフレームワーク IMPRESS（IMproves Praph Representation with Enhanced Space and Sampling）は、メタ学習フェーズとメタテストフェーズの 2 つのフェーズで動作する。これは双曲幾何学とノイズ除去拡散モデルを統合している。

A. メタ学習フェーズ

1. 双曲ノード表現学習:

   • ユークリッド空間の代わりに、モデルは階層構造を自然に収容するポアンカレ球（双曲空間）においてノード埋め込みを学習する。
   • アーキテクチャ: 変分グラフオートエンコーダ (VGAE) が使用される。
     • エンコーダ: ノード特徴量は、対数写像を用いてユークリッド空間から双曲多様体の接空間へ射影される。グラフ畳み込み（GCN）は接空間内で実行される。得られた埋め込みは、指数写像を介して双曲空間へ戻される。
     • デコーダ: 双曲空間内の潜在変数の内積を用いて、グラフの隣接行列を再構成する。
   • 目的: モデルは（グラフ構造と特徴量のみを用いて）教師なしで訓練され、再構成損失と KL 発散を最小化し、階層的幾何学を保持する潜在分布を学習する。

2. プロトタイプ誘導ノイズ除去拡散:

   • メタ学習中はラベルが利用できないため、モデルは学習された潜在埋め込みに対して教師なしクラスタリング（DBSCAN）を行い、疑似ラベルを割り当て、クラスプロトタイプを計算する。
   • これらの潜在埋め込みに対してノイズ除去拡散確率モデル (DDPM) を訓練する。
   • 条件付け: 拡散プロセスは、クロスアテンション機構を介してクラスプロトタイプで条件付けられる。これにより、モデルは明示的な正解ラベルなしに各クラスのデータ分布を学習し、後で新規クラスのサンプルを生成する準備を整える。

B. メタテストフェーズ

1. 埋め込み生成:
   • 小さなサポートセット（$S_{tes}$）とクエリセット（$Q_{tes}$）を持つ新しいタスクに対して、事前学習された VGAE がノードを双曲潜在空間へエンコードする。
   • ラベル付きサポートセットからクラスプロトタイプが計算される。
2. データ拡張:
   • 訓練済みの拡散モデルが、サポートセットのプロトタイプを条件として、各新規クラスに対して $D$ 個の新しい合成ノード埋め込みを生成する。
   • これら生成されたサンプルは元のサポートセットと結合され、拡張サポートセット（$\tilde{S}_{tes}$）を形成し、サンプルサイズを実質的に $M$ から $M+D$ に増加させる。
3. 分類:
   • 線形分類器が拡張サポートセット上で訓練され、クエリセットで評価される。

3. 主要な貢献

1. 新規フレームワーク (IMPRESS): 教師なしグラフ少ショット学習の文脈において、構造的表現に双曲空間を、分布の豊かさにノイズ除去拡散を組み合わせた最初のフレームワーク。
2. 理論的進展:
   • $\delta$-双曲グラフにおいて、ユークリッド符号化と比較して双曲符号化がよりtightな汎化 bound（$O(e^{-\delta})$）を提供することを証明。
   • 提案手法が、クラス内分散を最小化し、クラス間距離を最大化し、生成分布と真の分布間のワッサーシュタイン距離を減少させることで誤りを減少させることを示す分類誤り bound を導出。
3. プロトタイプ誘導拡散: 教師なし設定においてクラスプロトタイプを用いて拡散モデルを誘導するメカニズムを導入し、事前ラベル情報なしに新規クラスのサンプルを生成するという課題を解決。
4. 実証的優位性: 複数のベンチマークで一貫して最先端の性能を実証。

4. 実験結果

モデルは、6 つのベンチマークデータセット（CoraFull, Coauthor-CS, Cora, WikiCS, Cora-ML, CiteSeer）および大規模な ogbn-arxiv で評価された。

• 性能: IMPRESS は、以下の広範なベースラインを常に凌駕した：
  • グラフ埋め込み手法（GCN, SGC）。
  • 従来のメタ学習（ProtoNet, MAML）。
  • グラフメタ学習（Meta-GNN, GPN, TEG, COSMIC）。
  • 教師なしグラフメタ学習（VNT, NaQ）。
  • 例: ogbn-arxiv（5-way 3-shot）において、IMPRESS は61.11%の精度を達成し、2 位（COSMIC の 52.98%）を大きく引き離した。CoraFull では85.49%（次点の 75.18% に対して）に達した。
• アブレーション研究:
  • 双曲成分を除去（w/o hyp）すると性能が著しく低下し、階層データに対する双曲幾何学の必要性が確認された。
  • 拡散成分を除去（w/o dif）しても性能が低下し、拡散によるデータ拡張がラベル不足と分布バイアスを効果的に緩和することを裏付けた。
• ハイパーパラメータ感度:
  • 最適な曲率（$c$）は 0.5 から 2.0 の間で発見された。
  • 生成サンプル数（$D$）は逆 U 字型の傾向を示し、$D=50$ で最適な性能を発揮した。

5. 意義

この研究は、グラフデータに対する幾何学的深層学習と生成モデルの間のギャップを埋めるものである。

• 幾何学的洞察: 現実世界のグラフは双曲空間でよりよくモデル化されることを実証し、ユークリッド埋め込みの「歪み」問題に対する理論的かつ実践的な解決策を提供する。
• データ不足の解決策: 拡散モデルを活用して高品質なクラス条件付きサンプルを合成することで、少ショット学習における「小データ」のボトルネックを克服する堅牢な戦略を提供し、過学習を軽減して決定境界を改善する。
• 教師なし能力: 教師なしクラスタリングから導出された疑似ラベルを用いて拡散モデルを訓練する能力により、このフレームワークはラベル付きデータが高価または存在しない現実世界のシナリオに非常に適用可能となる。