技術的サマリー：幾何学的基底を介した構造中心のグラフ基盤モデル

1. 問題定義

グラフ基盤モデル（GFMs）は、多様なグラフドメインにわたって転移可能な表現を学習することを目的としています。しかし、既存のアプローチには 2 つの主要な限界が存在します：

1. 構造的異質性：グラフはドメイン間でトポロジー、スケール、誘起されるメトリックにおいて著しく異なります。テキストや画像とは異なり、グラフは同型性までしか定義されていない関係性オブジェクトであり、共有された幾何学的参照系を欠いています。
2. 特徴の非互換性：ノード特徴空間は、データセット間で次元や意味においてしばしば異なります。現在の GFMs は、データセット固有の射影、パディング、アダプターを通じて固定された特徴次元を強制する傾向があります。これは特徴空間を整合させますが、背後にあるグラフ構造を整合させることができず、本質的なグラフの類似性を十分に反映しない表現をもたらし、ドメイン間転移を制限します。

既存の代替手段であるグラフトークニゼーションは、本質的に順序を持たない構造に人工的な順序を課し、置換不変性を侵害するとともに、本質的なグラフ幾何を捉えることに失敗します。

2. 手法：SCGFM

著者は、グラフトポロジーを転移可能な知識の主要な源泉とみなす**構造中心のグラフ基盤モデル（SCGFM）を提案します。その核心的な洞察は、グラフを測度空間（mm-spaces）**としてモデル化し、共有された構造的座標系を学習することにあります。

2.1. 幾何学的視点

SCGFM は、実世界のグラフが mm-空間の空間内の完全に有界な部分集合内に存在すると仮定します。Gromov のコンパクト性定理に基づき、任意のグラフは、有限個の標準的な幾何学的パターン（基底）への距離によって近似することができます。

2.2. 中核的構成要素

このフレームワークは、幾何学的基底の事前学習と下流タスクへの射影の 2 つの段階で構成されます。

A. 学習可能な幾何学的基底

SCGFM は、$K$個の幾何学的基底 $\{B_k\}_{k=1}^K$ の有限集合を学習します。各基底 $B_k$ は、有限測度空間 $( [M], d_k, \mu_k )$ として定義されます：

• メトリック（$d_k$）：$M$ 個のノードを持つ標準的なグラフ構造の辺の重みをパラメータ化する、学習可能な対称かつ対角成分がゼロの行列 $B_k \in [0, 1]^{M \times M}$ として表現されます。
• 測度（$\mu_k$）： well-defined な結合を確保するために、一様分布に固定されます。

これらの基底は collectively、共有された構造的座標系を形成します。

B. Gromov–Wasserstein (GW) による構造的整合

入力グラフ $G$ は、Gromov–Wasserstein (GW) 距離を用いて基底に整合されます。スケーラビリティを確保するため、この手法はメトリック構造を 1 次元スライスに射影することで、計算複雑性を $O(N^3)$ から準線形 $O(N \log N)$ に削減する**スライス Gromov–Wasserstein (SGW)**を採用します。

グラフ $G$ について、各基底 $B_k$ への構造的差異は $\delta_k = d_{GW}(G, B_k)$ として計算されます。これらの距離は softmax 関数を介して構造的座標ベクトル $w$（重み）に変換されます：
$$w_k = \frac{\exp(-\delta_k / \tau)}{\sum_j \exp(-\delta_j / \tau)}$$
このベクトル $w$ は、共有された幾何学的空間におけるグラフの表現として機能します。

C. 特徴の再エンコーディング

固定された次元を仮定せずに特徴の非互換性に対処するため、SCGFM は構造認識型の特徴再エンコーディング機構を採用します：

1. 輸送計画：GW 計算中に得られる最適輸送計画 $T_{ik}$ は、入力グラフのノードを幾何学的基底にマッピングします。
2. 射影：ノード特徴は $T_{ik}$ を用いて集約され、基底に射影され、統合された特徴行列 $H(G)$ が生成されます。
3. 統合：このプロセスは、構造にアンカーされたノード表現を統合し、元の特徴次元に依存しない状態にします。

D. 訓練目的

事前学習の目的関数は、3 つの損失の重み付き和を最小化します：

1. GW 再構成損失（$L_{gw}$）：入力グラフと GW 重心（基底の重み付き組み合わせ）の線形代理モデルとの間の距離を最小化します。
2. 統計的再構成損失（$L_{rec}$）：デコーダ $f(\cdot)$ が $w$ からグラフレベルの統計量（次数ヒストグラム、クラスタリング、モチーフ）を再構成し、構造的忠実度を確保します。
3. 多様性正則化（$L_{div}$）：基底間のペアごとの分離を強制し、崩壊を防ぎ、それらが構造的空間を横断することを保証します。

2.3. 下流表現

最終的なグラフ埋め込み $z(G)$ は、以下のものを連結したものです：

1. 構造的座標 $w$。
2. 再構成された統計量 $f(w)$。
3. 射影された特徴 $vec(H(G))$。

この統合された埋め込みは、凍結されたエンコーダと軽量な分類器（例：プロトタイプネットワーク）を介して、下流タスク（ノード分類またはグラフ分類）に使用されます。

3. 主要な貢献

1. 構造中心の GFM：データセット固有のアーキテクチャや特徴前処理に依存せず、共有された幾何学的座標系に依存することで、異質なグラフデータセット間での転移を可能にする新しいフレームワーク。
2. 幾何学的基底と潜在空間：幾何学整合の潜在空間を誘発する学習可能な幾何学的基底の導入。著者は、この空間内の距離が本質的な GW グラフ幾何と強く相関することを示しています。
3. 特徴の柔軟性：構造的整合を通じて異質なノード特徴を統合する機構により、固定された特徴次元やドメイン固有の前処理の必要性を排除します。
4. 理論的保証：学習された構造的座標と再構成された統計量が GW 距離に関してリプシッツ連続であることを証明し、安定性を保証します。

4. 実験結果

著者は、5-shot フューショット学習プロトコル下で、5 つのドメイン（分子、ソーシャルネットワーク、学術、E コマース、合成）にわたる12 のデータセットにおいて、グラフレベルおよびノードレベルの分類の両方に対して SCGFM を評価しました。

• 性能：SCGFM は、従来の GNN（GCN、GIN、GAT）、自己教師あり学習手法（GraphCL、GraphMAE）、既存の GFM（GCOPE、RiemannGFM、GIT）を含む強力なベースラインを一貫して上回りました。
  • グラフ分類：ドメイン内およびドメイン間精度において優れた性能を達成し、特に大きな構造的シフトによりベースラインが偶然レベルまで低下したCOLORS-3データセットにおいて顕著でした。
  • ノード分類：ソースに依存しない挙動を示しました。例えば、Redditデータセットでは、事前学習ドメインに関係なく性能は高水準（約 84%）を維持しました。これは、モデルが高次元のセマンティック特徴を線形分離性が保証される空間（Cover の定理）に射影する能力に起因します。
• スケーラビリティ：SCGFM は500 万ノードのグラフにスムーズにスケーリングし、すべての手法の中で最低のピークメモリ消費量（約 12 GB）を維持しました。競合する手法（GAT、GIT）は、より低いスケールでメモリ不足エラーに直面しました。
• アブレーション研究：
  • 特徴優位なデータセット（例：Cora）では、射影された特徴 $vec(H)$ が決定的でした。これらを除去すると、性能が壊滅的に低下しました。
  • 構造優位なデータセット（例：PROTEINS、MUTAG）では、幾何学的座標 $w$ が性能の主要な駆動力でした。
  • 再構成損失と多様性損失の両方が、すべてのモダリティにわたる安定した訓練に不可欠でした。
• 解釈可能性：可視化により、学習された基底が明確な幾何学的モチーフ（高密度なクラスター、リングとテールのパターンなど）に特化し、訓練中に非構造的なパターンから明確なトポロジー的プリミティブへと進化することが示されました。
• 等長性：潜在ユークリッド距離は、真の GW 距離と強い線形相関（$\rho \approx 0.70$）を示し、埋め込みが本質的なグラフ幾何を保持していることを確認しました。

5. 意義と主張

本論文は、SCGFM がグラフトークニゼーションやドメイン依存型の GFM に対する原理的な代替案を提供すると主張しています。グラフを測度空間としてモデル化し、GW 距離を利用することで、SCGFM はトポロジーとセマンティクスを成功裡に分離しました。

著者は、彼らのアプローチが以下の点で優れていることを強調しています：

• アーキテクチャの変更なしに、異なるドメイン間で頑健に一般化する。
• リプシッツ連続性の保証を通じて理論的な安定性を提供する。
• 正確な GW 計算の計算ボトルネックを SGW 近似によって克服し、大規模グラフに効率的にスケーリングする。
• データセットの特性に応じて構造的またはセマンティックな信号のいずれかを効果的に活用することで、データモダリティに適応する。

この研究は、特徴中心およびトークンベースのアプローチの限界を克服する、統合された構造中心のパラダイムへの一歩として位置づけられています。