技術的サマリー：サブグラフレベルのユニバーサルプロンプトチューニング（SUPT）

問題定義

事前学習済みグラフニューラルネットワーク（GNN）の下游タスクへの適応は、重大な課題に直面している。「事前学習・微調整」という従来のフレームワークは、事前学習の目的（例：エッジ予測）と下游タスク（例：グラフ分類）との間の不一致に悩まされ、破滅的な忘却や汎化能力の制限を引き起こすことが多い。さらに、微調整には膨大な数のパラメータの更新が必要であり、リソース集約的である。

自然言語処理（NLP）やコンピュータビジョンにおいて、パラメータ効率の良い代替手段としてプロンプトチューニングが登場したが、グラフへの適用はまだ十分に探求されていない。既存のグラフプロンプトチューニング手法、例えば Graph Prompt Feature（GPF）とその拡張である GPF-plus は、事前学習戦略全体にわたる普遍性を提供しているが、比較的単純なプロンプトメカニズムに依存している。GPF はすべてのノードに一様なプロンプトを適用するのに対し、GPF-plus はノードタイプに基づいてノード固有のプロンプトを割り当てる。著者らは、これらのアプローチがグラフ構造に内在する複雑で微細な文脈、特に局所的なサブグラフ内の微妙な関係性を十分に把握する能力を欠いていると主張する。パラメータ効率や普遍性を犠牲にすることなく、サブグラフレベルの文脈を捉えることができるユニバーサルなプロンプトチューニング手法が必要とされている。

手法：サブグラフレベルのユニバーサルプロンプトチューニング（SUPT）

本論文では、ノードレベルまたはグローバルレベルではなくサブグラフレベルでプロンプト特徴を割り当てる手法SUPTを導入する。SUPT はグラフの入力特徴空間内で動作し、固定された事前学習済み GNN によって処理される前にノード特徴を変更する。

中核メカニズム

入力ノード特徴（$x_i$）のみに基づいてプロンプト重みを計算する GPF-plus と異なり、SUPT は単純な GNN（例：GCN または SGC）から導出されたノードの文脈情報に基づいてプロンプト割り当てスコアを計算する。

$i$番目のノードに対するプロンプト特徴 $p_i$ は、学習可能な基底ベクトル（$b_j$）の重み付き和として計算される：
$$p_i = \sum_{j=1}^{k} \sigma(\alpha)_{i,j} b_j$$
ここで、$\alpha$ は $m$ ホップにわたる GNN 集約から導出される：
$$\alpha = (\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2})^m (X \oplus \sum_{j=1}^k b_j)W$$
ここで、$W$ は学習可能な重み行列、$k$ はサブグラフ（基底ベクトル）の数、$\sigma$ は非線形演算である。

2 つの変種

著者らは、$\sigma$ の定義に基づいて SUPT の 2 つの変種を提案する：

1. SUPTsoft：クラスターベースのグラフプーリング（例：DiffPool）に触発され、この変種は列方向のソフトマックス関数を使用する。これは、すべてのノードを $k$ 個の基底すべてに、異なる程度の影響（ソフト割り当て）で割り当てる。これにより、すべてのノードがプロンプトを受け取るが、その大きさは学習されたクラスター割り当てに依存する。
2. SUPThard：ノード選択型グラフプーリングに触発され、この変種はトップランク選択メカニズムを採用する。各基底に対して、プロンプトを受け取るノードとして上位 $\lceil rN \rceil$ 個のノード（ここで $r$ はプーリング比率）のみが選択される。選択されなかったノードは、プロンプトの追加なしに元の特性を保持する。これにより、特定サブグラフへのプロンプトの疎なハード割り当てが作成される。

理論的普遍性

本論文は、SUPT が普遍性を維持することを示す理論的解析（定理 1）を提供する。プロンプトがグラフ全体ではなくノードのサブセット（サブグラフ $S \subseteq V$）にのみ適用される場合でも、このフレームワークは理論的には任意のプロンプト関数と同じ性能上限を達成する能力を有している。これは、サブグラフレベルのプロンプティングが、ユニバーサルな適応に必要な表現力を本質的に制限しないことを確認するものである。

主な貢献

1. サブグラフレベルの粒度：主な貢献は、ノードレベルまたはグローバルなプロンプティングからサブグラフレベルのプロンプティングへの転換である。これにより、一様またはタイプ固有のプロンプトが見逃す複雑な文脈のニュアンスをモデルが捉えることが可能になる。
2. パラメータ効率：SUPT は、フル微調整に比べてはるかに少ない調整可能パラメータ（事前学習済みモデルのパラメータの 0.2% 未満）を必要とし、GPF/GPF-plus と同等かやや高いレベルであるが、優れた性能を発揮する。
3. 普遍性：この手法は、事前学習戦略（例：Infomax、属性マスキング、文脈予測、グラフ対照学習、エッジ予測）に依存しないように設計されており、多様な事前学習目的に対して効果的に機能する。
4. 理論的保証：本論文は、サブグラフレベルのプロンプティングが理論的に任意のプロンプト関数を模倣できることを示す理論的証明を確立し、このアプローチの多様性を検証している。

実験結果

著者らは、タンパク質機能予測や分子特性予測を含む9 つの下游データセットと5 つの事前学習戦略で SUPT を評価し、合計 45 の実験設定を行った。

• フルショットシナリオ：
  • SUPT は 45 回の実験のうち42 回でフル微調整（FT）を上回った。
  • FT と比較して平均2.5% 以上の性能向上を達成した。
  • 対照的に、GPF と GPF-plus は 45 件中 27 件で FT を上回っただけであった。
• フューショットシナリオ（50ショット）：
  • SUPT は 45 回の実験のうち41 回で卓越した性能を示した。
  • FT と比較して平均6.6% 以上の性能増加を達成した。
  • 性能向上はフルショット設定に比べてフューショット設定で顕著に高く、ラベル付きデータが不足している状況におけるこの手法の有効性を浮き彫りにしている。
• 効率性：SUPThard はトップランク選択操作により計算コストがわずかに高くなるが、追加の推論時間は無視できるレベルである（例：BBBP においてグラフあたり約 $1.86 \times 10^{-4}$ 秒）ため、実用的に実行可能である。

意義と主張

本論文は、既存手法が複雑なグラフ文脈を捉えるという限界に対処することで、グラフプロンプトチューニングにおける重要な進展として SUPT を位置づけている。サブグラフレベルの情報を活用することで、SUPT は効率性（最小限のパラメータ）と効果性（多様なタスクにおける最先端の性能）のバランスを達成する。

著者らは、単純なプロンプト（GPF など）は理論的には普遍性を持つが、複雑な文脈を把握する実用的な能力は限られていると強調する。SUPT は、さまざまな事前学習戦略に必要な普遍適用性を犠牲にすることなく、文脈を認識したサブグラフ割り当てを導入することで、このギャップを埋める。本研究は、データが制限されている場合やフル微調整のための計算リソースが制約されている場合など、事前学習済み GNN を適応させるための実用的かつ効率的な代替手段として SUPT が viable であることを示唆している。この研究は、プロンプトチューニングがグラフデータの構造的複雑さにどのように効果的に適応できるかという、より広範な理解に貢献する。