技術要約：LLMの特徴量はGNNを損なう可能性がある

問題提起

近年の文献では、大規模言語モデル（LLM）が生成したノード特徴量をグラフニューラルネットワーク（GNN）に統合することで、標準的なベンチマーク（TAPE、GLEMなど）における精度が向上することが広く報告されている。しかし、本論文はこれとは対照的な失敗モードを特定している。具体的には、純粋な入力結合（pure input concatenation）——すなわち、エンドツーエンドのLLMパイプラインが通常成功するような、共同学習、蒸留、またはプロンプト・コンディショニングを伴わない手法——を通じてLLM特徴量が導入された場合、同質性（homophily）の高いベンチマークにおいて性能が系統的に低下する場合がある。

著者らは、この「純粋な結合」というサブステップを分離して検証することで、特定の条件下（特に小サンプルかつ高次元の設定）において、LLM特徴量の追加がシグナルではなく干渉源として作用し、大幅な精度の低下を招くことを実証している。

手法

本研究は、LLM特徴量の影響を分離するために、9つのノード分類データセット（同質性レベル $h \in [0.05, 0.81]$ にわたる）を用いた厳密な実験設計を採用している。

• 実験設定:

  • 特徴量: 元の特徴量（$F_{orig}$、例：BoW、Word2Vec）に、LLM生成特徴量（$F_{LLM}$、SBERTでエンコードされたGPT-4o-miniによるTAPE説明文）を結合する。
  • バックボーン: アーキテクチャへの依存性をテストするため、MLPバックボーン（主要）およびGCN/GCNII/GATバックボーン（二次的）を利用する。
  • 分割: 主要な結果には標準的なPlanetoid公開分割（低ラベル・レジム：60–140個の訓練ラベル）を使用し、ランダム分割を用いてレジム依存性を検証する。
  • 指標: コアとなる指標は、$\Delta_{concat}$（$F_{orig} \parallel F_{LLM}$ と $F_{orig}$ 単独の間のテスト精度の差）である。

• 分析フレームワーク:

  • 直接対照: 干渉効果の希釈を避けるため、特定の連合（例：$\{F_{orig}, F_{LLM}\}$ 対 $\{F_{orig}\}$）を比較する。
  • シャプレイ分解: 12の有効な連合にわたる4因子分解（構造、$F_{orig}$、$F_{LLM}$、深さ）を行い、平均化によって特定の失敗モードが隠蔽されることを考慮しつつ、限界的な寄与を属性付ける。
  • アブレーション研究: 次元ペナルティ、重み減衰のアーティファクト、情報内容の効果を区別するために、$F_{LLM}$ をゼロ、元の特徴量のPCA投影、またはガウスノイズに置き換える制御実験を行う。
  • スケーリング分析: 結合コストと特徴量次元対訓練サンプル数の比率（$\sqrt{d_l/n}$）の関係に対して、べき乗則プロファイルを適合させる。

主な貢献と知見

F1: 干渉のレジム

低ラベルかつ高次元のレジム（具体的にはPlanetoid公開分割）において、LLM特徴量の純粋な結合は性能を低下させる。

• 観察: PubMedでは、LLM特徴量の追加によりMLPの精度が $-17.0 \pm 0.3$ パーセントポイント (pp) 低下する。Coraでは $-4.3 \pm 0.6$ pp 低下する。CiteSeerではノイズの範囲内での微々たる低下を示す。
• メカニズム: これは一般的な「次元の呪い」ではない。アブレーションの結果、純粋なガウスノイズが $-37.3$ pp の低下を引き起こすのに対し、実際のLLM特徴量は $-17.0$ pp の低下にとどまる。LLM特徴量は純粋なノイズに対して $\sim 20$ pp の「コンテンツ救済（content rescue）」を提供するが、ネットの結果としては、小サンプル設定における過学習により、依然として大幅なペナルティとなる。
• レジム依存性: より大きなランダム分割（50/25/25）を使用した場合、低下の大きさは $\le 1.2$ pp に圧縮される。これにより、問題がコンテンツ自体の欠陥ではなく、小サンプルによる過学習によって駆動されていることが確認される。

F2: LLM単体による識別能を通じた予測閾値

本論文は、結合の成否を予測する指標として、$\Delta_{sig}$（$F_{LLM}$ のみで訓練されたMLPの精度とランダムノイズとの差）を提案する。

• 閾値ルール: ブートストラップ法から導出された変化点 $\tau = 13.8$ pp が、レジムを分離する。
  • もし $\Delta_{sig} \le \tau$ ならば、結合コストは非正（おそらく悪影響を与える）。
  • もし $\Delta_{sig} > \tau$ ならば、結合コストは正（おそらく有益）。
• 性能: このルールは7/9のデータセットを正しく分類する。
• 同質性との比較: 同質性（$h$）は予測因子として極めて劣る（$r^2 = 0.06$）が、$\Delta_{sig}$ は有意に高い相関を示す（$r^2 = 0.38$）。

F3: メカニズムの分離

PubMedを用いたアブレーションを通じて、著者らは代替仮説を排除している。

• 次元数: LLM特徴量を同次元のゼロに置き換えても低下は見られない（$+0.1$ pp）。したがって、単純な次元の不一致によるものではない。
• 自己情報量: 元の特徴量のPCAに置き換えた場合、軽微な干渉（$-2.3$ pp）しか発生しない。
• 正則化: 重み減衰を半分にしても低下は変わらないため、重み減衰のアーティファクトではない。
• 結論: $-17$ pp の低下は、LLM特徴量の情報内容が有限サンプルの制約と相互作用することに特有のものである。

F4: シャプレイ分解の文脈

直接的な結合は負の効果を示すが、4因子シャプレイ分解によれば、$F_{LLM}$ は異質性の高いデータセットにおいて正の（しかし小さな）累積的な寄与を示している。これは、以前のベンチマークで報告されている集計的な「成功」が、生（raw）の結合コストを軽減する共同学習やセレクターモジュールに依存していることを浮き彫りにしている。

F5: スケーリング則

結合コストは、特徴量次元と訓練ラベルの比率に関して以下のべき乗則に従う：
$$|\Delta_{concat}| \propto \left(\sqrt{\frac{d_l}{n}}\right)^{1.31}$$
このプロファイル（$r^2 = 0.97$）は、$n=60$ における $-17$ pp の低下を説明し、$n$ が増加するにつれて（例：$n \approx 10^4$ で $< 1$ pp になるなど）コストが減衰することを予測する。

救済戦略

低-$\Delta_{sig}$ レジムに対する「安価な修正策」を評価する：

1. $F_{LLM}$ を削除する: 最も効果的な解決策である。LLMチャネルを完全に削除することで、ベースラインの精度（$72.1\%$）が回復し、あらゆる学習された修正策を厳格に上回る。
2. 学習可能なスカラーゲート: $F_{LLM}$ に適用される学習可能なスカラー $g$（0で初期化）を用いることで、ギャップの 89% を回復できる。しかし、それでもなお「削除」ベースラインよりも $\sim 1.8$ pp 低い（$p \approx 0.008$）。
   • 推奨事項: 下流のパイプラインが構造的にLLMチャネルの存在を必要とする場合（例：共有マルチタスク入力）にのみゲートを使用すること。それ以外の場合、チャネルを削除する方が優れている。

重要性と主張

本論文は、LLM特徴量が普遍的に有害であると主張しているのではない。代わりに、最も単純な統合方法（純粋な結合）が逆効果となる特定のレジムを特徴づけている。

• 先行研究との整合性: 本研究の結果は、利得を報告している集計ベンチマーク（Wu et al. [5] など）と矛盾しない。それらの利得は、今回観察された干渉を抑制するための、共同学習、変分EM、またはゲート付き融合モジュール（TAPEやGLEMに見られるもの）に起因している。
• 実用的なガイダンス:
  • 実務者は、採用前に $F_{orig}$ のみと $F_{orig} \parallel F_{LLM}$ のA/Bテストを実施すべきである。
  • $\Delta_{sig}$ は、レジム（助けになるか、妨げになるか）を解釈するためのレンズとして機能するが、A/Bテスト自体と同等の計算量を要するため、精密な事前フィルターにはならない。
  • 低-$\Delta_{sig}$ かつ低ラベルのレジムにおいては、「些細な修正」としてLLM特徴量を削除することが、しばしば最適な戦略となる。

本論文は、ヘルプフルからハームフルへの「符号の反転（sign flip）」が、小サンプル設定における純粋な結合という特定の設計選択によって引き起こされると結論付けている。LLM強化型GNNの集計的な成功は、この特定の干渉を緩和する、より洗練された統合用足場（scaffolding）に依存している。