How to Make LMs Strong Node Classifiers?

技術要約: AUGLM – ノード分類のための拡張グラフ言語モデル（Augmented Graph Language Model）

問題提起
言語モデル（LM）はグラフ学習タスクにおいて有望な成果を示しているが、既存のアプローチによるテキスト属性グラフ（TAG）のノード分類手法は、性能とアーキテクチャの柔軟性の間の根本的なトレードオフに直面している。InstructGLMやLLaGAといった最先端（SOTA）の手法は、各ノードに対して固有のトークンで語彙を拡張したり、トポロジーを認識した埋め込みをトークンスペースに注入したりするなど、LMのアーキテクチャを修正することで高い成果を達成している。これらの修正は効果的ではあるものの、バックボーンとなるLMの汎用性を損ない、多様なデータセット間でのシームレスなマルチタスク学習を妨げ、またアーキテクチャへのアクセスが不可能なプロプライエタリなモデルやクローズドソースモデルの使用を制限してしまう。本研究が取り組む中心的な問いは、「既存の、アーキテクチャの変更を必要としない、オフザシェルフのテキスト・トゥ・テキスト型指示チューニング済みLMを用いて、いかにして競争力のあるノード分類性能を達成できるか？」である。

手法: AUGLM
著者らは、アーキテクチャの変更ではなくデータ拡張戦略を通じて標準的なLMを強化するフレームワークであるAUGLM（Augmented Graph Language Model）を提案する。AUGLMは、LMの元の構造を維持したまま、入力コンテキストを豊かにすることで、ノード分類をテキスト・トゥ・テキスト・タスクとして再定式化する。このフレームワークは、以下の3つのコアコンポーネントに基づいている：

1. 検索ベースの集約（Retrieval-Based Aggregation）:
   単純なマルチホップ近傍集約（これはノイズを導入したり「近傍爆発」を引き起こしたりする可能性がある）に頼る代わりに、AUGLMは豊かなコンテキスト情報を提供するために、2つの補完的な検索戦略を採用している。

   • トポロジー検索（Topological Retrieval）: 固定されたホップ距離ではなく、グラフ構造に基づいてターゲットノードに最も関連性の高い近傍を特定するために、パーソナライズド・ページランク（PPR）を利用する。これら上位K個のPPR近傍のテキスト特徴量を結合して、構造的コンテキストを形成する。
   • プロトタイプ・セマンティック検索（Prototypical Semantic Retrieval）: 検索拡張生成（RAG）およびグラフ・トランスフォーマーに着想を得たこのモジュールは、すべての非ターゲットノードのテキスト特徴量を外部コーパスとして扱う。まず、軽量なGNNを訓練してノード予測を生成させることで、「プロトタイプ」（各クラスの代表的な例）を抽出する。各クラスにおける信頼度の高い例がプロトタイプとして選択される。システムは、ターゲットノードのテキストに対して最も意味的に類似したプロトタイプ（およびそれに関連するPPR近傍）を検索する。

2. 分類器によるガイダンス（候補のプルーニング / Classifier Guidance）:
   LMが本来持つグラフ・トポロジーへの理解の限界に対処するため、AUGLMは専門特化したモデルからのガイダンスを取り入れる。事前訓練された軽量なGNNが、各ノードに対して上位$I$個の候補ラベルを予測する。これらの候補はテキストに変換され、プロンプトに含まれる。この戦略は探索空間を効果的に絞り込み、LMが全ラベル空間ではなく、トポロジーに基づいた高度に関連性の高い候補間の識別に注力できるようにする。

3. 訓練と最適化:
   フレームワークには、プロトタイプと候補を生成するための軽量なGNN（$\psi$）、セマンティック・リトリーバー（$\phi$）、およびバックボーンLM（$\theta$）の3つのパラメータ化されたモジュールが含まれる。

   • GNNは独立して事前訓練される。
   • セマンティック・リトリーバーは、検索確率を正解ラベルの生成確率と一致させるための分布一致損失（KLダイバージェンス）を用いて訓練される。
   • バックボーンLMは、拡張された入力プロンプトに対して、標準的なトークン単位の負の対数尤度（NLL）損失を用いてファインチューニングされる。
   • 極めて重要な点として、リトリーバーとLMの計算グラフは、特定の訓練フェーズにおいてストップグラディエント演算を介してデカップリングされており、効率的なバックプロパゲーションを保証している。

主な貢献

• アーキテクチャの保存: 先行するSOTA手法とは異なり、AUGLMはLMのアーキテクチャや語彙の変更を一切必要とせず、あらゆるオフザシェルフのテキスト・トゥ・テキストLMの使用を可能にする。
• デュアル戦略による拡張: 単純な近傍集約の限界を克服するために、トポロジー的（PPR）情報とセマンティック（プロトタイプベース）情報を組み合わせたハイブリッドな検索メカニズムを導入した。
• 軽量なガイダンス: GNNからLMへ、候補ラベルのプルーニングを通じてトポロジー的な帰納バイアスを転送する新しい手法であり、LMの内部パラメータを変更することなく性能を向上させる。
• マルチタスクの柔軟性: 本フレームワークは、データセット固有のトークン拡張を必要とせずに、多様なデータセット上での共同訓練をサポートしており、これはアーキテクチャ変更型のアプローチで失われがちな能力である。

実験結果
著者らは、Cora、Pubmed、ogbn-arxiv、ogbn-productsの4つの実世界のTAGデータセットを用いてAUGLMを評価した。

• 性能: Flan-T5をバックボーンとして装備したAUGLMは、SOTAのテキスト出力ノード分類器（InstructGLMやLLaGAを含む）を一貫して上回った。
• ベクトル出力モデルとの比較: AUGLMは、純粋にテキスト領域で動作しているにもかかわらず、最高のベクトル出力モデル（TAPEやGLEM+RevGATなど）と同等、あるいは場合によっては（例：ogbn-productsにおいて）それを凌駕する性能を達成した。
• アブレーション研究: 実験により、すべてのコンポーネント（トポロジー検索、セマンティック検索、およびラベル・プルーニング）が性能向上に寄与することが確認されたが、その相対的な重要性はデータセットによって異なる。
• 共同訓練: 4つのデータセットすべてで共同訓練されたモデルは、各データセットに対して個別に訓練されたモデルと同等の性能を達成し、多様なグラフ構造を横断して性能低下することなく汎化できる本フレームワークの能力を実証した。

意義と主張
本論文は、AUGLMを、専門特化したタスク固有のノード分類器と、汎用的な基盤モデルとの間の溝を埋めるための重要なステップとして位置づけている。高精度なグラフ学習が、アーキテクチャの変更ではなく入力の拡張を通じて達成可能であることを示すことで、本研究は、より多用途で広く適用可能なグラフ学習モデルへの道を示唆している。著者らは、このアプローチが指示チューニングの利点（具体的には、多様なデータセットでの共同訓練能力）を維持しつつ、従来のグラフLM統合手法の柔軟性の欠如を克服できると主張している。結論として、現在のLMにはグラフ構造を理解する上での固有の限界があるものの、戦略的なデータ拡張を通じてこれらを効果的に軽減できることが示されており、複数のグラフ学習タスクにおいて優れた性能を発揮する統一されたモデルへの道を開くものである。