技術要約：テキスト属性グラフにおけるOOD検出のためのLG-Plug

問題定義

本論文は、テキスト属性グラフ（Text-Attributed Graphs: TAGs）における分布外（Out-of-Distribution: OOD）検出の課題に取り組んでいる。TAGsは、グラフ構造（エッジ）とテキスト記述（ノード）の両方が関連付けられたノードで構成される。グラフニューラルネットワーク（GNN）は、意味的情報と構造的情報を共同で学習することで、イン分布（In-Distribution: ID）データのモデリングには効果的であるが、未知のテキストパターンや構造的構成を持つOODノードに対しては、過剰に自信満々な誤った予測を出してしまうことがよくある。

既存の解決策には、主に2つの制限がある：

1. トポロジー駆動型手法： これらはOODノードを検出するために構造的な隣接関係に依存しているが、通常、ノードテキストを浅い特徴量（例：Bag-of-words）として扱うため、深い意味的知識を活用できていない。
2. LLMベースの手法： 近年のアプローチでは、大規模言語モデル（LLM）を使用して擬似的なOOD事前分布を合成している。しかし、これらは**信頼性と情報量の不均衡（reliability-informativeness imbalance）**という問題に直面している：
   • 信頼性重視の手法（IDラベルを用いたプロンプティング）は、IDとの重複がない安全なOODサンプルを生成するが、意味的に非現実的になりやすい。
   • 情報量重視の手法（ラベルのないノードのサンプリング）は、現実的な意味論を生成するが、真のIDノードをOODと誤分類してノイズを導入するリスクがある。
   • さらに、これらの手法は多くの場合、専用のエンドツーエンドのアーキテクチャを必要とするため、既存のトポロジー駆動型検出器との互換性に欠ける。

著者らは2つの研究課題を提示している：どのようにして信頼性と情報量の両方を備えたOOD事前分布を生成するか？ また、既存のトポロジー駆動型検出器と互換性を保ちつつ、どのようにこれらの事前分布を活用するか？

手法：LG-Plug

著者らは、既存のトポロジー駆動型OOD検出器の基礎となるアーキテクチャを変更することなく、LLM由来の意味的事前分布でこれらを拡張するように設計されたフレームワークであるLG-Plug（LLM-Guided Plug-and-play）を提案する。このフレームワークは、主に3つのステージで構成される。

1. トポロジーとテキストの表現アライメント

IDノードとOODノードを区別できる微細なノード埋め込みを得るために、LG-Plugはグラフ表現とテキスト表現を整列（アライメント）させる：

• エンコーダ： 2層のGCNがグラフ構造をエンコードし、Transformerベースのエンコーダが生のノードテキストを処理する。
• アライメント目的関数：
  • ノードレベルのアライメント： 対称的なコントラスティブ損失を用いて、各ノードのグラフ埋め込み（$Z$）とテキスト埋め込み（$H$）を整列させる。
  • エッジレベルのアライメント： 接続されたノード間において、トポロジー的類似度行列（$Z$から導出）とテキスト的類似度行列（$H$から導出）の間の不一致を最小化する。
• 目的： この共同学習により、IDノードとOODノードが、意味的および構造的な手がかりの両方に基づいて初期段階で分離可能な埋め込みが生成される。

2. LLMによる合意駆動型のOOD露出（OOD Exposure）

個々のノードに対してLLMに問い合わせる（これはノイズが多くコストも高い）代わりに、LG-PlugはクラスターレベルでOOD露出を生成する：

• クラスタリング： ラベルのないノードは、整列された埋め込み空間内でクラスター化される。
• 代表的なノードの選択： セマンティックな一貫性を確保するため、各クラスターから重心に最も近い少数のノードを選択する。
• 反復的なプロンプティングとコードブック：
  • 既知のIDクラスで初期化された軽量なカテゴリ・コードブックを用意する。
  • クラスター内の代表的なノードのバッチに対して、順次LLMにクエリを送る。プロンプトでは、LLMに対し、ノードを既存のカテゴリに割り当てるか、新しいOODカテゴリを作成するかを決定させる。
  • コードブックは、LLMの割り当てに基づいて動的に更新される。
• 合意フィルタリング（Consensus Filtering）： プロセスは、バッチがセマンティックな合意に達するか（すべてが同じカテゴリに割り当てられる）、または試行回数の上限に達するまで繰り返される。
• OOD露出の選択： コードブックから上位$K$個のカテゴリを選択する。これらのカテゴリにIDクラスが含まれていない場合、それらに割り当てられたノードがOOD露出セット（$V_{exp}$）に追加される。これにより、生成されるOOD事前分布が信頼性が高く（IDとの重複がない）、かつ情報量が多い（クラスターの合意に基づいている）ことが保証される。
• 効率性： クラスターサンプリングとコードブックを使用することで、網羅的なノードレベルのプロンプティングと比較して、LLMのクエリコストを大幅に削減している。

3. スコア正則化

生成されたOOD露出セット（$V_{exp}$）は、既存の検出器を強化するための正則化項として使用される：

• 検出器のOODスコアに対して、マージンベースの損失（$L_{reg}$）が適用される。
• これは分離マージンを強制する：IDノードは低いOODスコアを持ち、$V_{exp}$内のノードは高いOODスコアを持つ必要がある。
• これにより、LG-Plugはアーキテクチャの変更なしに、既存のトポロジー駆動型検出器（例：GNNSafe, GRASP）にシームレスに「プラグイン」として統合できる。

主な貢献

1. 洞察： 本論文は、現在のLLMベースのOOD生成における信頼性と情報量のトレードオフ、およびこれらの手法とトポロジー駆動型アプローチとの不適合性を特定した。
2. 新しい手法（LG-Plug）： トポロジーとテキストのアライメント、および合意駆動型のLLMプロンプティングを用いて、高品質なOOD事前分布を生成するプラグアンドプレイのフレームワーク。
3. 性能： 既存の検出器を改善しながら、効率性を維持することで、最先端の結果（SOTA）を達成している。

実験結果

著者らは、6つのTAGベンチマーク（Cora, CiteSeer, PubMed, WikiCS, Books-History, ogbn-arxiv）を用いて、FPR95（真陽性率95%における偽陽性率）およびAUROCを用いてLG-Plugを評価した。

• トポロジー駆動型手法に対する改善： LG-Plugをトポロジー駆動型のベースライン（GNNSafe, GRASP）に統合することで、ベースライン単体と比較してFPR95を一貫して7%以上減少させた。
• LLMベースの手法との比較： LG-Plugを統合した検出器は、スタンドアロンのLLMベースのOOD手法（LLMGuard, GLIP-OOD, GOE-LLM）よりも、FPR95の減少において5%以上優れた性能を示した。
• アブレーション研究： 表現アライメントまたはクラス内フィルタリングメカニズムのいずれかを削除すると、大幅な性能低下を招き、両方のコンポーネントの必要性が確認された。
• 効率性： LG-Plugは、クラスターベースのサンプリング戦略により、非常に少ないLLMトークンと短い時間（Coraで70秒。ベースラインは295秒〜5400秒）を要し、優れた効率性を示した。
• 定性的分析： 生成されたOOD露出のワードクラウド可視化により、LG-Plugは（IDカテゴリとの重複を最小限に抑えつつ）明確で高頻度なOODセマンティクス（例：「evolutionary」、「theoretical」）を捉えていることが示された。対照的に、ベースラインはセマンティックなシフトやIDノイズを示していた。

重要性と主張

本論文は、TAGsにおける効果的なOOD検出には、トポロジーとテキストの両方が重要であると主張している。トポロジーは構造的な文脈を提供する一方で、OODノードを区別するには深い意味的理解が不可欠であるとしている。LG-Plugは、以下の方法によってトポロジー駆動型とLLMベースのアプローチの間の溝を埋めている：

• 個別のノードラベル付けに伴う落とし穴を避け、合意駆動型のクラスタリングを通じて、信頼性が高く情報量が多いOOD事前分布を生成するためにLLMを活用する。
• トポロジー駆動型検出器のエコシステムとの互換性を維持し、アーキテクチャ全体を再学習することなく、意味的な監督（supervision）の恩恵を受けられるようにする。
• グラフのサイズからLLMのクエリコストを切り離した、計算効率の高いソリューションを提供する。

著者らは、LG-Plugが、脅威インテリジェンスや生物医学研究のような、分布シフトが一般的である実世界の展開において、GNNをより安全にするための堅牢な一歩であると結論付けている。