技術概要：関係性を語る：不正検出のためのエンドツーエンド LLM-GNN ソフトプロンプトフレームワーク

1. 問題定義

本論文は、**弱テキスト属性グラフ（Weak-TAG）**シナリオにおける不正検出への大規模言語モデル（LLM）の展開という課題に取り組む。実世界の不正検出システム（例：金融ネットワーク、オンラインレビュー）では、厳格なプライバシーおよびセキュリティ制約により、グラフには豊富なテキストデータが欠如し、純粋に数値的な特徴のみを含むことがよくある。

既存のアプローチはこの文脈において、主に 2 つの限界に直面している：

1. テキストへの依存：現在の LLM ベースの手法のほとんどは、豊富なテキスト属性に強く依存しており、テキストデータが存在しない場合には無効となる。
2. ハードプロンプトによる特徴の歪み：テキスト依存を回避しようとする先駆的な手法は、グラフ構造を自然言語に線形化するために「ハードプロンプト」を使用することが多い。このプロセスは複雑なトポロジーを平坦化し、構造的意味の不一致と特徴の歪みを引き起こす。これは、関係性の意味が離散テキストへの変換中に失われるためである。
3. 多関係性の複雑さ：不正行為は、しばしば複雑な多関係性の相互作用を伴う。現在のグラフニューラルネットワーク（GNN）手法は、異なるエッジタイプにわたる深い意味情報を捉えることに苦慮しており、既存の LLM-GNN フレームワークは、凍結された LLM や軽量な線形プロジェクタに依存することが多く、構エンコーディングと意味推論の間の深い整合性を確立できていない。

2. 手法：LGSPF フレームワーク

著者は、テキスト属性に依存することなく、多関係グラフ構造と LLM の意味空間のギャップを埋めるために設計されたエンドツーエンドのアーキテクチャである**LLM-GNN ソフトプロンプトフレームワーク（LGSPF）**を提案する。このフレームワークは、3 つの相関する段階で動作する：

A. 多関係グラフ特徴エンコーディング

複数の関係性における構造パターンを捉えるために、LGSPF は並列 GNN エンコーダを採用する。

• デカップリング：元の多関係グラフは、各関係タイプに対応する $m$ 個の同質サブグラフに分解される。
• 独立したブランチ：各サブグラフに対して、独立した GNN ブランチ（GraphSAGE としてインスタンス化）が展開される。重要なのは、ブランチ間で重みが共有されず、各関係タイプに対して固有の構造的意味を抽出できる点である。
• 投影：すべての GNN ブランチからの出力埋め込みは、LLM の埋め込み次元（$d_{emb}$）に投影され、シームレスな統合を可能にする。
• 集約：モデルは、構造的な情報損失を防ぎ決定論的なメッセージパッシングを確保するために、ミニバッチサンプリングではなくフルバッチ近傍集約を使用する。

B. ソフトプロンプトと意味マッピング

グラフ構造を自然言語の説明（ハードプロンプト）に変換する代わりに、LGSPF はソフトプロンプトを利用する。

• ハイブリッドテンプレート：自然言語指示（$T_{inst}$, $T_{desc}$, $T_{quest}$）と特殊トークン（$s_1, \dots, s_m$）を含む統合プロンプトテンプレートが構築される。
• 語彙の拡張：LLM の語彙は、異なる関係タイプのインターフェースとして機能するこれらの特殊トークン（$S = \{s_1, \dots, s_m\}$）を含むように拡張される。
• 動的注入：フォワードパス中、並列 GNN によって抽出された連続的な構造埋め込み（$h_{v_i, r_j}$）は、プロンプトシーケンス内の対応する特殊トークンの初期埋め込みを動的に置き換える。これにより、LLM はテキストベースのシリアライゼーションの離散化や断片化の問題を回避し、連続的で高次元の構造テンソルを直接処理できる。

C. エンドツーエンド最適化

このフレームワークは、因果言語モデリングのパラダイム下での条件付きテキスト生成問題として不正検出を扱う。

• 共同トレーニング：システムはエンドツーエンドで最適化される。LLM の意味フィードバックは、勾配逆伝播を介して GNN エンコーダに伝播される。
• パラメータ効率：計算コストを管理するため、LoRA（Low-Rank Adaptation）は LLM のアテンション層にのみ適用され、GNN パラメータは学習可能のまま保持される。
• 目的：損失関数は、生成されたテキスト（例：「不正」または「正常」）と真のラベルとの間の不一致を最小化し、深い構造的意味の整合性を確保する。

3. 主要な貢献

本論文は、3 つの主要な貢献を概説している：

1. LGSPF フレームワーク：Weak-TAG シナリオにおける不正検出のために特別に設計されたエンドツーエンドの LLM-GNN ソフトプロンプトフレームワークの提案。これにより、多関係グラフ構造と LLM の意味空間が効果的に橋渡しされる。
2. アーキテクチャの革新：微細な多関係特徴抽出のための並列 GNN エンコーダ、特徴の歪みなくグラフ構造と LLM 推論をシームレスに橋渡しするソフトプロンプト機構、そして深い構造的意味整合性のためのエンドツーエンドトレーニングパラダイムの導入。
3. 実証的検証と解釈可能性：3 つの多様な不正検出ベンチマーク（Amazon、YelpChi、S-FFSD）における最先端のパフォーマンスの実証。さらに、このフレームワークは不正行動の意味的解釈可能性を高め、ブラックボックス予測から行動認識へと検出を移行させることが示された。

4. 実験結果

実験は 3 つのデータセットで行われた：Amazon（製品レビュー）、YelpChi（ホテル・レストランレビュー）、S-FFSD（模擬金融取引）。すべてのデータセットは、Weak-TAG 設定をシミュレートするために、数値ノード特徴のみを含むように処理された。

• パフォーマンス：LGSPF はすべてのデータセットで最先端のパフォーマンスを達成し、古典的な GNN ベースライン（GCN、GAT、CARE-GNN など）およびテキスト平坦化 LLM ベースライン（ゼロショットおよびインストラクト LLM バリエーションを含む）を大幅に上回った。
  • Amazonデータセットにおいて、LGSPF は AUC 0.9805を達成し、最良の GNN ベースライン（BWGNN）の 0.9717 を上回った。
  • YelpChiにおいて、LGSPF は AUC 0.9208を達成し、最良の GNN（RGTAN、0.9194）を上回った。
  • S-FFSDにおいて、LGSPF は AUC 0.8719を達成し、最良の GNN（GTAN、0.8299）を上回った。
• アブレーション研究：
  • LLM バックボーンを MLP に置き換えるか、自然言語の説明を除去する（孤立したグラフトークンのみを使用）と、パフォーマンスが大幅に低下した。これは、LLM の推論能力とテキスト説明が提供する意味的アンカーの両方が必要であることを確認した。
  • エンドツーエンドの共同最適化を除去する（GNN を凍結する）こともパフォーマンスの低下を招き、構造的特徴を LLM の認知空間に整合させることの利点を浮き彫りにした。
• 感度分析：7B パラメータの LLM バックボーン（Qwen2.5-7B）は、推論能力と適応効率の間の最適なバランスを提供することが判明した。GNN エンコーダについては、近傍集約の深さ $K=2$ がピークパフォーマンスをもたらした。より深い層（$K \ge 3$）で見られる過平滑化の問題を回避するためである。
• 解釈可能性：YelpChi における単一関係の実験では、個々の関係が特定の洞察を提供する一方で、統合された多関係視点（フルビュー）が単一ビューの平均を明確に上回ることが示された。これは、モデルが複数の関係間の内在的な相関を掘り起こす能力を証明している。

5. 意義と主張

本論文は、Weak-TAG 環境における LLM が直面する「意味のジレンマ」を解決することで、グラフ不正検出において LGSPF が重要な進歩を表すと主張している。離散的なテキスト化ではなく連続的なソフトプロンプトを利用することで、このフレームワークは、ハードプロンプトアプローチでは通常失われる高次元の構造情報を保持する。

著者は、彼らの仕事が単純なブラックボックス予測を超えて透明な行動認識へと分野を前進させると強調している。複雑な多関係トポロジーを解釈するために LLM の深い意味推論能力を活用することで、LGSPF は検出精度を向上させるだけでなく、不正行動の解釈可能性も高める。これは、豊富なテキストデータが利用できないプライバシーに敏感な領域において特に価値があり、将来の不正検出システムのための有望なパラダイムを提供する。

著者は、超大型グラフに対する計算スケーラビリティの限界と、静的グラフへの現在の依存について認めており、今後の研究では動的時系列グラフとより大規模な基盤モデルの探求を行うと述べている。