論文「Learning Chain of Thoughts Prompts for Predicting Entities, Relations, and Even Literals on Knowledge Graphs」の技術的サマリー

この論文は、知識グラフ（KG）におけるリンク予測タスクを、従来の連続ベクトル空間に基づく埋め込みモデルから、大規模言語モデル（LLM）を用いた「文字列ベースの連鎖思考（Chain-of-Thought: CoT）プロンプト学習」へと転換する新しいアプローチを提案しています。提案手法 RALP（Reasoning with Automated Prompt Learning）について、問題定義、手法、貢献、結果、意義を以下に詳述します。

---

1. 問題定義と背景

従来の課題

知識グラフ埋め込み（KGE）モデル（TransE, DistMult など）はリンク予測において高い性能を発揮しますが、以下の根本的な限界を抱えています。

• 未観測エンティティ・関係への弱さ: 学習時に存在しなかったエンティティや関係（ゼロショット推論）に対しては性能が著しく低下する。
• リテラル（数値・テキスト）の扱いの難しさ: 数値や記述的なテキストを含むリテラルに対する推論が困難であり、回帰層やビンニング（区切り分け）を別途必要とする。
• 静的な表現: 学習済みのベクトル表現に依存するため、動的に変化するグラフへの適応が限定的。

提案する視点の転換

従来の KGE モデルがパラメータ $\Theta$（ベクトル）を持つスコア関数 $\phi_\Theta(h, r, t)$ を学習するのに対し、本論文ではパラメータ $\beta$（文字列プロンプト）を持つスコア関数 $\phi_{\beta \le c}$ を学習することを提案します。

• 入力：トリプル（またはその一部）
• 出力：LLM による推論プロセス（CoT）と、トリプルの真偽度・欠損値の予測
• 特徴：勾配（Gradient）にアクセスせず、プロンプトの最適化のみで学習を行う。

---

2. 手法：RALP (Reasoning with Automated Prompt Learning)

RALP は、LLM の推論能力をリンク予測タスクに活用し、自動的に最適化されたプロンプトを学習するフレームワークです。

2.1 核心となるアプローチ

• 文字列パラメータ化スコア関数:
  従来のベクトル埋め込みの代わりに、最大 $c$ トークンの文字列（プロンプト）$\beta$ を学習パラメータとみなします。このプロンプトは、LLM に対して「与えられた文脈から、欠損するエンティティ、関係、またはリテラルを推論し、信頼度スコアを付与する」よう指示します。
• 勾配なし最適化（MIPRO）:
  プロンプトの最適化には、勾配降下法ではなく、MIPRO（Bayesian Optimization を用いたプロンプト最適化アルゴリズム）を採用します。
  • プロセス: 少数の例（30 例未満）から開始し、評価セットでの性能（MRR など）を指標として、ベイズ最適化を通じて最適なプロンプト文字列を探索します。
  • メリット: 大規模な LLM の微調整（Fine-tuning）やアーキテクチャ変更が不要で、計算コストを抑えつつ、未観測の要素に対する汎化性能を維持できます。

2.2 主要な機能

1. リンク予測（エンティティ・関係の予測）:
   与えられた（頭、関係）ペアに対して、欠損する尾（オブジェクト）を予測します。CoT を用いて推論プロセスを明示し、信頼度スコアを出力します。
2. 数値リテラル予測:
   数値属性（例：GDP、人口）の予測において、回帰損失（MSE）を指標として用います。LLM に文脈（関連する他のトリプル）を与え、推論ステップ（例：「総 GDP を人口で割る」）を経て、点推定値と信頼区間（最小値・最大値）を生成します。
3. OWL インスタンス検索:
   複雑なクラス表現（例：$\exists hasChild.Female$）に対するインスタンスの抽出を行います。マンチェスター構文や記述論理構文を LLM に入力し、論理的な推論を通じて該当するエンティティを特定します。
4. 知識グラフの拡張（Algorithm 1）:
   学習済みの RALP を用いて、既存のトレーニンググラフから「欠けている可能性が高いトリプル」を特定し、KGE モデルのトレーニングデータを拡張する手法を提案しています。

---

3. 主要な貢献

1. 新しいパラダイムの提案:
   リンク予測を「連続ベクトル空間の最適化」から「離散文字列（プロンプト）の最適化」へと再定義しました。これにより、勾配なしで LLM を直接活用し、未観測エンティティやリテラルへの推論を可能にしました。
2. 数値リテラル予測への初適用:
   回帰層やビンニングなしに、LLM の推論能力のみで数値リテラルの予測と信頼区間の推定を成功させました。
3. 効率的な学習と汎化:
   30 例以下の少量データで MIPRO を用いてプロンプトを最適化し、既存の SOTA KGE モデルを凌駕する性能を達成しました。
4. オープンソース化:
   実装、トレーニング、評価パイプラインを公開し、研究コミュニティへの貢献を行いました。

---

4. 実験結果

著者らは、転導的リンク予測、数値リテラル予測、OWL 推論の 3 つのベンチマークで評価を行いました。

4.1 転導的リンク予測（Countries データセット）

• 結果: RALP†（MIPRO による最適化プロンプト使用）は、Countries-S1 データセットで MRR 1.000、Hits@1 で 1.000 を達成しました。
• 比較: 既存の KGE モデル（DistMult, ComplEx など）は 0.7 前後の MRR にとどまっており、RALP は 5% 以上の上昇を見せました。
• データ拡張効果: RALP によって生成されたトリプルを KGE モデルのトレーニングデータに追加すると、KGE モデルの性能も大幅に向上しました。

4.2 数値リテラル予測（LitWD1K データセット）

• 精度: 予測された平均値（$\hat{y}_{avg}$）は真の平均値（$y_{avg}$）に非常に近い値を示しました。
• 信頼性: 予測区間 $[\hat{y}_{min}, \hat{y}_{max}]$ 内に真値が含まれる確率（Interval Coverage Rate: ICR）は、すべての属性で 75% 以上（多くは 80-90%）を達成し、モデルが不確実性を適切に評価できていることを示しました。
• 例: ガボンの 1 人当たり名目 GDP の予測において、推論プロセス（総 GDP/人口、他国との比較）を経て、真値（7,413）を予測区間（1,000 - 15,000）内に収めることに成功しました。

4.3 OWL インスタンス検索（Father データセット）

• 結果: 複雑なクラス表現（存在制限、否定、論理積など）に対するインスタンス検索において、Jaccard 類似度が 88% 以上を達成しました。
• 構文の影響: 記述論理（DL）構文よりも、人間が読みやすいマンチェスター構文を使用した場合、LLM の推論性能が顕著に向上しました。また、完全な IRI（名前空間付き）を使用することで、より正確な推論が可能となりました。

---

5. 意義と限界

意義

• 柔軟性と汎用性: 埋め込みベースの手法に依存せず、LLM の推論能力を活用することで、動的で多様な知識グラフへの適応が可能になりました。
• ゼロショット・リテラル対応: 学習データに存在しないエンティティや、数値・テキストリテラルを含むトリプルに対しても、文脈に基づいた推論が可能であることを実証しました。
• 解釈可能性: CoT（連鎖思考）を用いることで、なぜその予測がなされたのかという推論プロセスを人間が理解・検証できる形（説明）で出力できます。

限界と今後の課題

• 外れ値への感度: 数値予測において、入力文脈に極端な外れ値が含まれると、予測区間が歪む可能性があります（前処理でのフィルタリングで緩和可能）。
• スケーラビリティ: 大規模グラフにおけるコンテキストのトークン制限が課題です。最も関連性の高いトリプルをサンプリングするアルゴリズムの導入や、軽量モデルへの知識蒸留が今後の課題です。
• 記述の依存性: LLM が自然言語で訓練されているため、エンティティや関係が ID（QID など）のみで記述されている場合、意味的なラベルへの変換が必須となります。

結論

本論文は、知識グラフ補完タスクにおいて、埋め込みベースの手法に代わる「プロンプトベースの LLM 推論」の有効性を示しました。少量のデータで高品質なプロンプトを学習し、未観測要素やリテラルを含む複雑な推論を可能にする RALP は、動的で多様な知識グラフを扱うための柔軟で強力な代替手段として位置づけられます。