💬 NLP

Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions

本論文は、隠れ表現を幾何学的に分析し、知識と予測のサブスペースを整合させて精度を向上させる軽量な推論時介入手法であるKAPPAを導入することにより、多肢選択問題における大規模言語モデルの内部知識と出力挙動の間の不整合を特定し、対処するものである。

原著者： Yoonah Park, Haesung Pyun, Yohan Jo

公開日 2026-02-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yoonah Park, Haesung Pyun, Yohan Jo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文の解説：「知識と予測のギャップを埋める：多肢選択問題におけるLLMの課題」

以下は、論文「Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions」の内容を、平易な言葉とクリエイティブな比喩を用いて解説したものです。

大きな問題：言葉にできない「物知り博士」

想像してみてください。図書館にあるすべての本を読み終えた、非常に優秀な学生がいます。もし、その学生とカジュアルな会話をしているなら、彼らは答えを完璧に説明できるでしょう。しかし、もしその学生を多肢選択式のテスト（マークシート方式の試験）に立たせると、正解を知っているにもかかわらず、突然間違った選択肢を選んでしまうのです。

これは大規模言語モデル（LLM）に起きていることそのものです。論文ではこれを**「知識と予測のギャップ（Knowledge-Prediction Gap）」**と呼んでいます。

知識（Knowledge）： モデルの「脳」（隠れ層）の中には、正しい答えがはっきりと書き込まれています。それはまるで、学生がポケットの中に解答用紙を隠し持っているような状態です。
予測（Prediction）： しかし、モデルが実際に言葉を発する（テキストを生成する）とき、その解答用紙を無視して、間違った選択肢を選んでしまいます。

研究者たちは、モデルが「知らない」から幻覚（ハルシネーション）を起こしているのではないことを突き止めました。問題は、自分が「知っていること」を、どうやって「言葉にするか」という翻訳に失敗している点にあるのです。

調査：内部構造の解明

なぜこのようなことが起きるのかを解明するために、研究者たちは単に最終的な回答を見るだけではありませんでした。彼らは、モデルが質問に答えている最中の内部的な「思考プロセス」（残差ストリーム / residual stream と呼ばれるもの）を観察しました。

彼らは、**プローブ（Probe）**と呼ばれるツール（これは「翻訳者」や「翻訳者の耳」のようなものだと考えてください）を使用しました。彼らは、モデルの内部信号を聞き取るために、2つの異なる翻訳器を作りました。

知識の翻訳器（The Knowledge Translator）： モデルの内部信号を聞き取り、「ここでの真の正解は何？」と問いかけます。
予測の翻訳器（The Prediction Translator）： 同じ信号を聞き取り、「モデルは次に何を言おうとしている？」と問いかけます。

発見：
多くの場合、知識の翻訳器が「答えは間違いなく『夏』だ！」と言っている一方で、予測の翻訳器は「モデルは今から『冬』と言おうとしている！」と告げるのです。

研究者たちは、モデルの脳には2つの異なる「部屋」、すなわち**サブスペース（部分空間）**があることに気づきました。

知識の部屋（The Knowledge Room）： 真実が住んでいる場所。
予測の部屋（The Prediction Room）： 最終的な決定が下される場所。

問題は、これら2つの部屋が**「ズレている（misaligned）」**ことです。それは、ある部屋には地図があるのに、別の部屋にあるコンパスは全く違う方向を指しているようなものです。モデルは地図（知識）を持っていますが、コンパス（予測）が激しく回転してしまい、進むべき道を見失っているのです。

解決策：KAPPA（アライメント・ツール）

これを修正するために、著者たちはKAPPAと呼ばれる手法を開発しました。

あなたが車を運転している場面を想像してください。目的地（知識）は正確に分かっていますが、ステアリングホイール（ハンドル）が少しずれているため、車線から外れてしまっています（予測）。

KAPPAは、スマートで自動的な「ステアリング補正機能」として機能します。

これは、地図を書き換えたり、車を後退させたりするものではありません。
その代わりに、モデルが選択を下そうとするまさにその瞬間に、ステアリングを優しく押し戻します。
つまり、「予測の部屋」を「知識の部屋」へと一致させるのです。

これは、モデルが考えている最中（推論時）に、即座に行われます。モデルを再学習させたり、新しい事実を教え込んだりする必要はありません。ただ、モデルがすでに持っている事実の使い方における「幾何学的な歪み」を直すだけなのです。

試してみた結果はどうだったか？

研究者たちは、以下のような様々な種類の質問でテストを行いました。

推論パズル（数学の問題など）
真実性のテスト（ある記述が嘘か事実かを問うもの）
バイアス・テスト（ステレオタイプに関するチェック）

結果：

KAPPA導入前： モデルは内部的には正解を知っていることが多いものの、多肢選択の回答としては間違ったものを選んでいました。
KAPPA導入後： モデルは正解の選択肢をはるかに高い頻度で選べるようになりました。

いくつかのケースでは、モデルの性能は「知識の翻訳器」の精度にまで跳ね上がりました。これは、モデルが「馬鹿」なのではなく、単に内部のコンパスを再調整する必要があっただけであることを証明しています。

主なポイント

モデルは言っていること以上に知っている： LLMは、誤った回答を出力しているときでも、内部的には正しい答えを保持しています。
それは幾何学の問題である： 問題はデータの不足ではなく、知識が存在する「空間」と予測が行われる「空間」が一致していないことにあります。
シンプルな修正が効果を発揮する： モデルが回答する直前の内部状態に対して、数学的な微調整（KAPPA）を加えることで、モデルを再学習させることなく、より信頼性が高く正確なものにすることができます。

要約すると、この論文は、AIモデルをより正直で正確にするためには、新しいことを教え込むのではなく、すでに持っている知識をより上手く使えるように手助けすればよいのだということを示しています。

技術要約：多肢選択問題におけるLLMの知識と予測の間のギャップの架橋

1. 問題の定義

大規模言語モデル（LLM）は、内部の隠れ表現には正しい答えが存在するものの、最終的な出力としてそれを生成できないという「知識・予測ギャップ（knowledge-prediction gap）」としばしば直面する。この現象は、モデルが残差ストリーム内に正解を線形にエンコードしているにもかかわらず、誤った選択肢を選んでしまう多肢選択問題（MCQ）の設定において特に顕著である。先行研究では、このような失敗の原因を表面的な手がかり、選択肢のバイアス、あるいはスタイルのアーティファクトに求めてきたが、これらの失敗をモデルの内部的な幾何学的構造に結びつける統一的な説明は未だ探索されていない。具体的には、このギャップが多様なドメインにわたって蔓延しているのか、どのような幾何学的構造が内部知識と出力行動の間の不整合の背後にあるのか、そしてこのギャップが再学習なしに推論時に軽減できるのかどうかは不明である。

2. 手法

著者らは、3段階の分析および介入フレームワークを提案している。

A. 線形プロービングによるギャップの定量化

著者らは、知識・予測ギャップを「内部表現にエンコードされた知識」と「生成された予測」の間の不一致として定義する。これを測定するために、彼らはLLMの残差ストリームの活性化に対して2つの異なる線形プローブを訓練する：

知識プローブ（Knowledge Probe）: 隠れ状態から正解（ $y$ ）を予測するように訓練された $k$ クラスの線形分類器。
予測プローブ（Prediction Probe）: モデル自身の生成された選択肢（ $\tilde{y}$ ）を予測するように訓練された $k$ クラスの線形分類器。

彼らは、これらのプローブを多様なモデル（Llama 3.1 8B、Qwen 2.5 7Bなど）およびベンチマーク（推論、知識、真実性、バイアス）にわたって評価する。ギャップを定量化するために、以下の2つの指標を導入する：

予測一致度（AGR）: 知識プローブとモデルの出力が同じ選択肢を選択する頻度。
分布の乖離（KLD）: 知識プローブの確率分布とモデルの出力の間のカルバック・ライブラー（KL）ダイバージェンス。

B. 幾何学的解釈

著者らは、訓練されたプローブの重みベクトルを、残差ストリーム内の低次元部分空間を定義するものと解釈している：

知識部分空間（Knowledge Subspace）: 知識プローブの重みによって張られる空間。
予測部分空間（Prediction Subspace）: 予測プローブの重みによって張られる空間。

彼らは、大きな知識・予測ギャップは、これら2つの部分空間間の系統的な不整合に対応すると仮定している。ギャップが大きいとき、隠れ状態を予測部分空間に投影した際の座標は、知識部分空間における座標から大きく逸脱する。

C. KAPPA：推論時の介入

このギャップを軽減するために、著者らはKAPPA（Knowledge-Aligned Prediction through Projection-based Adjustment）を提案する。KAPPAは、残差ストリームにアフィン変換を適用する軽量な推論時介入である。

メカニック: これは、予測部分空間における座標が知識部分空間における座標と一致するように、隠れ状態 $h$ を最小限に摂動させる制約付き最適化問題を解く。
定式化: 変形 $T$ は、以下の条件を満たすように $h$ を $h'$ へと写像する：
$\min_{h'} \|h' - h\|^2_2 \quad \text{s-t.} \quad W_{pred}^\top h' = W_{know}^\top h$
これにより、予測部分空間内でのみ隠れ状態を調整し、直交する成分には影響を与えない閉じた形式の解が得られる。
汎用性: 手法には、整列の強さを制御するためのハイパーパラメータ $\alpha$ と $\beta$ が含まれており、内部知識が予測にどの程度強く影響を与えるかを柔軟に調整できる。

3. 主な貢献

広範なギャップの経験的証拠: 本研究は、知識・予測ギャップが多様なMCQベンチマークおよびモデルファミリーにわたって蔓延していることを立証した。ギャップは推論、真実性、およびバイアスのタスクで最も顕著であり、知識集約型のベンチマークでは目立ちにくい。
幾何学的説明: 本論文は、ギャップを残差ストリームにおける明確な知識部分空間と予測部分空間の間の不整合として特定し、幾何学的な解釈を提供している。
KAPPA介入: 著者らは、モデルの予測を内部知識と一致させるために、幾何学的に隠れ状態を較正する推論時手法であるKAPPAを提示している。固定された補正を適用する従来のステアリング手法とは異なり、KAPPAは各インスタンス固有の知識・予測ギャップに基づいて調整を行う。

4. 結果

ギャップの大きさ: 線形プローブは、テストされたすべてのデータセットにおいてベースモデルの生成精度を一貫して上回っており、モデルが利用できていない線形にアクセス可能な知識をエンコードしていることを裏付けている。ギャップはドメインによって大きく異なり、TruthfulQAやBBQでは大きな不一致が見られた（例：Qwen 2.5 7Bで $\Delta$ ACC 最大+21.3%）。
性能向上: KAPPAは、ベースモデルおよび既存の推論時手法（CAAやDoLAなど）と比較して、一貫してギャップを縮小し、精度を向上させた。
- TruthfulQAにおいて、KAPPAはLlama 3.1 8Bの精度を8.9〜16.9ポイント向上させた。
- 推論ベンチマーク（GSM8k, BBH）において、KAPPAは1.5〜5.0ポイントの一貫した利得を達成した。
- KAPPAは、知識プローブとモデル出力の間の一致率（AGR）を大幅に増加させ、しばしば知識プローブ自体の精度に接近した。
汎用性:
- モデル間: KAPPAは、異なるサイズ（4Bから14B）およびアーキテクチャ（Mistral, Llama, Qwen）のモデル間で効果的にギャップを軽減する。
- データセット間の転移: 部分空間は一般にデータセット固有であるが、類似した基礎的スキルを必要とするタスク間（例：BBH-NLPからGSM8Kへ）で転移が観察された。
- 自由形式生成: 多肢選択形式（MCQオプションなし）においてKAPPAを適用したところ、TruthfulQAの精度が向上し、幾何学的整列が自由形式の設定にも拡張可能であることを示した。

5. 意義と主張

本論文は、多くのLLMの失敗、特に幻覚（ハルシネーション）や推論エラーは、知識の欠如ではなく、モデルが内部的にエンコードしているものと、最終的に予測するものとの間の不整合に起因すると主張している。知識部分空間と予測部分空間を特定することで、著者らはこれらの失敗に対する解釈可能な幾何学的説明を提供している。

KAPPAの導入は、このギャップが追加のトレーニングなしに、表現レベルの整列を通じて架橋できることを示している。著者らは、表現レベルの整列が、LLMからより忠実な予測を引き出すための有望な方向性であると結論づけている。彼らは、本研究が線形にアクセス可能な知識に焦лоんでいる一方で、より複雑で非線形にエンコードされた知識をどのように整列させるかを理解するためには、今後の研究が必要であると述べている。