💬 NLP

How Retrieved Context Shapes Internal Representations in RAG

本論文は、RAG における検索された文書が LLM の内部表現にどのように影響し、それが最終的な生成出力とどう関連するかを、4 つのデータセットと 3 つのモデルを用いて体系的に分析し、文書の関連性や層ごとの処理が内部表現に与える影響を明らかにしたものである。

原著者： Samuel Yeh, Sharon Li

公開日 2026-04-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Samuel Yeh, Sharon Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、「検索して回答する AI（RAG）」が、実は頭の中で何を考えているのかを、まるで「脳の X 線写真」を撮るように詳しく調べた研究です。

通常、AI の性能は「答えが合っているか」だけで評価されますが、この研究は**「AI の頭の中（内部表現）が、検索した情報によってどう変化するのか」**に注目しました。

以下に、わかりやすい比喩を使って解説します。

🕵️‍♂️ 研究の舞台：AI と「情報屋」

想像してください。
**AI（大規模言語モデル）は、すでに膨大な知識を頭に入れている「天才的な学者」**です。
**RAG（検索機能）は、その学者が本屋や図書館から「参考書（検索結果）」**を取り寄せるシステムです。

この研究は、学者が「参考書」を手にしたとき、頭の中がどう変わるのかを調査しました。

🔍 3 つの「参考書」の種類

研究者は、学者に 3 種類の「参考書」を見せました。

正解の参考書（Relevant）: 質問の答えがそのまま載っている本。
紛らわしい参考書（Distracting）: 表紙やタイトルは似ているが、中身は全く関係ない、あるいは間違ったことを書いている本。
無関係な参考書（Random）: 質問とは全く関係ない、たまたま手にした本（例えば、料理のレシピ本）。

🧠 発見された 3 つの驚きの事実

1. 「無関係な本」を見ると、AI は「あきらめるモード」に入る

【発見】
無関係な本（Random）を見せると、AI の頭の中は**「大きく揺れ動いて」しまいました。
【比喩】
これは、学者が「これは私の知識とは全く関係ない、役に立たない本だ！」と直感的に気づき**、「じゃあ、無理に答えを出さずに『わかりません』と言うべきだ」と判断した瞬間です。

良い点: 嘘をつかずに「わからない」と言えるので、信頼性が高い。
悪い点: 本来、学者は自分の知識だけで答えられたはずなのに、「参考書が役に立たないから」という理由で、自分の知識を捨てて答えを放棄してしまったりすることがあります。

2. 「正解の本」は、AI の頭をあまり変えない

【発見】
正解の本（Relevant）を見せると、AI の頭の中は**「ほとんど変わらない」ままでした。
【比喩】
学者は「あ、この本に書いてあることは、私がすでに知っていることと同じだ」と確認しただけで、「なるほど、私の知識が正しいと証明された！」**と安心するだけでした。

良い点: 自信を持って答えられます。
悪い点: 学者が**「答えがわからない」**ような難しい質問の場合、正解の本を見せられても、その本の内容を頭の中にしっかり取り込んで答えを変えようとしません。既存の知識（間違っていても）に固執してしまうのです。

3. 「正解の本」が 1 冊あれば、他の「ゴミ」は気にしない

【発見】
正解の本が 1 冊混ざっていれば、他の 3 冊が「紛らわしい本」や「無関係な本」であっても、AI の頭の中は**「正解の本」の状態に安定しました。
【比喩】
学者は「あ、ここには正解の本がある！よし、この本に集中しよう」と、他のノイズ（雑音）を自動的に無視する能力**を持っています。

意味: 検索結果に少し間違った情報が入っていても、正解さえあれば AI は大丈夫なことが多い、ということです。

🏗️ 頭の中の「作業工程」の変化

さらに、AI の頭の中を「層（レイヤー）」ごとに分解して見ると、面白い動きが見えました。

最初の段階（浅い層）: 「この本は全然関係ないな（Random）」と、すぐに気づきます。
後半の段階（深い層）: ここになると、AI は**「自分の記憶（パラメトリック知識）」を優先**し始めます。検索した情報（外部知識）よりも、自分が元々知っていることを信じる傾向が強まるのです。

💡 私たちへの教訓

この研究から、AI システムを作る人たちは以下のような教訓を得ました。

検索結果に少しのノイズがあっても大丈夫: 正解の情報が 1 つでも入っていれば、AI はそれを優先して安定して答えるので、完璧にフィルタリングしすぎなくてもいいかもしれません。
難しい質問には注意が必要: AI が「わからない」と感じている難しい質問に対して、検索結果を出しても、AI は自分の記憶に固執して、検索結果をうまく活用できないことがあります。
「わからない」と言わせるのは重要: 無関係な情報を見たときに「答えられない」と判断するのは、AI が賢く働いている証拠です。

🎯 まとめ

この論文は、「AI が検索結果をどう処理しているか」を、単なる「正解・不正解」ではなく、「頭の中の思考プロセス」から解き明かしたという点で画期的です。

AI は、**「無関係な情報は即座に拒否し、正解があれば安心し、難しい問題では自分の記憶に頼りすぎる」**という、人間にも通じるような「癖」を持っていることがわかりました。これを理解することで、より賢く、信頼できる AI システムを作れるようになるでしょう。

論文要約：検索コンテキストが RAG における内部表現をどのように形成するか

タイトル: How Retrieved Context Shapes Internal Representations in RAG
著者: Samuel Yeh, Sharon Li (University of Wisconsin-Madison)

1. 背景と問題提起

検索拡張生成（RAG）は、外部ドキュメントに基づいて大規模言語モデル（LLM）の生成を条件付けることで、事実性の向上や長尾知識の補完に貢献しています。しかし、現実的な検索環境では、関連性の高いドキュメントだけでなく、意味的に類似しているが役に立たない「邪魔（distracting）」なドキュメントや、無関係な「ランダム」なドキュメントが混在することが一般的です。

既存の研究は、RAG の出力挙動（精度や幻覚率など）に焦点を当てており、検索されたコンテキストが LLM の「内部表現（隠れ状態）」をどのように変化させ、それが最終的な生成行動にどう結びつくかについては十分に解明されていません。出力レベルの観察だけでは、モデルが情報を統合しているのか、パラメトリック知識（内部知識）を抑制しているのか、あるいは不確実性を示して回答を拒否しているのかを区別することが困難です。

本研究は、RAG を「潜在表現（latent representations）」の観点から分析し、検索コンテキストの種類が LLM の内部状態に与える影響と、それが生成行動にどう関連するかを体系的に解明することを目的としています。

2. 手法と実験設定

データセットとモデル

データセット: TriviaQA, NQ, PopQA, StrategyQA の 4 つの質問応答データセットを使用。
モデル: Gemma3-27B, Llama4-17B, Qwen3-Next-80B の 3 つの LLM を対象とした。
検索設定: MassiveDS（1.4 兆トークン）をデータベースとし、Contriever で上位 20 件のドキュメントを検索・再ランク付け。

ドキュメントの分類

各クエリに対して、検索されたドキュメントを以下の 3 種類に分類した：

関連（Relevant）: 正解を含む、または正解を導く直接的な情報を含む。
邪魔（Distracting）: クエリと意味的に類似しているが、正解を導く情報を持たず、モデルを誤誘導する可能性がある。
ランダム（Random）: クエリと意味的に類似度が低く、役に立たない情報。

実験条件

単一ドキュメント設定: 1 つのドキュメント（関連、邪魔、ランダム、またはなし）をクエリに付与し、内部表現の変化を分析。
複数ドキュメント設定: 1 つの関連ドキュメントに、3 つの邪魔またはランダムドキュメントを混合したコンテキストを使用。
難易度分類: モデルが検索なしで正解できるか（Easy）どうか（Hard）でクエリを分類。

分析手法

隠れ状態の分析: 最終プロンプトトークンの隠れ状態（ $h_{q, S_q}$ ）を抽出。
次元削減: PCA（主成分分析）を用いて高次元表現を 2 次元可視化。
層別分析: トランスフォーマーの各層（L12, L23, L35, L46 など）での表現の進化を追跡。
線形プローブ: 異なるコンテキストタイプ間の表現の分離可能性を定量的に評価。

3. 主要な発見（結果）

観察 1: ランダムなドキュメントは大きな表現の漂移（Drift）を引き起こす

直感に反し、ランダムなドキュメントは、関連ドキュメントや邪魔ドキュメントよりも、クエリ単独の状態から大幅な表現の漂移を引き起こしました。

行動との関連: この大きな漂移は、モデルが「回答を控える（Abstain）」行動と強く相関していました。
インストラクションチューニングの影響: ベースモデルではこの漂移が小さく、回答拒否も少ないですが、インストラクションチューニングされたモデルでは、無関係なコンテキストに対して過剰に回答を拒否する傾向が強まりました。これは、内部知識がある場合でも、無関係なコンテキストが存在すると回答能力が抑制されることを示唆しています。

観察 2: 関連ドキュメントは内部表現を大きく変化させない

関連ドキュメントは、クエリ単独の状態と比較して、表現空間での位置を大きく変えませんでした。

Easy クエリ: 関連ドキュメントは既存のパラメトリック知識を「確認（confirmation）」するシグナルとして機能し、モデルの自信（ログ尤度）を高めます。
Hard クエリ: 内部知識が不足している場合でも、関連ドキュメントは表現を大きく変化させることが少なく、十分な影響を与えられない傾向があります。これは、RAG が最も必要とされる難問において、外部情報の統合が不十分であることを示しています。

観察 3: 単一の関連ドキュメントは複数ドキュメント設定で表現を安定させる

邪魔やランダムなドキュメントが混在する状況でも、1 つでも関連ドキュメントが含まれていれば、モデルの内部表現は「関連ドキュメントのみ」の状態に近づき、ノイズの影響を抑制しました。

出力面でも、関連ドキュメントが存在すれば、ノイズの有無にかかわらず精度が維持・向上しました。これは、モデルが信頼できる根拠がある場合に、ノイズを選択的に無視できる能力を持っていることを示しています。

観察 4 & 5: 層別処理のダイナミクス

早期層（L1-L2 程度）: ランダムなドキュメントと他のドキュメント（関連・邪魔）の表現は早期に分離します。つまり、明らかな無関係さは初期段階で検出されます。
後期層（L35 以降）: 関連ドキュメントと「ドキュメントなし」の表現が徐々に収束し、最終層では非常に近くなります。
パラメトリック知識の支配: 後期層になるほど、モデルはパラメトリック知識を優先し、検索された証拠の影響を弱める傾向があります。これは、ノイズ除去や安定化には寄与しますが、Hard クエリにおいて外部知識を十分に活用するのを妨げる要因となっています。

4. 貢献と意義

本研究は、RAG の動作メカニズムを出力レベルではなく、内部表現レベルから解明した点に大きな貢献があります。

分析フレームワークの提案: 検索コンテキストのタイプ（関連、邪魔、ランダム）を制御し、LLM の内部表現を体系的に分析する厳密なフレームワークを提案しました。
新たなパターンの発見:
- ランダムなコンテキストが「回答拒否」を引き起こす内部メカニズム（大きな表現漂移）の解明。
- 関連ドキュメントが「確認シグナル」として機能し、Hard クエリでは効果が限定的であるという知見。
- 後期層におけるパラメトリック知識の支配性による RAG 効果の限界。
実用的な示唆:
- ノイズ許容性: 1 つの信頼できるドキュメントがあれば、多少のノイズを含んだコンテキストでも RAG は機能するため、過度なフィルタリングは不要な場合がある。
- Hard クエリへの対策: 後期層で検索信号を強化するデコーディング戦略や、外部証拠への表現シフトを報酬とする学習目標の必要性が示唆された。

5. 結論

本研究は、RAG システムが単に情報を引き出すだけでなく、内部表現を通じてコンテキストを処理し、パラメトリック知識と調整していることを示しました。特に、無関係なコンテキストに対するモデルの「拒否」メカニズムや、難問における外部知識の統合の難しさが、内部表現の動態として可視化されました。これらの知見は、より信頼性の高い RAG システムの設計（フィルタリング戦略、アーキテクチャ変更、学習目標の最適化など）に向けた重要な指針を提供します。