💬 NLP

How Context Shapes Truth: Geometric Transformations of Statement-level Truth Representations in LLMs

本論文は、文脈が大規模言語モデル内の真理ベクトルをどのように変容させるかに関する初の幾何学的特性化を提供し、文脈が一般に真理表現の大きさを増幅させる一方で、より大規模なモデルは、大きさの違いではなく活性化空間における方向の変化を通じて、関連する文脈と矛盾する文脈を区別していることを明らかにしている。

原著者： Shivam Adarsh, Maria Maistro, Christina Lioma

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shivam Adarsh, Maria Maistro, Christina Lioma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、あらゆる思考や情報が異なる本として表現されている、巨大な多層階の図書館だと想像してみてください。この図書館の中では、ある言明に関する「真実」は言葉として書かれているのではなく、特定の方向を指す特定の矢印として保存されています。

モデルがある言明を「真実」だと考えているなら、矢印はある方向を指します。もし「偽」だと考えているなら、矢印は反対方向を指します。あなたが共有した論文は、モデルに回答させる前に、追加の情報（コンテキスト）を読ませたとき、これらの「真実の矢印」に何が起こるのかを調査しています。

以下に、その研究結果を簡単な比喩を用いて解説します。

1. 矢印の3段階の旅

研究者たちは、これらの真実の矢印が図書館の異なる「フロア（層）」をどのように移動していくかを観察しました。彼らは一貫した3段階のパターンを発見しました。

地下室（初期レイヤー）: モデルが言明を読み始めたとき、コンテキストを含む「真実の矢印」とコンテキストを含まない「真実の矢印」は、全く異なる方向を向いています。それらは背中合わせに立っている二人の人のように、**直交（オーソゴナル）**しています（90度の角度になっています）。モデルはまだ生の単語を処理している段階であり、追加のコンテキストによって真実が理解されたわけではありません。
メインホール（中間レイヤー）: 情報が上に進むにつれて、矢印は突然整列し始めます。それらは収束し、ほぼ同じ方向を指すようになります。これがモデルが「理解した」瞬間です。モデルは意味を処理しており、追加のコンテキストがあろうとなかろうと、核となる「真実」の概念は同様に表現されます。
屋根裏部屋（後半レイヤー）: 最終的なフロアでは、興味深いことが起こります。矢印が完全に整列したままの場合もあれば、再び離れ始める場合もあります。これは主に、追加のコンテキストがモデルがすでに「知っている」ことと矛盾する場合に起こります。それは、モデルが内部で議論をしているようなものであり、どちらの情報を信じるべきか決めるために、矢印が揺れたり方向が変わったりします。

2. 音量を上げる（大きさ/マグニチュード）

研究者たちは、これらの矢印の長さも測定しました。

発見: コンテキストを加えると、一般的に矢印は長くなります。
比喩: 真実の言明と偽の言釈の違いは、部屋の中に立っている二人の間の距離のようなものです。コンテキストがないとき、彼らは5フィート離れているかもしれません。コンテキストを加えると、モデルは彼らをさらに遠ざけ、おそらく10フィートにします。「真実と嘘の分離」はより明確になり、判別しやすくなります。コンテキストは、正解と不正解の違いをより鮮明にするスポットライトのような役割を果たします。

3. 大きなモデル vs 小さなモデル：異なる戦略

この研究は、大きなモデルと小さなモデルが、この「追加情報」をどのように扱うかについて、ナビゲーターの違いのように発見しました。

大きなモデル（例：LLaMA, Mistral）: これらのモデルは、巨大な地図を持つ熟練の地図製作者のようです。関連するコンテキストを得ると、彼らは矢印の方向を変えます。彼らは、新しい、より正確な角度に向かって物理的に向きを変えます。彼らは、ニュアンスを理解したことを示すために、脳内の余白を利用して、全く新しい方向を指します。
小さなモデル（例：Qwen, SmolLM）: これらのモデルは、より小さな地図を持っています。彼らは、他のアイデアにぶつかることなく矢印の方向を変える余裕が常にあります。代わりに、彼らは矢印を長くすることで、信号を「増幅」し、方向を変えるのではなく、コンテキストを理解したことを示します。

4. 良いコンテキスト vs ランダムなノイズ

研究者たちは、コンテキストが実際に有用な場合と、それが単なるランダムなデタラメ（ランダムな単語のリストや、シャッフルされた段落など）である場合の違いをテストしました。

結果: 関連性のある、役立つコンテキストは、ランダムなノイズよりもモデルの「真実の矢印」に大きな反応を引き起こします。
例外: コンテキストが矛盾している（モデルの学習内容に反することを示している）場合、それは最も大きな幾何学的な変化を引き起こします。それはモデルが衝撃を受けているようなもので、二つの相反する事実を調和させなければならないため、矢印は激しく揺れ動きます。
法的テキストの問題: 興味深いことに、コンテキストが非常に複雑でテクニカルな法的テキストであった場合、モデルはそれをランダムなノイズと区別するのに苦労しました。「矢印」はほとんど動きませんでした。言語が非常に高密度で専門的すぎると、モデルはそれが役立つ手がかりなのか、ランダムな文章なのかを判別できないようです。

まとめ

要約すると、この論文は、LLMがコンテキスト付きの言明を読んだとき、単に言葉を「読む」だけでなく、内部的な思考の幾何学的形状を物理的に作り変えていることを示しています。

初期段階では、思考は混乱しており、あらゆる方向を向いています。
中間段階では、真実を見つけるために整列します。
後半段階では、「真実の矢印」は長くなり（確信が高まり）、あるいは（コンテキストがトリッキーな場合は）方向が変化します。
大きなモデルは、理解を示すために矢印の方向を変え、小さなモデルは矢印の長さを変えます。

これは、「AIにおける真実」とは静的なスイッチではなく、AIが何を読んでいるかによって変化するダイナミックな形状であることを理解する助けとなります。

技術要約：文脈がいかに真実を形作るか

問題提起

先行研究では、大規模言語モデル（LLM）が「真実性」の概念を、残差ストリームの活性化における線形方向（ベクトル）としてエンコードしていることが確立されている。しかし、文脈情報が導入された際に、これらの「真実ベクトル」の幾何学的進化がどのように変化するかについては、未だ解明されていない。既存の研究は、真実と虚偽を活性化空間内で分離できることや、プローブが異なる設定間で汎化できることを示しているが、モデルが文脈と共にステートメントを処理する際に、これらの表現の幾何学的な性質（具体的にはその方向と大きさ）がどのように変容するかについては特徴付けられていない。このギャップは、LLMが外部情報を統合する方法、特に検索拡張生成（RAG）やインコンテキスト学習（in-context learning）のシナリオを理解する上で極めて重要である。

手法

著者らは、文脈によって誘発される真実ベクトルの幾何学的変換を測定するためのフレームワークを提案している。実験セットアップには、4つのインストラクションチューニング済みLLM（LLaMA-3.1-8B, Mistral-Nemo-12B, Qwen3-4B, SmolLM3-3B）と、多様なドメイン（ファクトチェック、法務、映画のあらすじ、および合成知識衝突）にわたる4つのデータセットを用いている。

コア・プロシージャ:

プロンプト構築: 各ステートメントに対し、[選択された選択肢]（ステートメントを支持するか反駁するか）と、[文脈]の有無（あり、またはなし）を変化させることで、4種類のプロンプトを生成する。公平な比較を行うため、モデルには特定のトークン（例：「）」）で始まる補完を生成するように指示する。
ベクトル抽出: ステートメント $k$ のレイヤー $l$ において、最初の生成トークンの位置における残差ストリームの活性化（post-MLP）から真実ベクトルを抽出する。文脈なしの真実ベクトル（ $v_{k,nc}^{(l)}$ ）と文脈ありの真実ベクトル（ $v_{k,c}^{(l)}$ ）は、真および偽の補完に対する活性化の差として以下のように定義される：
$v_{k,nc}^{(l)} = a_{k,True, nc}^{(l)} - a_{k,False, nc}^{(l)}$
$v_{k,c}^{(l)} = a_{k,True, c}^{(l)} - a_{k,False, c}^{(l)}$
幾何学的指標: 変化を定量化するために2つの特性を測定する：
- 方向の変化 ( $\theta$ ): 文脈ありの真実ベクトルと文脈なしの真実ベクトルの間の角度を、コサイン類似度を用いて算出する。
- 相対的な大きさ: 文脈ありの真実ベクトルのL2ノルムと、文脈なしのノルムの比（ $||v_{k,c}^{(l)}||_2 / ||v_{k,nc}^{(l)}||_2$ ）。値が1より大きい場合は、真の表現と偽の表現の分離が増幅されていることを示す。

また、関連性への感度を評価するために、関連する文脈を5種類のランダムまたは無関係な文脈（ランダムな文字、ランダムな単語、支離滅裂な文章、ランダムなWikipediaテキスト、およびシャッフルされたデータセットの文脈）と比較する。

主な結果

1. 方向変化の3フェーズ・パターン

すべてのモデルとデータセットにおいて、方向の変化 ( $\theta$ ) はレイヤーを追って一貫した3フェーズのパターンを示す：

フェーズ1（初期レイヤー）: 文脈ありと文脈なしの真実ベクトルはほぼ直交しており（高い $\theta$ ）、初期の処理段階において表現が明確に異なることを示唆している。
フェーズ2（中間レイヤー）: ベクトルは急激に収束し、最小の $\theta$ に達する。これは、意味的エンコーディングと知識検索における中間レイヤーの既知の役割と一致する。注目すべきは、 $\theta$ がゼロになることは決してなく、文脈が常に独特な幾何学的シグネチャを残すことである。
フェーズ3（後期レイヤー）: 挙動は多様である。一部のデータセットではベクトルは安定する。しかし、パラメトリックな知識と文脈が矛盾する場合（例：ConflictQA-Counter）などは、 $\theta$ が再び上昇し、より深いレイヤーでも相反する信号の処理が継続していることを示唆している。

2. 真実の分離の増幅

文脈を加えることは、一般的に真実ベクトルの相対的な大きさを増大させる（値 $>1$ ）。これは、文脈が活性化空間における真の表現と偽の表現の分離を増幅させることを示している。この効果は中間レイヤーで最も顕著であり、多くの場合、後半のレイヤーで安定する前にピークに達する。

3. モデルサイズと感度のメカニズム

文脈の関連性をエンコードする方法に関して、大型モデルと小型モデルの間には重大な相違が存在する。

大型モデル (LLaMA, Mistral): 関連する文脈と無関係な文脈を主に方向の変化 ( $\theta$ ) によって区別する。関連する文脈は、ランダムな文脈と比較して有意に高い方向転換を誘発する。
小型モデル (Qwen, SmolLM): 関連する文脈と無関係な文脈を主に大きさのスケール（振幅） によって区別する。方向の変化はしばしば無視できる程度か負の値であるが、真実ベクトルの相対的な大きさは関連する文脈に対して有意に高くなる。著者らは、これは低次元空間における表現容量の制約によるものであり、方向よりも大きさのスケールの方が、より実現可能なエンコーディング戦略であるためだと仮定している。

4. 知識の衝突の影響

パラメトリックな知識と矛盾する文脈（ConflictQA-Counter）は、パラメトリックな知識と一致する文脈よりも大きな幾何学的変化（より高い $\theta$ と大きさの両方）を生じさせる。これは、相反する情報がより強力で持続的な幾何学的シフトを引き起こすことを示唆しており、記憶経路と文脈経路の間の競合を反映している可能性がある。

5. ドメイン固有性

LegalBench (Corporate Lobbying) のような複雑でドメイン固有のデータセットでは、モデルが関連する文脈とランダムな文脈の間に有意な幾何学的差異を示さないことが多い。これはFlesch可読性スコアの低さと相関しており、高度に専門的な言語が、関連性を区別するための意味のある幾何学的シグナルを抽出するモデルの能力を圧倒している可能性を示唆している。

意義と主張

本論文は、文脈がいかにLLMの真実表現を変容させるかについての初の幾何学的特徴付けを提供すると主張している。これらの知見は、内部的な文脈処理を理解するための理論的なレンズを提供し、以下の実用的な示唆を持つ：

RAGシステム: レイヤーごとの $\theta$ 値は、モデルが取得した文脈の統合に失敗している（中間レイヤーでの収束の欠如）、あるいは知識の衝突が存在する（異常な後期レイヤーでの発散）ことを検知するための診断シグナルとして機能し得る。
小型モデルの制御: 小型モデルは方向ではなく大きさ（振幅）に依存するという発見は、これらのモデルに対する活性化ステアリング技術が、純粋な方向的介入よりも大きさのスケールに焦点を当てるべきであることを示唆している。

著者らは、これらの幾何学的変化は有意ではあるものの、必ずしも出力確率の変化に線形に結びつくわけではないとして、控えめな立場をとっている。また、最初のトークンに焦ップしている点、英語のみのデータセットを使用している点、および調査対象となったインストラクションチューニング済みモデルの特殊性といった限界についても認めている。