💬 NLP

Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space

本論文は、大規模言語モデルが低次元で構造化された「概念的信念空間」を探索することで文脈内学習を実行し、その信念更新がモデルの振る舞いと内部表現の両方に一貫して反映される幾何学的軌道として現れ、線形介入を通じて因果的に操作可能であることを提案する。

原著者： Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、単に事実を暗記するロボットではなく、本を読み上げる語り手として想像してみてください。語り手が新しい文を読むたびに、プロット、登場人物の感情、場面の雰囲気に対する理解が変化します。彼らは単に物語を「知っている」だけでなく、何が起こっているかについての内部的な「信念」を絶えず更新しているのです。

この論文「Stories in Space（空間の中の物語）」は、その語り手がどのように信念を更新するかを正確にマッピングしようとしています。著者たちは興味深いアイデアを提案しています：モデルの変化する信念は、「概念的信念空間」と呼ばれる特定の低次元の地図上を移動するというのです。

以下に、彼らの発見を簡単なアナロジーを用いて解説します。

1. 信念の地図（概念的空間）

あらゆる可能な「感情」や「アイデア」が特定の場所にある、巨大で目に見えない 3 次元の部屋を想像してください。

喜びは右上の隅にあるかもしれません。
悲しみは左下の隅にあるかもしれません。
怒りはその中間のどこかにあるかもしれません。

この論文は、LLM が物語を読む際、単に一つのアイデアから別のアイデアへランダムに飛び移るわけではないと示唆しています。代わりに、その内部状態は、この地図上を滑らかな経路（軌道）に沿って移動します。

アナロジー: 物語をハイキングコースだと考えてください。主人公が穴に落ちると、モデルの「信念マーカー」は地図上で「悲しみ」のゾーンに向かって滑り落ちます。一方、英雄が生き物を救出すると、マーカーは「喜び」の方向へ再び滑り上がります。論文によると、これらの経路は混沌としておらず、谷を流れる川のように構造化され、予測可能な幾何学に従っています。

2. 表と裏（行動 vs 脳）

研究者たちはモデルを二つの側面から観察しました。

行動: 「今のこの物語はどれくらい幸せですか？」と尋ねられたとき、モデルが言うこと（例えば、7/10 というスコアを与える）。
内部表現: テキストを処理する際、モデルの「脳」内（ニューラル活性化）で実際に起きている数学。

発見: 「行動の地図」（モデルが言うこと）上でモデルがたどる経路と、「脳の地図」（モデルが考えていること）上でたどる経路は、ほぼ同一であることがわかりました。

アナロジー: 操り人形を見ているようなものです。論文は、人形を引く糸（内部の数学）と、人形の実際の動き（出力）が完璧に同期していることを発見しました。もし糸が見えれば、人形が次にどこへ動くかを正確に予測でき、その逆もまた真です。

3. 線形プローブによる心の読み取り

著者たちは「線形プローブ」と呼ばれるツールを使用しました。これはシンプルな翻訳機のようなものです。

彼らは、モデルの「脳」内の複雑で入り組んだ数学を、ある瞬間に見て、単純な線形方程式（直線）を用いて、モデルが物語の感情について何を信じているかの予測に変換できることを示しました。
結果: この翻訳機は驚くほどうまく機能しました。つまり、モデルの「信念」は、解き明かすことのできないブラックボックスに隠されているのではなく、モデルの内部コードに明確に記されており、読むのを待っているだけなのです。

4. 物語の操縦（リモコン）

この論文の最もエキサイティングな部分は、彼らがモデルを単に見守っただけでなく、操縦したことです。

アナロジー: モデルの信念の経路を、道路を走る車だと想像してください。研究者たちは、ステアリングホイールを掴む（内部の数学を調整する）ことで、物語のテキストが自然に「悲しみ」の方へ向かっていたとしても、車を「喜び」という特定の目的地へ向かって強制的に曲げられることを発見しました。
注意点（操縦の幾何学）: 彼らがモデルを「悲しみ」の方へ操縦したとき、モデルは単に悲しくなるだけでなく、少し怒りっぽくなり、喜びが減りました。
なぜか？ なぜなら、彼らの「信念の地図」上では、悲しみと怒りが隣り合っているからです。モデルを悲しみの方へ押しやると、必然的に怒りの方へも少し押しやられることになります。論文は、この操縦によってモデルがどれほど「混乱」するかは、地図上の概念間の距離に完全に依存することを発見しました。もし二つの概念が地図上で遠く離れていれば、一方を操縦しても他方には影響しません。しかし、近ければ、それらは絡み合ってしまうのです。

主要な主張のまとめ

信念には形がある: LLM が物語を読むとき、変化する信念は、低次元の幾何学的空間内を滑らかで構造化された経路に沿って移動する。
思考と行動は一致する: モデルの内部数学と外部の回答は、この地図上で全く同じ経路をたどる。
信念は読み書きできる: 内部の数学を見るだけでモデルが何を信じているか予測でき、その数学を微調整することで信念を変更できる。
幾何学が支配する: モデルが変化（操縦）に反応する方法は、この地図上の概念間の距離によって決定される。地図上で「隣り合う」概念は互いに影響し合い、遠く離れている概念は影響し合わない。

要するに、この論文は、LLM は単に推測しているのではなく、構造化された幾何学的な概念の風景を航行しており、今やその地図を見て、座標を読み、さらには車両を運転することさえ可能であると主張しています。

技術的サマリー：Stories in Space：概念信念空間におけるコンテキスト内学習の軌跡

問題定義

大規模言語モデル（LLM）は、重みの更新なしに新しい情報に適応する、印象的なコンテキスト内学習（ICL）能力を示します。このプロセスはしばしばベイズ推論として枠組み付けられ、モデルが入力データに基づいて潜在概念を再重み付けすると考えられています。しかし、この推論が作用する潜在仮説空間の構造は未解明です。具体的には、LLM が複雑な概念をどのように表現し、信念が一定で単調ではなく非線形的かつ個性的に変化する可能性のある自由形式のテキスト（例えば物語）を処理する際に、これらの概念に対する信念をどのように動的に更新するかは不明です。

手法

著者らは、LLM が「概念信念空間」と呼ばれる低次元の幾何学的空間上に信念を割り当て、ICL がこの空間を通過する軌跡に対応すると提案しています。これを調査するため、彼らは動的な信念更新の自然な場として物語理解を用い、行動分析と表現分析を組み合わせました。

理論的枠組み

この研究は、不確実性と信念を説明するために概念空間の理論（Gärdenfors, 2000）を拡張しています。

概念空間（ $C$ ）： 属性上の計量空間であり、概念は凸部分空間として定義されます。
概念信念空間（ $B$ ）： $C$ 上の確率分布の計量空間であり、モデルの信念状態を表します。
信念軌跡： モデルが物語 $x_{1:T}$ を処理する際の信念状態の系列（ $b_{1:T}$ ）であり、信念空間内を形成する経路となります。

実験設定

データセット： 著者らは、様々なスタイル（冒険、古典、軽快、憂鬱、悲劇）にわたって合成生成された短い物語からなる SimpleStories データセットを使用しました。
ドメイン： 3 つの概念ドメインがテストされました。
1. 感情： 喜び、悲しみ、怒り、驚き、恐怖、嫌悪。
2. ジャンル： 軽快、おとぎ話、冒険、サスペンス、悲劇、ホラー。
3. 任意： 魔法、動物、好奇心、チームワーク、創造性、責任（予想される構造がない対照例として機能）。
モデル： Llama-3.1-8b-instruct（4 ビット量子化）。

中核技術

信念の引き出し： モデルは物語の各文の後に、特定の概念の適用性を 0〜10 のスケールで評価するようプロンプトされます。行動上の信念状態 $y_{t,c}$ は、モデルのトークン確率の期待値として計算されます。
次元削減： 行動データ（ $Y$ ）と残差活性化（ $Z$ ）の両方に、一様多様体近似および射影（UMAP）と PCA を適用し、低次元多様体（ $\mathcal{M}_y$ および $\mathcal{M}_z$ ）を特定します。
線形プローブ： 隠れ層の活性化（ $z_{t,\ell}$ ）から行動上の信念（ $y_{t,c}$ ）を予測するために線形回帰モデルを訓練し、信念が線形に符号化されているかをテストします。
活性化ステアリング： 著者らは、線形プローブの重みまたは平均差から導出されたステアリングベクトルを付加することで潜在活性化に介入し、信念軌跡に対する因果的な制御をテストします。

主要な貢献と結果

1. 低次元の構造化された多様体

本研究は、LLM における信念更新が、低次元で構造化された多様体上の軌跡としてよく記述されることを発見しました。

行動と表現の整合性： モデルの行動（ $\mathcal{M}_y$ ）と内部活性化（ $\mathcal{M}_z$ ）から導出された多様体は、高い相関を示し、構造的な特性を共有しています。
ドメイン構造： 感情および ジャンル のドメインでは、多様体は明確な構造を示します。感情の場合、学習された多様体の幾何学は、人間が検証した Valence-Arousal 空間（Russell & Mehrabian, 1977）と密接に一致し、人間の評価とモデルの行動的多様体の間の相関は $r=0.93$ でした。
任意との対比： 固有のセマンティック構造を持たない任意のドメインでは、多様体の構造が不明瞭で、行動と活性化多様体の間の相関が低く（ $r=0.71$ ）、構造が意味のある概念的関係から生じるという仮説を支持しました。

2. 信念の線形分解可能性

隠れ活性化上で訓練された線形プローブは、モデルの行動上の信念を正確に予測できます。

層 $\ell=9$ におけるプローブは、信念ダイナミクスを予測する際に低い二乗平均平方根誤差（RMSE）を達成しました：感情で 0.09、ジャンルで 0.09、任意で 0.11。
これは、モデルが特定の概念を明示的に考慮するように指示されていない場合でも、物語に関するモデルの「信念」に関する情報が残差ストリーム内で線形にアクセス可能であることを示唆しています。

3. 因果的ステアリングと幾何学

隠れ表現への介入は信念軌跡を因果的に誘導し、これらの介入の影響は概念空間の幾何学から予測可能です。

ステアリング効果： 対象となる概念（例：悲しみ）に対するステアリングベクトルを追加すると、モデルの軌跡が信念多様体内でその概念の方向へシフトします。
ステアリングの絡み合い： ある概念に対するステアリングは、しばしば関連する概念に影響を与えます（例：悲しみに対するステアリングは怒りを増大させ、喜びを減少させる）。この絡み合いは、多様体内の概念重心間の幾何学的距離を反映しています。
予測可能性： 概念間のステアリングの絡み合いの程度は、学習された多様体内のそれらの重心間の距離と有意に相関しています（感情で $r=0.65$ ）。
層ダイナミクス： 単一の層でのステアリングは、モデルの自己修正により出力まで持続しないことがよくありますが、層の範囲（例：層 7〜14）にわたるステアリングは、最終的な出力行動を成功裡に変更します。

意義と主張

この論文は、コンテキスト内学習のベイズ的解釈を構造化された概念表現に裏打ちされた、LLM における信念ダイナミクスの幾何学的説明を提供すると主張しています。

枠組みの統合： この研究は、学習の確率論的理論（ベイズ推論）と認知科学における概念的表現の幾何学的理論（概念空間）の間のギャップを橋渡しします。
解釈可能性： 自由形式のテキストにおける複雑で動的な信念更新は、解読および操作可能な低次元空間を通過する滑らかな軌跡として理解できることを実証しています。
謙虚さ： 著者らは限界を認め、本研究が手動で選択されたドメインと概念に依存し、概念を構成的ではなく単位的として扱い、キャラクター固有のものではなくグローバルな物語レベルの信念に焦点を当てていると指摘しています。彼らはこれを LLM の解釈可能性のための理論的基盤への初期段階として位置づけ、将来的な研究は概念ドメインを発見するための「自動解釈可能性」手法を探求し、これらの空間が長文生成における不確実性をどのように形成するかを調査すべきであると示唆しています。

要約すると、この論文は、LLM が単にトークンの列としてテキストを処理するのではなく、構造化された低次元の概念信念空間を航行し、物語のセマンティックおよび感情的な内容に反映される滑らかな軌跡に沿って内部状態を更新していると論じています。