🤖 AI

Belief or Circuitry? Causal Evidence for In-Context Graph Learning

本論文は、大規模言語モデルが単一の戦略に依存するのではなく、真のグローバルなトポロジー推論と局所的なパターンマッチングが同時に機能する二重のメカニズムを通じて、コンテキスト内のグラフ構造を学習することを示す因果的証拠を提供する。

原著者： Katharine Kowalyshyn, Timothy Duggan, Daniel Little, Michael C Hughes

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

原著者： Katharine Kowalyshyn, Timothy Duggan, Daniel Little, Michael C Hughes

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いけれど、少し謎めいたロボットに迷路の歩き方を教えると想像してみてください。いくつかのステップの道筋を見せ、次のステップを推測させるのです。研究者たちが抱く大きな問いはこれです：ロボットはどのように経路を特定するのでしょうか？

それは単に見たばかりの最後の数ステップを記憶しているだけなのでしょうか（言葉を繰り返すオウムのように）？それとも、頭の中で迷路全体を心の地図として構築しているのでしょうか（配置を理解する人間のように）？

この論文「信念か、回路か？」は、チャットボットを動かすような大規模言語モデル（LLM）と、2 種類の異なるマップ（多数の交差点を持つ都市街区のようなグリッドと、円形トラックのようなリング）上での「ランダムウォーク」ゲームを用いて、その問いに答えようとしています。

以下に、研究者たちが発見したことを簡潔に説明します。

1. 「信念」対「コピー」の論争

長らく、これらの AI モデルが文脈からどのように学習するかについて議論が続いてきました。

「コピー」理論: モデルは最後の数語を見て、「ああ、この言葉の後にあの言葉が続いたのを以前見たことがあるから、それをもう一度推測しよう」と言うだけです。テスト前の教科書の最後のページだけを勉強する学生のようなものです。
「信念」理論: モデルは実際には隠れた構造を推論しています。「これらの手がかりに基づけば、私はグリッドではなく、リングの上にいると信じる」と考え、その心の地図を使って予測を行います。

2. 実験：マップの混合

研究者たちはモデルに 1 つのマップだけを与えたのではなく、混合を与えました。ロボットに、グリッドとリングの間を行き来する道筋を見せたと想像してください。

もしロボットが単なるコピー機なら、2 つの形状の違いなど気にしません。単に最も最近見たものをコピーするだけです。
もしロボットが信念を持つ存在なら、2 つの形状を区別して扱います。「リング」は単純で学習しやすいが、「グリッド」は複雑で解明するにはより多くの証拠が必要だと理解するでしょう。

結果: ロボットは信念を持つ存在のように振る舞いました。複雑なグリッドに「コミット」するまで、単純なリングよりも時間がかかりました。単にコピーしていたのではなく、自分がいるマップの複雑さをweigh（考慮）していたのです。

3. 「X 線」テスト（脳の中を見る）

ロボットがこれをどのように行っているかを見るために、研究者たちはモデルの内部の「脳波」（数学的には残差ストリームと呼ばれる）を調べました。彼らはPCAという手法を用いました（3 次元の物体を 2 次元の影に圧縮して形状を見る X 線のようなものです）。

もし単なるコピーだった場合の予想: ロボットの脳は、グリッドとリングがごちゃ混ぜになったぼんやりとしたものに見えるはずです。
実際に観測されたもの: 実験の途中、ロボットの脳は2 つの明確に分離したマップを同時に保持していました。脳の一部分が「グリッド」の形状を保持し、全く別の部分が「リング」の形状を保持していました。それらはノイズ混じりのごちゃごちゃしたものではなく、別々の部屋で流れる 2 つの異なるラジオ局のようでした。

これは、モデルが単にコピーしているのではなく、世界に対する構造化された理解を維持しているという強力な証拠です。

4. 「リモコン」テスト（因果関係の証明）

最後に、研究者たちは知りたいと思いました。「この心の地図は、実際にロボットが正しい推測をする原因となっているのか、それとも単なる副産物に過ぎないのか？」

彼らは 2 つのトリックを用いました。

「脳のスワップ」（パッチング）: 答えを知っているロボットの「脳の状態」を取り出し、混乱しているロボットに差し替えました。
- 結果: 混乱していたロボットは突然答えを知りました。これは、脳内の情報が予測を駆動していることを証明します。
「ナッジ」（誘導）: ロボットに「グリッド」または「リング」の方向へわずかな数学的な押しを与えました。
- 結果: ロボットの推測は、押した方向に正確にシフトしました。「リング」方向に押せば、リングの隣接する場所を推測しました。

大きな結論

この論文が結論づけるのは、答えは「信念か回路か」ではないということです。両方です。

AI を犯罪を解決する探偵だと想像してください。

回路（コピー）: 直近の手がかり（最後の数歩の足跡）を見ます。
信念（構造）: 容疑者のプロファイル（マップ）についての理論を構築します。

モデルは両方を同時に実行します。最近のパターンをコピーするために「帰納回路」を使いますが、同時に構造の真の内部モデルも構築します。この 2 つのシステムは並行して機能し、最終的な答えは、直近の手がかりと全体像の理論を組み合わせることで導き出されます。

要約すると: AI は聞いたことを繰り返すオウムではなく、たとえその世界が点と線の単純なゲームであっても、世界の心のモデルを構築する建設者なのです。

技術的サマリー：信念か回路か？コンテキスト内グラフ学習の因果的証拠

1. 問題定義

本論文は、機械的解釈可能性における根本的な論争、すなわち大規模言語モデル（LLM）がコンテキスト内学習（ICL）をどのように遂行するかについて取り組む。具体的には、LLM が潜在的な構造的関係性を推論する（世界モデルに対するベイズ推論に似た「信念」メカニズム）のか、それとも誘導回路を介して最近の局所的遷移を単にコピーする（「回路」メカニズム）のかを調査する。

近年の研究（Park ら、2025）は、LLM がグラフ構造に対する暗黙の確率的世界モデルを維持していることを示唆したが、対照的な議論（Arditi、2026; Ransome、2026）は、観測された行動は、大域的構造の推論なしに遷移統計を蓄積する局所的な誘導ヘッドによって完全に説明できると主張している。著者らは、競合するグラフ構造上でのランダムウォークを含む制御されたトイタスクを用いて、この論争を三角測量することを目的としている。

2. 手法

本研究は、行動モデリング、表現分析、および Llama-3.1-8B モデルに対する因果的介入を組み合わせる多面的なアプローチを採用している。

2.1. タスク設計

著者らは、モデルが未知のグラフによって生成された系列における次のノードを予測するグラフランダムウォークタスクを利用する。競合する 2 つの仮説が検証される：

$H_{grid}$ ： $4\times4$ グリッドグラフ（16 ノード、24 辺、可変次数）。
$H_{ring}$ ：16 ノードのリンググラフ（16 辺、均一次数）。

真の競合を生み出すため、著者らは両グラフからのランダムウォークを制御された混合比率（ $\rho$ ）で交互に配置する。ここで $\rho$ は、セグメントがリングから引き出される確率を表す。

2.2. 行動モデリング（実験 1）

著者らは、観測された精度曲線に信念ダイナミクスモデルを適合させる。以前の平坦な対数事前分布アプローチとは異なり、複雑性重み付き事前分布を導入する：
$b_k = b_0 - \lambda \cdot C(H_k)$
ここで $C(H_k)$ は、グラフ仮説の最小記述長（MDL）複雑性（辺リスト符号化に基づく）である。

仮説：モデルが構造的推論を行う場合、より複雑なグラフ（ $H_{grid}$ ）にコミットするにはより多くの証拠が必要となり、 $\hat{\lambda} > 0$ となるはずである。
対照：純粋な誘導回路は、大域的トポロジーに関係なく遷移統計を均一に蓄積するはずであり、 $\hat{\lambda} \approx 0$ を予測する。

2.3. 表現分析（実験 2）

著者らは、主成分分析（PCA）を用いて残差ストリーム活性化（特に層 26）を分析する。

指標：低次元幾何学がノードトークン表現と真のグラフ隣接構造とどの程度整合するかを定量化するために、次数正規化ディリクレエネルギー（ $E_{norm}$ ）を測定する。
目的：中間的な混合比率において、両方のグラフトポロジーが、局所的コピーからの単一のブレンド表現とは整合しない特徴として、直交部分空間で同時に復元可能かどうかを判断する。

2.4. 因果的介入（実験 3）

内部表現と予測の間の因果関係を確立するため、著者らは 2 つの介入を行う：

活性化パッチング：特定の層において、「汚染された（混合）」プロンプトからの残差ストリーム活性化を、「クリーンな（単一グラフ）」プロンプトからのそれと置き換える。ログイット対比スコアを用いて、クリーンなグラフの選好の回復を測定する。
活性化ステアリング：学習された「グラフ差ベクトル」（クリーン対リングの文脈から導出）を残差ストリームに追加し、予測を特定のグラフファミリー方向へシフトさせる。

3. 主要な結果

3.1. 行動的証拠

複雑性感受性：適合したモデルは $\hat{\lambda} > 0$ および $\hat{b}_{grid} < \hat{b}_{ring}$ を示す。モデルは、リングと比較して、より高密度なグリッドトポロジーにコミットするために、不釣り合いに多くのコンテキストを必要とする。
相転移：リングの証拠が増加するにつれて、グリッドの折れ曲がり点は単調に後方にシフトする。
モデル選択：グラフごとのパラメータ化（各グラフに対して異なるダイナミクスを許可する）は、AIC および BIC 指標において、事前分布のみを調整する混合バイアス除去（mixture-bias ablation）よりも大幅に優れている。これは、モデルが静的な事前分布を通じてではなく、各トポロジーに対して構造的証拠を異なって処理していることを示唆する。

3.2. 表現的証拠

直交部分空間：中間的な混合比率（ $\rho = 0.5$ ）において、PCA はグリッドとリングの両方のトポロジーが、直交する主部分空間で同時に符号化されていることを明らかにする。
含意：純粋な局所的誘導メカニズムは、共起統計の単一のブレンド表現を生み出すはずである。2 つの分離可能な大域構造の存在は、「コピーのみ」の仮説と矛盾する。
幾何学的整合：コンテキスト長が折れ曲がり点を越えて増加するにつれて、内部幾何学は真のトポロジーを漸進的に反映し、 $E_{norm}$ は 0.785 から 0.828 へシフトする。

3.3. 因果的証拠

パッチ転送：後期層（層 26–30 付近）でのパッチングは、クリーンなグラフの選好を汚染されたプロンプトへほぼ完全に転送する。重要なのは、この効果が保持された辺（汚染されたコンテキストで決して観測されなかった隣接ノード）にも及ぶことであり、モデルが観測された遷移を単に再生しているのではなく、構造的表現を利用していることを示している。
ステアリング：グラフ差ベクトルを用いた線形ステアリングは、意図した方向に予測を移動させることに成功する。この効果は、ノーマル一致ランダムベクトルおよびシャッフルラベル制御に対して堅牢であり、方向性がグラフファミリー信号に特異的であることを確認する。

4. 貢献

複雑性重み付き事前分布：平坦な事前分布を MDL に着想を得た複雑性測定に置き換え、トポロジー感受性のある構造的バイアスの定量的特徴（ $\hat{\lambda} > 0$ ）を回復させた。
交互競合：混合仮説レジームにおける対称的行動という誘導回路の予測に対して、トポロジーバイアスされた証拠蓄積が成立することを示した。
同時符号化：異なる大域グラフトポロジーが、局所的遷移コピーと調和させにくいパターンとして、直交部分空間で同時に復元可能であることを PCA 証拠により示した。
因果的リンク：パッチングとステアリングを通じて、これらの表現構造が、未観測の遷移を含む次のトークン予測を因果的に制御することを確立した。

5. 意義と結論

本論文は、「信念」（大域構造推論）と「回路」（局所誘導）の二項対立はおそらく偽の二項対立であると結論づける。証拠は二重メカニズム説明を支持する：

誘導に似たキャッシュは、保持された辺への遅延効果やステアリング下での不完全な回復によって示されるように、依然として重要である。
潜在構造表現は、最終予測前に証拠を統合しながら並列に動作する。

著者らは、真の構造推論と誘導回路が同時に動作するこの共存のアーキテクチャこそが、今後の機械的解釈可能性における主要な課題であると主張する。LLM が完全な人間のような推論能力を有すると主張するのではなく、局所的パターンマッチングメカニズム alongside 暗黙的かつ操作可能な確率的世界モデルを維持していると主張する。