🤖 machine learning

Do Models Read What They Write? Causal Registers in Scratchpad Reasoning

この論文は、中間状態をスクラッチパッドに書き出すように訓練された大規模言語モデルが、それらの書き出された状態を単に人間にとっての可読性のために生成しているのではなく、実際には後続の推論ステップのための因果的な入力として利用していることを実証している。

原著者： Benjamin Shih, John Winnicki, Eric Darve

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Benjamin Shih, John Winnicki, Eric Darve

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問い：モデルは単に「喋っている」だけか、それとも実際に「考えている」のか？

あなたが数学のテストを受けている生徒を見ていると想像してください。その生徒は、紙（「スクラッチパッド」）に計算過程を書き込み、最後に答えを書き出します。

期待されること： 私たちは、生徒がその紙を実際に数学の計算に利用していることを期待しています。もし、彼らが書いた数字を魔法のように書き換えたとした場合、最終的な答えも新しい数字に合わせて変化するはずです。
懸念されること： 私たちは、生徒が「ふりをしている」だけではないかと心配しています。彼らはすでに頭の中で問題を解いており、紙に書いているのは、賢く見せるための単なる「物語」に過ぎないかもしれません。もし、紙に書かれた数字を変えても、彼らが実際に作業をするためにその紙を見ていなければ、最終的な答えは変わらないままです。

この論文はこう問いかけています。AIモデルが思考プロセスを書き出したとき、それらのステップを使って次の部分を導き出しているのでしょうか、それとも単に物語を書いているだけなのでしょうか？

実験：「魔法の消しゴム」テスト

答えを見つけるために、研究者たちはAIに対して非常に特殊で単純なゲームを作成しました。

ゲームの内容：
小さな2x2のグリッド上を動くロボットを想像してください。

ロボットはある地点（例：左上）からスタートします。
ロボットにコマンド（例：「最初のビットを反転させる」）が与えられます。
ロボットは現在地を書き込みます。
次のコマンドを受け取り、新しい場所を書き込み、これを繰り返します。

厄介な点は、ロボットには隠れた「フェーズ・ビット」（秘密のスイッチのようなもの）があることです。これは移動の「順序」によって変化します。異なる経路を通った結果、目に見える場所は同じでも、秘密のスイッチの設定が異なる場合があります。

テスト（「魔法の消しゴム」）：
研究者たちは、AIにゲームをプレイさせ、そのステップを書き込ませました。その後、彼らは「外科的」な操作を行いました。

書き込まれたテキストは全く変えませんでした。 紙には依然として「私は地点Aにいて、スイッチはONである」と書かれています。
AIの内部的な脳の状態を密かに変更しました。 紙には「ON」と書いてあるにもかかわらず、AIのメモリ内の「秘密のスイッチ」を「OFF」へと切り替えました。
そして、AIに次の動作を行わせました。

問い：

もしAIが単に**「物語を書いている」**のであれば、AIは内部の変化を無視するでしょう。紙に「スイッチON」と書いてあるので、その記述に基づいて次のステップを計算します。
もしAIが**「実際に状態を利用している」**のであれば、AIは内部の変化を感じ取るはずです。「待てよ、私の内部のスイッチは実際にはOFFだ」と気づき、紙の内容がどうあれ、「スイッチOFF」に基づいて次のステップを計算します。

結果：誰がテストに合格したのか？

研究者たちは3種類のAIモデルをテストしました。

事前学習済みモデル： インターネットから学習したが、この特定のゲームについては教わっていないモデル。
「最終回答」モデル： このゲームを解くように教えられたが、ステップではなく最終結果のみを書き出すモデル。
「実行状態（Running State）」モデル： 進むごとにすべてのステップを書き出すように教えられたモデル。

判明したこと：

「ストーリーテラー（物語を作る者）」（事前学習済みモデルおよび最終回答モデル）： 研究者が密かに内部スイッチを切り替えたとき、これらのモデルは気にしませんでした。彼らは紙に書かれた内容に基づいて次のステップを予測し続けました。彼らは自分自身の内部の現実を無視していたのです。
「真の思考者」（実行状態モデル）： 研究者が密かに内部スイッチを切り替えたとき、これらのモデルは予測を変更しました。彼らは、紙の記述を無視して、新しい内部のスイッチに基づいて次のステップを計算したのです。

「実行状態」モデルにおいて、書き込まれたテキストは単なる報告ではなく、**「動的な変数」**となっていました。モデルは、数学を行うために、実際に自分のメモを読み取っていたのです。

「なぜこれが重要か」のアナロジー

コンピュータプログラムを考えてみてください。

不適切な監視： プログラムが画面に「ファイルを保存しています」と表示していますが、バックグラウンドでは実際にはファイルを削除しています。画面のテキストを「削除しています」に変えても、プログラムは気にしません。なぜなら、テキストは単なる表示に過ぎないからです。
優れた監視： プログラムに file_status という本物の変数があります。コード内でその変数を変更すれば、プログラムの挙動は即座に変化します。

この論文は、AIに中間ステップを書き出すように訓練することで、それらのステップをAIが実際に使用する「実在する変数」に変えられることを証明しています。

「因果的」な証明

研究者たちはそこで止まりませんでした。AIが単に推測したり、別の例からコピーしたりしているのではないことを確認するために、追加のテストを行いました。

「移動入れ替え」テスト： 内部状態を編集したまま、コマンド（例：「右へ移動」の代わりに「左へ移動」）を変更しました。AIは新しいコマンドに基づいて正しく答えを変更したため、状態とコマンドを組み合わせていることが証明されました。
「コピーキャット（模倣）」テスト： 別の例からの将来の答えをコピーするようにAIを騙そうとしました。AIはコピーせず、現在の状況に基づいて再計算を行いました。

結論

この論文は、AIの安全性と監視（オーバーサイト）を機能させるためには、単にAIが思考を書き出すことを期待するだけでは不十分であると結論付けています。書き出された思考が、実際の計算プロセスの一部となるような、特定の**「訓練」**が必要です。

これを行うことで、「スクラッチパッド」は単なる記録（何が起きたかの記録）ではなく、「コントロールパネル」（AIの思考を実際に介入させ、変更できる場所）へと進化します。

要約すると： この論文は、適切な訓練を行えば、AIは「自分が書いたものを読む」ことができるようになり、書き込まれた推論を、脳のリアルで利用可能な一部へと変えることができるということを示しています。

技術要約：スクラッチパッド推論における因果的レジスタ（Causal Registers）

問題提起

プロセス監督（Process supervision）は、単に最終回答を報酬とするのではなく、中間的な推論ステップ（例：スクラッチパッド、思考の連鎖）に対して報酬を与えることでモデルを整列させることを目的としています。しかし、「可読性（legibility）」と「因果性（causality）」の間には決定的な溝が存在します。モデルは、正解と相関するもっともらしい中間状態を記述することはできても、その記述された状態を後続の計算の入力として実際に使用しているとは限りません。もし書かれたテキストが、単なる事後的な正当化や相関信号に過ぎない場合、それは効果的な監査や介入の対象にはなり得ません。

本研究が取り組む中心的な問いは、**「モデルは自身が書き出した中間状態から実際に計算を行っているのか？」**という点です。具体的には、記述された状態に対応する内部表現を変更した際、可視的なテキストは固定されているにもかかわらず、モデルの次のステップがその状態の既知の更新ルールに従って変化するかどうかを検証します。

手法

1. 制御された状態追跡タスク

著者らは、既知の更新ルールを持つ有限遷移系を利用して、曖昧さのない因果的テストを作成しました。

タスク構造: モデルには初期状態と一連の動きが与えられます。モデルは各動きの後の状態を追跡しなければなりません。
状態表現: 状態は $v | p$ として定義されます。ここで $v$ は可視座標（4つのグリッドセルのいずれか）、 $p$ は「フェーズ・ビット」（0または1）です。
順序依存性: フェーズ・ビット $p$ は、可視座標 $v$ だけで決まるのではなく、動きの履歴（操作の順序）に依存します。これにより、可視テキストは同一であるが内部フェーズが異なる「一致する状態」（例： $11|0$ と $11|1$ ）が生じます。
モデル: 主なモデルとして Qwen2.5-Coder-7B を使用し、再現実験として Mistral-7B-v0.3 を用いています。
学習条件:
1. 事前学習済みベース (Pretrained Base): ファインチューニングなし。
2. 最終回答のみ (Final-Answer Only): 最終状態のみを出力するようにファインチューニング。
3. 実行状態 (Running-State): 最終回答の前に、毎ステップの完全な実行状態を書き出すようにファインチューニング。

2. 介入：反事実的な状態編集

核心となる実験的介入は、現在の状態に対応するトークンの位置における活性化パッチング（具体的にはKVキャッシュの修正）です。

編集内容: 現在の状態トークンにおけるフェーズ・ビットの内部残差ストリーム表現を、 $p$ から $1-p$ へと編集します。
制約: 可視トークンIDおよび印刷されたスクラッチパッドのテキストは変更されません。クリーンな実行時とパッチ適用時の両方で、モデルに与えられるプレフィックスは同一です。
テスト: モデルに対し、次に来る動き $m$ $m$ が与えられた際の次の状態を予測させます。
- 成功条件: モデルが、編集された状態 $\tilde{s} = (v, 1-p)$ に動き $m$ を適用した結果としてのフェーズ・ビットを予測すること。
- 失敗条件: モデルが内部の編集を無視し、元の状態 $s = (v, p)$ に基づいて予測するか、あるいは一般的なバイアスに従うこと。

3. コントロール（対照実験）と選択性

代替的な説明（例：一般的な次トークン・ステアリングや継続のコピー）を排除するため、著者らは2つの特定のコントロールを採用しています。

動きの入れ替えコントロール (Move-Swap Control): 編集された状態は固定したまま、次に来る動きを変更します。有効な状態更新メカニズムであれば、新しい動きに基づいて予測を変化させるはずであり、固定されたバイアスであれば変化しないはずです。
矛盾する継続コントロール (Conflicting-Continuation Control): 現在の動きと将来の軌跡が一致しない別のコンテキストから、反事実的な状態を注入します。モデルが現在の動きに従う場合は、編集された状態から再計算していることになり、注入されたコンテキストの未来に従う場合は、単に継続をコピーしていることになります。

主要な結果

1. スクラッチパッド状態の因果的利用

実行状態 (Running-State) モデル（中間状態を書き出すようファインチューニングされたモデル）では、内部編集が次の状態計算を正常にリダイレクトしました。

Qwen2.5-Coder-7B: 編集された状態によって示唆される次のフェーズ・ビットを、保持された例の 80% (Q8タスク) および 91% (D8タスク) で予測しました。
コントロール: 事前学習済みモデルおよび最終回答のみのモデルはベースライン（チャンスレベル）付近に留まっており、書き出された状態を計算入力として使用していないことを示しています。
ランダム/直交編集: ランダムなパッチや直交部分空間へのパッチでは、一致率は 0.02 付近となり、この効果がフェーズ・ビットの部分空間に特異的であることを確認しました。

2. 選択性と再計算

実行状態モデルは高い選択性を示しており、単にトークンをバイアスさせているわけでも、コピーしているわけでもないことが証明されました。

動きの特異性 (Move-Specificity): 動きが変わると予測が有意に変化します（選択性のギャップ：Q8で +0.57、D8で +0.68）。
再計算 vs コピー: 矛盾する継続に直面した際、モデルは注入されたソースの未来ではなく、現在の動き（および編集された状態）に従います（選択性のギャップ：Q8で +0.59、D8で +0.81）。

3. メカニズム解析

コンパクトな表現: フェーズ・ビットの情報は低ランクの部分空間によって捉えられています。Q8ではランク1の編集で十分であり、D8ではランク2の編集で十分でした。これは3584次元の残差ストリームと比較して極めて低ランクです。
ルーティング:
- Q8: 更新は主に単一のアテンション接続（現在のフェーズ・トークンから次の予測レイヤーへ）を通じて流れます。この接続をアブレーション（除去）すると、効果の94%が消失します。
  疑いなく、更新は分散型のメカニズムを通じて処理されます。
- D8: 更新は分散した4つのエッジ・ルートを使用します。この特定のルートをアブレーションすると、効果の約69%が除去されます。これは、コンパクトな状態変数が分散型のメカニズムを通じて処理され得ることを示しています。
再現性: これらの因果的パターンは Mistral-7B-v0.3 でも再現され、実行状態モデルは 0.93–0.94 の編集状態一致率を達成しました。

4. 生成されたプレフィックス

モデル自身がプレフィックスを生成する場合（供給されるのではなく）、効果は持続しますが、Q8（1ステップ使用率 0.66）ではD8（0.90）と比較してやや不安定になります。それでも、ベースラインよりは有意に高い値を示します。

意義と主張

本論文は、実行状態の監督（running-state supervision）（中間状態を出力するようにファインチューニングすること）が、スクラッチパッドを単なる記録から、モデルの計算内における**因果的レジスタ（causal register）**へと変容させることを主張しています。

操作的意味論 (Operational Semantics): 整列のための有用な中間表現は、モデルの内部で操作的意味論を持つ必要があります。結果は、訓練されたモデルにおいて、書き出された状態に関連付けられた内部値を変更すると、遷移ルールと一致する形で次のステップが因果的に変化することを示しています。
監査可能性 (Auditability): これは「スクラッチパッド監視のための、より鋭い目標」を確立するものです。監視とは、単に推論を人間に可読にすることではなく、モデルに書き出された状態を自身の計算のための実際の入力として使用させる訓練をすることです。これにより、監視者が理論的に状態を変更し、モデルのその後の振る舞いがその変更に整合するかどうかを検証できる「証拠歪曲監査（evidence-distortion audits）」が可能になります。
概念の区別: 本研究は、しばしば混同される以下の3つの概念を明確に分離することに成功しました。
1. 状態が書き出されているかどうか。
2. 状態が内部的に表現されているかどうか。
3. モデルが実際にその状態から計算を行っているかどうか。
  結果は、表現と計算の間の溝を埋めるためには、監督が必要であることを示しています。

著者らは、このような構造は制御された合成環境で示されたものの、今後のプロセス監督の目標は、より豊かな領域（例：プログラムの状態、定理証明、ツール利用）において、モデルが同様に利用可能で因果的に活動的な状態変数（state variables）を露出させるようなタスクと訓練手法を構築することであると結論付けています。