技術要約：いつ、読み出し（Readout）は計算を反映するのか？ 連続的思考モデルにおける用量反応介入

1. 問題提起

Chain of Continuous Thought (Coconut) モデルは、中間ステップを自然言語のトークンとしてデコードするのではなく、最後の隠れ状態を次の入力埋め込みとしてフィードバックすることで、連続的な潜在空間内で推論を行います。これは表現力を高める一方で、「モニタリング可能性の問題」を生じさせます。すなわち、中間的な計算を直接観察することができないのです。

現在の解釈可能性の実践は、隠れ状態を語彙空間へと投影する読み出し（readout）（例：Logit LensやTuned Lens）に依存しています。標準的な推論は、「もし読み出しが変化すれば、基礎となる計算も変化した」というものです。しかし、この推論は歴史的に、単一の介入強度においてのみテストされてきました。本論文は、もし読み出しと計算が、同一の介入方向に対して異なる感度を持っている場合、単一の強度によるテストではその相違を明らかにできず、モデルの内部推論に関する誤った結論を導く可能性があると主張しています。

2. 手法

読み出しと計算の感度を介入強度（dose）の関数として測定するために、著者は制御されたテストベッドと用量反応プロトコルを構築しました。

2.1 制御されたテストベッドの構築

• J-Lensによる監督: 著者は、2つのホップにわたる事実想起タスクに対して、2BパラメータのCoconutモデルを訓練しました。損失関数にJ-lens項を追加することで、答えの損失を変更することなく、連続的思考（潜在状態）を特定の「ブリッジ・エンティティ（架け橋となる実体）」トークンに強制的に整合させました。
• 検証: この監督により、答えの精度を維持したまま、読み出しにおいてブリッジ・トークンへの確率質量が0.95を超えました。これにより、読み出しが「制御」されている（既知のトークンを指している）一方で、モデルの計算能力を低下させていないことが保証されました。
• 自己ラベル付け: 著者は、モデルがJ-lensの読み出しを通じて独自のブリッジ・ラベルを生成できることを示し、監督信号のための追加の人手によるアノテーションを不要にしました。

2.2 用量反応介入プロトコル

核心となる革新は、介入の方向と強度を分離するプロトコルです。

1. 固定相対強度 ($\alpha$): 介入は、状態の乖離を考慮して毎ステップ再計算される固定相対強度 $\alpha = \|\delta\|/\|h\|$ で適用されます。
2. 直交分解: 因果的なデルタ ($d = h_{donor} - h_{recipient}$) は、以下の2つの直交成分に分解されます。
   • $d_{\parallel}$: レンズの勾配に平行な成分（レンズが検出する方向）。
   • $d_{\perp}$: レンズの勾配に直交する成分（レンズが「盲目」である方向）。
3. 一致させたランダム制御: レンズの勾配に対して直交し、かつ $d_{\perp}$ とノルムが一致するランダムな方向を生成します。これにより、方向の効果を孤立させるために、大きさ（magnitude）とレンズの不可視性を制御します。
4. ドーズ・スイープ（用量掃引）: 著者は、読み出し（トークンの変化）と計算（答えの変化）の両方の用量反応曲線を作成するために、$\alpha$ をグリッド（0.10から0.60）にわたって掃引しました。

3. 主な結果

3.1 閾値の解離（レンズが見える方向）

レンズが検出する方向 ($d_{\parallel}$) において、読み出しと計算は著しく異なる活性化閾値を持っています。

• 読み出しの感度: 読み出しは、相対強度が 0.125–0.158 の段階でドナー・トークンへと反転します。
• 計算の感度: これらの強度では、答えは変化しません。
  • lmk (ランドマーク $\to$ 国 $\to$ 首都) の関係において、答えの閾値は読み出しの閾値よりも 2.03倍高く (0.253) なっています。
  • typeA (首都 $\to$ 国 $\to$ 大陸) の関係では、高強度でモデルが崩壊（無関係なトークンを出力）する前に、答えが 多数派の反転に達することはありませんでした。
• 含意: 読み出しが反転した時点で停止するという標準的な手順（最小ノルム介入）では、因果的閾値の約半分（あるいはそれ以下）で停止してしまい、因果的リンクを検出できません。

3.2 「不可視」のチャネル

レンズが検出しない方向 ($d_{\perp}$) において：

• 計算: 介入によって、試行の 96–97% で答えの移植に成功しました（閾値 $\approx$ 0.45–0.48）。
• 読み出し: 読み出しは 変化せず (900試行中0回)、レシピエント・トークンに固定されたままです。
• 制御: 一致させたランダム制御では、読み出しと答えのいずれにも変化が生じませんでした。これは、効果が単なる強度によるものではなく、$d_{\perp}$ という特定の方向によるものであることを裏付けています。

3.3 「偽のヌル（False Null）」の罠

著者は、この罠に陥った事前登録済みの初期実験について報告しています。

• 読み出しが反転するまで介入を行いました（停止時の強度 $\approx$ 0.119）。
• 結果：答えの反転は 0/90 でした。著者は当初、ブリッジは計算には使用されていないと結論付けました。
• 修正：用量反応曲線により、答えの閾値は 0.253 であることが判明しました。初期のテストは、因果的閾値よりも低いレベルで測定を行っていたために失敗したのです。

3.4 頑健性

• この閾値のギャップは、J-lensによる監督が なくても 存続しており（1.74倍）、この解離が訓練信号によるアーティファクトではなく、モデルの構造的な特性であることを示しています。
• このギャップは、高強度でのモデルの「崩壊」によって説明されるものではありません。解離は安定した動作ウィンドウ内で発生しています。

4. 貢献

1. 用量反応プロトコル: 固定強度、直交分解、および一致させたランダム制御を用いて、読み出しの感度と計算の感度を分離する手法。
2. 解離の定量化: 読み出しと計算が同一の方向に対して異なる閾値を持つこと、および読み出しが登録しない方向であっても計算が移植可能であることを示す証拠。
3. 最小ノルム介入の診断: 標準的な読み出しターゲット介入が、計算が変化する前に停止してしまうため、系統的に偽陰性（偽のヌル）を生み出すことを実証。
4. 制御されたテストベッド: 精度を損なうことなく読み出しを特定のトークンに整合させる手法。

5. 意義と主張

本論文は、読み出しの感度は、計算の特性ではなく、読み出しの特性であると主張しています。読み出しが変化したからといって計算が変化したとは限らず、また、読み出しの変化がないからといって計算の変化がないとも言えません。

• 方法論的な警告: 単一の強度による介入に基づく解釈可能性の主張は不十分です。「（答えの変化がないという）ヌル結果」は、「その方向が因果的ではない」のか、それとも「十分に強く押し切れていない」のかを区別できません。
• 処方箋: 読み出しに基づく因果的主張は、以下の項目を含む 用量反応曲線 として報告されるべきです：
  1. 読み出しが反応する強度。
  2. 出力が反応する強度。
  3. 強度と不変量が一致したランダム制御。

論文は、単一のモデル、単一のレイヤー、および合成された関係を用いて測定を行ったことを述べ、これらが全体的な潜在空間のマップ化を意図したものではないことを明記しています。しかし、著者は、読み出しから「何を読み取れるか」を問う研究は、同時に「どの強度において、読み取られたものが計算に対応しているのか」をも問わなければならないと結論付けています。