技術要約：ドットの間の読み解き（Reading Between the Dots）

問題提起

Chain-of-thought (CoT) のモニタリング可能性は、モデルの表面的な出力トークンが、その背後にある推論プロセスを忠実に反映しているという仮定に基づいています。しかし、近年の文献は、この仮定が脆弱であることを示唆しています。モデルは「隠れた計算（hidden computation）」を行う可能性があり、そこでは推論が生成されたテキストには見えない形で進行します。CoT モニタリングの特定の失敗モードとして、「フィラー・トークン計算（filler-token computation）」があります。これは、大規模言語モデル（LLM）が、質問と回答スロットの間に挿入された、内容のないトークン（例：ドットの列、数字のカウント、アルファベットのシーケンスなど）を用いて多段階の推論を行う現象です。これらのシナリオでは、表面上のトークンは推論に関する意味情報を持たず、従来の行動監査（behavioral auditing）を無効にします。本論文が取り組む中心的な問いは、このような隠れた計算は真に観測不可能なのか、それともモデルの内部状態からデコード可能なのかという点です。

手法

著者らは、2つの最先端のオープンウェイトモデル、DeepSeek V3（671B パラメータ、約37B 活性化）および Kimi K2（1T パラメータ、約32B 活性化）を用いて、この現象を調査しています。中間値を必要とする4つのタスクファミリーにおけるパフォーマンスと内部メカニズムを評価します：

1. 1-fact addition（1つの事実の加算）: 事実を1つ取得し、ランダムな数を加える。
2. 2-fact addition（2つの事実の加算）: 2つの事実を取得し、それらを合計する。
3. 2-hop letter position（2ホップの文字位置）: 首都や元素を取得し、特定の文字を見つける。
4. System of equations（連立方程式）: コンテキスト内で定義された線形関係を解く。

実験設定では、プロンプトと回答スロットの間に、内容のないフィラー・トークン（ドット、カウントシーケンス、アルファベットシーケンス）を挿入します。研究は以下の3つのフェーズで進行します：

1. 行動分析（Behavioral Analysis）: フィラー・トークンの有無による精度向上を測定する。
2. メカニズム分析（Mechanistic Analysis）: アテンション・マップ、ロジットレンズ（logit-lens）による読み出し、およびKVキャッシュの移植（transplant）を用い、情報がどのように流れ、フィラー領域内でどのようにエンコードされているかを特定する。
3. 教師なしデコーディング（Unsupervised Decoding）: 正解ラベルや学習を用いずに、隠れ状態のみから中間値を復元するパイプラインを開発する。

主な貢献と結果

1. フィラー・トークンは隠れた計算を可能にする

本論文は、フィラー・トークンが単なる無意味なパディングではなく、「処理のリレー（processing relay）」を促進することを確立しています。

• 行動的向上（Behavioral Uplift）: 両モデルともに、フィラー・トークンが存在する場合に大幅な精度向上が見られます。例えば、DeepSeek V3 の 1-fact addition における精度は 54% から 72% に上昇し、連立方程式では 31% から 61% に上昇します。スクランブルされた（かき混ぜられた）フィラー・シーケンスではパフォーマンスが低下することから、この恩恵は特定のコンテンツによるものではなく、非破壊的なトークン・シーケンスによるものであることが示されています。
• アテンション・ルーティング: アテンション分析によれば、フィラーが存在する場合、モデルは計算を再ルーティングします。回答位置から質問への直接的なアテンション・パスは、質問 → フィラー → 回答 というリレーに置き換わります。フィラー領域は、質問が読み取られ、中間値が処理されてから回答位置へと渡されるバッファとして機能します。

2. エンコードされた中間値のメカニズム的証拠

著者らは、フィラー位置がタスクに関連する情報を因果的に保持していることを示す3つの証拠を提示しています：

• ロジットレンズによる読み出し（Logit-Lens Readouts）: 残差ストリームの状態をアンエンベディング行列（unembedding matrix）に通して投影すると、中間値（例：取得された事実 $A_1, A_2$ およびその合計）がフィラー位置の残差ストリームに明示的にエンコードされていることが明らかになります。2-fact addition では、$A_1$ がフィラー・シーケンスの早い段階に現れ、$A_2$ が後に続き、その合計が回答の直前の最終層で結晶化します。
• KVキャッシュの移植（KV-Cache Transplants / 因果的検証）: 「ドナー（提供側）」の例から「ターゲット」の例へ、フィラー領域のキー・バリュー（KV）キャッシュを移植することで、著者らは因果的依存性を実証しました。フィラー・キャッシュを入れ替えると、ターゲット・モデルがドナーの回答を出力し、ランク（順位）が数十から数百位向上しました。これにより、フィラー領域内のコンテンツが、出力と相関しているだけでなく、因果的に必要であることが確認されました。
• 位置の特定性（Positional Specificity）: 2-fact addition において、エンコーディングの構造は因果的です。$A_1$ がデコードされる特定のポジションのみを移植すると、効果の大部分が回復されますが、補完的なポジションの影響は無視できるほど小さいものでした。

3. 教師なしデコーディング・パイプライン

本論文は、教師なしで残差状態から隠れた推論ステップを復元するパイプラインを紹介しています：

• プロセス:
  1. 全レイヤーおよび全フィラー位置における残差ストリームの活性化を抽出する。
  2. ロジットレンズを適用して、状態をトークン確率に投影する。
  3. フォーマットのアーティファクトを除去し、例固有の信号を分離するために、クロス・エグザンプル平均を減算する。
  4. 位置間で残差スコアを集計し、上位50個のトークンを選択する。
  5. これらのトークンを LLM ジャッジ（例：Claude Haiku/Sonnet）に渡し、推論を解釈させる。
• パフォーマンス: このパイプラインは、4つの全タスクおよび両方のモデルにおいて、中間値を 80–95% の精度で復元します。
  • 1-fact addition では、ジャッジなしでもターゲットとなる事実が上位2トークン以内に約85%の割合で含まれており、ジャッジを使用すると約94%まで上昇します。
  • 2-fact addition のような複雑なタスクでは、フル・トップ50リストからのコンテキスト信号を利用することで、ジャッジによる復元率が大幅に向上します（DeepSeek V3 において約35%から82%へ）。
  • このパイプラインは、取得された事実と、コンテキスト内で計算された値（例：連立方程式の変数）の両方を正常にデコードできます。

意義と主張

本論文は、「隠れた計算」は「監査不可能な計算」と同義ではないと主張しています。フィラー・トークンによる推論は、出力テキストに推論が含まれないため、行動的な CoT モニタリングを欺きますが、計算自体はモデルの残差ストリームから直接読み取ることが可能です。

• トレースの特性としてのモニタリング可能性: 著者らは、モニタリング可能性とはモデルの完全な計算トレースの特性であり、表面的なトークンだけの特性ではないと断じています。
• 部分的監査可能性: 本研究は、離散的で名前を付けられる中間値を持つタスクに対して、「安価な」解釈可能性ツール（ロジットレンズ ＋ 正規化 ＋ LLM ジャッジ）が、不透明な表面トークンによって生じるギャップを埋められることを示しています。
• 限界: 著者らは、この手法がクリーンな中間値を持つタスクに対して有効であると控えめに主張しています。語彙投影に対して直交するように最適化された計算、非トークン化可能な概念（戦略や意図など）、あるいはロジットレンズの投影では見えないアテンション・パターンに依存する計算については、限界があることを認めています。

結論として、本論文は、CoT モニタリングは脆弱ではあるものの、フィラー・トークンにおける隠れた計算の存在が、モデルを完全に不透明にするわけではないことを示唆しています。むしろ、行動観察と残差ストリームの解釈を組み合わせたハイブリッドな監査戦略の可能性を浮き彫りにしています。