技術的サマリー：推論における隠れた誤り認識

1. 問題提起

Chain-of-Thought（CoT）プロンプティングは、大規模言語モデル（LLM）によって生成されたテキストが、その内部計算を忠実に反映しているという暗黙の仮定に基づいて動作する。モデルが「3 × 5 = 15」と記述する場合、それは内部的にこの事実を計算し、その後の推論をこれに基づいて構築していると仮定される。しかし、以前の行動研究は、CoT の説明が無関係な手がかりによって誘導されたり、最終的な答えを変更することなく省略されたりしうることを示しており、忠実性の欠如を指摘している。

本論文は、重要なギャップに取り組む。すなわち、行動テストは存在するものの、推論プロセス中にモデルが「言うこと」（テキスト表面）と「内部的に表現すること」（隠れ状態）との直接的な比較は行われてこなかったことである。具体的には、著者らは、生成されたテキストからは見えない、モデルが自身の推論誤りに対する内部的な認識を有しているかどうか、そしてこの内部的なシグナルを因果的に利用してその誤りを修正できるかどうかを調査する。

2. 手法

著者らは代表的アプローチを採用し、CoT 生成中に抽出された隠れ状態に基づいて線形プローブを訓練し、推論誤りを検出する。

• プローブの訓練: $L$ 層を持つモデル $M$ について、著者らは完全な CoT トレースの最後のトークン位置 $T$ における隠れ状態 $h^{(l)}_T$ を抽出する。彼らは、論理回帰プローブを訓練して、トレースが誤った答え ($y=1$) に至るかどうかを予測させる。訓練目的は、評価セットと重複しない 100 個の MATH-500 問題を用いた正則化対数尤度関数である。
• 評価指標: 誤り検出のための主要指標は、受信者動作特性曲線下面積（AUROC）である。
• 比較ベースライン: プローブの性能は、以下のものと比較される。
  • 言語化された信頼度（モデルの自己申告された確信度）。
  • 自己整合性（複数生成に対する多数決）。
  • CCS（Contrastive Consistency Search）、真実を検出するための教師なし手法。
  • 生成されたテキスト上で訓練されたテキスト表面分類器（TF-IDF + 論理回帰）。
• 介入実験: 因果性を検証するため、高い誤り検出スコアを示すモデルに対して 4 つの異なる介入戦略が適用される。
  1. 活性化誘導: 生成中に隠れ状態から学習された誤り方向を減算する。
  2. プローブ誘導 Best-of-N: 複数のトレースを生成し、予測された誤りスコアが最も低いものを選択する。
  3. 自己修正: プローブを用いて誤りを警告し、モデルに修正を促す。
  4. 活性化パッチング: 誤ったトレースからの隠れ状態を、正しいトレースからのもの（またはそれらを混合したもの）に置き換えて、出力が正しくなるかどうかを確認する。

本研究は、3 つのモデルファミリー（Qwen、Llama、Phi）にまたがり、15 億から 720 億パラメータまでのスケール、および RL 訓練された推論モデル（DeepSeek-R1）を含む。

3. 主要な結果

A. シグナルは存在し、早期に現れる

線形プローブは、トレースの正しさを予測するために高い AUROC スコアを達成し、言語化された信頼度や他のベースラインを大幅に上回る。

• 性能: Qwen2.5-3B において、プローブは 0.953 AUROC を達成し、言語化された信頼度（0.674）や自己整合性（5 倍の生成コスト、0.823）を上回る。
• 早期検出: シグナルは、テキストに誤りが現れる前の最初の推論ステップから検出可能である（0.79 AUROC）。
• スケール頑健性: このシグナルは、スケール（15 億〜720 億）およびモデルファミリー全体で維持される。特に、720 億パラメータモデルは 0.977 AUROC を達成し、RL 蒸留された DeepSeek-R1-7B は 0.852 AUROC を達成する。

B. シグナルは隠されている（隠蔽）

内部的検出と外面的表現の間には大きなギャップが存在する。

• 隠蔽ギャップ: テキスト表面分類器は最初のステップでわずか 0.59 AUROC を達成するのに対し、隠れ状態プローブは 0.79 AUROC を達成する。この 0.20 ポイントのギャップは、モデルが内部的な誤り認識を隠蔽していることを確認する。
• 信頼度の不一致: 誤ったトレースは高い言語化された信頼度（4.55/5）を示し、正しいトレース（4.87/5）とほぼ同一である。
• 不忠実な領域: 誤ったトレースの 65% が「高い信頼度かつ高い内部的誤りスコア」の領域に属しており、モデルが自身の欠陥のある推論に対して確信を持っていることを示している。

C. シグナルは診断的であり、因果的ではない

モデルが内部的に誤りを検出する能力を持っているにもかかわらず、4 つの介入戦略はいずれも精度を向上させず、場合によってはパフォーマンスを低下させる。

• 活性化誘導: 誤り方向を減算しても、わずかな改善（最大 +4%）しか得られず、あるいはパフォーマンスを低下させる（積極的な誘導を行った 3B モデルで -6%）。
• Best-of-N 選択: プローブの誤りスコアに基づいてトレースを選択しても、ランダム選択よりも優れず、多数決よりも大幅に劣る。
• 自己修正: プローブのフラグに基づいてモデルに修正を促すと、実際には精度が低下する（-3%）。
• 活性化パッチング: 誤ったトレースからの隠れ状態を正しいトレースからのものに置き換えると、出力の整合性が破壊され、3B モデルでは精度が 0% に落ちる。これは、誤りシグナルが計算の質の読み出しであり、推論プロセスを再方向付けるために編集可能な因果的なレバーではないことを示している。

4. 主要な貢献

1. 隠れた誤り認識の特定: 本論文は、9 つのモデル（15 億〜720 億）および 3 つのファミリーにわたって、隠れ状態検出とテキスト表面検出の間に 0.20 AUROC の堅牢なギャップが存在することを確立する。これは、モデルが外部からは隠蔽している誤りを内部的に検出していることを証明する。
2. 診断的・因果的区別: 4 つの介入実験を通じて、著者らは推論中の誤り表現が事実知識表現とは根本的に異なることを実証する。事実知識は局所化され編集可能である（例：ROME や ITI を通じて）のに対し、推論における誤りシグナルは、推論軌道を因果的に操作して修正できない診断的読み出しである。
3. 時間的特徴付け: 本研究は、誤り符号化の 2 つの時間的レジームを特定する。前もって負荷される（3B モデルで見られるように、モデルが早期に欠陥のある軌道にコミットする）と、蓄積する（7B モデルで見られるように、証拠が増えるにつれて誤りシグナルが構築される）である。

5. 意義と主張

本論文は、機械的解釈可能性の境界を画定する。著者らは、「温度計のアナロジー」が適用されると主張する。すなわち、プローブは計算の「温度」（質）を読み取る温度計として機能するが、「熱」を「治す」（誤りを修正する）ことはできない。

• 安全性への含意: 誤りシグナルは生成されたテキストには見えないため、CoT トレースの監査は安全性監視には信頼できない。
• 既存ツールの限界: 事実知識の編集に成功したツール（活性化パッチングなど）は、推論の質に対しては効果的ではない。なぜなら、推論は単一の編集可能な特徴ではなく、分散された多層計算から生じるからである。
• 将来の方向性: 検出と修正のギャップを埋めるには、モデルが内部的な誤りシグナルを単に受動的な読み出しとして保持するのではなく、それに対して行動することを教える新しい訓練目的が必要となる可能性が高い。

本論文は、LLM が自身の失敗の予測シグナルを符号化している一方で、これらのシグナルは推論プロセス自体に対して副現象的であり、自己修正と推論の機械的編集に対する現在のアプローチにおける根本的な限界を表している、と結論づける。