LLMs Faithfully and Iteratively Compute Answers During CoT: A Systematic Analysis With Multi-step Arithmetics

この論文は、大規模言語モデルが制御された算数タスクにおいて、推論チェーン（CoT）を生成する過程で逐次的に答えを計算しており、その生成された推論過程がモデルの内部計算を忠実に反映していることを実証しています。

要約

この論文は、**「AI（大規模言語モデル）が『思考の過程（CoT）』を本当に考えているのか、それとも『答えを先に知っていて、後から理由を捏造している』のか？」**という、とても面白い疑問に答えた研究です。

結論から言うと、**「AI は答えを先に知っていて、後から理由をつけているわけではありません。むしろ、思考の過程（CoT）を書きながら、その場で答えを計算している」**ことがわかりました。

これをわかりやすく説明するために、いくつかの比喩を使って解説しますね。

---

1. 研究の背景：「嘘をついている」かもしれない AI

私たちが AI に「なぜその答えになったの？」と聞くと、AI は「まず A で、次に B で…」と詳しく説明してくれます（これを「思考の連鎖（Chain of Thought）」と呼びます）。

しかし、中には**「答えは最初から決まっていた。説明は、ただの『おまけ』として後から適当に作っただけ」**という可能性が疑われていました。

• 悪い例（後付け）： 料理の味見をせずに「塩味です」と言い、その後に「塩を入れたから塩味です」と説明する。
• 良い例（本物）： 塩を振りながら味見をして、「あ、塩味だ！」と気づき、その後に「塩を入れたから塩味です」と説明する。

この研究は、AI がどちらのパターンで動いているのかを、数学の問題を使って突き止めました。

2. 実験方法：AI の「脳内」を覗く透視カメラ

研究者たちは、AI の内部（隠れ層という部分）に**「線形プローブ（Linear Probes）」という「透視カメラ」**のようなものを設置しました。

• 透視カメラの役割： AI が問題文を読んでいる最中や、答えを言い始める瞬間に、**「AI の頭の中に『答え』の情報がすでにクリアに浮かんでいるか？」**をチェックします。

実験の結果：答えは「途中」で生まれる

このカメラで見ると、以下のような現象が起きていることがわかりました。

1. 問題文を読んでいる最中（思考開始前）：

   • AI の頭の中は「答え」についてぼんやりとしています。透視カメラでは、答えが何なのかを正確に読み取れません。
   • 比喩： 料理のレシピ（問題文）を読んでいるだけで、まだ味見もしていない状態です。

2. 思考の過程（CoT）を書いている最中：

   • AI が「まず B を計算して…」と書き始める瞬間、頭の中に「B の答え」がクリアに浮かび上がります。
   • さらに「次に A を計算して…」と進むと、「A の答え」もクリアになります。
   • 比喩： 料理をしながら味見をして、徐々に「あ、塩味だ」「あ、甘味だ」と味覚（答え）が確定していく状態です。

つまり、AI は「答えを先に知って説明している」のではなく、「説明（思考）を書き進める過程で、その場で答えを計算している」のです。

3. 因果関係の実験：「記憶」を差し替える

さらに、研究者たちは**「活性化パッチング（Activation Patching）」という、「AI の脳の一部を、別の問題の脳の一部と差し替える」**という大胆な実験もしました。

• 実験： ある問題の「思考の過程（CoT）」の脳内データを、全く違う問題のデータに差し替えてみました。
• 結果：
  • 問題文（入力）のデータを変えても、答えはほとんど変わりませんでした。
  • しかし、「思考の過程（CoT）」のデータを変えると、答えが劇的に変わってしまいました。

比喩：

• 問題文（レシピ）を変えても、料理人の「味付けの記憶」が変わらなければ、料理の味（答え）は変わりません。
• しかし、「味付けの記憶（思考過程）」を別のものに変えると、料理の味（答え）は完全に変わってしまいます。

これは、**「答えは、思考過程（CoT）によって決まっている」**ことを強く示しています。

4. 全体のまとめ：AI は「正直者」だった？

この研究からわかったことは、以下の通りです。

• AI は「後付け」をしていない： 答えを先に決めてから、無理やり理由をつけているわけではありません。
• 思考過程は「本物」： AI が出力する「思考の過程」は、単なる飾りではなく、**実際に計算が行われている「作業中のメモ」**そのものです。
• 直近の情報が重要： AI は、直前に書いた思考（「B は 5 だ」）を頼りに、次の思考（「A は 1+5 だから 6 だ」）を導いています。

結論

この論文は、**「AI が『考えるふり』をしているのではなく、実際に『思考の過程』を通じて答えを導き出している」**ことを科学的に証明しました。

私たちが AI に「どうやってその答えに至ったの？」と尋ねたとき、AI が示してくれる思考の過程は、**「AI が実際に頭の中で行っている計算の記録」**だと考えて大丈夫だ、というのがこの研究の大きなメッセージです。

AI は、私たちが思っていたよりも、もっと「誠実」に、その場で考えているのかもしれませんね。

技術概要

論文要約：LLMs Faithfully and Iteratively Compute Answers During CoT

（CoT における LLM の忠実かつ反復的な答えの計算：多段階算術による体系的分析）

本論文は、大規模言語モデル（LLM）が Chain-of-Thought（CoT、思考の連鎖）推論を行う際の内部情報フローを調査し、特に**CoT の説明と最終的な答えの間の「忠実性（Faithfulness）」**に焦点を当てた研究です。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 研究の背景と問題設定

近年、LLM はユーザーの質問に対し、最終的な答えに至るまでの中間推論ステップ（CoT）を生成する能力を持っています。しかし、この CoT がモデルの実際の推論プロセスを忠実に反映しているのか、それともモデルが入力段階で既に答えを決定しており、CoT は単に後付けの正当化（Post-hoc rationalization）として生成されているだけなのかという疑問が指摘されています。

本研究は以下の 2 つの核心的な問いに答えることを目的としています：

1. いつモデルが（部分）答えを内部で導出するのか？（CoT 開始前か、生成中か？）
2. CoT の情報が最終的な答えに対してどの程度因果的な影響を持っているか？

2. 手法

研究者は、自然言語タスクの複雑さを排除し、内部メカニズムを厳密に制御するために、合成された多段階算術タスクをテストベッドとして使用しました。

2.1 データセットとタスク

• タスク: 変数への代入（例：A=1+B）と演算（例：B=2+3）を含む式列から、最終的な変数の値を導く問題。
• 難易度レベル: 必要な計算ステップ数（#Step）、スタックに保持する必要がある変数の数（#Stack）、および不要なダミー式の数（#Dist.）に基づき、5 つのレベル（1〜5）に分類。
• 設定: Few-shot 学習を用い、モデルに CoT 形式での推論を指示。

2.2 分析手法

1. 線形プロービング（Linear Probing）:

   • モデルの各トークン位置（$t$）と各層（$l$）の隠れ状態（Hidden State）から、特定の変数の値を予測する線形分類器（プローブ）を訓練。
   • 目的: 答えがモデルの内部表現として「いつ」「どこで」線形に分離可能になるかを特定する。
   • 指標: 答えがプローブで高精度に検出される最初のトークン位置（$t^*$）を測定。特に、CoT 開始前（$t < 0$）と CoT 生成中（$t \ge 0$）の精度を比較。

2. 因果介入分析（Causal Intervention / Activation Patching）:

   • 手法: 異なる問題の隠れ状態を、ある問題の推論プロセスの特定の段階に「パッチ（貼り付け）」て、出力が変化するかどうかを確認する。
   • 目的: 特定の内部表現（CoT の一部など）が最終答えに対して因果的に寄与しているかを検証。
   • 比較: 入力部分（問題文）の隠れ状態を介入した場合と、CoT 生成部分の隠れ状態を介入した場合の出力変化率（Success Rate）を比較。

3. 主要な結果

3.1 線形プロービングの結果

• CoT 開始前の答えの不在: ほとんどのモデル（Qwen2.5, Llama3, Yi1.5, Mistral など）において、問題文（入力）を読み終わった時点（CoT 開始前）では、最終答えや必要な部分答えが内部状態から高精度に検出できませんでした（$Acc_{\prec CoT}$ は低い）。
• CoT 生成中の計算: 答えが明確に検出可能になるのは、CoT 生成が開始され、推論ステップが進んでからでした（$Acc_{\succ CoT}$ は高い）。
• 結論: モデルは入力時に答えを決定しているのではなく、CoT を生成する過程で逐次的に（On-the-fly）答えを計算していることが示されました。

3.2 因果介入の結果

• CoT 部分への依存: 最終的な答えを生成する際、CoT 生成部分（特に直前の推論ステップ）の隠れ状態を介入すると、出力が劇的に変化しました。
• 入力部分への低依存: 問題文（入力）部分の隠れ状態を介入しても、CoT 生成中の部分答えや最終答えへの影響は限定的でした。
• 近接性バイアス（Recency Bias）: 最終答えは、CoT 内の最も最近の推論ステップに強く依存しており、過去のステップや入力情報の直接的な因果的影響は弱かった。

3.3 誤り分析

• モデルが誤った答えを生成した場合でも、プローブは以前に正しい答えを内部状態に持っていたことを示すケースが多く見られました。これは、生成プロセスにおける誤りの伝播が、内部計算の忠実性とは独立して起こっている可能性を示唆しています。

4. 主要な貢献と結論

1. CoT の忠実性の立証: 制御された算術タスクにおいて、LLM が生成する CoT は単なる後付けの説明ではなく、モデルが実際に答えを計算している過程そのものであることを実証しました。
2. 逐次的計算メカニズムの解明: モデルは「入力→答えの決定→CoT 生成」という順序ではなく、「入力→CoT 生成（計算）→答えの決定」という順序で処理を行っていることを示しました。
3. 因果的根拠の提供: プロービングだけでなく、アクティベーションパッチングによる因果介入を用いることで、CoT と最終答えの間の因果関係をより厳密に裏付けました。

5. 意義と限界

• 意義:
  • ユーザーや開発者にとって、CoT がモデルの「思考過程」を反映しているという信頼性を高める根拠となります。
  • モデルの解釈可能性（Interpretability）研究において、推論プロセスが「いつ」「どのように」内部で展開されるかを理解するための新たな視点を提供します。
• 限界:
  • タスクの制約: 合成された算術タスクに限定されており、自然言語の複雑な推論や常識推論にそのまま適用できるかは今後の検証が必要です。
  • プローブの限界: プロービング手法そのものの有効性に対する議論（Burns et al., 2023 など）があり、より多様な手法での検証が望まれます。
  • 単純なタスク: 非常に単純なタスク（CoT が不要な場合）では、モデルが事前に答えを決定している可能性は残されています。

まとめ

本論文は、LLM が CoT 推論を行う際、**「答えを先に決めてから説明を書く」のではなく、「説明（CoT）を書きながら答えを計算している」**という、より忠実で反復的な内部メカニズムを持っていることを体系的に実証しました。これは、LLM の推論能力と信頼性を理解する上で重要な知見です。