🤖 machine learning

Local Causal Attribution of Chain-of-Thought Reasoning

本論文は、思考の連鎖（chain-of-thought）の個々の構成要素に対して局所的な因果帰属を行うための構造的因果モデルを構築するブラックボックス・アルゴリズムであるAttriCoTを紹介し、それがモデルの振る舞いに対する優れた忠実性を実証し、異なるモデルやドメイン間で異なる思考構造を明らかにすることを提示する。

原著者： Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（超スマートなAIのようなもの）が、難しい数学の問題や論理パズルを解いている場面を想像してみてください。単に答えを出すのではなく、まず、ステップごとに長い「思考プロセス」を書き出します。これは**連鎖的思考（Chain-of-Thought: CoT）**と呼ばれます。

この連鎖的思考を、探偵のノートに例えて考えてみましょう。探偵は、事件を解決する前に、手がかり、理論、そして計算を書き留めます。しかし、ここで問題が発生します。探偵が書き留めた内容の中には、もっともらしく聞こえるものの、実際には事件の解決には全く役に立たなかった記述があるかもしれないのです。例えば、ミスリード（赤ニシン）についての長い物語を書いたり、あるいは、極めて重要な手がかりを見落としたりしているかもしれません。私たちは、**「ノートの中のどの特定のメモが、最終的な解決を引き起こしたのか？」**を知りたいのです。

この論文では、その問いに答えるための新しいツールであるAttriCo-COTを紹介しています。

問題点：「偽の」推論

現在、AIが書き出したテキストが、本当に正解に至った「真の理由」であるかどうかは、実はよく分かっていません。時には、AIが運良く正解を当ててしまい、その後に正解を正当化するための「偽の、精巧な物語」を後付けで書いていることもあります。また、頭の中ではステップを飛ばしているのに、書面上ではそのステップを踏んでいるように見せていることもあります。

科学者たちは、以下の方法でこれを解明しようとしてきました：

AIに尋ねる： 「ねえ、君の思考プロセスのうち、どの部分が最も重要だった？」と聞く（これは、生徒に自分の宿題を採点させるようなもので、生徒は嘘をついたり、混乱したりする可能性があります）。
部分を消去してどうなるかを見る： 思考プロセスからある一文を削除した場合、AIは答えを間違えるでしょうか？これは良いアイデアですが、すべての文章に対してこれを行うには、膨大な計算能力が必要です。まるで、屋根を支えているのはどのレンガかを確認するために、家をレンガ一つひとつ作り直して検証するようなものです。

解決策：AttriCo-COT（「因果関係の探偵」）

著者たちは、AIの思考に対するフォレンジック会計士（不正調査員）のように機能する手法、AttriCo-COTを作り出しました。

比喩：レシピ・テスト
複雑なケーキのレシピにおいて、どの材料が実際に美味しい味を作るのかを突き止めようとしている場面を想像してください。

従来の方法： テストしたい材料ごとに、新しいケーキをまるごと焼き上げます。もしレシピに50個の材料があれば、50個のケーキを焼くことになります。これは時間がかかり、コストもかかります。
AttriCo-COTの方法： ケーキを一度だけ焼きます。その後、特別な数学的トリックを使って、実際に新しいケーキを毎回焼くことなく、「もし砂糖がなかったら」「もし小麦粉がなかったら」「もし卵がなかったら」どうなるかをシミュレートします。そして、ある材料が欠けていると仮定したときに、「味のスコア（AIの自信度）」がどれくらい低下するかを測定します。

AttriCo-COTの仕組み（3つのステップ）：

「もしも」ゲーム： 特定の連鎖的思考（AIのノート）を取り込み、それを「ユニット（単位）」と呼ばれる小さな塊（文章やフレーズ）に分割します。そして、「ユニット1を削除したら？」「ユニット2を削除したら？」といった「もしも」のシナリオのリストを作成します。
クイック・チェック： AI全体を再実行（ケーキを焼き直し）する代わりに、非常に高速で軽量なチェックを行い、あるユニットが欠けたときに、次のステップに対するAIの自信度がどれくらい低下するかを確認します。
数学的マップ： シンプルな数式（線形モデル）を使用して、点と点を結びつけます。これにより、各ステップのペアに対してスコアを算出します。例えば、「ステップ3はステップ7に対して80%の責任があったが、ステップ2はステップ7に対してほとんど影響を与えなかった」といった具合です。

研究結果

研究者たちは、5種類の異なるパズル（数学、論理、科学）と4種類の異なるAIモデルを用いてテストを行いました。

より正確である： AttriCo-COTは、他の手法よりも「真に重要なステップ」を見つける能力において、はるかに優れていました。「鍵となる」ステップを削除したときに、実際にAIの回答が崩れるかどうかを確認したところ、AttriCo-COTの予測が最も信頼できることが分かりました。
効率的である： AIを何千回も実行する必要はありません。思考プロセスに含まれるステップの数と同じ回数の実行だけで済みます。これにより、長く複雑な推論の連鎖に対しても、十分に高速に使用できるレベルの速度を実現しています。
新たな洞察： AttriCo-COTが生成した「スコア」を見ることで、興味深いパターンが見つかりました。
- 最初と最後が最も重要： 最初の思考（AIが問題を読み取る部分）と、最後の思考（AIが答えを再確認する部分）が、最も大きな影響を与える傾向があります。
- 振り返り： 難しい問題を解いている最中、AIは詳細を忘れないように、元の質問を読み返したりすることがよくあります。
- モデルによる習慣の違い： モデルによっては、プロセス全体を通して元の質問に強く依存するものもあれば、自身の前のステップに強く依存するものもあります。

結論

この論文は、AIを修正したり、より賢くしたりすることを主張しているわけではありません。その代わりに、AIの「ブラックボックス」的な推論の中を照らすための懐中電灯を提供しています。これにより、AIの思考のステップごとに、どの部分が実際に答えへと導いたのか、そしてどの部分が単なるノイズであったのかを理解できるようになります。これは、AIが本当に推論しているのか、それとも単にその場の思いつきで物事を進めているのかを見極める助けとなります。

技術要約：Chain-of-Thought 推論の局所的因果アトリビューション

問題提起

大規模推論モデル（LRM）の成功は、モデルが長い中間ステップのシーケンスを生成するChain-of-Thought（CoT）推論に大きく依存しています。しかし、言語化されたCoTが、モデルの潜在的な推論プロセスに対してどの程度忠実（faithful）であるかという点は、依然として重大な懸念事項です。研究によれば、CoTのテキストは、入力の操作を無視したり、不適切なヒントが提示された際に、精巧ではあるが誤った正当化を構築したりすることがあることが示されています。これまでの研究では、内部表現（ホワイトボックス）レベルの因果構造や、リサンプリングによる推論軌跡の分布に関する調査が行われてきましたが、特定のCoTトレース内の因果関係を分析するための、効率的かつ局所的な手法が求められています。既存のブラックボックス手法は、回答レベルのアトリビューションに焦点を当てているか、あるいは中間ステップが後続の推論ステップに与える影響を考慮できていないことが多くあります。

手法：AttriCoT

著者らは、特定のCoTトレース内における局所的な因果アトリビューションを推定するためのブラックボックス手法であるAttriCoTを提案します。このアプローチは構造的因果モデル（SCM）に基づいており、推論ユニットの数に対して線形な計算量で動作します。

1. 構造的因果モデルの定式化

この手法は、CoTトレースとその入力を、一連の「ユニット」（入力については $x_1, \dots, x_S$ 、出力ステップおよび最終回答については $y_1, \dots, y_T$ ）として扱います。核となる仮定は、ユニット $y_t$ の生成確率が、先行するユニットの存在または不在に依存するという自己回帰特性です。

スカラー化: ユニット $y_t$ は、その条件付き対数確率を用いてスカラー化されます： $S_t(y_t) = \log P(y_t | x, y_{<t})$ 。
線形構造方程式: 先行するユニットの影響は、以下の線形方程式を通じてモデル化されます：
$S_t(y_t) = \sum_{s=1}^S \alpha_{s,t} I(x_s) + \sum_{\tau=1}^{t-1} \beta_{\tau,t} I(y_\tau) + \gamma_t + u_t$
ここで、 $I(\cdot)$ はインジケーター関数（存在する場合は1、削除された場合は0）であり、係数 $\alpha_{s,t}$ および $\beta_{\tau,t}$ は、それぞれ入力および先行する出力ユニットの因果的重要性を表します。

2. AttriCoT アルゴリズム

アルゴリズムは、以下の3つのステップを通じてこれらの係数を推定します。

介入 (Intervention): この手法は、シーケンスから特定のユニットを削除する介入を行います。デフォルトの戦略は「Leave-One-Out (LOO)」であり、一度に1つのユニットを削除します（介入回数 $N = S + T$ ）。拡張版である「AttriCoT-2x」には、「Leave-Two-Out」介入が含まれます。
測定 (Measurement): 各摂動を与えられたシーケンスに対して、モデルはフォワードパスを実行し、残りの出力ユニットの対数確率を計算します。ターゲットとなるユニット $y_t$ の対数確率の変化が、回帰のためのターゲット値となります。
回帰 (Regression): 係数 $\alpha$ および $\beta$ を推定するために、線形回帰（オプションでL1正則化付き）を適合させます。このプロセスには $O(N)$ 回のフォワードパスが必要であり、ユニット数に対して線形な複雑さを維持します。

3. 評価指標

アトリビューションの品質は、行動的忠実度 (Behavioral Faithfulness) によって評価され、これは摂動曲線の下端面積（AUPC）によって測定されます。

手順: 先行するユニットは、そのアトリビューションスコアによってランク付けされます。上位 $k$ 個のユニットが削除され、その結果生じるターゲットユニットの対数確率の減少が測定されます。
指標: AUPCは、先行ユニットの総数の0から20%まで $k$ を変化させた際の、これらの減少量を集計したものです。AUPCが高いほど、アトリビューション手法が、後続ステップの生成に因果的に重要なユニットを正しく特定できていることを示します。

主な貢献

AttriCoT フレームワーク: 構造的因果モデルを用いてCoTステップを先行ユニットに帰属させる、ブラックボックス型の局所的説明手法の提案。これは $O(S+T)$ という線形なフォワードパス数を必要とします。
優れた忠実度: AttriCoTが、文単位のマスキング（Thought Anchors）やプロンプティングベースのベースラインを含む代替手法よりも、モデルの挙動に対してより忠実なアトリビューションを生成することを実証的な証拠とともに示しました。
分析的指標: アトリビューション行列から派生した指標（スコア密度、平均影響度、入力比率など）を導入し、モデルやドメイン間における推論の構造的な違いを明らかにしました。

実験結果

本手法は、5つのデータセット（GSM8K, MATH500, GPQA-Diamond, MMLU-Pro, ZebraLogic）および4つの推論モデル（DS-Llama-8B, DS-Qwen-14B, DS-Qwen3-8B, Qwen3-8B）を用いて評価されました。

パフォーマンス: AttriCoTは、すべてのモデルとデータセットにおいて一貫して最高のAUPCスコアを達成しました。GSM8Kにおいて、Thought Anchorsに対して15–30%、プロンプティングベースラインに対して**70–165%**の改善を示しました。
効率性: リサンプリングベースの手法とは異なり、AttriCoらCoTの新しい軌跡を生成する高い計算コストを回避し、非生成的なフォワードパスに依存しています。
比較分析:
- Thought Anchors: 競争力はあるものの、Thought Anchors（トークン分布のKLダイバージェンスを使用）は一般にAttriCoTを下回りました。これは、同手法が生成されたユニットの対数確率への直接的な影響を、同様の局所的な方法で測定していないためと考えられます。
- プロンプティング: ユニットをランク付けするようにLLMに促す手法（インコンテキスト学習を用いた場合でも）は、著しく低い忠実度スコアを示しました。
- ホワイトボックス・アテンション: アテンションの重みに介入する探索的なホワイトボックス手法は有望な結果を示しましたが、因果的介入手法を上回ることはありませんでした。

推論構造の分析

アトリビューション行列を分析することで、著者らは明確なパターンを観察しました。

影響の減衰 (Influence Decay): 重要度はステップ間の距離に応じて急速に減衰しますが、長い裾（ロングテール）へと平坦化していきます。
入力への依存 (Input Reliance): 「入力比率」指標は、モデルがトレースの開始時に入力ユニットに強く依存していることを明らかにしています。興味深いことに、この依存性はトレースの中盤から終盤にかけて（50–80%付近）再び増加することがあり、これはモデルが回答の検証や確定のために入力コンテキストに立ち戻っていることを示唆しています。
モデル間の差異: より大規模なモデルや蒸留されたモデル（例：DS-Llama-8B）は、非蒸留モデルと比較して高いスコア密度と異なる影響パターンを示しており、推論の処理方法における構造的な差異を示しています。

意義と主張

本論文は、CoTトレースを因果的なオブジェクトとして扱うことが、透明性と安全性に不可欠な枠組みを提供すると主張しています。CoTをユーザー定義のユニットに分解し、構造方程式を適合させることで、AttriCoTは、なぜ特定の推論ステップが生成されるのか、そして中間的な推論が結果に影響を与えているのかどうかを理解するための、計算効率の高い方法を提供します。

著者らは、自らの研究が（内部メカニズムや軌跡の分布ではなく）「局所的」なレベルの因果関係（特定のトレース）に対処していることを強調しています。得られたアトリビューション行列は、初期ステップや最終ステップの特別な影響、およびモデルが検証中に再入力を参照する傾向といった、示唆に富むパターンを明らかにすると結論付けています。また、線形構造方程式の表現力や、デフォルトのLOO介入の単純さといった限界についても認め、今後の展望として、計算負荷の低いホワイトボックス手法の開発や、推論構造がモデルファミリーや問題の難易度にどのように依存するかを調査することを挙げています。