技術的概要：回路ガイド型内部・外部不一致による非忠実な思考連鎖の検出

1. 問題定義

思考連鎖（CoT）推論は、大規模言語モデル（LLM）が最終的な回答を生成する前に中間的なテキストステップを生成することを可能にし、複雑なタスクのパフォーマンスを大幅に向上させます。しかし、これらの生成された推論トレースがモデルの実際の内部意思決定プロセスを忠実に反映していない場合、重大な問題が生じます。既存の検出手法は、テキストの妥当性、回答の一貫性、または反事実的介入などの外部信号に焦点を当てていますが、モデルの内部計算からの証拠を見落とす傾向があります。

本論文は、2 つの主要な課題に対処します：

1. 課題 1: 表面的な推論の品質にのみ依存するのではなく、モデルの内部意思決定プロセスからの証拠を用いて、CoT の非忠実性をどのように検出するか。
2. 課題 2: 長い CoT トレースに対する完全な推論回路の構築に伴う莫大な計算コストを伴わずに、内部解釈可能性信号を検出にどのように活用するか。

目標はインスタンスレベルの検出です：特定の生成された CoT 軌道 $C$ が、与えられたクエリ $q$ に対してモデルの内部推論プロセス $R_M(q)$ を忠実に反映しているかどうかを判断することです。

2. 手法：CIE-SCORER

著者は、表示された推論トレースとモデルの内部計算軌道との不一致を測定することで非忠実性を定量化するフレームワーク、「回路ガイド型内部・外部不一致スコア（CIE-SCORER）」を提案します。

2.1 トークン選択ステップ回路の構築

完全な回路追跡のスケーラビリティ課題に対処するため、CIE-SCORER は全体のトレースに対してトークンレベルではなく、文レベルで動作します。

• トークン選択: 推論文内のすべてのトークンを追跡するのではなく、情報量の多いトークンのコンパクトなセットを選択します。これは以下の組み合わせによって達成されます：
  • エントロピーベースの選択: 推論に関連する情報を運ぶ可能性が高い、不確実性が高い（エントロピーが高い）トークンを特定します。
  • 反事実的必要性: トークンを介入（置換）し、文のセマンティックな内容と下流の予測分布の両方の変化を観察することで、トークンの因果的影響を測定します。
• 圧縮回路グラフ: 選択されたトークンをアンカーとして使用し、トランスコーダーベースの置換モデルを介して文レベルの帰属回路を構築します。これにより、各推論ステップの内部計算を表すコンパクトなグラフの系列 $G^{circ} = (G^{circ}_1, \dots, G^{circ}_T)$ が得られます。

2.2 内部表現と外部表現

このフレームワークは、推論トレースに対して 2 つの並列表現を構築します：

• 内部表現: 文レベルの回路グラフの系列は、グラフニューラルネットワーク（GNN）を使用して潜在埋め込み（$X^{int}$）に符号化されます。これらの埋め込みは、モデルのホワイトボックス計算軌道を捉えます。
• 外部表現: 表示された推論文は、LLM の中間層からの隠れ状態を平均化することで埋め込み（$X^{ext}$）に符号化されます。軽量な MLP アダプターが、これらを内部埋め込みと同じ次元に投影します。

2.3 グラフ不一致スコアリング

両方の表現は、共有された構築規則を使用して、トレースレベルの文グラフ（$G^{int}$ および $G^{ext}$）に変換されます。ノードは推論文を表し、エッジは時間的な進行とセマンティックな依存関係を符号化します。

• 融合グロモフ・ワッサーシュタイン（FGW）距離: 非忠実性スコアは、内部グラフと外部グラフ間の FGW 距離として計算されます。この指標は、以下の 2 つを同時に考慮します：
  • 特徴不一致: 表示されたステップの内容が、その内部計算証拠と一致しているかどうか。
  • 構造的不一致: 表示されたステップ間の依存関係が、内部の情報フロー構造と一致しているかどうか。
• 訓練目的: モデルは、忠実なトレースに対して FGW 距離を最小化し、非忠実なトレースに対してはマージン $m$ を超えて最大化するように、マージンベースの損失で訓練されます。

3. 主な貢献

1. 新しい視点: 本研究は、モデル内部の計算と外部の推論トレースをインスタンスレベルの分析のために統合する最初の試みとして、回路ガイド型内部・外部不一致の視点から CoT 非忠実性検出を定式化します。
2. 効率的なフレームワーク（CIE-SCORER）: 著者は、トークン選択回路追跡を実行し、文レベルの回路を埋め込みで圧縮し、FGW 距離を使用して外部表現と比較する手法を提案します。このアプローチは、完全な回路構築のコストを回避しながら、主要な内部信号を保持します。
3. 最先端のパフォーマンス: FaithCoT-Bench の 4 つのデータセットでの実験により、CIE-SCORER は、反事実ベースの手法、logit ベースの手法、LLM-as-Judge アプローチ、および以前の回路ベースの手法（CRV）を含む既存のベースラインを上回ることが示されました。

4. 実験結果

評価は、論理的、事実的、数学的、および生物医学的推論を網羅する 4 つのデータセット、すなわちLogicQA、TruthfulQA、AQuA、およびHLE-Bioで行われました。

• パフォーマンス: CIE-SCORER は、すべてのデータセットで最高精度と F1 スコアを達成しました。例えば、LogicQA データセットでは、最も強力な以前のベースラインに対して精度が 11.5 ポイント、F1 が 1.4 ポイント向上しました。
• 効率性: CRV ベースラインと比較して、CIE-SCORER はピークメモリ使用量を 48.3%–55.2%、追跡トークンを 62.4%–68.6% 削減しました。また、F1 スコアを向上させながら、実行時間の大幅な削減（TruthfulQA では 67.6% など）も達成しました。
• アブレーション研究: トークン選択戦略を除去（エントロピーのみまたは反事実スコアのみを使用）するか、内部 GNN エンコーダーを除去すると、パフォーマンスが大幅に低下し、信号の統合とグラフ構造モデリングの両方の必要性が確認されました。
• ドメイン間転移: モデルは、特に TruthfulQA と LogicQA の間で意味のある転移能力を示し、学習された内部グラフ表現が一般化可能な忠実性信号を捉えていることを示唆しています。

5. 意義と主張

本論文は、CIE-SCORER がメカニズム的解釈可能性信号と外部トレースを明示的に組み合わせることで、CoT 推論の「透明性の錯覚」を効果的に解決すると主張しています。

• 非忠実性の種類の区別: 分析により、異なる種類の非忠実性が異なる不一致パターンを示すことが明らかになりました。事後推論（事前に決定された回答を合理化すること）は主に特徴レベルの不一致（内容の不一致）を引き起こすのに対し、偽りの推論連鎖（局所的には一貫しているが因果的に破綻したステップ）は主に構造レベルの不一致（依存関係の不一致）を引き起こします。
• スケーラビリティ: すべてのトークンではなく、情報量の多いトークンに回路追跡を焦点当てることで、この手法は長い推論トレースに対するメカニズム的解釈可能性を実行可能にし、以前の手法における主要なボトルネックを克服します。
• 信頼性: このフレームワークは、モデルが語る「物語」（外部トレース）とモデルが実行する「計算」（内部回路）を直接比較するため、表面的な指標よりもモデルの行動を監査するためのより堅牢な信号を提供します。

著者は、この手法がモデルの内部（ホワイトボックス）へのアクセスを必要とするため、即座に応用できるのはオープンソースまたはアクセス可能なモデルに限られ、多様なドメインやマルチモーダル設定での評価は今後の課題であると述べています。