技術的サマリー：知識衝突下におけるチェーン・オブ・ thought（思考連鎖）の解釈可能性と忠実性

問題定義

大規模言語モデル（LLM）が、パラメトリックな訓練知識と矛盾するドキュメントに遭遇した際、ドキュメントに従うか、内部知識を信頼するかを選択しなければならない。先行研究は、この意思決定がエンティティの「知名度」（Wikipedia のページビュー数）によって駆動されることを確立した。すなわち、有名な事実は抵抗され、目立たない事実は従われるという傾向がある。しかし、実務家はますます、モデルが特定の選択を行った「なぜ」を理解するために、チェーン・オブ・思考（CoT）推論に依存している。

ここで扱われる核心的な問題は内省的忠実性である：提示された CoT 推論は、実際の意思決定メカニズムを正確に反映しているか？具体的には、モデルが同じ質問に対して意思決定を反転させた場合（例：誤った誘導情報に従うことから抵抗することへ）、推論テキストはその新しい決定を反映して変化するのか、それとも単に異なる帰属表現で包まれた静的な「知識の提示」に過ぎないのか？もし CoT が因果的な報告ではなく、事後の合理化に過ぎないならば、論理的な主張に依存する監視システムは誤った確信を提供する可能性がある。

方法論

本研究は、PopQA データセットからの200 の事実質問と8 つのモデル（GPT-4o、Claude Sonnet 4.6、Gemini 2.5、DeepSeek 変種、Llama 4 Maverick を含む）にわたる行動プローブを採用している。

実験設計

• 知識衝突パラダイム: 項目は、高確信（有名なエンティティ）と低確信（目立たないエンティティ）の階層に分割された。各項目には、もっともらしいが誤った誘導情報が含まれていた。
• プロンプト条件:
  • C1/C2（多ターン衝突）: モデルは質問に回答し、矛盾するドキュメントを受け取り、ステップバイステップで推論し、確信度（1〜5）を評価し、最終的な回答を提供する必要がある。
  • C3（ドキュメントのみ）: モデルはドキュメントのみに基づいて回答する（コンプライアンスのアンカーとして機能）。
  • C4（自身の知識）: モデルはドキュメントよりも自身の知識を優先するよう指示される。
• モデル変種: 本研究には、内部思考トークンを露出させる「ネイティブ推論」モデルと、ユーザー向け出力のみを提供する「標準」対応モデルの両方が含まれており、推論機能の効果を分離している。
• 対照群: 観測された異常の交絡因子として温度を排除するため、温度を一致させたアブレーション（例：$T=1$ の GPT-4o）が使用された。

分析指標

1. 推論の一貫性: 同一項目に対して反対の回答を与える「反転ペア」と「同一回答ペア」の CoT テキスト間で、Cosine 類似度（all-MiniLM-L6-v2 を使用）と ROUGE-L スコアが計算された。帰属表現（例：「ドキュメントはこう述べている」）は剥離され、実質的な内容のみが孤立化された。
2. 確信度の較正: 自己評価された確信度と、(a) エンティティの顕著性（$spop$）および (b) ベースラインの正解率（衝突前にモデルが事実を知っていたかどうか）との相関がテストされた。
3. 行動の整合性: 一般化推定方程式（GEE）のロジスティック回帰により、エンティティの知名度を統制した上で、確信度が従うか抵抗するかという決定を独立して予測するかどうかをテストした。
4. 情報源の帰属: 「FOLLOW（従う）」応答の分析により、誤った誘導情報を正当化するために事実を捏造する「幻覚（コンファビュレーション）」を検出した。

主要な結果

1. 推論の一貫性：「反転」現象

モデルが同じ質問に対して相反する結論に達した際、そのステップバイステップの推論は極めて類似したままであった。

• 類似性: 反転ペアは、同一回答ペアで見られる類似性の**96%**を保持した（Cosine 類似度 0.784 対 0.817；$d=0.34$）。
• 示唆: CoT の大部分は、最終的な決定に関わらずほぼ同一であるパラメトリック知識の唱和（静的な「知識の提示」）であり、決定に応じて変化しない。変化するのは、最終的な帰属または枠組みのみである。
• 例外: GPT-4oのみが、決定が反転した際に推論が真に変化したことを示す統計的に信頼できる負のデルタ（$\Delta = -0.132$）を示した。他のモデルでは、論理的な主張は実質的に決定に対して不変であった。

2. 確信度：真のシグナル

論理的なナラティブは安定していたが、自己評価された確信度は弱いが真の内省的シグナルを示した。

• 項目レベルの知識: 低確信階層では、エンティティの知名度（$spop$）は確信度を予測しなかった（$\rho = -0.005$）。しかし、**ベースラインの正解率**（モデルが実際に事実を知っていたかどうか）は、確信度を弱く予測した（$r = 0.134, p < 0.001$）。
• 決定の予測: 低い確信度は、誘導情報に従う確率が高いことを予測した（$coef = -0.475, p < 0.001$）。これは、*事実を知っている$\rightarrow$高い確信度$\rightarrow$ 誘導情報を抵抗する*という項目レベルの経路を確立する。
• モデル固有性:
  • GPT-4o: 推論と決定の間に統計的に信頼できる結合を示した。
  • Claude Sonnet 4.6: 「Claude 異常」を示した。そのプールされた確信度 - 決定相関はほぼゼロ（$r \approx 0$）であり、これは関係が条件間で逆転したためである。「自身の知識」という枠組みの下では、高い確信度で誘導情報に従う傾向があり、衝突条件で見られた負の相関を相殺した。これは、Claude が内部知識状態ではなく、指示の枠組みを追跡していることを示唆している。

3. 内部推論と提示された推論

ネイティブ推論モデルにおいて、内部思考トークンは、ユーザー向け CoT よりも決定に対する感受性が高かった。

• 反転ペアにおける内部トークンの類似度（0.709）は、提示された出力（0.787）よりも低く、有意な差（$p=0.033$）があった。
• これは、ユーザー向け出力が、一貫したナラティブを提供するために、内部プロセスに保持されていた差異を「滑らかにしている」ことを示唆している。

4. 幻覚（コンファビュレーション）

誘導情報に従ったモデルの中で、Llama 4 Maverickは明確な外れ値であり、**15.2%**の幻覚（存在しない村など、特定の事実を捏造して誘導情報を正当化する）を示した。他のモデルの率は 6.3% 未満であった。

意義と主張

本論文は、提示された推論が知識衝突の意思決定の実証的駆動要因を追跡するかどうかを直接テストする最初の試みであると主張している。主な貢献は以下の通りである：

1. CoT の分解: 本研究は CoT を 2 つの異なる機能に分解する：
   • 機能 1（知識の提示）: 最終的な決定に関わらずほぼ同一であるパラメトリック知識の安定した唱和。
   • 機能 2（決定の正当化）: 決定に合わせて調整される、薄い層の帰属と確信度スコア。
2. 監視への示唆: 著者らは、安全性の監視や監査において、論理的な主張は読むべき誤った指標であると主張する。なぜなら、それらは決定に対して不変であることが多いためである。代わりに、表明された確信度（および留保表現）に真の自己知識シグナルが存在するが、それは弱く、モデル固有の較正問題（Claude 異常など）の影響を受ける。
3. 内省の限界: 本論文は控えめに結論づけており、モデルは「わずかな」項目レベルのメタ認知しか持っていないとしている。モデルは偶然よりはわずかに良く、既知の事実と未知の事実を区別できるが、その確信度スコアは、正確な内部状態ではなく、エンティティの知名度や指示の枠組みに強く影響されている。

本研究は因果的な忠実性を主張するものではないが、行動シグナルと検証済みの予測因子（$spop$とベースラインの正解率）の間の相関的一貫性を確立しており、現在の CoT 出力は、しばしば意思決定メカニズムの透明な報告ではなく、事後の合理化として機能していることを示唆している。