テクニカルサマリー：言語モデルにおける「知っている」と「言っている」の乖離（The Knowing-Saying Gap）

問題提起

本論文は、デプロイされた大規模言語モデル（LLM）、特にエージェント・パイプライン（コーディング・エージェントやマルチステップの計画策定など、モデルの出力が将来のコンテキストにフィードバックされる環境）における、極めて重要な信頼性の失敗に対処している。このような設定では、初期ステップにおける単一のエラーが後続のコンテキストを通じて伝播し、「連鎖的なコンテキスト汚染（cascading context corruption）」を引き起こす。核心となる問題は、内部状態と言語的出力の解離である。モデルは、内部計算がエラーによって汚染された後も、流暢で自信に満ちたテキストを生成し続ける傾向がある。この「忠実性を欠いた流暢さ（fluency without fidelity）」により、モデルに言語的な確信度や自己批判を求める標準的なモニタリング手法は、モデルの内部知識がその表面的な振る舞いに反映されないため、効果的ではなくなる。

手法

著者らは、制御された対照実験デザインを用いてこの現象を調査している。

• データセット: 500個のベース問題から生成された、1,400個のマルチホップ算術トレースからなる合成データセット。このデータセットには「クリーン」なトレースと、特定のホップ（ステップ）が合成的な誤った値に置き換えられた「汚染された」トレースが含まれる。5つの異なるエラータイプ（off_by_one、wrong_operator、wrong_unit、magnitude_error、wrong_percentage_base）が使用されている。
• モデル: QwenおよびLlamaの2つのファミリーにわたる5つのモデル（3Bから8Bパラメータの範囲）のインストラクションチューニング済みモデルおよび推論（思考モード）バリアントを対象に評価を行う。
• プローブ訓練: フリーズされたモデルの残差ストリーム（residual stream）の活性化に対して、線形プローブ（ロジスティック回帰）を訓練する。プローブは、2つの集計モード（last-tokenおよびmean-over-tokens）を用いて、クリーンなコンテキストと汚染されたコンテキストを区別するように訓練される。
• 主要指標:
  • 検出能 ($AUROC_{detect}$): プローブが汚染されたコンテキストをクリーンなコンテキストから区別する能力。
  • 失敗予測能 ($AUROC_{fail}$): エラーが既に発生している場合に、その汚染が最終的な誤答につながるかどうかを予測する能力。
  • 表面信号 (Surface Signals): ベースラインとして、トークンのロジットから算出される6つのスカラー不確実性信号（エントロピー、確信度、語彙ギャップなど）。
• 介入 (Interventions): 検出したエラーが最終的な精度を向上させられるかを確認するために、3つのプローブ起動戦略をテストする：
  1. Reprompt（再プロンプト）: 再確認の指示を追加する。
  2. Replace-prior（前ステップ置換）: 前のホップをゼロから再生成する。
  3. Branch-and-pick（分岐と選択）: 複数の継続パターンをサンプリングし、プローブのエラースコアが最も低いものを選択する。

主要な貢献

1. 対照的データセット: 5種類のエラータイプを含み、インストラクションチューニング済みモデルおよび推論バリアント間で評価可能な、人間による介在のない決定論的な1,400のトレース。
2. 検出と失敗予測の崩壊: プローブはほぼ完璧な精度で汚染を検出できる一方で、その汚染が最終的な誤答につながるかどうかを予測することには失敗するという特性の記述。
3. 介入分析: 3つの介入ポリシーを制御比較し、単一の戦略が普遍的に有効であるわけではなく、その有効性が特定のモデルやエラータイプに強く依存することを明らかにした。
4. 仮説の反証: 「ホップ間におけるプローブ活性化の持続性」が失敗を予測するという仮説を事前登録し、その後これを反証した。
5. 堅牢性のコントロール: グループ化された交差検証およびleave-one-error-type-out評価を通じて、検出信号がデータのリークや表面レベルのトークン署名によるアーティファクトではないことを示す証拠。

結果

1. 「知っている」と「言っている」の解離

• 高い検出精度: 線形プローブは、すべてのモデルにおいて注入されたエラーを $AUROC_{detect} > 0.98$ で検出し、Llama-3.1-8Bでは0.997に達する。この信号は主にレイヤー0からレイヤー1への遷移から発生する。
• 失敗予測の失敗: 高い検出精度にもかかわらず、同じプローブは最終的な回答の正誤については情報を持たない。$AUROC_{fail}$ はすべてのモデルにおいてチャンスレベル（0.47–0.53）付近まで崩壊する。モデルはコンテキストが汚染されていることを「知って」いるが、その知識を「言い（あるいは行動に反映させ）」、誤った出力を防ぐことはできない。
• 表面信号: 言語化された確信度やその他の表面的な不確実性信号は、検出においてチャンスレベル（$AUROC \approx 0.5$）であり、最終的な正解率とも相関を示さない。確信度はしばつ（0または1）の二値の極端な値に収束することが多く、エラーが発生しているグループとそうでないグループの間で識別不能である。

2. 推論モードの影響

• Qwen3-4Bにおいて「思考モード」（拡張されたChain-of-Thought）を有効にしても、このギャップは解消されなかった。思考モードはトークン数を増加させたが、エラー条件下での精度を27.9%から1.2%へと低下させた。一方で、内部エラー状態を検出するプローブの能力は変化しなかった。これは、出力チャネルが阻害されている場合でも、内部の汚染エンコーディングが存続していることを示唆している。

3. 介入の有効性

• Branch-and-pick: これが全モデルを通じて純増プラスとなった唯一のポリシーであり、Llama-3.1-8Bにおいて特異的に破壊的ではなかった（4件救済、0件破壊）。しかし、推論コストを大幅に増大させる。
• Replace-prior: 誤ったトレースを救済したが、同程度の割合で正しいトレースも破壊したため、純増益はなかった。
• Reprompt: 一般的に効果がない。
• 異質性: 介入の成功はエラータイプに強く依存する。例えば、replace-prior は wrong_unit エラーには非常に効果的であったが、wrong_percentage_base エラーに対しては純マイナスとなった。

意義と主張

本論文は、プローブベースのモニタリングは、言語化された確信度の補完として必要であり、代替物ではないと主張している。中心的な発見は、連鎖的なエラーが発生している文脈において、モデルの内部状態がその言語的出力を通じてアクセス可能であるという仮定は誤りであるということである。

• デコード可能性、非因果性: 著者らは、エラー信号が残差ストリームから線形にデコード可能であることは、生成ポリシーがその信号を参照していることを意味しないと強調している。汚染された値を削除する介入（replace-prior）はプローブの発火率を減少させるが、精度を比例して向上させることはなく、プローブされた方向が誤答の直接的な原因ではないことを示唆している。
• デプロイメントへの示唆: 「万能な」介入策は存在しない。デプロイ可能な解決策は、モデル認識型かつエラータイプ認識型のルーティングである。単一の介入が支配的ではないため、システムは予測されたモデルとエラータイプに基づいて、特定の修正戦略へとルーティングする必要がある。
• 限界: 著者らは、介入が厳密には安全ではないこと（正しいトレースを壊す可能性がある）、およびBranch-and-pickが多大な計算コストを要めることを指摘している。論文は、ルーティング戦略を、現在の堅牢なエラータイプ分類器が欠けていることから、完全なデプロイ可能ソリューションというよりは、将来の研究への方向性として位置づけている。

結論として、本論文は、エージェント・システムにおいて、モデル自身にミスをしていることを「言わせる」ことに頼るのは不十分であることを確立している。線形プローブによる内部状態のモニタリングは高精度な検出メカニズムを提供するが、検出と成功的な修正の間のギャップを埋めるには、微細でコンテキストに特化した介入戦略が必要である。