技術的サマリー：ブラックボックス LLM における多段階推論の失敗を段階的信頼性帰属を通じて診断する

1. 問題定義

大規模言語モデル（LLM）は、段階的な解答を生成すること（例：Chain-of-Thought）によって、推論タスクにおいて高い性能を示しています。しかし、多段階の推論トレースが「どこ」で失敗しているかを診断することは、依然として重大な課題です。既存のアプローチは、高価な人手による注釈を必要とする教師あり分類器、またはバイアスと不一致性を内在する LLM-as-a-judge 手法の 2 つのカテゴリーに分類されます。さらに、標準的な信頼性推定（CE）手法は通常、最終解答のレベルでのみ動作し、特定の誤ったステップを特定できない粗い信頼性シグナルしか提供しません。

CE を段階的な設定に拡張する際の重要な課題は、正当な変動性（順序、表現、詳細が異なるが正しい解答）と真の推論エラーを区別することです。正しい推論経路は、しばしば特定の「論的不変量」（重要な中間状態）に収束するのに対し、エラーはこれらの合意からの逸脱を表します。本論文は、段階的信頼性帰属（SCA）の必要性に対処します。これは、内部モデルへのアクセスやステップレベルの注釈を必要とせず、生成されたトレースと最終解答の正解ラベルのみを使用して、個々の推論ステップに信頼性スコアを割り当てる、クローズドソース（ブラックボックス）LLM 向けのフレームワークです。

2. 手法

著者は、情報ボトルネック（IB）の原理に基づくフレームワークを提案します。核心的な直観は、本質的ではない変動を破棄しつつ、基礎となる正しい推論パターンに関する最大限の情報を保持するように、入力推論軌跡を圧縮することです。

このフレームワークは、入力 $X$ を推論軌跡、圧縮された表現 $Z$ をステップに信頼性重みが付けられた軌跡、ターゲット $Y$ を正解シグナルとして定義します。目的は $I(X; Z) - \beta I(Z; Y)$ を最小化することであり、正解に高度に関連するステップの疎な部分集合の選択を促します。

本論文は、この原理の 2 つの補完的な具体化を導入します。

A. 段階的信頼性のための非パラメトリック IB（NIBS）

NIBS は、学習不要の閉形式アプローチです。これは、正解に一貫して現れるステップが最も情報豊富であると仮定します。

• メカニズム: 正解からの複数の解答トレースを集約して「合意アンカー」を形成します。
• スコアリング: 軌跡内の特定のステップについて、そのセマンティック類似性を正解軌跡のセット内のステップと比較することで信頼性を計算します。
• 実装: センテンス埋め込みのコサイン類似度や NLI 含意関係などのセマンティック類似度関数と、最大値または平均値などの集約戦略を使用して、パラメータ学習なしでスコアを計算します。

B. 段階的信頼性のためのグラフ IB（GIBS）

GIBS は、ステップ間の構造的依存関係を無視する NIBS の限界に対処します。

• 表現: 推論トレースを有向グラフとしてモデル化し、ノードは中間結果を、エッジは論理演算または部分質問を表します。
• 合意構築: 候補グラフと正解グラフ間の最大共通部分グラフ（MCS）を集約することで、合意グラフ（$G_{MC}$）を構築します。
• 学習: GIBS は、合意構造と整合する部分グラフ $G^*$ を選択するための微分可能なマスク $p_\theta$ を学習します。
• 最適化: IB 目的関数は変分アプローチを用いて近似されます。
  • 圧縮: 予測マスクと疎な事前分布との間の KL 発散を最小化することで実現されます（バイナリに近い選択を促す）。
  • 関連性: 予測マスクと正解から導出された合意マスクとの間のクロスエントロピーを最小化することで最大化されます。
• アーキテクチャ: セマンティックなステップ特徴量には BERT エンコーダーを、構造的な文脈にはグラフ畳み込みネットワーク（GCN）を使用して、ソフト選択確率を予測します。

3. 主要な貢献

1. SCA フレームワーク: 生成されたトレースと最終解答ラベルのみを使用して、ブラックボックス LLM 向けに設計された、初めての詳細なステップレベルの信頼性シグナルを提供する段階的信頼性帰属の導入。
2. IB ベースの定式化: 推論トレースへの情報ボトルネック原理の適用により、出力変動性の圧縮と論的不変量の保持との間のトレードオフを形式化。
3. 2 つの新しい手法:
   • NIBS: セマンティック合意を利用する、非パラメトリックかつ学習不要な手法。
   • GIBS: 部分グラフ選択を通じて構造的依存関係と論理変動性を捉える、グラフベースの学習可能手法。
4. 診断的および修正的有用性: ステップレベルの信頼性シグナルがエラーを診断するだけでなく、回答レベルのフィードバックを上回る効果で自己修正を適切に導くことを実証。

4. 実験結果

これらの手法は、3 つのベンチマーク（数学の文章問題であるGSM8K、競技レベルの数学であるMath、マルチホップ QA であるMoreHopQA）と、3 つの LLM（Llama-3.1-8B、Phi-4-Reasoning、DeepSeek-R1-Distill-Qwen-32B）を用いて評価されました。

• 精度（RQ1） GIBS は、強力なホワイトボックスベースライン（例：トークンエントロピー、シーケンス尤度）および適応型ブラックボックス手法を一貫して上回りました。MoreHopQA において、GIBS は DeepSeek 上で 0.8084 の AUROC を達成し、ベースラインを大幅に上回りました。NIBS の変種も学習なしで競争力のある性能を達成し、合意整合の堅牢性を示しました。
• 自己修正（RQ2） ステップレベルの信頼性を用いて自己修正を導くことで、回答レベルのフィードバックのみを使用する場合と比較して、修正成功率が最大**13.5%**向上しました。これは、局所的なエラーシグナルを利用できる強力な推論モデルにおいて特に効果的でした。
• アブレーションと堅牢性（RQ3）
  • GIBS においてエッジエンコーダーまたはグラフエンコーダーのいずれかを除去すると、性能が大幅に低下し、局所的および大域的な構造的シグナルの両方の必要性が確認されました。
  • ラベルフリー一般化: 「自己一貫性」（多数決による擬似正解軌跡）を用いて合意アンカーを構築する場合、フレームワークはラベルフリー設定でも有効に機能しますが、性能は擬似ラベルの品質と相関します。
  • ドメインシフト: MoreHopQA（テキストベース）で学習した GIBS は、再学習なしで Math データセットにもよく一般化し、NIBS およびホワイトボックスベースラインを上回りました。これは、グラフベースのモデリングが特定のドメイン語彙に依存しない抽象的な推論パターンを捉えていることを示唆しています。

5. 意義と主張

本論文は、内部アクセスや高価な人手による注釈を必要とせず、ブラックボックス LLM を監査するためのスケーラブルで信頼性の高いメカニズムとして SCA を提供すると主張しています。論的不変量の観点から正当な変動性と真のエラーを区別することにより、このフレームワークは以下を可能にします。

• 詳細な診断: 推論失敗の原因となる特定のステップの特定。
• 信頼性の向上: 信頼性の低いステップを強調することでモデルの自己修正を導き、最終解答の精度を向上させること。
• 一般化性: このアプローチは、異なる推論形式（数学対テキスト）およびモデルアーキテクチャ全体で堅牢です。

著者は、この作業を人間の判断の代替ではなく、人間の監督のための「監査支援」として位置づけており、高リスクの意思決定シナリオにおける LLM 推論の解釈可能性と信頼性の向上を目指しています。