技術的概要：推論軌跡を通じたブラックボックス自信度の測定

問題提起

テキストのみの API を通じた Chain-of-Thought（CoT）推論の安全な展開には、信頼性の高い自信度推定が不可欠である。これらの API では、logits、隠れ状態、または内部検索メカニズムへのアクセスが利用できない。支配的なブラックボックスのベースラインである自己整合性（K 個の CoT をサンプリングし、投票の集中度を自信度のシグナルとして利用する手法）は、以下の 3 つの主要な限界に苦しんでいる：

1. 線形コスト：K 個のトレースをサンプリングする必要があり、K に対して線形的に高コストである。
2. 幾何学的盲目性：推論トレースの内部幾何構造を無視し、トレースを単に最終回答に至る手段として扱っている。
3. 離散解像度：離散的な自信度スコア（k/K）を生成するため、K が小さい場合の解像度が不足し、同点のものを効果的にランク付けできない。

本論文は、代替となるシグナルであるCoT 自体の軌跡を検証する。著者らは、推論トレースの埋め込みが外部の回答アンカーへどのように収束するかを測定し、モデル内部へのアクセスなしにテキストのみから連続的な自信度スコアを導き出すことを提案する。

手法

提案されたフレームワークは、ブラックボックスの自信度をカバレッジ（C）、幾何学（G）、**言語化（V）**という 3 つの相補的なチャネルに分解する。

1. 幾何学的チャネル（G）

このチャネルは、外部の回答アンカーに対する CoT の「トレース内の空間的コミットメント」を測定する。

• 軌跡の構築：固定された埋め込みモデル $\phi$ を用いて、CoT を重なり合うスライディングウィンドウ（単語数 $W=30$、ストライド $S=15$）の軌跡として埋め込む。
• 外部アンカー：ブラインドプロトコルでは、ジェネレーターは選択肢リストを見ずに推論を行う。選択肢テキストは外部で固定されたアンカーとして埋め込まれる。
• スコアリング：この手法は、トレースの最終直前のスライディングウィンドウから各選択肢アンカーへのコサイン距離を計算する。「選択」は、平均距離が最小となるアンカーである。
• 較正：1 変数の softmax モデルがこれらの距離を自信度確率にマッピングする：
  $$\text{GEO}(q) = \frac{\exp(\hat{\beta}_{\text{all}} D_{\hat{y}})}{\sum_{j'} \exp(\\hat{\beta}_{\text{all}} D_{j'})}$$
  ここで、$\hat{\beta}_{\text{all}}$ は最尤法でフィットされる。$\hat{\beta}$ が強く負の値であることは、より近いアンカーほど正解である可能性が高いことを示す。
• 最終直前のウィンドウの選択：経験的分析により、較正シグナルは最終直前のウィンドウでピークに達することが明らかになった。最終ウィンドウにはしばしば文字通りの回答の言語化が含まれており、これはモデルが選択した回答と正解の両方に整合するのではなく、モデルが選択した回答と整合するため、特定のベンチマーク（GPQA Diamond など）ではシグナルが反転（$\hat{\beta}$ が正）する。

2. 3 チャネル分解

トレースが正しい仮説に到達しないことによる構造的な天井を克服するため、著者らは提案者/判定者設定を用いたオープンエンドなレジームを導入する：

• カバレッジ（C）：正しい仮説が到達可能かどうかを測定する、判定者仲介の事前確率。提案者 LLM が仮説プールを生成し、判定者 LLM が到達可能性を評価する。これは質問の難易度シグナルとして機能する。
• 幾何学（G）：上記で定義されたものと同様だが、固定されたデータセットの選択肢の代わりに、提案者が生成した仮説をアンカーとして使用する。
• 言語化（V）：ジェネレーターに自身の CoT を提示し、自信度の数値自己評価（0–100）を求めさせる。

融合：3 つのチャネルはロジスティック回帰を通じて融合され、最終的な自信度スコアを生成する。

主要な貢献

1. ブラックボックス・トレージ・自信度スコア：スライディングウィンドウ埋め込みに対する 1 変数 softmax を用いて、$(\text{text}, \text{embedder}, \text{anchor set})$ を連続的な自信度スコアにマッピングする手法。フィットされた傾き（$\hat{\beta}$）の符号と有意性は、3 つの異なる埋め込みモデル（Gemini、OpenAI、E5）、3 つの推論モデル、および 3 つのベンチマークで再現される。
2. 後期トレースのコミットメントシグネチャ：著者らは、幾何学的シグナルが最終直前のウィンドウで最も深く（最も負の $\hat{\beta}$）、GPQA Diamond における終端ウィンドウで反転するという機械的なシグネチャを特定した。これは、文字通りの言語化前に回答へのコミットメントを捉える堅牢なスコアリング位置として、最終直前のウィンドウを検証するものである。
3. 非対称な 3 チャネル分解：
   • **カバレッジ（C）と幾何学（G）**は、ほぼすべての設定（それぞれ 18/18 および 16/18 の組み合わせ）で独立したシグナルを担う。
   • **言語化（V）**は、6/18 の設定でのみ独自の残差シグナルに寄与し、普遍的な柱というよりは、ゲート付きのメタ認知的チャネルとして機能する。
   • $K=4$ における C+G+V の融合は、すべての 6 つのクローズドセット設定において $K=8$ の自己整合性（SC@8）をパレート改善する（中央値 $\Delta \text{AUC} = +0.075$）。

結果

本論文は、MedQA-USMLE、GPQA Diamond、およびMMLU-Proにおいて、Gemini 3.1 ProおよびClaude Sonnet 4.6を用いて手法を評価した。

• 幾何学的シグナル：単一の幾何学的特徴（G）は、ブラインドプロトコルにおいて選択的予測の AUC を 0.71–0.82 達成し、予算を一致させた場合、10 個のベンチマーク・モデルの組み合わせのうち 9 つで自己整合性を大幅に上回った。
• 融合による利益：$K=4$ における融合された C+G+V スコアは、すべての 6 つのクローズドセット設定において、$K=8$ の自己整合性（SC@8）を上回った。
  • 中央値 $\Delta \text{AUC} = +0.075$（Stouffer $z = 5.67, p = 7.1 \times 10^{-9}$）。
  • 選択された回答を SC@8 の多数決選択に固定した場合でも利益は持続し、改善が回答の切り替えによるものではなく、より良い較正によるものであることを確認した。
• 頑健性：
  • 結果は、異なる埋め込みモデル（E5-large-v2 を含む）間で維持される。
  • 判定者 LLM の入れ替え（GPT-5-mini から Claude Sonnet 4.6 へ）は、幾何学単独の AUC を変化させず（$|\Delta| \le 0.013$）、カバレッジ単独の AUC を最大 $\pm 0.02$ だけシフトさせるのみであり、シグナルが単一ベンダーのアーティファクトではないことを示している。
  • この手法はアンカー設計に対して頑健である。データセットの選択肢アンカーを使用することが重要であり、モデル自身の出力から導出されたアンカーを使用すると、偶然に近いパフォーマンスに崩壊する。

意義と主張

本論文は、ブラックボックス CoT の自信度は、サンプル投票の合意よりも、埋め込み空間におけるトレースの幾何学的収束からより信頼性高く読み取れると主張しており、これにより、logits や隠れ状態へのアクセスなしに、より低いサンプリングコストで達成可能であると述べている。

著者らが強調する主要な教訓：

• サンプリングよりも構造：自信度は、到達可能性、コミットメント、自己報告といった異なるチャネルから構成される構造化されたシグナルであり、単一のスカラーではない。
• 機械的洞察：幾何学的シグナルは、モデルが文字通り回答を言語化する前にピークに達する。これは、「回答へのコミットメント」が、埋め込み空間のダイナミクスを通じて検出可能な、推論軌跡における独立した段階であることを示唆している。
• 実用的な効率性：$K=4$ における C+G+V の融合は、SC@8 よりも優れた較正を提供しつつ、生成呼び出しの削減と埋め込みパスの効率性により、総 API コストを約 51% 削減する。
• 限界：著者らは控えめに、カバレッジチャネルは LLM 判定者によって仲介される（潜在的な判定者のバイアスを導入する）、言語化は普遍的に有用ではない、モデルが仮説を提案しなかった場合、いかなるトレース内スコアも正しい仮説を回復できない（「構造的な天井」）と指摘している。

この研究は、ブラックボックスアクセスを必要とするパイプラインのためのトレースレベルの自信度プリミティブを提供し、臨床意思決定支援などの高リスク分野における、より安全な棄却と選択的予測を可能にする。