技術的サマリー：プレフィックス整合性による信頼性の高い思考連鎖

問題提起

大規模言語モデル（LLM）は、複数の思考連鎖（CoT）トレースを生成し、それらを多数決（MV）で集約する「自己整合性」と呼ばれる手法により、推論精度を向上させることが多い。しかし、標準的な多数決は生成されたすべてのトレースを同様に扱うため、正解が少数派である場合に失敗する。これを解決するため、重み付き多数決（WMV）手法は、トークンの対数確率から導出される自信シグナル（例：DeepConf、Self-certainty）や、言語化された自己評価（例：P(True)）に基づいて、トレースに信頼性スコアを割り当てる。

既存の WMV 手法の決定的な欠点は、その信頼性シグナルが困難な問題において、正しいトレースと誤ったトレースを区別できないことである。本論文で示されているように、Pass@1 が低い（例：50% 未満）ような困難なベンチマークでは、ベースラインの自信シグナルは頻繁に正しいトレースと誤ったトレースを重なる範囲に配置し、最もリウェイトが必要とされる局面においてそれらを効果的に機能させなくなる。さらに、多くの既存手法はトークンレベルの対数確率へのアクセスを必要とするが、これはすべての展開シナリオで利用可能とは限らない。

手法：プレフィックス整合性

著者は、トークン対数確率へのアクセスを必要としない新しい信頼性シグナル「プレフィックス整合性」を提案する。この手法を動機づける核心的な観察は、正しい推論トレースは、誤ったトレースに比べて再生成に対してより再現性が高いという点である。

仕組み

1. 切り捨て：答え $a_i$ を持つ各生成された CoT トレース $y_i$ について、固定された割合 $\tau$（例：トークンの 75%）でトレースを切り捨て、プレフィックスを保持する。
2. 再生成：モデルに、この切り捨てられたプレフィックスから $K$ 回継続を再生成するようプロンプトし、新しい答えの集合 $\{ \tilde{a}_{i,1}, \dots, \tilde{a}_{i,K} \}$ を得る。
3. スコアリング：グループ内の（初期答え＋再生成）すべての候補答え $a$ に対して、プレフィックス整合性スコア $c_i(a)$ を計算する。このスコアは、その答え $a$ がグループ内で出現する頻度を表す：
   $$c_i(a) = \frac{|\{a' \in A_i^{(\tau, K)} : a' = a\}|}{K+1}$$
   初期答え $a_i$ が正しい場合、再生成プロセスは $a_i$ を再現する傾向があり（高い $c_i(a_i)$）、$a_i$ が誤っている場合、再生成はしばしば異なる誤った答えへと分岐し、初期の誤った答えに対する整合性スコアが低くなる。

プレフィックス整合性重み付き多数決（PC-WMV）

この手法は、このシグナルを重み付き多数決フレームワークに統合する。初期サンプルを 1 回だけ重み付けるのではなく、PC-WMV は再生成グループ内のすべての異なる候補答え $a$ を、その再現性スコア $c_i(a)$ に基づいて重み付ける。最終的な予測は、最も高い総重み付き票を持つ答えである：
$$\hat{a}_{PC} = \arg \max_{a \in \mathcal{A}} \sum_{i=1}^N w(c_i(a))$$
ここで、$w: [0, 1] \to \mathbb{R}_{\ge 0}$ は重み付け関数（例：線形、二次、または三次）である。

理論的保証：本論文は、識別ギャップ $D(\tau) = r_C(\tau) - r_W(\tau)$ が正である場合（ここで $r_C$ は正解の再現率、$r_W$ は誤答の再現率）、PC-WMV は初期の Pass@1 が 50% 未満で標準的な MV が失敗する状況であっても、正解を回復できることを示す漸近解析（定理 1）を提供する。具体的には、PC-WMV は $\pi(a^*) > \frac{r_W}{r_C + r_W}$ である限り正解に収束し、これは標準的な MV が要求する 0.5 よりも厳密に低い閾値である。

主要な貢献

1. 新規の信頼性シグナル：対数確率へのアクセスを必要とせず、再生成下での答えの再現性に基づくシグナルであるプレフィックス整合性の導入。
2. 優れた正解予測：5 つのモデルと 4 つのベンチマーク（FrontierScience-Olympiad、HMMT 2026 年 2 月、AIME 2025、Brumo 2025）にわたる実証的証拠により、プレフィックス整合性が既存の WMV ベースライン（DeepConf、P(True)、Self-certainty）を正解予測として凌駕することを示す。20 の（モデル、ベンチマーク）設定のうち 15 で、最も高いマクロ平均 AUROC を達成した。
3. コスト効率：PC-WMV は、標準的な MV の精度のプラトーに、はるかに少ないトークン数で到達する。コスト同等の比較において、PC-WMV は中央値で 4.6 倍少ないトークンで標準的な MV と同等の精度を達成し、困難なベンチマークでは 21 倍までの節約を実現した。
4. 難易度に対する頑健性：困難な問題で劣化するベースラインシグナルとは異なり、プレフィックス整合性は Pass@1 が 50% 未満であっても正の識別ギャップ（$r_C > r_W$）を維持し、標準的な MV が失敗する領域において効果的に票をリウェイトすることを可能にする。

結果

• 識別ギャップ：表 1 は、すべてのモデルとベンチマークで $r_C > r_W$ が成り立つことを確認している。識別ギャップ $D$ は顕著である（例：GPT-OSS-120B における FrontierScience-Olympiad で 43.7%）、これは正しいトレースが再生成下でより安定しているという強い行動的規則性を示している。
• 精度対コスト：GPT-OSS-120B を用いた FrontierScience-Olympiad ベンチマークにおいて、PC-cubic（三次重み付け）は、標準的な MV が要求するトークン数のわずか 0.05 倍（21 倍の節約）で、標準的な MV のプラトー精度に到達する。Ministral3-14B における AIME 2025 でも同様の効率向上が観察された。
• 適応的停止との比較：PC-WMV は、トークン効率の面で適応的停止ベースライン（Adaptive Consistency、Early-Stopping Self-Consistency）と競合するか、それ以上である。特に、適応的手法が予算内で高い精度目標に到達できないことが多い困難なタスクにおいて顕著である。
• ハイパーパラメータ感度：この手法は、切り捨て割合 $\tau$ と再生成回数 $K$ の選択に対して頑健である。デフォルト設定（$\tau=0.75, K=1$）は、広範な調整なしに多様なベンチマークで良好に機能する。

意義と主張

本論文は、再生成の安定性が、対数確率や自己評価から導出される自信ベースのシグナルとは異なり、かつそれらにしばしば優れる、投票集約のための実用的に有用なテスト時シグナルであると主張する。

• 実用的有用性：この手法は、特に標準的な自己整合性が正解を見つけられない困難な問題において、推論精度を向上させるコスト効果の高い方法を提供する。
• 理論的洞察：この研究は、手法の有効性を支配する鍵となる量として「識別ギャップ」$D$ を浮き彫りにする。それは、正解と誤答のトレース間の再現性の非対称性が、集約に利用可能な推論モデルの基本的な性質であることを実証している。
• 限界：著者は、この手法が切り捨てて継続可能な明示的な CoT トレースへのアクセスを前提としていることを指摘しており、これは推論が隠されたクローズドモデルには適用されない可能性がある。さらに、その有効性は Pass@1 と標準的な MV のプラトーの間に意味のあるギャップが存在することに依存する。Pass@1 がすでにプラトーに近い場合、リウェイトによる利益は限定的である。

要約すると、本論文は、プレフィックス再生成下での答えの再現性をチェックすることが、対数確率を必要とせず、思考連鎖の集約の効率と精度を大幅に向上させる信頼性の高いシグナルを提供することを確立している。