技術要約：効率的なテスト時推論のための主張レベルの信頼性評価

問題提起

テスト時スケーリング（TTS）は、パラメータの更新を行うことなく大規模言語モデル（LLM）の推論能力を向上させる主要なパラダイムとして台頭している。既存のアプローチは、一般に以下の3つのカテゴリに分類される：単一のトレースから固有の信号を導出する手法（例：トークン確率）、複数の並列トレースの結果を集計する手法（例：自己整合性）、および構造化された探索を通じて生成中に介入する手法（例：分岐）。

これらの手法は有用ではあるものの、推論予算が増大するにつれて、正確で高い識別力を持つ信頼性信号を抽出することが困難であるという根本的なボトルネックに直面している。具体的には以下の通りである：

1. 信号の希釈化： トレース全体の評価は、日常的な推論トークンが決定的な識別力を弱める背景ノイズとなることで、決定的な誤りを覆い隠してしまう。
2. 論理的信頼性と統計的信頼性： 高い統計的信頼性（例：トークン確率）は、論理的な妥当性を保証するものではない。あるトレースは、非常に高い確信度を持ちながらも、致命的な欠陥を抱えている可能性がある。
3. 計算コスト： ステップレベルの検証は計算量的に過酷であり、多くの場合、個別のプロセスレベルの監督や訓練された検証器を必要とする。

推論トレースを支える意味内容を直接標的とすることで、トレース全体とステップごとの評価の間のギャップを埋める、中間的な粒度の手法が切実に求められている。

手法：主張レベルの信頼性評価（Claim-Level Reliability Assessment: CLR）

著者らは、**主張レベルの反証（claim-level falsification）の原理を具現化した、トレーニングフリーのフレームメントである主張レベルの信頼性評価（CLR）**を提案する。CLRは、追加の解サンプルを生成することから、決定的な判断を下す「主張」の標的化された検証へと、テスト時の計算資源を再配分するものである。

コアメカニズム

1. 主張レベルの評価：
   フルな推論トレースを評価する代わりに、CLRは各トレースを、$M$ 個の決定的な判断を下す主張（$C_k$）のコンパクトな集合へと凝縮する。これらの主張は、その失敗が最終的な予測を損なうような中間的な結論、制約、または変換である。日常的なトークンをフィルタリングすることで、CLRは計算資源を、正解の妥当性を決定づける論理的なアンカーに対してのみ集中的に投入する。

2. 反証に基づく検証：
   CLRは、解の構築と主張の論破の間の非対称性を利用する。有効な解を構築するには完璧な経路が必要であるが、誤った主張を論破するには、単一の決定的な欠陥を特定するだけでよい。

   • プロセス： ステージ2において、モデルは元の問題と主張のみを使用し（元のトレースは使用しない）、各主張に対する反証的証拠（矛盾、反例、事実誤認）を探索するようにプロンプトされる。
   • 結果： 各主張には、論破された（0）または論破されなかった（1）というバイナリの判定が下される。「論破されなかった」というラベルは、その主張が検証を生き残ったことを示すものであり、形式的に正しいことが証明されたことを意味するわけではない。

3. 非線形な信頼性スコアリングと集計：
   CLRは、非線形関数を用いて、主張レベルの判定をトレースレベルの信頼性スコア（$r_k$）に変換する：
   $$r_k = \left( \frac{1}{M} \sum_{m=1}^{M} v_{k,m} \right)^M$$
   ここで、$v_{k,m}$ は主張 $m$ の判定である。

   • 効果： 指数 $M$ は非線形なペナルティを生み出す。単一の決定的な主張が論破されると、線形平均の下での場合よりも、トレースのスコアが大幅に減少する。これにより、たとえ数値的に優勢であっても、誤りを含みやすいトレースの影響を抑制し、より信頼性の高い少数のトレースが誤ったコンセンサスを覆せるようにする。

推論パイプライン

CLRは、$K$ 個のトレースという固定予算を用いて2つのステージで動作する。

1. ステージ1： $K$ 個の解トレースをサンプリングする。各トレースについて、最終的な予測と $M$ 個の決定的な判断を下す主張を生成する。
2. ステージ2： 同じモデルを再利用して、$K$ 個の各トレースにおける $M$ 個の主張を検証する。
3. 集計： 判定を信頼性スコアにマッピングし、同等の予測に対して信頼性重み付き集計を行う。

主な貢献

• 主張レベルの反証の原理： 本論文は、テスト時スケーリング（TTS）における明確な原理として、主張レベルでの反証を定式化し、オープンエンドな再解決から、標的を絞った負の証拠探索へと焦点を移した。
• トレーニングフリーのフレームワーク： CLRは追加の学習や外部の検証器を必要とせず、生成と検証の両方にベースモデルの能力を利用する。
• 非線形集計： 非線形スコアリングメカニメント（$s^M$）の導入により、高確信度だが誤ったトレースの生存空間を効果的に圧縮し、誤ったコンセンサスの問題を解決する。
• 効率性： CLRは、推論予算の半分を生成から検証へと再配分することで、モデルのレジームに応じて精度向上またはトークン効率化を実現できることを示している。

実験結果

著者らは、4つの推論ベンチマーク（HMMT25, HMMT26, CMIMC25, Apex-shortlist）において、4つのLLM（Gemma-4-12B-it, GPT-OSS-20B, GPT-OSS-120B, Qwen3.5-27B）を用いてCLRを評価した。比較は、一致したモデルコール予算（CLR@32 vs. Cons@64）の下で行われた。

• 精度の向上：

  • CMIMC25におけるGPT-OSS-20B： CLRは、生成トークン数を37.0%削減しながら、精度を77.50%（Cons@64）から82.19%へと向上させた。これはPass@1を27.15ポイント上回った。
  • HMMT25におけるGemma-4-12B-it： CLRは精度を76.67%から88.75%へと引き上げた（12.08ポイントの向上）。ただし、これには33.4%のトークン使用量の増加が伴った。
  • GPT-OSS-120B： トークン消費量を約22%削減しながら、最大5.00ポイントの精度向上を実現した。
  • Qwen3.5-27B： すでに高いベースライン（>90%）を持つ中で、CLRは精度を維持またはわずかに向上させ（最大+2.60ポイント）、最大14.5%のトークン削減を実現した。

• 誤ったコンセンサスの救済：
  CLRは、カウントベースの集計によって抑制されていた、初期サンプルセット内に正解が存在するケースの約**37%**において、誤った多数決を覆すことに成功した。

• スケーリング挙動：
  様々なテスト時予算において、CLRはセルフコンシステンシーと比較して、より安定したスケーリング挙動を示した。セルフコンシステンシーは、より多くのソリューションが追加されるにつれて飽和したり変動したりすることが多い。

• 主張数（$M$）のアブレーション：
  主張数を1から3または5に増やすと、一般的に精度が向上した。これは、より広範な決定的なカバー範囲と段階的な非線形重みが有益であることを示唆している。

意義と主張

本論文は、テスト時の計算資源は、必ずしも追加の解を生成することだけに費やす必要はないという仮説の検証としてCLRを位置づけている。検証の一部を標的を絞った反証へと再配分することで、CLRは以下を実現できる：

1. パフォーマンス・フロンティアの改善： より少ないトークンで、あるいは同じ予算内で、より高い精度を達成する。
2. 非対称性の活用： 完璧な解を構築することよりも、欠陥を論破することの方が計算コストが低く、かつ決定的であるという事実を利用する。
3. 信号の希釈化の軽減： 検証リソースを、推論トレース全体ではなく、正解性を決定づける特定の意味的なアンカーに集中させる。

著者らは、CLRはコンセンサスベースのフレームワーク内における初期のインスタンス化ではあるものの、主張レベルの反証という原理は、追加のサンプリングが収穫逓減をもたらすシナリオにおいて、将来的なテスト時スケーリングのパラダイムに向けた有望な方向性を提供すると結論付けている。