技術的サマリー：Joint Consistency (JC)

問題定義

本論文は、特定のクエリに対して生成された $N$ 個の候補推論トレースの集合から、単一の信頼性の高い回答を選択する問題である**テストタイム集約（Test-Time Aggregation: TTA）**を取り扱います。既存のテストタイムスケーリング（Test-Time Scaling: TTS）手法は複数のトレースを効果的に生成しますが、その集約戦略はしばしば以下の 2 つの限界に直面します：

1. 孤立性：多くの手法（例：Self-Consistency、Weighted Self-Consistency）は、絶対的な品質スコアや回答の頻度に依存してトレースを独立して評価します。これは候補間の比較情報を無視しています。
2. 較正の困難さ：独立した評価には、評価者がよく較正された絶対スコアを生成することが必要であり、特に異質なモデル生成器を跨ぐ場合、これを達成することはしばしば困難です。
3. 比較のスケーラビリティ：比較判断（例：「トレース A はトレース B より優れている」）は、絶対スコアよりも信頼性が高いことがよくありますが、すべてのペアワイズ比較を単純に組み込むと $O(N^2)$ の計算コストが発生し、大規模なトレース予算に対しては実行不可能です。

著者らは以下の問いを提起します：ペアワイズ比較判断を、原理的かつ計算効率的な方法でテストタイム集約にどのように組み込むことができるか？

手法：Joint Consistency (JC)

著者らは、制約付きイジング型エネルギー最小化問題として定式化された統合フレームワークである**Joint Consistency (JC)**を提案します。

1. エネルギー関数

集約の目的は、トレース $i$ が選択される場合に $x_i=1$ となる指示ベクトル $x \in \{0, 1\}^N$ を見つけ、エネルギー関数 $H(x)$ を最小化することです：
$$\min_{x \in \{1_{I_k} | k \in [K]\}} H(x) := -\mu \langle h, x \rangle - x^\top J x$$
ここで：

• $K$ は異なる候補回答の数です。
• 制約：実行可能集合は、$x$ が正確に 1 つの回答グループ（同じ回答をもたらすすべてのトレース）を選択することを制限します。
• $h$（外部場）：個々のトレースに対する LLM-as-a-judge スコアなど、独立した評価シグナルを符号化するベクトルです。
• $J$（相互作用行列）：トレース $i$ がトレース $j$ よりも好まれる確率など、ペアワイズ比較シグナルを符号化する行列です。
• $\mu$（ハイパーパラメータ）：独立評価とペアワイズ相互作用の間のトレードオフを制御します。

2. 相互作用行列 ($J$) の構築

行列 $J$ は、LLM-as-a-judgeによる比較を用いて構築されます。

• ペアワイズ確率：トレース $y_i$ と $y_j$ に対して、裁判官は $y_i$ が $y_j$ より優れている確率 $p_\theta(y_i \succeq y_j)$ を推定します。
• 正半定値構築：安定性と解釈可能性を確保するため、$J$ は $J = CC^\top$ と定義されます。ここで、要素 $C_{ij}$ は選好確率の正規化版です：
  $$C_{ij} := \sqrt{\frac{p_\theta(y_i \succeq y_j)}{n_i^2 n_j}}$$
  ここで、$n_i$ は $y_i$ と同じ回答を共有するトレースの数です。この構築により、2 つのトレースが競合するトレースの類似したセットに対してともに好まれる場合、それらは強い相互作用を持つことが示唆されます。

3. 理論的解釈

回答レベルの均質性の仮定（与えられた回答 $a^{(k)}$ に対するすべてのトレースが、他の回答 $a^{(k')}$ のトレースに対して同一のペアワイズ選好確率を持つという仮定）の下では、二次項 $x^\top J x$ は回答レベルの選好の和に簡略化されます。これは、トレースレベルの比較を回答レベルの集約ルールに変換することの理論的根拠を提供します。

4. 効率的な近似戦略

すべてのトレースペアに対して $J$ を計算する $O(N^2)$ のコストに対処するため、著者らはTop-$\kappa$ 近似を提案します：

• 全 $N$ 個のトレースを比較する代わりに、相互作用は最も頻出する Top-$\kappa$ の回答グループ間でのみ推定されます。
• これにより、複雑さは $O(N^2)$ から $O(\kappa^2)$ に削減されます。ここで $\kappa$ は小さな一貫性予算（例：$\kappa=4$）です。
• エネルギー関数自体の最適化は、実行可能集合が $K$（または $\kappa$）個の候補回答グループに制限されているため、一般の二次制約なし二値最適化（QUBO）の NP 困難性を回避し、計算可能（$O(K)$ または $O(\kappa)$）です。

主要な貢献

1. 比較シグナルの組み込み：JC は、外部場 $h$ による独立シグナルに加えて、相互作用行列 $J$ によるペアワイズ比較シグナルを統合する、制約付きエネルギー最小化モデルを導入します。
2. 統合フレームワーク：この定式化は既存の手法を特殊ケースとして包含します：
   • Self-Consistency (SC)：$J=0, \mu=0$（または特定の $h$）。
   • Weighted Self-Consistency (WSC)：$J=0, \mu > 0$。
   • Interaction-only：$\mu=0$。
   • $\mu$ を変化させることで、JC はこれらの戦略間を補間します。
3. スケーラビリティ：提案された Top-$\kappa$ 近似により、大規模な集約に対する相互作用モデリングが実用的となり、ペアワイズ比較の恩恵を、標準的な重み付き投票と同等のコストで維持します。

実験結果

著者らは、JC を数学推論（MathArena: AIME, HMMT, Brumo）およびコード推論（CruxEval-O）のベンチマークで評価しました。

• クラウドソーシング環境（異質なトレース）：
  • JC は、多様な裁判官モデル（Qwen, DeepSeek, GPT 変種）およびトレース予算において、一貫してベースライン（SC, WSC, Best-of-N, Knockout Tournament）を上回りました。
  • MathArena-C（困難な部分集合）において、JC は小さな $\kappa=4$ で WSC に対して 20% 以上の精度向上を達成しました。
  • 独立スコアが信頼できず、比較的一貫性のみが有効であった、下位モデルによって生成されたトレースであっても、JC は堅牢でした。
• 均質環境（内在的シグナル）：
  • トークンレベルの対数確率が利用可能な環境（例：DeepSeek-R1, Qwen3）において、JC は Self-Certainty や DeepConf などの内在的評価ベースラインを上回りました。
  • JC の最強のベースラインに対する性能向上は、トレース数 ($N$) が増加するにつれて増大し、より良いスケーリング特性を示しました。
• コスト効率：
  • JC 評価フェーズ（$h$ と $J$ に対して裁判官をクエリする）のコストは、推論トレースを生成するコストの1% 未満であることが判明しました。
  • この手法は $\mu$ の選択に対して堅牢であり（最適範囲は通常 $[0.5, 1]$）、特定の裁判官モデルに対する微調整を必要としません。

意義と主張

本論文は、Joint Consistencyが、独立評価とペアワイズ比較の間のギャップを埋める、原理的かつ統合されたテストタイム集約アプローチを提供すると主張しています。

• 理論的洞察：集約をエネルギー最小化問題として枠組み化し、ペアワイズ比較が回答レベルでどのように集約されるかの理論的解釈を提供します。
• 実用的影響：効率的な近似戦略を介して比較シグナルを活用することが、過大な計算オーバーヘッドなしに最先端のベースラインに対して一貫した向上をもたらすことを実証しています。
• 限界：著者は控えめに、現在の研究は推論タスクにおける最終回答の集約に焦点を当てており、オープンエンドの推論や研究レベルの問題解決への一般化は未証明であると指摘しています。さらに、相互作用行列 $J$ の特定の構築が最適であるとは限らず、この手法は基盤となる生成モデルおよび裁判官モデルの限界を継承します。