技術要約：Agreement Before Diversity (ABD)

問題提起

異種混合の言語モデルアンサンブルは、候補となる回答の空間を拡大し、多様性を通じて精度の向上をもたらす可能性を秘めている。しかし、既存のアプローチには、新たに生成された回答が、すでに支持されている回答をいつ上書きすべきかを決定するための、原理的な基準が欠けている。現在の手法は、多くの場合、候補のヘッドルーム（多様な出力が持つ生のポテンシャル）と、置換権限（現在の回答を変更する正当性）を混同している。多様な誤りは依然として誤りであり、流暢なシンセサイザー（統合器）は、誤った回答を修復するのと同様に容易に正しい回答を上書きしてしまう可能性がある。核心となる課題は、サンプルの独立性や較正された信頼度スコアといった、検証不可能な仮定に依存することなく、「より多くの選択肢を持っていること」と「どの選択肢を信頼すべきかを知ること」を区別することである。

手法：Agreement-Before-Diversity (ABD)

著者らは、候補生成と置換権限を切り離した、凍結されたラベルフリーの決定規則であるAgreement-Before-Diversity (ABD) を提案する。この手法は、特定の項目 $x$ に対して次のように動作する：

1. アンカーとプローブ: アンカーモデルが回答 $y_0$（温度 0）を生成する。さらに、同じモデルから2つの信頼できるサンプル $y_1$ と $y_2$（温度 0.7）が生成される。
2. 検証イベント ($A$): 凍結された等価関係 $E$（例：コードに対する正規化された文字列一致、または多肢選択式における正確な選択肢の一致）が、パースされた回答を比較する。
   • もし $y_0, y_1, y_2$ がすべて非 null であり、$E(y_0, y_1)$ および $E(y_0, y_2)$ が成立する場合、合意イベント $A(x) = 1$ となる。
   • そうでなければ、$A(x) = 0$ となる。
3. 意思決定の分岐:
   • $A(x) = 1$ の場合（保護）: アンカー $y_0$ を保持する。総コスト：推論コール 3回。
   • $A(x) = 0$ の場合（エスカレーション）: 4つのピアモデルとリゾルバー（解決器）を用いた異種混合プールを使用して、新しい回答 $s$ を合成する。総コスト：推論コール 8回（プローブ 3回 + ピア 4回 + リゾルバー 1回）。

等価関係 $E$ は意図的に保守的かつラベルフリーであり、正解性を証明するものではなく、多様性がアンカーを上書きすることを許可するかどうかを判断するためのゲートとしてのみ機能する。

主要な貢献と理論的枠組み

本論文の主要な貢献は、調整されたコーディネーターではなく、厳密な会計を備えた決定原理である。著者らは、独立性や較正された信頼度の仮定を必要とせずに、ABDの性能を2つの極端なポリシーと比較して分解する、2つの正確な恒等式を導出している。

1. 恒等式 1（無条件の合成との比較）:
   $$E[U - Q] = q(a - b)$$
   ABDと常に合成を行う場合との精度の差は、合意カバレッジ ($q$) と、保護されたサブセットにおけるアンカーの優位性 ($a - b$) の積によって決定される。この恒等式は、ABDが、合意が発生する項目においてアンカーが合成よりも正確である場合にのみ、無条件の合成を上回ることを示している。

2. 恒等式 2（決して合成しない場合との比較）:
   $$E[U - Z] = (1 - q)(r - d)$$
   ABDと常にアンカーを保持する場合との精度の差は、エスカレーション率 ($1-q$) と、エスカレートされたサブセットにおける純粋な認可された回復 minus 認可された破壊 ($r - d$) の積によって決定される。ここで、$r$ は合成が誤ったアンカーを修正したケースを表し、$d$ は合成が正しいアンカを損なったケースを表す。

3. コスト恒等式:
   $$E[C] = 8 - 5q$$
   期待される推論コストは、カバレッジの線形関数である。ABDは、カバレッジ $q > 0.4$ である場合に限り、常にオンの合成（6回呼び出し）よりも推論回数が少なくなる。

これらの恒等式は、あらゆる集計的な差異を列挙可能な保護された層へと局所化し、システムの挙動を完全に監査可能にする。

実験結果

本手法は、2つの異なるベンチマーク、LiveCodeBench-v6（175タスク、実行可能なテスト）および GPQA-Diamond（未接触の180項目、正確な選択肢スコアリング）において、厳格かつブラインド条件下で評価された。

• LiveCodeBench-v6: ABDは 59.43% の精度を達成し、Single9 (52.57%) および HAC (52.00%) を上回った。また、Heterogeneous MoA (Always Synthesis) とタイ、Homogeneous MoA を上回った。
  • メカニズム: 独立して生成されたコードは正確に一致することが稀であるため、合意カバレッジ ($q$) は極めて低かった (1.71%)。その結果、ゲートはほぼ機能せず、システムは実質的に異種混合合成へと還元された。理論的境界は最大 1.71 ポイントの寄与を予測したが、観測された寄与は正確にゼロであり、理論を裏付けた。
• GPQA-Diamond (Untouched): ABDは 75.00% の精度を達成し、Single9, HAC, および Heterogeneous MoA (72.78%) を上回った。
  • メカニズム: ここでは、カバレッジが高かった (73.33%)。Always Synthesis に対する利得（2.78ポイント）は、すべて保護されたサブセットにおける正しいアンカー回答の保持 ($q(a-b)$) によって説明された。
• 摂動研究: アンカーモデルをより弱いものに置き換えた場合（凍結摂動）、カバレッジは 39.44% に低下したが、保護セットにおけるアンカーの優位性は大幅に増加した。ABDは依然としてベースラインを上回り、手法が再学習なしにアンカーの品質に適応することを示した。

コンポーネントのアブレーション解析:

• ゲートを除去した場合（Always Synthesis）は、多様性だけでは改善が保証されないことを示した。LiveCodeBench では、ゲートの除去による影響は 0.00 であったが、GPQA では低下が見られた。
• 提案者の異種性を除去した場合（Homogeneous MoA）は、多様性が普遍的に優れているわけではないことを示した。コードにおいては役立ったが、GPQA においては異種混合バージョンと比較して悪影響を与えた。

意義と主張

本論文は、ABDが安定性と探索の間の緊張関係を管理するための原理的なフレームワークを提供すると主張している。

• 監査可能な意思決定: ヒューリスティックなコーディネーターとは異なり、ABDはすべての集計的な差異を説明する正確な恒等式を提供する。実務者は、ラベル付きの検証セットを必要とせずに、カバレッジ ($q$)、保護セットの優位性 ($a-b$)、および回復/破壊率 ($r-d$) を測定することで、システムの挙動を診断できる。
• ポテンシャルと権限の分離: 結果は、多様性がポテンシャル（ヘッドルーム）を提供するが、検証構造がそれを実現するための権限を提供することを示している。多様なプールは、ゲートがいつアンカーを信頼し、いつエスカレーションすべきかを正しく識別できる場合にのみ有益である。
• 限定的な範囲: 著者らは、証拠がコード生成と専門的な多肢選択問題に限定されていることを明示している。彼らはABDをあらゆるタスクに対する普遍的な解決策であるとは主張しておらず、等価関係 $E$ を定義するためにドメイン固有の検証信号（例：コードの実行シグネチャ、推論の根拠）の必要性を強調するフレームワークであるとしている。
• 「正解オラクル」ではない: この手法は、真理を知っていると主張しているのではない。合意によってサポートされている場合に回答を保持することを許可するか、あるいはそのサポートが失敗した場合には置き換えることを許可するだけである。

結論として、ABDは、調整問題をブラックボックスの最適化タスクから、トレードオフ（精度、コスト、多様性）が明示的に定量化された、透明で測定可能なプロセスへと変貌させるものである。