技術要約：LLMジャッジを用いたバイアスを考慮したベイズ的アクティブTop-$k$ランキング

問題提起

大規模言語モデル（LLM）は、レスポンスのランキング、モデルの選定、あるいはドキュメントのトリアージを行うためのペア比較（pairwise comparison）を行う「ジャッジ」として、ますます広く導入されています。コスト効率は高いものの、これらのジャッジには2つの決定的な欠陥があります。それは、ノイズ（一貫性のない判定）と、系統的なバイアス（冗長性、特定のフォーマット、または提示順序への嗜好）です。

本研究が取り組む核心的な問題は、固定された比較予算の下で、トップ$k$項目（例：最も優れた$k$個のレスポンス）を特定することです。著者らは、LLMの投票を単純に集計する手法（例：単純な勝利数のカウント）は、提示の質と潜在的な項目の質を混同してしまうため、不適切であると主張しています。その結果、単純な手法は「真実」ではなく「提示の質」のランキングへと収束してしまい、この誤差は比較回数を増やしても解消されません。さらに、目的が具体的にトップ$k$セットの特定である場合、全ランキングの解決を目指す標準的な能動学習戦略は、トップ$k$の境界から遠い項目に対して予算を浪費してしまうため、非効率的です。

手法

本論文は、バイアスを考慮したベイズ推論と**トップ$k$を意識したアクティブ獲得（Active Acquisition）**を組み合わせたフレームワークを提案しています。

1. バイアスを考慮したベイズ的ブラッドリー・テリー・モデル

著者らは、ジャッジングのプロセスを、潜在的な項目の品質（$\theta$）に関するベイズ推論問題としてモデル化しています。そして、ジャッジ固有のバイアスを明示的に考慮するために、標準的なブラッドリー・テリー・モデルを拡張しました。

$$\Pr(y = 1 | a, b) = \sigma \left( \theta_a - \theta_b + \sum_{m=1}^d c_m (x_{a,m} - x_{b,m}) + \kappa \right)$$

ここで：

• $\theta_a, \theta_b$: 項目の潜在的な品質スコア。
• $x_{a,m}, x_{b,m}$: 観測可能な共変量（例：レスポンスの長さ／冗長性、フォーマットの指標）。
• $c_m$: 品質と共同で学習されるバイアス係数。
• $\kappa$: 最初に示された項目への嗜好を捉える位置項。
• $\sigma$: シグモイド関数。

適応的収縮（Adaptive Shrinkage）: 重要な構成要素は、バイアス係数（$c, \kappa$）に対して収縮事前分布（小さな分散 $\tau^2$ を持つガウス分布）を使用することです。これにより、データに基づいてどのバイアスが有効であるかを判断できます。もしジャッジにバイアスがなければ、係数はゼロに向かって収縮し、モデルは標準的なブラッドリー・テリー・モデルへと簡略化されます。これにより、本手法は未知のジャッジに対しても「安全」であり、バイアスが存在しない場合にペナルティを受けることがありません。

2. トップ$k$を意識したアクティブ獲得

全ランキングの精度を最大化する（例：D最適設計）のではなく、トップ$k$のメンバーシップ境界を標的とする獲得ルールを導入しています。

候補ペア $(i, j)$ に対する獲得スコア $s(i, j)$ は以下のように定義されます：
$$s(i, j) = \underbrace{\hat{p}_{ij}(1 - \hat{p}_{ij})}_{\text{情報量}} \times \underbrace{(\Sigma_{ii} + \Sigma_{jj} - 2\Sigma_{ij})}_{\text{差異 } \theta_i - \theta_j \text{ の分散}} \times \underbrace{(H(p_i) + H(p_j))}_{\text{境界への関連性}}$$

• 情報量と分散: $\theta_i - \theta_j$ の情報利得を推定する標準的な項。
• 境界への関連性: $H(p) + H(p_j)$ は二値エントロピーを用います。ここで $p_i = \Pr(i \in \text{Top-}k)$ です。この項は、項目のメンバーシップが不確実な場合（$p \approx 0.5$）に最大化され、明らかにトップ$k$に入っている、あるいは外れている場合には消失します。これにより、予算をトップ$k$セットの特定の境界を解決することに集中させます。

3. 推論と手順

システムは以下のループで動作します：

1. 適合（Fit）: L-BFGSを用いて、罰則付き負対数事後分布を最小化することにより、$\theta, c, \kappa$ の事後分布を推定します。
2. 推定（Estimate）: 事後分布からのモンテカルロ・サンプリングを通じて、トップ$k$メンバーシップ確率 $p_i$ を計算します。
3. 獲得（Acquire）: $s(i, j)$ を最大化する次のペア $(i, j)$ を選択し、ランダムな順序でジャッジに提示して、判定を観察します。
4. 更新（Update）: 新しいデータを追加し、予算が尽きるまで繰り返します。

主な貢献

1. バイアスを考慮したベイズモデル: 収縮事前分布を用いて、潜在的な品質と提示バイアス（冗長性、位置）を明示的に分離する生成モデル。これにより、ジャッジがバイアスを持っている場合でも真の品質を堅牢に推定できる一方で、バイアスがない場合にはペナルティを与えない「安全性」を備えています。
2. トップ$k$を意識した獲得ルール: 全体的なランキングよりもトップ$k$の境界を優先することで、予算効率の高い戦略を提供します。本論文は、これがグローバルな不確実性（D最適）やラウンドロビン方式よりも優れていることを示しています。
3. 実際のLLMによる実証: 既知の正解を持つ制御されたベンチマークにおいて、16種類の実際のLLMジャッジ（Llama、Qwen、GPT-4o、Gemini、Claudeなどのオープンソースおよびプロプライエタリなファミリーを含む）に対して広範な評価を行いました。

実験結果

正確性（トップ$k$の復元）

• 単純な集計の失敗: バイアスのあるジャッジ（例：Llama-3.1-8B、Qwen-2.5、GPT-4o-mini）では、単純な勝利数カウントは、予算に関わらず誤ったトップ$k$セットへと収束します。リコール（再現率）は低い値（例：~0.50–0.60）で停滞します。
• バイアス考慮による復元: 提案モデルは正しいトップ$k$セットを復元し、バイアスのあるジャッジにおいてもリコールを 0.84–1.00 まで引き上げます。
• バイアスの異質性: バイアスは一様ではありません。「フロンティア」級のジャッジ（例：GPT-5.1、Claude Opus）は、バイアスがほとんど、あるいは全くなく、単純な手法でも既に完全なリコールを達成していました。バイアス考慮モデルによる利得は極めて小さく、これは収縮事前分布の安全性を裏付けています。逆に、安価な中位クラスのジャッジは強い冗長性バイアスを示しましたが、本モデルはこれを正常に修正できました。
• 能力との相関: ジャッジの生の能力（単純なリコール）と、バイアス補正による利得の間には、強い負の相関（Spearman $\rho = -0.88$）があります。この手法は、ランキングを行う能力はあるものの、バイアスによって歪められているジャッジに対して最も効果的です。

効率性（予算の使用）

• トップ$k$を意識した獲得ルールは、グローバルな不確実性やラウンドロビン戦略よりも大幅に少ない比較回数で、バイアス考慮による性能上限に到達します。
• 予算 $B=120$ において、トップ$k$意識型ルールは 0.80 のリコールを達成しましたが、これはグローバルな不確実性型（0.70）やラウンドロビン（0.61）を上回りました。
• アブレーション研究により、獲得スコアにおける「境界への関連性」の項が、この効率性の主要な要因であることが確認されました。この項を除去すると、性能はグローバルなD最適性に低下します。

コスト効率

• 本論文は、安価でバイアスのあるジャッジ（例：GPT-4o-mini）にバイアス補正を適用することが、同様のリコール（0.90）を得るためにフロンティアでバイアスのないジャッジ（例：GPT-5.1）を使用することと比較して、約 20倍安価 であることを示しています。

意義と主張

本論文は、バイアスは実在し、異質であり、能力に依存すると主張しています。その根拠は以下の通りです：

1. 単純な集計は、トップ$k$選択において根本的に欠陥がある: バイアスのあるジャッジの下では、混同された量（品質 ＋ 提示の嗜好）を推定してしまうため、回復不可能な誤差のプラトーが生じます。
2. 明示的なモデリングが必要である: バイアスはゼロであると仮定したり、単純なヒューリスティック（順序の入れ替えなど）で対処したりすることはできません。なぜなら、冗長性バイアスは位置バイアスとは別物であり、ジャッジによって異なるからです。
3. オンライン推定が解決策である: バイアスを（収縮によって正則化された）各ジャッジごとに推論すべき潜在パラメータとして扱うことで、システムは事前の知識なしに特定のジャッジの挙動に適応できます。
4. ターゲットを絞った獲得が重要である: 予算が限られた設定では、全ランキングを解決するために労力を割くのは無駄です。トップ$k$の境界に比較を集中させることで、より高い効用が得られます。

著者らは、彼らのアプローチが、安価でバイアスのあるLLMジャッジを、高リスクな評価タスクにおいても正確なランキングを実現するために利用可能にすることを結論付けています。これは、フロンティアモデルのみに頼るよりもはるかにコスト効率の高い、スケーラブルで正確なランキングへの道を開くものです。なお、共変量（長さなど）が偽の指標であるという仮定には限界があり、もし長さが（要約タスクなどのように）品質を正当に示唆している場合、デバイアス（脱バイアス）が性能を損なう可能性があるため、「信頼できるアンカー」による判定が必要であると述べています。