技術的サマリー：感度、不一致、信頼性を考慮した異質なジャッジ意識型ランキング

問題定義

大規模言語モデル（LLM）の評価は、人間のアノテーター、モデルベースのジャッジ、または異なるプロトコルからなる複数のジャッジによるペア比較に依存するようになっています。標準的なランキングパイプラインは、これらの判断を単一の潜在スコアベクトルにプールし、ジャッジ間の体系的な不一致を交換可能なノイズとして扱います。しかし、最近の証拠は、ジャッジ間の不一致が構造化されており、ジャッジモデル、言語、タスク、プロトコルによって大きく異なることを示しています。この異質性は、主観的評価や「同点に近い」比較において特に重大な影響を及ぼし、わずかな摂動が最終的なリーダーボードを劇的に変化させる可能性があります。

核心的な問題は、単一のジャッジからパネルへ移行することが、古典的なランキング問題における単なるサンプルサイズの増加ではなく、推論の対象を根本的に変える点にあります。目標は、単一のプールされた順序を回復することから、合意、ジャッジ固有の感度、体系的な残差不一致を考慮した構造化された多ジャッジランキング問題を理解することへとシフトします。

手法：異質なジャッジ意識型（HJA）ランキング

著者は、ジャッジ固有の潜在スコアを 3 つの明確で識別可能な成分に分解する異質なジャッジ意識型（HJA）ランキングという枠組みを提案します。

1. モデル定式化

この枠組みは、$K$ をジャッジ数、$N$ をアイテム数とする潜在スコア行列 $S \in \mathbb{R}^{K \times N}$ を、構造化された分解を用いてモデル化します。
$$S = \gamma\mu^\top + UV^\top$$

• 合意ランキング（$\mu$）: 人口レベルのランキング目標を表す行平均の合意方向。
• 合意感度（$\gamma$）: ジャッジ固有のパラメータのベクトル（$\gamma_k$）であり、ジャッジ $k$ が共有された合意信号をどの程度強く追跡するかを測定します。グローバルな品質指標とは異なり、$\gamma_k$ は合意方向との整合性を特に測定します。
• 構造化された不一致（$UV^\top$）: スカラー再スケーリングだけでは説明できない、合意からの体系的な偏差を捉える低ランクの残差成分。この項は合意方向と直交するように制約されます。

ペアごとの選好確率は Bradley-Terry-Luce（BTL）モデルに従います。
$$\text{logit}(p_{kij}) = \gamma_k(\mu_i - \mu_j) + U_{k,:}(V_{i,:} - V_{j,:})^\top$$

2. 識別可能性と制約

分解が統計的に適切に定義されることを保証するため、著者は特定の正規化条件とランク条件（条件 1）を課します。

• 中心化: $\mu$ と $V$ の列は中心化され、$U$ の行の和はゼロになります。
• スケーリング: $\gamma$ の和は $K$ になります。$U$ と $V$ は単位ノルムにスケーリングされます。
• 直交性: 合意方向 $\mu$ は、異質な部分空間 $V$ と直交します。
• 部分空間のアンカー: 残差成分の特異値は異なり、順序付けられています。

これらの条件の下で、かつジャッジ間集約スコアがゼロでないことを仮定すると、著者は（命題 1 において）合意方向、感度パラメータ、および残差不一致部分空間がペア比較データから識別可能であり、列ごとの符号変化を除いて一意であることを証明します。

3. 推定アルゴリズム

著者は、**制約付き最尤推定量（MLE）**を開発しました。双線形分解の非凸性と非線形アンカー制約のため、アンカー付き近接交互アルゴリズム（アルゴリズム 1）を提案します。

• ブロック更新: ジャッジパラメータ（$\gamma, U$）とアイテムパラメータ（$\mu, V$）に対する交互最小化を、安定性を確保するための近接項を用いて行います。
• 再アンカーリング: 各ブロック更新後に非線形識別制約を復元する重要なステップ（アルゴリズム C.2）であり、分解の識別幾何学を維持します。
• 収束: 標準的な正則性仮定の下で、このアルゴリズムは局所線形収束を享受することが証明されています（定理 2）。

4. 不確実性の定量化

この枠組みは、ジャッジ数 $K$ が固定されたまま、反復比較を通じて情報が蓄積される固定パネル反復比較レジームにおける統計的推論をサポートします。

• 漸近正規性: 制約付き MLE は漸近的に正規分布に従うことが示されています（定理 3）。
• 信頼区間: 比較のグラフ構造から導出されたフィッシャー情報行列を用いて、合意スコアの対比、ジャッジ固有の対比、感度パラメータ、およびペア確率に対する信頼区間を提供します。これにより、ジャッジパネルが小規模または固定されている場合でも、不確実性の定量化が可能になります。

主要な結果

合成実験

• 回復: HJA は、比較情報が増加するにつれて、合意ランキング、ジャッジ固有の行動、および構造化された異質性を正常に回復します。
• ロバスト性: 誤指定されたベースライン（プールされた BTL や JA-Ranking などの感度のみモデル）は、強い異質性の下で著しく劣化し、偏ったスコア行列の周りに集中します。
• 不確実性の較正: HJA は適切に較正された不確実性の記述を提供しますが、ベースラインは構造化された不一致における真の分散を捉えることができません。

実データベンチマーク

4 つのデータセット（Chatbot Arena、MT-Bench、UltraFeedback、および社内データセット）で評価された結果、HJA は以下の点を示しました。

• 向上したロバスト性: ノイズの多いジャッジが注入された際、ランキングの安定性が高まります。
• 優れた予測: ホールドアウトされたペア予測精度が優れています。
• 同点に近いペアの性能: 標準的な手法が脆弱である経験的に曖昧な同点に近いペアにおいて、精度が大幅に向上します。
• 診断的有用性: 適合したモデルは、高感度かつ高残差不一致を持つ高レバレッジのジャッジを特定し、それらを普遍的な発見として扱うことなく、構造化されたジャッジ - モデル親和性パターン（例：家族ベースの自己選好効果）を明らかにします。

意義と主張

本論文は、異質な比較判断下でのランキングに対する統計的に根拠のある枠組みを提供すると主張しています。主な貢献は以下の通りです。

1. 目標の分解: 合意ランキング、ジャッジ感度、構造化された不一致を、単一のスコアに縮約したり、不一致をノイズとして扱ったりするのではなく、個別の推論目標として分離します。
2. 識別可能性: これらの成分がペアデータから一意に回復可能な条件を確立し、任意の潜在空間分解を超えて進歩します。
3. 固定パネル推論: ジャッジパネルが増大しない場合でも（LLM 評価における一般的な制約）、ランキング目標に対する厳密な不確実性の定量化（信頼区間）を可能にします。
4. 診断能力: この枠組みは、信頼性の低いジャッジを検出し、合意に対する感度を定量化し、残差不一致項内で体系的な親和性パターン（自己選好バイアスなど）を局所化する診断ツールとして機能します。

著者は、この枠組みが深刻な協調的バイアスが合意推定に影響を与える可能性のある敵対的なジャッジパネル下でのランキングを認証するものではなく、また最適化の非凸性により大域的最適性を保証するものではないと控えめに述べています。代わりに、これはランキング結論のロバスト性と解釈可能性を向上させるための、異質評価のための診断レイヤーとして位置づけられています。