Rank Reversal in Multilingual LLM Judges: A Label-Free Double-Centering Calibrator

技術要約：多言語LLMジャッジにおけるランク逆転（Rank Reversal）

問題提起
多言語大規模言語モデル（LLM）ジャッジは、プロンプトの言語に依存して不安定な挙動を示す。8言語を用いた「エージェント・アズ・ア・ジャッジ（Agent-as-a-Judge）」ベンチマークにおいて、評価バックボーン（スコアリングに使用される基盤となるLLM）のランキングは、言語（英語、アラビア語、中国語、ヒンディー語、日本語、スペイン語、トルコ語、スワヒリ語）間で大きく変動する。具体的には、15組のバックボーンのペアのうち7組において、統計的に有意なペアワイズ・ランク逆転が見られた。これは、ある言語では他よりも優れた性能を示すバックボーンが、別の言語では劣る性能を示すことを意味する。この現象は、観測されたスコアが言語とバックボーンの相互作用項によって混同されている測定問題として扱われる。既存の解決策は、高価な人間によるアノテーションやアンサンブル手法に依存することが多いが、これらはマルチエバリュエーターかつ多言語ベンチマークに内在する加法的な言語-バックボーン相互作用を直接的に対象としていない。

手法：コンセンサス・ベース・キャリブレーション（CBC）
本論文では、ラベルフリーの事後校正法である**コンセンサス・ベース・キャリブレーション（Consensus-Based Calibration: CBC）**を提案する。この手法は、タスク $t$、言語 $\ell$、バックボーン $b$ に対するジャッジスコア $S(t, \ell, b)$ を、相互作用を含む二元加法レイアウトを用いて次のようにモデル化する：
$$S(t, \ell, b) = \mu(t) + \alpha(b) + \beta(\ell, b) + \gamma(t, \ell) + \epsilon$$
ここで：

• $\mu(t)$ はタスクの難易度。
• $\alpha(b)$ はバックボーンのスキル。
• $\beta(\ell, b)$ は言語-バックボーン相互作用（除去の対象）。
• $\gamma(t, \ell)$ は残留するタスク-言語効果。
• $\epsilon$ はノイズ。

推定器：
CBCは、セル平均スコア行列を**二重中心化（double-centering）**することによって、相互作用項 $\beta(\ell, b)$ を推定する。各言語-バックボーンのペアの平均スコアを $\bar{S}(\ell, b)$ とすると：
$$\hat{\beta}(\ell, b) = \bar{S}(\ell, b) - \bar{S}(\cdot, b) - \bar{S}(\ell, \cdot) + \bar{S}(\cdot, \cdot)$$
校正後のスコアは、この推定値を差し引くことで得られる：$\hat{S}(t, \ell, b) = S(t, \ell, b) - \hat{\beta}(\ell, b)$。

理論的保証：

1. 識別可能性（Identifiability）： 合計ゼロ制約の下で、$\beta(\ell, b)$ はダブルセンタリングを通じて母集団のセル平均から一意に識別可能である。
2. 有限サンプル収束（Finite-Sample Concentration）： 独立した等分散ガウスノイズを仮定した場合、推定器は $O(1/\sqrt{n})$ の速度で収束し、その分散定数は $(1 - 1/m)(1 - 1/k)$ となる（ここで $m$ はバックボーン数、$k$ は言語数）。
3. 誤設定への頑健性（Robustness to Misspecification）： 重要な点として、タスク-言語相互作用 $\gamma(t, \ell)$ が存在する場合でも、ダブルセンタリング操作によってこれらの項が相殺されるため、推定器は $\beta(\ell, b)$ に対して**不偏（unbiased）**である。ただし、この手法は、真の三元相互作用 $\gamma(t, \ell, b)$ や、すべてのバックボーンが特定の言語において一様にバイアスを受けるような共通の言語レベルのシフトを補正するものではない。

主な貢献

1. 実証的特性評価： 著者らは、拡張されたベンチマークにおいて、ランク逆転が広範な問題であり、トップランクのバックボーンが全8言語にわたって入れ替わっていることを示している。
2. ラベルフリーの推定器： CBCは人間のラベルを必要とせず、既存のマルチバックボーン評価データのみを利用する。
3. 明示的な理論的境界： 本論文は、有限サンプル収束界を提供し、標準的なANOVAの適用（正しいモデル仕様を前提とするもの）とは異なり、タスク-言語の誤設定下での不偏性を証明している。
4. 検証： 本手法は、内部ベンチマークおよび別途収集された外部パネル（M-RewardBench）の両方で検証されている。

結果

• 内部ベンチマーク（8言語、6バックボーン、55タスク）：
  • ランクの一貫性： CBCは、ホールドアウト・クロスタスク・ケンドールの順位相関係数（$\tau$）を、生のスコアの 0.650 から 0.902 へと向上させた。
  • 決定精度： 言語ごとのデプロイメント決定において、CBCはホールドアウトされた加法モデル・オラクルと 100% 一致した（生のスコアでは68.5%）。
  • ランクの整列： 校正後、すべての8言語が単一のバックボーン順序（Gemini > GPT-4o > GPT-5.4 > Sonnet > DeepSeek > Qwen）に整列した。
• 外部検証（M-RewardBench、7言語、5エバリュエーター）：
  • ランクの一貫性： $\tau$ は 0.430 から 0.900 へと向上した。
  • 人間アンカーとの一致： 公開されている人間のゴールド・プリファレンスとの一致度が、68.7% から 76.6% へと上昇した（7.9ポイントの利得、95% CI [6.0, 9.9]）。
  • 比較： CBCは、分位点正規化、ComBat-EB、および適応型Bradley-Terry-Luceモデルを含むベースラインを大幅に上回った。

意義と主張
本論文は、CBCが多言語LLMジャッジの不安定性に対する、実用的かつラベルフリーの解決策を提供すると主張している。言語-バックボーン相互作用項を除去することで、言語不変なエバリュエーター・ランキングの導出が可能となり、これは多くのデプロイメント・シナリオにおける運用上の目標である。

著者らは、その主張に対して慎重な姿勢を示しており、以下の点を強調している：

• 結果は一貫性の診断およびモデル参照の改善であり、人間に基づいた絶対的な正しさの尺度ではない。
• 本手法は完全でバランスの取れたパネルのスコアを想定しており、未知の言語へのゼロショット転移を解決するものではない（LOLOの結果では、わずかな改善しか示されなかった）。
• 本手法は、共通の言語レベルのシフト（例：すべてのジャッジが特定の言語において一様に厳しくなる場合）や、三元相互作用（特定の言語におけるバックボーン固有のタスク適応）を補正するものではない。
• M-RewardBenchにおける「人間アンカー」との一致度の向上は、ダウンストリームでの有用性を示す最も強力な外部証拠として提示されているが、それは集約された証拠であり、バイアスか真の専門化かという言語ごとの診断ではない。

本研究は、CBCをあらゆる評価バイアスの普遍的な解決策としてではなく、複数のバックボーンが同一のアイテムを複数の言語にわたってスコアリングする多言語評価行列において、相互作用項を回収するための、統計的に根ざした特定のツールとして位置づけている。