技術要約：人間中心の評価のための集計・校正（Aggregate-then-Calibrate）

1. 問題定義

本論文は、体系的な意思決定が必要であるが、グラウンドトゥルース（正解）が高コストであるか、観測不可能、あるいは将来的にしか得られない（例：作業者のワークロードの推定や、論文の質の評価など）人間中心の評価タスクを取り上げている。既存のアプローチは、以下のジレンマに直面している：

• 人間のみの手法は、判断の集計に依存するが、アノテーター間の専門性の異質性や、評価スケールの不一致（例：寛大な専門家と厳格な初心者）に悩まされる。
• モデルのみの手法は、予測スコアに依存するが、不完全なプロキシや不完全な特徴量から学習することが多く、系統的なバイアスを伝播させてしまう。

核心となる課題は、これら補完的な情報源をどのように組み合わせるかである。すなわち、絶対的なスコアよりも信頼性が高いことが多い人間の判断から得られる順序構造（相対的なランキング）と、予測モデルからの定量的スコングスケールをいかに統合するかという点である。

2. 手法：集計・校正（AtC: Aggregate-then-Calibrate）

著者らは、グラウンドトゥルースのラベルを必要とせずに、人間の判断とモデルの予測を統合する2段階のフレームワークであるAtCを提案している。

ステージ1：異質性下における判断の集計

第1段階では、$m$人のアノテーターによる異質な比較判断を、コンセンサス・ランキング $\hat{\pi}$ へと集計する。

• モデル： 著者らは**不均一サーソン・モデル（Heterogeneous Thurstone Model: HTM）**を採用している。アノテーターの信頼性が一様であると仮定する均一モデルとは異なり、HTMは各アノテーター $u$ に対して特定の精度パラメータ $\gamma_u$ をモデル化する。
• メカニズム： ペアごとの好み（例：アイテム $i \succ j$）が与えられたとき、その確率は $\Pr\{u: i \succ j\} = F(\gamma_u(s_i - s_j))$ とモデル化される。ここで $F$ はリンク関数（ガウスまたはロジスティック累積分布関数など）である。
• 推定： コンセンサス・スコアベクトル $s^*$ とアノテーターの信頼性 $\gamma$ は、最大尤度推定（MLE）によって推定される。コンセンサス・ランキング $\hat{\pi}$ は、$s^*$ をソートすることで導出される。
• 重要な洞察： このフレームワークは、生の評価値（rating values）をそのまま信頼するのではなく、順序情報（ランキング）を明示的に抽出する。これは、人間は絶対的なスコアを割り当てるよりも、アイテムを比較することにおいてより信頼できるという認識に基づいている。

ステージ2：等張回帰によるアセスメントの校正

第2段階では、予測モデルの生のスコア $s_p$ を、コンセンサス・ランキング $\hat{\pi}$ に適合するように校正する。

• 目的： $\hat{\pi}$ の順序を尊重しつつ、ユークリッド距離の観点で元のモデルスコア $s_p$ に可能な限り近い校正済みスコアベクトル $\hat{s}$ を求める。
• 定式化： これは等張回帰問題（単調錐への投影）として定式化される：
  $$\hat{s} = \Pi_{\mathcal{M}}(s_p) = \arg \min_{y \in \mathcal{M}} \|y - s_p\|_2^2$$
  ここで $\mathcal{M} = \{y \in \mathbb{R}^n : y_{\hat{\pi}(1)} \le y_{\hat{\pi}(2)} \le \dots \le y_{\hat{\pi}(n)}\}$ である。
• アルゴリズム： 解は**逐次近似（Pool-Adjacent-Violators: PAV）**アルゴリズムを用いて効率的に計算される。モデルのスコアがすでにランキングを尊重している場合は変更されず、そうでない場合は、順序の一貫性を強制するために最小限の調整が行われる。

3. 主な貢献

概念的貢献

• 定式化： 本論文は、判断の最適化ではなく「判断の集計」が中心となる評価問題のクラスを定式化した。
• 相補性： 人間とモデルの相補性を確立した。すなわち、集計された比較は順序制約を提供し、モデルは計量的スケールを持つスコアを提供する。
• モジュール性： このフレームワークはモデルに依存せず、修正なしに既存のあらゆる予測モデルを使用できる。

理論的貢献

本論文は、以下の3つの厳密な理論的保証を提供している：

1. 異質性の効率性（定理 3.6）： アノテーターの異質性をモデル化（HTM）することが、アノテーターの能力にばらつきがある場合に、均一モデルよりも厳密に効率的なコンセンサス推定量を生成することを証明している。HTM推定量の漸近共分散は、誤設定された均一モデルのそれよりも（ローエナー順において）厳密に小さい。
2. 誤設定下での頑健性（定理 3.8）： コンセンサス・ランキングが誤設定（ランダムな錐）であり、かつモデルスコアに系統的なバイアスが含まれている場合でも、等張回帰ステップの誤差境界を確立している。この分析は、ランダムな錐への投影とバイアスのある有効ノイズを考慮しており、誤差が期待されるランキング反転数と等張錐の統計的次元によって抑えられることを示している。
3. 最適性の保証（定理 3.12）： ステージ1の集計が十分に正確であれば、高確率で校正された出力 $\hat{s}$ が、校正前のモデル予測 $s_p$ よりもグラウンドトゥルース $s$ に厳密に近くなることを実証している。

実証的貢献

• データセット： 半合成の読解レベル（Reading Level）データセットと、実世界のDots-activityデータセット（画像内のドット数を推定するもの）を用いて評価を行った。
• 性能： AtCは、Kendallの $\tau$、ワッサースタイン距離、KS統計量、およびMSEを含む指標において、人間のみの手法（$s^*$）およびモデルのみの手法（$s_p$）の両方を一貫して上回った。
• 頑健性： モデルの入力が破損（ぼけ、ノイズ、白飛び）したDots-activity実験において、AtCはモデルのスコアを安定した人間のコンセンサスにアンカー（固定）することで高い精度を維持したが、生のモデル性能は急激に低下した。
• ランキング vs 評価値： 順序ランキングを用いて校正を行うこと（$\hat{s}_{Rank}$）は、集計された基数的な評価値を用いること（$\hat{s}_{Rate}$）よりも頑健であることが研究で確認された。

4. 意義と主張

本論文は、グラウンドトゥルースが乏しいか検証不可能である場合に、人間中心の評価を行うための原理的なレシピとして、「判断の集計」と「モデルフリーの校正」を橋渡しすると主張している。

• 理論的新規性： 著者らは、文脈において異質なランク集計が均一な手法よりも統計的に優れていることを証明した最初の研究であると主張している。また、ランダムな錐の制約下でのバイアスのあるノイズを分析することにより、等張回帰理論に貢献している。これらは従来の研究では通常カバーされていない条件である。
• 実用的影響： 本フレームワークは、真のターゲットが潜在的な領域における「監督の危機（supervision crisis）」に対処するものである。人間の「比較」の信頼性と、機械による「スコアリング」の一貫性を活用することで、AtCはどちらか一方のソース単独よりも正確で頑健なアセスメントを生み出す。
• 限界と範囲： 著者らは、この手法が「人間の判断は絶対的なスコアリングよりも相対的な順序付けにおいて信頼性が高い」という仮定に依存していることを指摘している。また、ステージ1のランキングが著しく損なわれた場合（実験では500件以上の反転があった場合）には性能が低下するが、中程度のノイズに対しては依然として頑健であることを認めている。

本研究は、会議論文の拡張版として提示されており、より深い理論的分析と、実世界のデータを用いた拡張された実験的検証を提供している。