Quantifying and Predicting Disagreement in Graded Human Ratings

技術的サマリー：段階的ヒューマン評価における不一致の定量化と予測

問題定義
自然言語処理（NLP）タスク、特にヘイトスピーチ、差別的言語、有害コンテンツ検出といった社会的に敏感な領域において、人間の注釈者は頻繁に不一致を示します。注釈のばらつきが本質的であることは認識されていますが、この乖離の度合いはすべての事例で均一ではありません。ある項目は強い合意を呼び起こす一方、他の項目は顕著な意見の対立や相反する立場を引き起こします。現在の文献では、不一致をカテゴリー的な予測問題（例えば、不一致が存在するかどうかの二値分類）として扱うか、特定のタスクラベル（例えば、NLI 推論関係）に焦点を当てることが多いです。項目レベルのテキスト特徴のみから、注釈の不確実性の「度合い」と、微細な注釈分布（特にリッカート尺度評価）の「完全な構造」を推論できるかどうかを検証する研究は不足しています。さらに、分布の形状に関する標準的な指標（二峰性係数など）は、スパースな注釈データ（項目あたり 3〜5 人の注釈者など）に適用されると、しばしば機能しません。

手法
著者は、リッカート尺度で注釈された 3 つのデータセット（差別的言語：3 点尺度、ヘイトスピーチ：3 点尺度、有害性：5 点尺度）を用いて、注釈のばらつきの予測可能性を調査しました。本研究は以下の 2 つの主要な目的に焦点を当てています：

1. 評価分散の推論: 与えられた項目のテキスト特徴に基づき、注釈者の回答の不偏分散を推定すること。
2. 対立する意見の特定: 注釈者が真に相反する立場（分極）を持っている事例を検出すること。

これらの目的に対処するため、著者は 2 つの予測アプローチを提案します：

• 直接分散予測: 項目の特徴から分散値（$\sigma^2$）を直接予測する回帰モデルの訓練。
• 分布ベース予測: 項目に対する完全なリッカート評価分布（$p_i$）を予測するモデルの訓練。これらから分散やその他の統計量を導出します。

本研究では、リッカートデータの順序性を考慮した複数の損失関数を用いて、標準的なカテゴリカル交差エントロピーを超えたアプローチを採用しました：

• アース・ムーバーズ・ディスタンス（EMD）: 評価カテゴリ間の順序距離を考慮します。
• 平均正則化付き EMD: 期待評価に対する二乗誤差項を組み合わせて EMD に加え、中心傾向を制約します。
• 順序累積交差エントロピー: 多クラス問題を $K-1$ の二値決定に変換します。
• カルバック・ライブラー（KL）ダイバージェンス: 明示的な順序距離の考慮なしに、ソフトラベル表現の基準として使用されます。

対立する立場を定量化するために、著者は**対立指数（Opposition Index）**を導入しました。この指標は、評価分布を低、中、高のセグメント（$P_{low}, P_{mid}, P_{high}$）に分割します。指数は $2 \cdot \min(P_{low}, P_{high}) \cdot (1 - P_{mid})$ と定義されます。その値は 0（合意/単峰性）から 1（最大限の分極：注釈者の半分が最低評価、半分が最高評価を選択する場合）の範囲をとります。

主な貢献

• 対立指数: 従来の二峰性検定が不安定になるスパースな注釈環境において、視点の対立を定量化するために設計された新しい指標。
• 分布モデリング: 順序性を考慮した損失関数を用いて完全なリッカート分布を予測することが、直接分散回帰の有効な代替手段であり、注釈のばらつきの構造をより頑健に回復できることを示した実証。
• 分極の実証的分析: 高度な対立を持つ項目の予測可能性に関する詳細な調査により、極端な分極のモデリングにおける特定の課題を明らかにした。

結果

• 分散予測: すべてのデータセットにおいて、推定された注釈分散と観測された注釈分散の間には、中程度の正の相関（スピアマンの $r \approx 0.3$ から $0.45$）が見られました。
  • 性能: 直接分散回帰と分布ベース予測（特に EMD+MSE を使用）は、同等の性能を達成しました。EMD+MSE は、標準的な EMD や KL-soft モデルを一貫して上回りました。
  • 限界: モデルは高分散の項目を過小評価する傾向があり、分散値が正確に 0 となることをほとんど予測せず、予測値が中間範囲に集中する傾向がありました。
• 対立する立場の予測: モデルは、対立がない項目と中程度の対立がある項目を区別することに成功しました。しかし、極端な分極については困難を抱えていました。
  • 過小評価: 真の対立指数値が高い（1 に近い）項目は、モデルによって頻繁に過小評価され、予測スコアはしばしば中間範囲（約 0.4）で頭打ちになりました。
  • 原因: この過小評価は、訓練データにおける高度に分極した事例の不足、注釈ノイズに対する指数の感度、そして極端な対立がテキストのみから推論できない要因（イデオロギー、個人的経験など）に起因する可能性があることによるものです。
• 不一致の検出: モデルは、いかなる注釈のばらつきの「存在」を検出する上で強力な性能（F1 > 0.6）を達成しましたが、性能はデータセットや損失関数によってわずかに変動しました。

意義と主張
本論文は、項目レベルの注釈パターン、特に分散と立場の対立は、テキスト特徴から部分的に推論可能であると主張していますが、相関は中程度です。著者は、自らの研究を人間の注釈のばらつきの構造を特徴づけるための一歩として位置づけています。

主な意義は、実用的な注釈ワークフローの最適化にあります。顕著な意見の対立を引き起こす可能性のある項目を特定することで、研究者はリソースをより効率的に配分できます。潜在的な視点を捉えるために、論争的または視点の異なる事例にはより多くの注釈者を割り当て、合意の強い項目については努力を削減するといった具合です。また、本研究は、極端な分極を捉える現在のモデルの限界を浮き彫りにし、社会的に複雑な領域における人間の判断を完全にモデル化するには、純粋なテキストベースの特徴だけでは不十分であることを示唆しています。著者は謙虚に、埋め込みモデルがすべての言語的手がかりを捉えるとは限らず、スパースなリッカートデータの離散性が分布推定の粒度を制限していると指摘しています。