技術要約：主観的監督のためのアンサンブル多様性最適化（EDO）

問題提起

コンテンツモデレーション、ヘイトスピーチ検出、感情分析といった多くの自然言語処理（NLP）タスクは、系統的なアノテータ間の不一致を特徴としている。これらの主観的な領域における意見の相違は、単なるアノテーションエラーではなく、意味的な曖昧さ、文脈依存性、あるいはアノテータの専門性の違いに起因することが多い。したがって、「グラウンドトゥルース（正解）」は単一の潜在的なラベルではなく、妥当な人間の解釈の分布である。

標準的な教師あり学習のアプローチは、通常、これらのアノテーションを単一のターゲット（例：多数決）へと集約するが、これは分布情報を破棄し、支配的な解釈への過学習を誘発する。ソフトラベルによる監督はアノテータの分布を保持するものの、既存の手法は単一の予測モデルを最適化することに焦点を当てており、内部的な予測の変動性を制御したり、真のエピステミックな不確実性（主観性）と構造的なノイズ（例：クラス不均衡やアノテータの被覆の希薄さ）を区別したりする明示的なメカニズムを欠いている。さらに、従来のアンサンブル手法は、多様性を固定されたアーキテクチャの創発的な特性として扱うことが多く、明示的な最適化目的として扱うことは少ない。

手法：アンサンブル多様性最適化（EDO）

著者らは、主観的かつ不均衡な監督下での学習を目的とした、予測空間におけるフレームワークである**アンサンブル多様性最適化（EDO）**を提案する。EDOは予測空間内で完全に動作するため、モデルに依存せず、あらゆる学習済み確率的分類器と互換性がある。このフレームワークはバックボーンのパラメータを凍結し、アンサンブルの重みと構造の学習に集中する。

コア・コンポーネント

1. 微分可能なアンサンブル構造学習:
   アンサンブルのサイズを固定する代わりに、EDOはアンサンブルメンバーの有効な基数（$K$）と信頼性重み（$w$）を共同で学習する。これは、Gumbel-Softmax緩和を用いることで実現され、これにより連続的なフレームワーク内で離散的な構造的選択（アンサンブルサイズ）の勾配ベースの最適化が可能になる。

2. 符号付き信頼性重み付き多様性正則化項:
   中心的な革新は、符号付き多様性目的関数（$L^{(s)}_{Div}$、ここで $s \in \{-1, +1\}$）の導入である。

   • $s = -1$（不一致の保持）: 変動が真の主観性を反映している場合、アンサンブル内の不一致を促進し、エピステミックな不確実性を保持する。
   • $s = +1$（不一致の抑制）: 極端なクラス不均衡やアノテータの被覆の希薄さなどの構造的なアーティファクトによって変動が生じている場合、偏差を抑制する。
     この正則化項は信頼性によって重み付けされており、つまり、ペアごとの不一致への寄与は、学習されたアンサンブルメンバーの重みによって調整される。

3. 多目的最適化:
   EDOは、学習を以下の3つの競合する目的関数の共同最適化として定式化する：

   • 予測ユーティリティ: 微分可能なソフトMicro-F1損失（$L_{F1}$）によって近似される。
   • キャリブレーション: 不均衡なソフトラベルを扱うために、クラス重み付きクロスエントロピー（$L_{CE}$）を通じて強制される。
   • 内部多様性: 符号付き多様性損失（$L^{(s)}_{Div}$）によって制御される。
     総目的関数は次のように表される：$\min_{w,K} \lambda_{F1}L_{F1} + \lambda_{CE}L_{CE} + \lambda_{Div}L^{(s)}_{Div} + \lambda_{Reg}L_{Reg}$。

4. 監督戦略:
   本フレームワークは2つの戦略をサポートする：

   • ランダム選択（Random Select）: 学習のためにインスタンスごとに単一のアノテータのラベルをサンプリングし、偏りのない確率的推定値を提供する。
   • アノテータごと（Per-Annotator）: 特定のアンサンブルメンバーを特定のアノテータとペアリングし、個々のバイアスを保持する。これにはアノテータの識別情報の利用が必要となる。

主な貢献

• 統合フレームワーク: EDOは、確率的なアノテータ監督と、明示的かつ信頼性を考慮したアンサンブル多様性の最適化を統合しており、固定されたアーキテクチャや単一モデルのソフトラベル・アプローチを超越している。
• 方向性のある多様性制御: 多様性を静的なヒューリスティックとして扱う従来の手法とは異なり、EDOは符号付き正則化を導入することで、ユーティリティとキャリブレーションのパレート境界に沿って最適化を誘導し、データの性質に基づいて不一致を保持または抑制することを可能にする。
• エンドツーエンドの構造学習: Gumbel-Softmaxを活用することで、EDOは最適なアンサンブルサイズと構成を動的に学習し、データセットにおけるアノテータの不一致のパターンに適応して複雑さを調整する。
• モデル非依存性: EDOは予測空間のみで動作するため、基礎となるモデルの再学習やアノテータのメタデータへのアクセスを必要とせず、あらゆる学習済みバックボーンに適用可能である（Random Select バリアントの場合）。

実験結果

著者らは、LeWiDiベンチマークに含まれる4つの主観的なテキスト分類ベンチマーク（ArMIS：アラビア語の女性嫌悪、ConvAbuse：英語の対話における虐待、HS-Brexit：英語のBrexit関連ヘイトスピーチ、MD-Agreement：英語の攻撃性）を用いてEDOを評価した。

• キャリブレーションの改善: EDOは、Soft-CE、Soft-MD、Top-5 Voting、および弱アンサンブル学習（WEL）といったベースラインと比較して、確率的なキャリブレーションを大幅に改善した。
  • ベースラインと比較して、データセットやベースラインに応じてクロスエントロピー（CE）を40〜78%減少させた。
  • すべてのデータセットにおいて最も低いSoft Brier Scoreを達成し、過剰な自信による誤キャリブレーションに対する堅牢性を示した。
• ユーティリティの維持: キャリブレーションと不確実性に焦点を当てているにもかかわらず、EDOは競争力のあるMicro-F1スコアを維持しており、不確実性の表現の向上が必ずしも予測ユーティリティの犠牲を伴わないことを証明した。
• アノテータとの整合性: EDOは、単一モデルのアプローチよりも、経験的なアノテータ分布（マンハッタン距離で測定）との強い整合性を示した。
• アブレーション解析の洞察:
  • 符号付き多様性正則化は、多目的損失と組み合わせた際に最も効果的であり、ユーティリティとキャリブレーションのトレードオフを再形成する補完的なメカニズムとして機能した。
  • 信頼性重み付きのアンサンブル集約は、一様平均と比較して一貫してCEを減少させた。
  • 学習されたアンサンブルサイズ（$K$）は動的に適応し、追加のメンバーがキャリブレーションを向上させる場合には拡張し、不要な場合には縮小した。

意義と主張

論文は、EDOが教師あり学習における人間の主観性をモデリングするための、効率的でモデルに依存しないアプローチを提供すると主張している。アノテータ間の不一致をノイズではなく構造化された信号として扱うことで、そして方向性を持つ多様性正則化器とともにアンサンブル構造を共同最適化することで、EDOはユーティリティとキャリブレーションのトレードオフの制御されたナビゲーションを可能にする。

著者らは、EDOが手動で設計されたアンサンブルアーキテクチャや事前計算された不確実性スコアを必要としないことを強調している。代わりに、信頼性重みとアンサンブルサイズは、ユーティリティ、キャリブレーション、および多様性の目的の勾配ベースのバランスニングから暗黙的に創発する。結果は、アンサンブル構造を共同で最適化することが、本質的に変動のある人間による判断が行われる設定において、エピステミックな不確実性のより原理的な表現を可能にすることを示唆している。

結論として、EDOは柔軟なフレームワークを提供する一方で、その有効性は不一致の構造（例：真の主観性と構造的なアーティファクトの区別）に依存しており、今後の研究では、動的な重み付け戦略やより豊かなアノテータ行動の表現を探求できる可能性があるとしている。