Learning Sexism Detection Using Multi-Agent Perspectivist Preference Optimization

技術要約：マルチエージェント・パースペクティビスト（視点主義的）選好最適化を用いた性差別検出の学習

問題提起

自然言語処理（NLP）における性差別検出は、本質的に主観的なものである。アノテータ（注釈者）が特定のテキストに性差別が含まれているかどうかについて意見が分かれるのは、それがエラーによるものではなく、内容を実際に異なる形で認識しているためである。標準的なNLPのアプローチでは、通常、多数決によって複数のアノテーションを単一の「正解（グラウンドトゥルース）」へと集約し、少数派の意見をノイズとして排除してしまう。しかし、パースペクティビスト（視点主義）の研究は、このような不一致は排除すべきノイズではなく、モデル化すべき「信号」であると主張している。課題は、単一のコンセンサスを強制することなく、多様なアノテータの視点を表現できるシステムを構築しつつ、システムの挙動を実際の人間による判断の分布に適合（キャリブレーション）させることにある。

手法：MAP-PO

著者らは、マルチエージェント・システムを通じて多様なアノテータの視点を保持するように設計されたフレームワーク、Multi-Agent Perspectivist Preference Optimization (MAP-PO) を提案している。この手法は、主に以下の3つの段階で進行する。

1. 行動的クラスタリング（Behavioral Clustering）:
   アノテータを人口統計学的属性（年齢、性別など）によってグループ化するのではなく、ラベル付けの行動に基づいてクラスタリングを行う。EXIST 2024データセット（英語およびスペイン語のツイート）を用い、アノテータを以下の3つの特徴量によって特徴付ける：

   • YES率（YES rate）: テキストを性差別的であるとラベル付けする頻度。
   • 一致率（Agreement rate）: アノテータの多数派との一致頻度。
   • ラベル・エントロピー（Label entropy）: YES/NOの決定のバランス。
     言語ごとに個別にK-meansクラスタリング（k=3）を適用し、言語ごとに3つの明確な行動クラスターを生成する。

2. エージェントの訓練（ファインチューニング）:
   各クラスターに対して1つの大規模言語モデル（LLM）エージェントを訓練する。訓練は2つのフェーズで行われる：

   • フェーズ1（SFT）: エージェントは、自身のクラスターの多数派ラベルを用いて教師ありファインチューニング（SFT）を受ける。エージェントが互いに離れすぎるのを防ぐため、訓練データには「共有ポジティブ例（全クラスターが一致したテキスト）」と「チーム・アライメント例（全体のアノテータ多数派によってラベル付けされたテキスト）」を混合する。
   • フェーズ2（選好最適化）: 著者らは、エージェントの振る舞いを洗練させるために3つの最適化目的関数を検討している：
     • DPO (Direct Preference Optimization): クラスター間で意見が分かれているテキストにおいて、エージェントが反対のラベルよりも自身のクラスターのラベルを好むように訓練する。
     • Mars-PO: 共有の選好ペア（全会一致のテキスト）を個別のペアと併せて含めることで、DPOをマルチエージェント・システムに適応させたもの。
     • GRPO (Group Relative Policy Optimization): 個別報酬（クラスターのラベルへの一致）とチーム報酬（全体のアノテータ多数派への一致）を組み合わせた凸関数報酬を使用する。チームの重み（$\alpha$）によってこれらの目的のバランスを取る。

3. 推論（Inference）:
   推論時には、3つのエージェントが独立して予測を行う。最終的なチームの予測は、エージェント間の多数決によって決定される。また、システムはエージェント間の不一致を信頼度のシグナルとしても利用する。不一致が高いことは、人間のアノテータの間でも意見が分かれているテキストであることを示している。

主な貢献

• 行動的 vs 人口統計学的クラスタリング: 本論文は、性差別検出において、人口統計学的属性よりも行動的特徴（YES率、一致率、エントロピー）の方が、アノテータをより効果的にクラスタリングできることを示している。統計的テストによれば、クラスターの所属と性別や年齢などのデモグラフィック属性との間に有意な関連性は認められなかった。
• マルチエージェント選好最適化: 「正解」が視点に依存するタスクにおいて、特化したLLMエージェントをファインチューニングするために、Mars-POフレームワークを適応させた。
• 報酬設計の分析: 4つの設定（2つの言語 $\times$ 2つのバックボーンモデル：GPT-4o-miniおよびQwen2.5-7B ※原文ママ：Qwen3-8Bとあるが文脈から判断）にわたる広範な実験を通じて、エージェントを自身のクラスターのラベルのみで訓練すると、極端な偏り（エージェントが自身が代表する行動を大きく逸脱する現象）が生じることを特定した。逆に、共有のチームレベルのシグナル（SFTでのデータ混合による暗黙的なもの、またはMars-PO/GRPOの報酬による明示的なもの）を導入することが、エージェントを特定のクラスターに適合させつつ、チームとしての精度を維持するために不可欠である。

結果

評価は、GPT-EN, GPT-ES, Qwen-EN, Qwen-ESの4つの設定を対象としている。主な知見は以下の通りである：

• ファインチューニングの必要性: ファインチューニングを行わない場合、ゼロショットのエージェントはほぼ同一の挙動（ほぼ100%の一致）を示し、多様な視点を捉えることができない。
• 個別のみの訓練による偏り（Polarization）: 純粋な個別選好最適化（例：チームシグナルなしのDPO）は、エージェントをオーバーシュートさせ、クラスター1のエージェントはテキストを性差別的と判定する割合がほぼ0%になり、クラスター3のエージェントは（実際のクラスター分布に関わらず）ほぼ100%となる。これは高い不一致と精度の低下を招く。
• チームシグナルの有効性: チームシグナルを追加することで、一貫してキャリブレーションが回復する。
  • GPT-ENの設定では、最良のシステム（$\alpha=0.17$ のGRPO）が**90.3%のチーム精度（Team Accuracy）および89.9のチームF1（Team F1）**を達成し、すべてのベースラインを上回った。
  • SFT-mixedのアプローチ（暗黙的なチームシグナル）も、最小限のエラーで高いキャリブレーションを実現しており、堅牢な性能を示した。
  • 小規模なQwenバックボーンにおいては、SFTがGRPOをわずかに上回った。これは、GRPOにおける棄却サンプリングが、教師ありラベルに対してノイズを導入している可能性を示唆する容量効果（capacity effect）によるものである。
• 汎用性: 「個別の最適化のみではエージェントが偏り、チームシグナルがそれを修復する」という核心的な発見は、両方の言語および両方のバックボーンモデルにおいて共通して見られた。

意義と主張

本論文は、MAP-POがアノテータの不一致をノイズではなく、一つの「信号」としてモデル化することに成功したと主張している。その主な意義は、以下のことを示した点にある：

1. 視点は人口統計学的ではなく行動的なものである: 主観的なタスクにおける効果的なエージェントのアイデンティティは、デモグラフィックなペルソナではなく、ラベル付けの行動から導き出される。
2. キャリブレーションにはチームのアンカーが必要である: エージェントが非現実的な極端な状態へドリフトするのを防ぐためには、共有のチームレベルの訓練シグナルが不可なる。このシグナルにより、エージェントは特定の視点を代表しつつも、より広い人間による判断の分布に基づいた接地感（グラウンディング）を維持できる。
3. 不一致は情報価値を持つ: システムが多様な出力を生成できる能力は、有用な信頼度シグナルとして機能し、強制的なコンセンサスを強いるのではなく、議論の余地がある（人間によるレビューが必要な可能性がある）ケースを特定する役割を果たす。

著者らは、MAP-POをコンテンツモデレーションのための支援ツールとして位置付けており、自律的なモデレーション決定を下すためではなく、議論の分かれるケースを強調することを目的としている。その際、データセットの範囲（EXIST 2024）やデータの特定のブロック設計に関する制限についても認めている。