Learning Sexism Detection Using Multi-Agent Perspectivist Preference Optimization

기술 요약: 다중 에이전트 관점적 선호 최적화를 이용한 성차별 탐지 학습

문제 정의

자연어 처리(NLP)에서 성차별 탐지는 본질적으로 주관적이다. 주석가(annotator)들은 특정 텍스트가 성차별적인지 여부에 대해 서로 의견이 다를 수 있는데, 이는 오류 때문이 아니라 실제로 콘텐츠를 서로 다르게 인식하기 때문이다. 일반적인 NLP 접근 방식은 이러한 불일치를 다수결을 통해 단일한 "정답(ground truth)"으로 통합함으로써 무시하며, 소수 의견을 노이즈로 취급한다. 그러나 관점주의(perspectivist) 연구는 이러한 불일치가 제거되어야 할 평균값이 아니라 모델링되어야 할 신호라고 주장한다. 과제는 단일한 합의를 강요하지 않으면서도 다양한 주석가의 관점을 표현할 수 있는 시스템을 구축하는 동시에, 해당 시스템이 실제 인간 판단의 분포에 적절히 보정(calibrated)되도록 보장하는 것이다.

방법론: MAP-PO

저자들은 다중 에이전트 시스템을 통해 다양한 주석가의 관점을 보존하도록 설계된 프레임워크인 **다중 에이전트 관점적 선호 최적화(Multi-Agent Perspectivist Preference Optimization, MAP-PO)**를 제안한다. 이 방법론은 세 가지 주요 단계로 진행된다:

1. 행동 클러스터링(Behavioral Clustering):
   주석가를 인구통계학적 속성(연령, 성별 등)으로 그룹화하는 대신, 저자들은 레이블링 행동을 기반으로 주석가를 클러스터링한다. EXIST 2024 데이터셋(영어 및 스페인어 트윗)을 사용하여 주석가를 세 가지 특징으로 규정한다:

   • YES rate: 텍스트를 성차별적이라고 레이블링하는 빈도.
   • Agreement rate: 주석가 다수 의견과 일치하는 빈도.
   • Label entropy: YES/NO 결정의 균형.
     각 언어별로 K-means 클러스터링(k=3)을 적용하여, 언어당 세 개의 뚜렷한 행동 클러스터를 도출한다.

2. 에이전트 훈련(Fine-Tuning):
   클러스터당 하나의 LLM 에이전트를 훈련시킨다. 훈련은 두 단계로 이루어진다:

   • 1단계 (SFT): 에이전트는 특정 클러스터의 다수 레이블에 대해 지도 미세 조정(Supervised Fine-Tuning, SFT)을 거친다. 에이전트들이 너무 멀리 떨어지는 것을 방기하기 위해, 훈련 데이터에는 "공유 긍정 예시"(모든 클래스터가 동의하는 텍스트)와 "팀 정렬 예시"(전체 주석가 다수 의견으로 레이블링된 텍와)가 혼합된다.
   • 2단계 (선호 최적화): 저자들은 에이전트의 행동을 정교화하기 위해 세 가지 최적화 목적 함수를 탐색한다:
     • DPO (Direct Preference Optimization): 클래스터 간 의견이 갈리는 텍스트에 대해, 에이전트가 반대 레이블보다 자신의 클러스터 레이블을 선호하도록 훈련한다.
     • Mars-PO: 공유 선호 쌍(만장일치 텍스트)을 개별 쌍과 함께 포함하여 DPO를 다중 에이전트 시스템에 맞게 변형한다.
     • GRPO (Group Relative Policy Optimization): 개별 보상(클러스터 레이블과 일치)과 팀 보상(전체 주석가 다수 의견과 일치)을 결합한 볼록 보상 함수를 사용한다. 팀 가중치($\alpha$)는 이 두 목적 사이의 균형을 조절한다.

3. 추론(Inference):
   추론 시, 세 명의 에이전트가 독립적으로 예측한다. 최종 팀 예측은 에이전트 간의 다수결로 결정된다. 또한 시스템은 에이전트 간의 불일치를 신뢰도 신호로 활용한다. 높은 불일치는 인간 주석가들도 의견이 갈리는 텍스트임을 나타낸다.

주요 기여

• 행동적 vs 인구통계학적 클러스터링: 본 논문은 성차별 탐지에 있어 행동적 특징(YES rate, agreement, entropy)이 인구통계학적 속성보다 주석가를 더 효과적으로 클러스터링함을 입증한다. 통계적 검증 결과, 클러스터 멤버십과 성별 또는 연령 같은 인구통계학적 특성 사이에는 유의미한 연관성이 없었다.
• 다중 에이전트 선호 최적화: 저자들은 "정답"이 관점에 따라 달라지는 작업에 대해 전문화된 LLM 에이전트를 미세 조정하기 위해 Mars-PO 프레임워크를 변형하였다.
• 보상 설계 분석: 네 가지 설정(두 가지 언어 $\times$ 두 가지 백본 모델: GPT-4.1-mini 및 Qwen3-8B)에 걸친 광범 sel한 실험을 통해, 에이전트를 오직 자신의 클러스터 레이블로만 훈련시키는 것은 극단적인 양극화(에이전트가 실제 행동을 훨씬 뛰어넘는 수준까지 이동함)를 초脱한다는 것을 밝혀냈다. 반대로, 공유 팀 수준의 신호(SFT에서의 데이터 혼합을 통한 암시적 방식 또는 Mars-PO/GRPO 보상을 통한 명시적 방식)를 도입하는 것이 에이전트를 특정 클러스터에 보정시키면서도 팀 정확도를 유지하는 데 필수적임을 확인했다.

결과

평가는 GPT-EN, GPT-ES, Qwen-EN, Qwen-ES의 네 가지 설정을 포함한다. 주요 결과는 다음과 같다:

• 미세 조정의 필요성: 미세 조정을 하지 않은 제로샷(zero-shot) 에이전트들은 거의 동일하게 동작하며(거의 100% 일치), 다양한 관점을 포착하는 데 실패한다.
• 개별 전용 훈련의 양극화: 순수 개별 선호 최적화(예: 팀 신호가 없는 DPO)는 에이전트의 과잉 반응을 유발하여, 실제 클러스터 분포와 상관없이 클러스터 1 에이전트는 텍스트를 성차별적이라고 레이블링하는 비율이 거의 0%에 가깝고, 클러스터 3 에이전트는 거의 100%에 가깝게 레이블링하게 만든다. 이는 높은 불일치와 낮은 보정도로 이어진다.
• 팀 신호의 효과성: 팀 신호를 추가하면 일관되게 보정이 회복된다.
  • GPT-EN 설정에서 가장 우수한 시스템(GRPO, $\alpha=0.17$)은 90.3%의 팀 정확도와 89.9의 팀 F1을 달성하여 모든 베이스라인을 능가했다.
  • SFT-mixed 방식(암시적 팀 신호) 또한 높은 보정도를 달성하며 최소한의 오류로 견고하게 작동했다.
  • 더 작은 규모의 Qwen 백본에서는 SFT가 GRPO보다 약간 더 우수한 성능을 보였는데, 이는 GRPO의 거절 샘플링(rejection sampling)이 지도 레이블에 비해 노이즈를 유입시키는 능력 한계 효과를 시사한다.
• 일반화: 개별 전용 최적화가 에이전트를 양극화시키고 팀 신호가 이를 복구한다는 핵심 발견은 두 언어와 두 백본 모델 모두에서 일관되게 나타났다.

의의 및 주장

본 논문은 MAP-PO가 주석가의 불일치를 노이즈가 아닌 신호로서 성공적으로 모델링했다고 주장한다. 주요 의의는 다음과 같다:

1. 관점은 인구통계학적이 아닌 행동적이다: 주관적인 작업에 대한 효과적인 에이전트 정체성은 인구통계학적 페르소나가 아니라 레이블링 행동으로부터 도출된다.
2. 보정에는 팀 앵커가 필요하다: 에이전트가 비현실적인 극단으로 치우치는 것을 방지하기 위해서는 공유된 팀 수준의 훈련 신호가 필수적이다. 이 신호는 에이전트가 특정 관점을 대변하면서도 인간 판단의 광범위한 분포에 기반을 두도록 보장한다.
3. 불일치는 정보력을 갖는다: 시스템이 서로 다른 출력을 생성하는 능력은 쟁점이 되는 사례를 식별하는 유용한 신뢰도 신호 역할을 하며, 이는 강제적인 허위 합의를 만드는 대신 인간의 검토가 필요한 부분을 짚어준다.

저자들은 MAP-PO를 자율적인 조정 결정을 내리기 위한 도구가 아니라, 논쟁적인 사례를 강조하기 위한 콘텐츠 중재 보조 도구로 위치시키며, 데이터셋 범위(EXIST 2024) 및 데이터의 특정 블록 설계에 따른 한계를 인정한다.