Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain

큰 문제: "다수"가 소수를 침묵시킬 때

당신이 어떤 농담이 재미있는지 아니면 무례한지 결정하려고 한다고 상상해 보세요. 당신은 100명의 사람에게 투표를 요청합니다.

• 51명은 "그냥 농담이야, 재미있어"라고 말합니다.
• 49명은 "사실 무례하고 상처를 주는 거야"라고 말합니다.

컴퓨터 과학과 AI의 세계에서 표준 규칙은 다음과 같습니다: "다수가 승리한다." 컴퓨터는 "알았어, 51명이 재미있다고 했으니, 이건 재미있는 것이다"라는 명령을 받습니다. 그러면 컴퓨터는 이것을 절대적인 진리로 학습합니다.

이 논문은 이 단순한 규칙이 위험하다고 주장합니다. 이 규칙은 복잡하고 까다로운 인간의 의견 불일치를 명확한 사실인 것처럼 취급합니다. 저자들은 컴퓨터가 이러한 "다수결"로부터 학습하도록 강요할 때, 사람들이 가장 혼란스러워하는 게시물에서 심각하게 실패한다는 것을 보여줍니다.

배경: "HateXplain" 데이터셋

연구진은 인간 작업자들이 라벨을 붙인 소셜 미디어 게시물을 포함하는 HateXplain이라는 데이터셋을 조사했습니다. 작업자들은 다음 세 가지 카테고지 중 하나를 선택해야 했습니다:

1. 정상 (Normal) (해롭지 않음)
2. 공격적 (Offensive) (무례하거나 상처를 주지만, 혐오 표현은 아님)
3. 혐오 표현 (Hate Speech) (특정 집단을 겨냥한 위험한 발언)

연구진은 인간들이 공격적인 것과 혐오 표현 사이를 구분하는 데 종종 어려움을 겪는다는 것을 발견했습니다. 이는 마치 노을이 "주황색"인지 "빨간색"인지 결정하는 것과 같은 모호한 경계선입니다.

핵심 발견 사항

1. 불일치는 무작위가 아니라 "경계 전쟁"이다

저자들은 인간 작업자들 사이에서 발생하는 모든 논쟁의 거의 **43%**가 "공격적"과 "혐오 표현" 사이의 경계에서 발생했다는 것을 발견했습니다.

• 비유: 두 나라 사이의 국경을 상상해 보세요. 대부분의 사람은 A국과 B국 내부가 어디인지 동의합니다. 하지만 바로 그 국경선 근처에서는 사람들이 끊임없이 싸웁니다.
• 논문의 주장: 데이터에 따르면 인간이 의견을 달리할 때, 단순히 무작위로 혼란스러워하는 것이 아닙니다. 그들은 구체적으로 "무례함"과 "혐오" 사이의 선을 어디에 그을지를 두고 싸우고 있습니다.

2. "침묵" 효과

데이터셋 제작자들이 투표 결과를 가져와서 승자(다수)를 선택했을 때, 그들은 사실상 소수의 의견을 침묵시켰습니다.

• 만약 2명이 "혐오"라고 하고 1명이 "공격적"이라고 했다면, 컴퓨터는 "혐오"라고 학습합니다.
• 만약 2명이 "공격적"이라고 하고 1명이 "혐오"라고 했다면, 컴퓨터는 "공격적"이라고 학습합니다.
• 결과: 컴퓨터는 정당한 논쟁이 일어나고 있다는 사실을 결코 배우지 못합니다. 컴퓨터는 상황이 명확하지 않음에도 불구하고, 그것이 명확한 사실이라고 생각합니다.

3. AI는 자신 있게 틀린다

연구진은 이 문제를 해결할 수 있는지 확인하기 위해 세 가지 다른 유형의 AI 모델을 훈련시켰습니다:

• 모델 A (표준형): "다수결" 라벨로부터 학습합니다.
• 모델 B (부드러운 학습자): 백분율(예: "60%는 혐오, 40%는 공격적")로부터 학습합니다.
• 모델 C (개인주의자): 집단의 평균이 아니라 각 특정 작업자가 무엇을 생각했는지 학습하려고 시도합니다.

충격적인 결과:

• 세 모델 모두 인간이 동의한 게시물(약 80% 정확도)을 분류하는 데는 뛰어났습니다.
• 하지만 인간이 의견을 달리한 게시물(경계 사례)에 대해서는, 세 모델 모두 무너졌으며 정확도가 약 55%로 떨어졌습니다.
• "과잉 확신"의 함정: 표준 모델(모델 A)은 단순히 틀리는 것에 그치지 않고, 높은 확신을 가지고 틀렸습니다. 그것은 실제로는 논쟁의 여지가 있는 복잡한 사례임에도 불구하고, "이것이 혐오 표현일 확률이 71%입니다"라고 말했습니다.
• "정직한" 모델: 모델 C(개인주의자)는 이러한 오류에 대해 확신이 덜했습니다(49%). 그것은 자신의 불확실성에 대해 더 정직했지만, 여전히 정확도는 낮았습니다.

비유: 기상 예보관을 상상해 보세요.

• 모델 A는 구름 낀 날을 보고 "반드시 비가 올 것입니다!"라고 말합니다. (높은 확신, 하지만 틀림).
• 모델 C는 똑같은 날을 보고 "잘 모르겠습니다, 비가 올 수도 있고 안 올 수도 있습니다"라고 말합니다. (낮은 확신, 하지만 여전히 답을 모름).
• 핵심: 모른다는 사실에 대해 "정직"해지는 것이, 시스템이 여전히 잘못된 결정을 내리고 있다면 도움이 되지 않습니다.

왜 AI를 그냥 고칠 수 없는가?

연구진은 세 가지 다른 "다운스트림(downstream)" 해결책(AI가 학습하거나 투표하는 방식을 변경하는 것)을 시도했습니다. 그중 어느 것도 작동하지 않았습니다.

• 비유: 당신이 학생에게 완벽한 원을 그리는 법을 가르치려고 한다고 상상해 보세요. 그런데 선생님이 계속 학생에게 사각형 그림을 보여주며 "이것이 원이다"라고 말하고 있습니다.
  • 당신은 더 부드러운 목소리로 가르칠 수도 있고 (Soft Labels),
  • 모든 선생님의 관점을 보여줄 수도 있습니다 (Per-Annotator Heads).
  • 하지만 상관없습니다. 만약 "정답(Ground Truth)" 즉, 정답지가 틀렸다면, 학생은 결코 원을 그리는 법을 배울 수 없습니다.

이 논문은 문제가 AI 모델에 있는 것이 아니라, **주석 설계(annotation design)**에 있다고 결론짓습니다. 잘못된 기초 위에 페인트를 칠한다고 해서 기초를 고칠 수는 없습니다.

제안된 해결책: 시작하기 전에 규칙을 바꿔라

AI를 고치는 것이 효과가 없었기 때문에, 저자들은 AI가 데이터를 보기 전 단계인 인간의 과정을 수정해야 한다고 말합니다. 그들은 세 가지 변화를 제안합니다:

1. "예/아니오" 식의 라벨링을 중단하라: 작업자들에게 "공격적"인지 "혐오"인지 선택하도록 강요하는 대신, 척도(예: 1~5점)를 제공하십시오. 이는 어떤 것들이 "약간 공격적"이고 "약간 혐오적"인지 인정함으로써, 이분법적 선택이 만들어내는 논쟁을 피하는 방법입니다.
2. "경계 사례"를 표시하라: AI가 확신이 없을 때(낮은 신뢰도), 최종 결정을 내리는 대신 이를 인간이 검토하도록 플래그를 지정해야 합니다.
3. 영향을 받는 사람들을 포함하라: 논문은 판단의 대상이 되는 사람들(예: 특정 문화적 또는 소수 집단)이 라벨링을 수행해야 한다고 주장합니다. 그들의 "혐오"에 대한 정의는 다수와 다를 수 있습니다. 다수의 의견만 묻는다면, 당신은 항상 소수의 관점을 놓치게 될 것입니다.

해결책에 대한 경고

저자들은 세 번째 제안과 관련하여 중요한 윤리적 문제를 주의 깊게 언급합니다. 자신들에게 향하는 혐오 표현을 살펴보라고 소수자 공동체 구성원들에게 요청하는 것은 심리적으로 해로울 수 있습니다. 그들은 만약 이 작업을 수행한다면, 그들에게 충분한 보상을 제공하고, 정신 건강 지원을 제공하며, 자발적으로 참여 여부를 결정할 수 있도록 해야 한다고 주장합니다. 우리는 중재의 부담을 피해를 입는 사람들에게 떠넘겨서는 안 됩니다.

요 요약

이 논문은 AI 훈련에서 다수결 투표는 함정이라고 주장합니다. 그것은 복잡한 인간의 의견 불일치를 가짜 "사실"로 바꿉니다. 이는 AI 모델을 가장 민감한 주제에서 자신 있게 틀리게 만듭니다. 이를 해결하는 유일한 방법은 더 똑똑한 AI를 만드는 것이 아니라, 인간이 데이터를 라벨링하는 방식 자체를 바꾸는 것입니다.