기술 요약: 대리적 불쾌감(Vicarious Offense) 및 공격적 발화 분류기에 대한 노이즈 감사

문제 정의

공격적 발화 탐지는 콘텐츠 중재의 핵심적인 구성 요소이지만, "공격성"에 대한 정의는 매우 주관적이어서 인간 중재자와 기계 중재자 사이에 빈번한 불일치를 초-래한다. 기존 문헌은 데이터셋 전반에 걸친 탐지 시스템의 일반화 가능성, 적대적 취약성, 지리적 편향 등을 조사해 왔으나, 대규모 실제 정치적 담론에서 필터링 결과가 어떻게 나타나는지에 대한 포괄적인 실전(in-the-wild) 평가는 부족한 실정이다. 또한, 현재의 접근 방식들은 대리적 불쾌감(vicarious offense)—즉, 개인이 자신과 다른 정치적 성향을 가진 사람이 특정 콘텐츠를 어떻게 인식할지 예측하는 능력—이라는 현상을 충분히 고려하지 못하고 있다. 본 연구는 기계 중재자들 사이의 불일치 정도와, 교차 정파적 불쾌감 인식을 예측하는 데 있어 인간 중재자의 한계를 이해하는 데 존재하는 간극을 다룬다.

방법론

1. 기계 중재자에 대한 노이즈 감사

저자들은 Kahneman 등이 제시한 인간 판단에서의 "노이즈" 개념에서 영감을 얻어, 다양한 결정 시스템 간의 결과 변동성을 측정하기 위해 대규모 노이즈 감사를 수행하였다.

• 데이터셋: CNN, Fox News, MSNBC의 공식 YouTube 채널(2014~2022년)에 게시된 241,112개의 뉴스 영상에서 추출한 9,200만 개 이상의 댓글로 구성된 방대한 데이터셋을 사용하였다. 감사를 위해 300만 개의 댓글을 무작위 샘플링하였다.
• 기계 중재자(MMs): 9개의 서로 다른 공격적 언어 식별 모델을 평가하였다:
  • AHSD, HASOC, HatEval, HateXplain, OLID, TRAC, OHS, TCC와 같은 잘 알려진 데이터셋으로 학습된 BERT-LARGE-CASED 아키텍처 기반의 8개 모델.
  • Jigsaw의 Unintended Bias 데이터셋으로 학습된 공개 모델인 Detoxify (ROBERTA-BASE).
• 지표: 연구는 "공격적" 대 "공격적이지 않음" 분류의 일관성을 결정하기 위해 코헨의 카파($\kappa$)를 사용한 쌍별 합의도와 플리스의 카파(Fleiss' $\kappa$)를 사용한 전체 합의도를 정량화하였다.

2. 인간 주석 및 대리적 불쾌감 연구

기계 감사를 보완하기 위해, 저자들은 대리적 불쾌감을 포함하는 새로운 주석 프레임십을 도입하였다.

• 데이터셋 구축: 기계 중재자의 불일치 정도(쉬움, 논쟁적, 공격적 하위 집합)와 주제(일반, 총기 규제, 재생산 권리)에 따라 층화된 2,310개의 사회 웹 포스트로 구성된 대표적 하위 집합을 생성하였다.
• 주석가: Amazon Mechanical Turk을 통해 모집된 753명의 고유한 인간 주석가를 활용하였으며, 세 가지 정치적 정체성(민주당 35%, 공화당 35%, 무당파 30%)을 균형 있게 배치하였다.
• 주석 작업: 각 포스트에 대해 주석가들은 두 가지 유형의 질문에 답하였다:
  1. 개인적(1인칭) 불쾌감: "귀하는 이것이 불쾌하다고 생각하십니까?"
  2. 대리적(2인칭) 불쾌감: "다른 정치적 정체성(예: 공화당원)을 가진 사람이 이것을 불쾌하다고 느낄 것이라고 생각하십니까?"
• LLM 베이스라인: 연구는 또한 ChatGPT API (GPT-3.5-turbo)를 활용하여, 특정 정당의 당원 역할을 수행하며 다른 정당을 평가하도록 프롬프트를 구성함으로써 대리적 불쾌감을 예측하게 하였다.

주요 기여

1. 전례 없는 규모의 노이즈 감사: 본 논문은 실제 정치 데이터에 대해 9개의 서로 다른 기계 중재자 간의 결과 변동성을 보여주는 포괄적인 노이즈 감사를 제시한다.
2. VOICED 데이터셋: VOICED(Vicarious Offense Identification Corpus for Estimating Disagreements) 데이터셋을 공개한다. 이는 주석가가 1인칭 및 대리적 불쾌감을 모두 라벨링하며, 민주당, 공화당, 무당파를 모두 포괄하는 최초의 데이터셋이다.
3. 대리적 불쾌감 프레임워크: 개인의 주관성을 넘어, 정치적 집단이 상대 집단의 민감성을 얼마나 잘 이해하는지를 분석하는 새로운 관점인 대리적 불쾌감을 도입하였다.
4. 인간-기계 정렬 분석: 다양한 정치적 성향을 가진 인간 중재자와 기계 분류기 사이의 정렬(및 불일치)을 포함하여, 대리적 예측 도구로서의 LLM 활용을 상세히 분석하였다.

결과

기계 중재자 불일치

• 낮은 합의: 기계 중재자들 사이에 광범한 불일치가 존재한다. 어떤 모델 쌍도 상당한 합의($\kappa \ge 0.81$)를 보이지 않았다. 오직 소수의 모델만이 중간 정도의 합의($0.41 \le \kappa \le 0.60$)를 나타냈다.
• 전체 노이즈: 세 뉴스 네트워크 전체에 걸친 플리스의 카파(Fleiss' $\kappa$) 값은 각각 0.27, 0.25, 0.22로 낮았으며, 이는 배포된 특정 분류기에 따라 중재 결과가 크게 달라짐을 의미한다.
• 휘발성 콘텐츠: 거의 절반의 콘텐츠가 어떤 기계 중재자도도 플래그를 지정하지 않았으며, 단 0.03%만이 모든 기계 중재자에 의해 플래그가 지정되었다. 상당 부분(10.1%)은 정확히 절반의 모델이 콘텐츠를 플래그 지정한 "분쟁 구역"에 속해 있어, 중재 결과가 매우 휘발적임을 보여주었다.

인간 중재자 불일치 및 대리적 불쾌감

• 1인칭 합의: 인간 간의 합의는 일반적으로 인간-기계 합의보다 높았으나, 여전히 중간 수준(예: 무당파와 민주당 사이의 $\kappa = 0.43$)에 머물렀다. 민주당과 무당파가 가장 높은 일치도를 보였다.
• 대리적 예측 실패: 인간 주석가들은 반대 정치 집단이 불쾌감을 어떻게 인식할지 정확히 예측하는 데 어려움을 겪었다.
  • 공화당원은 민주당과 무당파 모두에 대한 대리적 불쾌감 예측 능력이 가장 떨어졌다.
  • 민주당과 무당파는 서로의 불쾌감을 비교적 잘 예측할 수 있었으나, 공화당이 무엇을 불쾌하게 여길지는 예측하는 데 어려움을 겪었다.
  • "일관성의 함정": 민주당과 무당파로만 구성된 주석 그룹은 공화당이 무엇을 불쾌하게 여기는지에 대해 높은 '예측' 일관성을 보일 수 있지만, 이 예측은 공화당이 실제로 느끼는 불쾌감과는 근본적으로 다를 수 있다.

인간 vs. 기계 정렬

• 정치적 정렬: 모든 정치 집단은 무엇이 공격적인지에 대해 기계와 유사한 합의를 보였으나, 공화당은 무엇이 공격적이지 않은지에 대해 기계와 약간 더 높은 일관성을 보였다.
• 맥락적 미묘함: 인간은 기계 중재자가 놓친 맥락 및 대상(예: 케이틀린 제너에 대한 비하 발언)에 기반한 불쾌감을 탐지하는 능력을 보여주었다. 반대로, 인간은 때때로 정치적 의견 차이에 기반하여 콘텐츠를 공격적이라고 표시한 반면, 기계는 주로 비속어에 의존했다.
• 민감한 이슈: 총기 규제 및 재생산 권리와 같은 민감한 주제에서 불일치가 현저히 악화되었다. 이러한 주제에서 인간-기계 합의는 크게 감소했으며, 일부 중재자 쌍은 체계적 불일치를 나타내는 음(-)의 코헨 카파 값을 기록하기도 했다.

LLM 성능

• 대리적 예측 도구로 사용된 ChatGPT API (GPT-3.5)는 인간 다수파보다는 기계 중재자들과 유사한 합의 패턴을 보였다. 이는 인간 주석가와는 덜 일치하고 기계 다수파와는 더 일치하는 모습을 보였는데, 이는 LLM이 미묘한 인간의 정치적 주관성을 모델링하는 데 어려움을 겪고 있음을 강조한다.

의의 및 주장

본 논문은 전례 없는 규모로 콘텐츠 중재의 "노이즈"를 정량화하고 대리적 불쾌감이라는 개념을 도입함으로써 새로운 지평을 열었다고 주장한다. 저자들의 논지는 다음과 같다:

1. 주관성은 근본적이다: 고도로 양극화된 정치적 담론에서, 주석 그룹 간에는 사실상 합의가 존재하지 않을 수 있으며, 이는 무엇이 공격적인 콘텐츠인지에 대한 "대안적 사실"로 이어진다.
2. 현재 시스템의 한계: 현재의 기계 중재자와 대규모 언어 모델(LLM)은 서로 다른 정치 집단이 불쾌감을 어떻게 인식하는지 예측하는 데 실패하며, 이는 단일한 "골드 스탠다드(gold standard)" 라벨이 종종 불충분하거나 오도될 수 있음을 시사한다.
3. 민주주의와 신뢰: 본 연구는 선거의 공정성과 공격적 발화의 허용 범위에 대한 정치 집단 간의 견해 차이를 언급하며, 이는 사회적 미디어가 담론을 중재하는 역할에 대한 신뢰 저하를 강조한다.

저자들은 자신의 연구가 주로 기술적(descriptive)이며, 기계와 인간의 관점 모두에서 공격적 콘텐츠 중로의 과제를 이해하는 "루프를 닫는 것"과 더 견고하고 다각적인 관점의 모델링 시스템을 개발하기 위한 자원(VOICED)을 제공하는 것을 목표로 한다고 명시한다. 그들은 현재의 시스템이 인간의 감독이나 정치적 주관성에 대한 더 정교한 모델링 없이는 이러한 복잡성을 처리하기에 역부족임을 시사하며, 콘텐츠 중재는 이슈와 정치적 정체성에 따라 허용 수준이 달라지는 미묘한 주제임을 밝힌다.