When Hate Meets Facts: LLMs-in-the-Loop for Check-worthiness Detection in Hate Speech

1. 문제 정의 (Problem)

• ** hate speech 와 허위 정보의 교차점:** 온라인 혐오 표현 (Hate Speech, HS) 은 종종 사실처럼 보이는 정보 (하지만 반드시 정확하지는 않음) 를 사용하여 표현됩니다. 특히 조직적인 온라인 괴롭힘이나 극단주의 선전에서는 이러한 경향이 두드러집니다.
• 검증의 어려움: 혐오 표현과 허위 정보를 분리하여 다루는 기존 접근 방식은 편견을 심화시키고 유해한 고정관념을 강화할 수 있습니다. 또한, 콘텐츠 관리자 (모더레이터) 는 해악성과 사실 여부 (Fact-check) 를 동시에 평가해야 하므로 작업 부하가 가중됩니다.
• 데이터의 부재: 기존 혐오 표현 데이터셋은 주로 노골적인 모욕이나 비속어에 의존하며, 사실적 주장 (Claims) 을 포함하지 않는 경우가 많습니다. 반면, 허위 정보 데이터셋은 사실적 주장은 포함하지만 혐오 표현에 대한 레이블이 부족합니다.
• 핵심 질문: "혐오 표현에 포함된 주장이 사실 확인 (Fact-checking) 의 가치가 있는가 (Check-worthiness)?"를 식별하는 것이 중요하지만, 이를 위한 데이터와 효율적인 주석 도구 (Annotation Tool) 가 부족합니다.

2. 방법론 (Methodology)

2.1. 제안된 프레임워크: LLM-in-the-Loop

저자들은 인간 주석가의 노력을 줄이면서도 데이터 품질을 유지하기 위해 LLM-in-the-Loop 프레임워크를 제안했습니다. 이는 단순한 자동화가 아니라 인간과 LLM 이 협력하는 구조입니다.

• 작동 방식:
  1. 병렬 주석: 하나의 혐오 표현 메시지에 대해 인간 주석가와 LLM 이 동시에 주석을 다는 것으로 시작합니다.
  2. 일치 여부 확인: LLM 이 생성한 3 개의 독립적 예측 (Temperature=1 설정) 에 대해 다수결 투표 (Majority Vote) 를 수행합니다.
  3. 조정 (Adjudication):
     • LLM 의 다수결 레이블과 인간 레이블이 일치하면 해당 레이블을 최종으로 채택합니다.
     • 불일치하거나 LLM 간 예측이 불일치하는 경우, 제 3 의 전문가 (판사, Judge) 가 최종 레이블을 결정합니다.
  4. 편향 완화: 판사는 주석 출처 (인간 vs LLM) 를 알 수 없도록 블라인드 처리하고, 레이블 순서를 무작위로 섞어 '앵커 편향 (Anchor Bias)'을 방지합니다.
• 전략: 모델 선택, 프롬프트 전략 (Zero-shot vs One-shot), 예측 변동성 측정, 인간 - LLM 간 일치도 (IAA) 평가 등을 통해 LLM 의 한계를 보완합니다.

2.2. 데이터셋: WSF-ARG+

• 기반 데이터: 기존 'WSF-ARG' (백인 우월주의 포럼의 혐오 논증 데이터) 를 확장했습니다.
• 확장 내용:
  • 혐오 표현이 아닌 메시지 (Non-HS) 294 개를 추가하여 비교 분석이 가능하도록 했습니다.
  • 각 메시지의 주장 (Claims) 을 추출하고, 이를 Check-worthiness 레이블로 주석했습니다.
• 주석 레이블 정의 (ClaimBuster 기반):
  • CFS (Checkworthy Factual Statement): 대중의 관심과 영향력이 있어 사실 확인이 필요한 주장.
  • UFS (Unimportant Factual Statement): 사실적이지만 사실 확인이 필요 없는 사소한 주장.
  • NFS (Non-Factual Statement): 의견, 신념, 수사적 질문 등 사실적 주장이 없는 텍스트.

2.3. 실험 설정

• 모델: Mistral, Llama3, Qwen2.5, Olmo2, Commander-r 등 4 개의 패밀리, 총 12 개의 오픈 가중치 LLM (7B~104B 파라미터) 을 사용했습니다.
• 평가: 인간 주석가와의 일치도, 모델 간 일치도, 그리고 최종적으로 '전체 인간 주석 (Platinum Labels)'과 LLM-in-the-Loop 프레임워크 결과 (Gold Labels) 를 비교하여 검증했습니다.

3. 주요 기여 (Key Contributions)

1. WSF-ARG+ 데이터셋 공개: 혐오 표현과 사실 확인 가치 (Check-worthiness) 를 결합한 최초의 데이터셋입니다. 혐오 메시지와 비혐오 메시지에 대한 주장 수준의 주석을 포함합니다.
2. 검증된 LLM-in-the-Loop 프레임워크: 고도로 주관적인 작업 (Fact-checking 가치 판단) 에서 인간의 노력을 줄이면서도 인간 수준의 품질을 달성할 수 있는 효율적인 주석 파이프라인을 제시했습니다.
3. 실증적 발견:
   • 혐오 표현 내의 '사실 확인 가치가 있는 주장 (Check-worthy claims)'은 그렇지 않은 주장보다 더 큰 괴롭힘 (Harassment) 과 혐오 (Hate) 를 유발함을 발견했습니다.
   • Check-worthiness 레이블을 입력으로 포함시킬 경우, 대규모 LLM 의 혐오 표현 탐지 성능이 유의미하게 향상됨을 입증했습니다.

4. 결과 (Results)

4.1. 주석 품질 및 효율성

• 모델 성능: OLMo2-32B 가 인간 주석가와의 일치도에서 가장 높은 성능을 보였습니다 (Zero-shot 기준 CFS 레이블에서 0.620 일치).
• 인간 검증: LLM-in-the-Loop 프레임워크로 생성된 'Gold Labels'와 전체 인간이 주석한 'Platinum Labels' 간의 일치도 (Cohen's κ) 는 0.800(3 클래스) 및 0.815(이진 분류) 로 매우 높게 나타났습니다. 이는 프레임워크가 인간 주석 품질을 유지하면서도 불필요한 인간 개입을 줄였음을 의미합니다.
• 효율성: 전체 주장 중 약 46.7% 만이 판사 (Judge) 의 개입이 필요했으며, 이는 전량 인간 주석에 비해 인력 비용을 크게 절감한 수치입니다.

4.2. 혐오 표현 탐지 성능 향상

• 실험: WSF-ARG+ 데이터셋을 사용하여 12 개 LLM 에게 혐오 표현 탐지 작업을 수행하게 했습니다.
• 결과:
  • 대규모 모델 (≥70B): Check-worthiness 레이블을 포함했을 때 Macro-F1 점수가 평균 0.154만큼 향상되었습니다 (예: Qwen2.5-72B 는 0.701 → 0.766).
  • 중소형 모델: 일부 모델 (Olmo2-7B, Qwen2.5-7B) 에서도 성능 향상이 관찰되었으나, 대규모 모델에서 더 두드러진 효과를 보였습니다.
  • 통계적 유의성: 혐오 표현이 사실 확인 가치가 있는 주장을 포함할 때, 괴롭힘과 혐오 점수가 통계적으로 유의미하게 높았습니다 (p < 0.05).

5. 의의 및 결론 (Significance)

• 정책적 함의: 혐오 표현이 허위 정보나 사실 확인 가치가 있는 주장을 통해 포장될 때, 그 해악성이 더 크다는 점을 발견했습니다. 이는 콘텐츠 관리 정책이 단순한 모욕어 탐지를 넘어, 사실적 주장의 맥락과 검증 가능성을 고려해야 함을 시사합니다.
• 기술적 기여: LLM 을 단순한 주석가가 아닌, 인간과 협력하여 데이터 품질을 높이는 '보조 주석가'로 활용하는 체계적인 방법론을 제시했습니다. 이는 고비용이 드는 주관적 태스크 (Fact-checking, Hate detection 등) 에 적용 가능한 새로운 패러다임입니다.
• 향후 연구: WSF-ARG+ 를 기반으로 한 반말 (Counterspeech) 생성 연구, 주장의 진위 여부 (Veracity) 분석, 그리고 다른 도메인으로의 프레임워크 확장 가능성이 열렸습니다.

이 논문은 혐오 표현과 허위 정보의 교차점을 해결하기 위한 데이터와 방법론을 제공하며, AI 기반 콘텐츠 moderation 의 효율성과 정확성을 동시에 높일 수 있는 실용적인 솔루션을 제시합니다.