Wisdom of the LLM Crowd: A Large Scale Benchmark of Multi-Label U.S. Election-Related Harmful Social Media Content

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 선거 관련 허위 정보 (misinformation) 와 유해한 정치적 콘텐츠의 확산은 민주주의의 건전성을 위협하며, 유권자 행동과 여론 형성에 부정적인 영향을 미칩니다.
• 문제점:
  • 소셜 미디어 (특히 X, 이전 트위터) 에서는 유해 콘텐츠가 비정형적이고 빠르게 확산되므로, 이를 조기에 탐지하고 분류하는 것이 필수적입니다.
  • 기존 연구들은 주로 '허위 뉴스'나 '가짜 뉴스'에 국한되어 있으며, 선거와 관련된 다양한 유해 콘텐츠 (음모론, 선정주의, 증오 표현 등) 를 포괄하는 표준화된 대규모 데이터셋이 부족합니다.
  • 수동 주석 (Manual Annotation) 은 비용이 많이 들고, 주관적인 콘텐츠 (예: 풍자, 추측성 발언) 의 경우 annotator 간 일관성 (Inter-rater reliability) 을 유지하기 어렵습니다.
  • 대규모 언어 모델 (LLM) 을 활용한 자동 주석의 성능과 인간 주석과의 비교, 그리고 다양한 LLM 간의 합의 (Consensus) 를 통한 효율적인 주석 전략에 대한 체계적인 연구가 부족합니다.

2. 방법론 (Methodology)

이 연구는 USE24-XD라는 대규모 데이터셋을 구축하고, 6 개의 LLM 과 인간 주석가를 비교 분석하는 3 단계 방법론을 채택했습니다.

2.1 데이터 수집 (Dataset Collection)

• 데이터셋: 2024 년 미국 대통령 선거 주기 (2024 년 10 월 17 일 ~ 2025 년 7 월 16 일) 동안 X.com 에서 수집된 약 10 만 건 (97,696 건) 의 포스트.
• 필터링: 'election'과 '2024' 키워드를 포함하는 원본 포스트만 수집. 중복 제거 및 5 단어 미만 포스트 제거.
• 메타데이터: 사용자 위치 (추정), 참여 지표 (좋아요, 리트윗 등), 감정 분석, 토픽 특징 등을 포함.

2.2 주석 범주 (Annotation Categories)

5 가지 이진 분류 (Multi-label) 범주로 정의되었으며, 각 포스트는 여러 범주에 속할 수 있습니다.

1. Conspiracy (음모론): 선거 도난, 비밀 정치 음모 등 과장된 주장.
2. Sensationalism (선정주의): 공포나 충격을 유발하는 과장된 언어.
3. Speculation (추측성): 검증되지 않은 정치적 주장이나 예측.
4. Hate Speech (증오 표현): 특정 인물이나 집단을 대상으로 한 모욕, 폭력 조장.
5. Satire (풍자): 정치 풍자, 아이러니, 유머를 통한 비판.

2.3 AI 주석 (LLM Annotation)

• 모델: 6 개의 최신 LLM 사용 (GPT-4o, GPT-4o-mini, Gemini 2.0 Flash, Gemini 2.5 Pro, Llama 3.1-8B, Llama 3.3-70B).
• 전략: Zero-shot 학습 방식을 사용. Temperature 를 0 으로 설정하여 재현성을 높임.
• 합의 (Wisdom of the Crowd): 6 개 모델 중 성능이 좋은 3 개 모델의 예측을 다수결 (Majority Voting) 로 집계하여 최종 라벨을 생성.

2.4 인간 주석 (Human Annotation)

• 플랫폼: Amazon Mechanical Turk (MTurk) 를 통해 34 명의 주석가 모집.
• 샘플: 전체 데이터의 약 1% (1,000 건) 를 무작위 추출하여 주석.
• 프로세스: 각 포스트당 3 명의 주석가가 독립적으로 주석. 정치적 성향 등 인구통계학적 정보 수집.
• Ground Truth: 3 명 중 다수결 (Majority Vote) 을 통해 인간 합의 라벨을 생성.

2.5 평가 지표

• 일관성 측정: Cohen's Kappa ($\kappa$), Percentage Agreement, Krippendorff's Alpha ($\alpha$).
• 성능 측정: 인간 합의 라벨을 기준 (Ground Truth) 으로 하여 LLM 의 Precision, Recall, F1-score 평가.

3. 주요 기여 (Key Contributions)

1. USE24-XD 데이터셋 공개: 2024 년 미국 대선 관련 유해 소셜 미디어 콘텐츠에 대한 대규모 (약 10 만 건), 다중 레이블 (Multi-label) 주석이 완료된 공개 데이터셋을 제공.
2. LLM 주석 성능 체계적 평가: 6 개의 다양한 아키텍처를 가진 SOTA LLM 들이 유해 콘텐츠 분류에서 어떻게 작동하는지, 그리고 인간 주석가와 비교했을 때의 일관성과 정확도를 벤치마킹.
3. 인구통계학적 편향 분석: 인간 주석가의 정치적 성향, 이념, 거주 지역 등이 주석 태도에 미치는 영향을 분석하여, 'Ground Truth'가 중립적이지 않을 수 있음을 입증.
4. 효율적인 주석 프레임워크 제안: 단일 LLM 보다 다양한 LLM 의 다수결 (Wisdom of the Crowd) 방식이 인간 주석가보다 높은 일관성을 보이며, 비용 효율적인 대규모 주석 솔루션임을 증명.

4. 주요 결과 (Results)

4.1 LLM vs 인간 일관성 (Inter-rater Reliability)

• LLM 간 일관성: LLM 들 간의 일관성 (평균 $\alpha$ = 0.70) 이 인간 주석가들 간의 일관성 (평균 $\alpha$ = 0.62) 보다 높았습니다.
• 범주별 차이: 'Conspiracy'와 'Speculation'은 LLM 간 합의가 높았으나, 'Satire'와 'Hate Speech'는 상대적으로 일관성이 낮았습니다. 특히 'Satire'는 인간과 LLM 모두에서 정의가 모호하여 일관성이 가장 낮았습니다.

4.2 LLM 성능 (Recall 및 Precision)

• Recall: 인간 합의 라벨을 기준으로 했을 때, LLM 다수결 방식은 Speculation (0.90) 과 Conspiracy (0.81) 에서 매우 높은 Recall 을 보였습니다.
• Satire: 모든 모델에서 Recall 이 낮았으며 (약 0.49), 이는 풍자의 경계가 모호하여 탐지가 어렵기 때문입니다.
• 모델 비교: Llama 3.1 (8B) 이 대부분의 카테고리에서 인간 합의와 가장 높은 일관성을 보였으며, 다양한 모델 가족 (GPT, Gemini, Llama) 을 혼합한 다수결이 단일 모델보다 성능이 우수했습니다.

4.3 인간 주석가의 인구통계학적 영향

• 정치적 이념: 'Speculation' 라벨은 중도 (Centrist) 와 무소속 (Independent) 주석가에 의해 더 많이 부여된 반면, 보수주의자들은 'Hate Speech'를 더 많이, 'Speculation'을 덜 부여하는 경향이 있었습니다.
• 지역: 거주 지역 (도시/농촌) 이 모든 라벨에 작은 영향을 미쳤습니다.
• 의미: 인간 주석의 'Ground Truth'는 주석가의 세계관에 의해 편향될 수 있음을 시사합니다.

4.4 최종 데이터셋 통계

• 최종 데이터셋의 약 60% 가 적어도 하나의 유해 콘텐츠 라벨을 받았습니다. 이는 온라인 토론에서 유해 콘텐츠가 드문 사례가 아니라 광범위하게 존재함을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 확장 가능한 주석 솔루션: LLM 의 '지혜 (Wisdom of the Crowd)'를 활용하면 인간 주석가의 일관성 수준을 유지하거나 초과하면서도 주석 비용을 획기적으로 줄일 수 있습니다. 이는 매일 생성되는 수십억 개의 소셜 미디어 포스트를 분석하는 데 필수적입니다.
• 실용적 가치: 이 연구는 유해 콘텐츠 탐지 시스템 개발을 위한 강력한 베이스라인을 제공하며, 특히 'Speculation'과 같은 미묘한 유해 콘텐츠를 탐지하는 데 LLM 이 효과적임을 입증했습니다.
• 미래 연구 방향: 주석가의 인구통계학적 편향을 고려한 모델 보정, 봇 (Bot) 과 인간 콘텐츠 구분, 그리고 다양한 플랫폼으로의 데이터 확장이 필요함을 강조합니다.

이 논문은 LLM 을 단순한 자동화 도구를 넘어, 인간 주석의 한계를 보완하고 대규모 유해 콘텐츠 분석을 가능하게 하는 핵심 인프라로 자리 잡을 수 있음을 보여줍니다.