DariMis: Harm-Aware Modeling for Dari Misinformation Detection on YouTube

1. 문제 정의 (Problem Statement)

• 데이터 부족: 아프가니스탄의 주요 언어인 다리어 (Dari) 는 약 2 천만 -4 천만 명이 사용하지만, 허위 정보 (Misinformation) 탐지 연구나 데이터셋은 거의 존재하지 않습니다. 기존 연구는 영어 등 고자원 언어와 텍스트 기반 플랫폼에 집중되어 있어, 다리어 사용자들은 온라인 허위 정보로부터 자동화된 보호를 받지 못합니다.
• 이진 분류의 한계: 기존 허위 정보 탐지는 '진실/거짓'의 이진 분류에 머무릅니다. 그러나 실제 정보는 '부분적 진실 (Partly True)'과 같은 중간 단계가 많으며, 정보의 정확성뿐만 아니라 해악성 (Harm Level) 의 정도 (낮음, 중간, 높음) 를 고려해야 합니다.
• 구조적 문제: 유튜브 동영상의 제목 (Title) 과 설명 (Description) 을 단순히 하나의 텍스트로 연결 (Concatenation) 하는 기존 방식은 제목과 본문 간의 의미적 불일치를 포착하는 데 한계가 있습니다.

2. 주요 기여 (Key Contributions)

이 논문은 다음과 같은 5 가지 주요 기여를 합니다:

1. DariMis 데이터셋 구축: 유튜브의 다리어 동영상 9,224 개를 수동으로 주석한 최초의 데이터셋입니다.
   • 이중 축 주석: 정보 유형 (Misinformation, Partly True, True) 과 해악 수준 (Low, Medium, High) 을 독립적이면서도 연관된 두 가지 차원으로 라벨링했습니다.
   • 통계: 'Partly True'가 60.0% 로 가장 많으며, 'Misinformation'은 22.6%, 'True'는 17.4% 입니다.
2. 쌍 입력 인코딩 (Pair-Input Encoding) 전략 제안:
   • BERT 의 네이티브 시그먼트 쌍 (Segment Pair) 메커니즘을 활용하여 제목 (Segment A) 과 설명 (Segment B) 을 별도의 입력으로 처리합니다.
   • 이를 통해 제목과 본문 간의 의미적 상호작용 (불일치) 을 명시적으로 모델링하여 허위 정보 탐지 신호를 강화합니다.
3. 정확도 - 해악성 구조적 결합 (Structural Coupling) 발견:
   • 정보 유형과 해악 수준이 통계적으로 독립적이지 않음을 실증했습니다.
   • Misinformation의 55.9% 가 적어도 '중간 (Medium)' 이상의 해악성을 가지지만, True 콘텐츠는 1.0% 만 해당합니다. 이는 정보 유형 분류기가 해악성 선별 (Triage) 필터 역할을 할 수 있음을 의미합니다.
4. 모델 벤치마킹: 다리어/페르시아어 특화 모델인 ParsBERT와 다국어 모델인 XLM-RoBERTa를 비교 평가했습니다.
5. 엄격한 통계적 분석: 모든 지표에 대해 부트스트랩 (Bootstrap) 95% 신뢰구간을 제공하여 결과의 신뢰성과 통계적 한계를 투명하게 보고했습니다.

3. 방법론 (Methodology)

• 데이터 수집: 유튜브 데이터 API 를 활용하여 2007 년부터 2026 년까지의 다리어 뉴스, 건강, 정치 채널 및 키워드 기반 검색을 통해 데이터를 수집했습니다.
• 주석 프레임워크:
  • 정보 유형: 허위 (Misinformation), 부분적 진실 (Partly True), 진실 (True).
  • 해악 수준: 낮음 (Low), 중간 (Medium), 높음 (High).
  • 주석자 간 일치도 (IAA): 정보 유형 (κ=0.71), 해악 수준 (κ=0.68) 으로 상당한 일치를 보였습니다.
• 모델 아키텍처:
  • 입력: 제목과 설명을 BERT 의 [CLS], [SEP] 토큰을 사용하여 두 개의 시그먼트로 분리 입력합니다. 설명이 없는 경우 (31.2%) 는 제목만 입력됩니다.
  • 모델: ParsBERT (다리어/페르시아어 특화) 와 XLM-RoBERTa-base (다국어) 를 비교했습니다.
  • 학습: HuggingFace Transformers 를 사용하여 파인튜닝되었으며, 클래스 불균형을 고려하기 위해 매크로 평균 F1 점수를 주요 평가 지표로 사용했습니다.

4. 실험 결과 (Results)

• 성능 비교:
  • ParsBERT (Pair-Input) 가 가장 좋은 성능을 보였습니다 (정확도 76.60%, 매크로 F1 72.77%).
  • XLM-RoBERTa는 소수 클래스 (Misinformation, True) 에서 성능이 급격히 저하되었습니다 (Misinformation F1: 0.26, True F1: 0.03). 이는 다국어 모델이 다리어의 형태론적/어휘적 특성을 충분히 학습하지 못했음을 시사합니다.
• 쌍 입력 인코딩의 효과 (Ablation Study):
  • 전체 매크로 F1 점수는 단순 연결 (Concat) 대비 0.09 포인트 증가에 그쳤으나, Misinformation 클래스의 재현율 (Recall) 은 60.1% 에서 67.1% 로 7.0 포인트 크게 향상되었습니다.
  • 이는 안전 (Safety) 에 가장 중요한 소수 클래스를 더 잘 탐지한다는 것을 의미합니다.
• 통계적 유의성:
  • 부트스트랩 95% 신뢰구간 분석 결과, 모델 간 전체 F1 점수 차이는 통계적으로 유의하지 않았습니다 (샘플 크기 부족 및 인간 주석자 간 일치도 한계 때문).
  • 그러나 클래스별 성능 패턴 (ParsBERT 의 일관된 성능) 과 쌍 입력에 의한 Misinformation 재현율 향상은 실질적으로 의미 있는 결과로 해석됩니다.

5. 의의 및 시사점 (Significance)

• 인프라 격차 해소: 다리어 사용자를 위한 최초의 대규모 허위 정보 탐지 인프라를 구축하여, 저자원 언어에서의 디지털 안전을 강화했습니다.
• 해악 인식 (Harm-Aware) 콘텐츠 관리: 정보 유형 분류기가 해악성 선별 도구로 작용할 수 있음을 입증했습니다. 'Misinformation'으로 분류된 콘텐츠는 자동으로 '중간 이상'의 해악성을 가진 것으로 간주하여 인간 검토자에게 우선적으로 할당하는 효율적인 파이프라인 구축이 가능합니다.
• 기술적 통찰:
  • 제목 - 본문 불일치: 허위 정보 탐지에서 제목과 설명 간의 의미적 불일치는 핵심 신호이며, 이를 BERT 의 시그먼트 쌍 메커니즘으로 모델링하는 것이 효과적입니다.
  • Partly True 의 난제: 데이터의 60% 를 차지하는 '부분적 진실'은 사실적 오류가 아닌 맥락 왜곡이 주된 원인이므로, 단순 텍스트 모델링의 한계가 명확히 드러났습니다.
• 향후 연구 방향: 멀티모달 (오디오/비디오) 통합, 정확도와 해악성을 동시에 예측하는 멀티태스크 학습, 외부 지식 그래프 연동, 그리고 'Partly True' 범주의 세분화를 통한 주석 정밀도 향상이 제안되었습니다.

이 논문은 다리어와 같은 저자원 언어에서의 허위 정보 탐지가 단순히 분류 정확도를 높이는 것을 넘어, 해악성 (Harm) 을 고려한 구조적 접근과 언어 특화 모델의 중요성을 강조한다는 점에서 의의가 큽니다.