WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection

기술 요약: WhaVax – 건강 허위 정보 탐지를 위한 전문가 주석 데이터셋 및 벤치마크

문제 제기
WhatsApp 과 같은 암호화된 메시징 플랫폼에서의 건강 허위 정보는 특히 집단 면역이 위협받는 브라질에서 심각한 공중보건 과제를 제기합니다. 공개 소셜 미디어와 달리 WhatsApp 의 종단간 암호화와 반사적인 그룹 구조는 외부 모니터링과 중재를 어렵게 만들어 연구자들에게는"블랙박스"를 형성합니다. 기존 백신 관련 허위 정보 데이터셋은 주로 Twitter/X 와 같은 공개 플랫폼에서 수집되어, 비공개 그룹 대화의 고유한 언어적, 구조적, 문맥적 역동성을 포착하지 못합니다. 또한, 실제 대화 환경을 반영하는 고품질의 전문가 검증 포르투갈어 데이터셋이 부족하여, 현실적인 데이터 부족 제약 하에서 계산적 탐지 모델의 개발과 평가가 제한되고 있습니다.

방법론
저자들은 엄격한 다단계 파이프라인을 통해 구축된 새로운 데이터셋 WhaVax를 제시합니다:

1. 데이터 수집: 2020 년부터 2023 년까지 초대 링크를 통해 접근 가능한 대규모 브라질 공개 WhatsApp 그룹에서 메시지를 수집했습니다. 수집 과정은 포르투갈어 데이터 보호법을 준수하기 위해 개인 식별 정보를 익명화하면서 텍스트와 메타데이터 (발신자, 그룹, 타임스탬프) 를 포착하는 자동화 파이프라인을 활용했습니다.
2. 필터링 및 중복 제거:
   • 키워드 필터링: 포르투갈어 백신 관련 용어 (속어 및"v4c1n4"와 같은 변형 철자 포함) 의 광범위한 집합을 사용하여 더 큰 정치 코퍼스에서 건강 관련 콘텐츠를 분리했습니다.
   • 의미론적 중복 제거: 근접 중복 콘텐츠를 제거하기 위해 SentenceTransformers 를 사용하여 메시지 임베딩을 생성했습니다. 코사인 거리가 0.02 미만인 메시지는 클러스터링되어 첫 번째 인스턴스만 유지되었습니다. 이를 통해 데이터셋이 5.18% 감소했습니다.
3. 전문가 주석:
   • 프로토콜: 네 명의 의료 전문가가 점진적이고 반복적인 주석 과정을 수행했습니다. 기준 정렬을 위한 파일럿 단계를 거친 후, 50 개, 300 개, 그리고 최종적으로 950 개의 무작위 선택 메시지에 대한 라운드를 진행했습니다.
   • 기준: 주석자들은 메시지를"허위 정보"또는"비허위 정보"로 분류했습니다. 이견은 다수결 (4 명 중 최소 3 명) 로 해결되었습니다.
   • 결과: 최종 골드 스탠다드 코퍼스는 950 개의 메시지로 구성되었으며 (약 30% 허위 정보, 70% 비허위 정보), Fleiss'Kappa 는 0.621 로 상당한 주석자 간 일치를 나타냈습니다.
4. 벤치마킹: 저자들은 현실적인 데이터 부족 조건 (5 회 층화 교차 검증, 8 회 반복) 하에서 세 가지 모델 계열을 평가했습니다:
   • 전통적 머신러닝 (ML): BERTimbau 와 Qwen(8B) 의 임베딩을 사용한 SVM, 로지스틱 회귀, 랜덤 포레스트, MLP, XGBoost.
   • 파인튜닝된 소형 언어 모델 (SLM): BERTimbau, RoBERTa, BERTuguês, BioBERTpt.
   • 대규모 언어 모델 (LLM): LLaMA 3.1/3.2, DeepSeek, Qwen, 독점 GPT 모델 (GPT-5.1/5.2) 을 사용한 제로샷 및 퓨샷 컨텍스트 학습 (ICL).

주요 기여

1. WhaVax 데이터셋: 암호화된 메시징 환경을 위한 최초의 의학적 검증 자원 중 하나를 대표하는, 백신 관련 WhatsApp 메시지를 다룬 새로운 전문가 주석 코퍼스.
2. 경험적 특성 분석: 허위 정보 메시지가 비허위 정보보다 훨씬 길고, 감정적 구두점 (감탄사/물음표) 이 더 많으며, 이모지를 더 많이 사용하고, 대문자 사용이 더 많다는 것을 밝혀낸 상세 분석. 어휘적으로 허위 정보는"죽음", "부작용"과 같은 위험/공포 내러티브에 의존하는 반면, 비허위 정보는 기관 출처와 일치합니다. 또한 연구는 전문가 합의가 어려웠던 모호한 사례의 하위 집합 (약 8.8%) 을 식별하여 건강 담론의 복잡성을 반영했습니다.
3. 체계적 벤치마크: 자원 제약 하의 분류 전략에 대한 비교 평가를 통해, 강력한 임베딩과 LLM 접근 방식이 작은 데이터셋으로도 경쟁력 있는 성능을 발휘할 수 있음을 입증했습니다.

결과

• 전통적 모델: 고품질 임베딩 (특히 Qwen 8B) 과 결합되었을 때 전통적 모델은 강력한 성능을 달성했습니다. Qwen 임베딩을 사용한 로지스틱 회귀는 0.791 의 최고 매크로 F1 점수를 기록하여 BERTimbau 기반 임베딩 (0.747) 을 능가했습니다. 이는 이 분야에서 표현의 질이 분류기 복잡성보다 종종 더 중요함을 시사합니다.
• 파인튜닝된 SLM: 성능은 이질적이었으며 일반적으로 강력한 임베딩을 갖춘 전통적 모델보다 낮았습니다 (예: BERTimbau: 0.712, RoBERTa: 0.580). 저자들은 이를 사전 학습 도메인과 WhatsApp 텍스트의 비공식적이고 노이즈가 많은 특성 사이의 불일치, 그리고 효과적인 적응을 위한 데이터 부족 때문으로 돌렸습니다.
• LLM(ICL): 지도 학습 튜닝 없이 제로샷 및 퓨샷 LLM 이 경쟁력 있는 성능을 보였습니다.
  • 오픈소스: LLaMA 3.1(8B) 과 DeepSeek-V3.2(685B) 는 약 0.74 의 매크로 F1 점수를 달성했습니다.
  • 독점: GPT-5.1 과 GPT-5.2 는 LLM 중 가장 높은 점수 (각각 0.786 및 0.780) 를 기록하여 통계적으로 최상의 전통적 접근 방식과 일치했습니다.
  • 오류 분석: 모델들은 허위 정보처럼 보였으나 전문가에 의해 비허위 정보로 라벨링된 매우 감정적이거나 정치화된 언어 (거짓 양성) 와, 명시적인 허위 주장 없이 불신을 조장하는 미묘하고 암시적인 메시지 (거짓 음성) 를 처리하는 데 어려움을 겪었습니다.

의의 및 주장
본 논문은 암호화된 메시징을 위한 도메인 특화 전문가 주석 데이터셋 구축이 가능하며 신뢰할 수 있는 골드 스탠다드 코퍼스를 산출한다고 주장합니다. 연구는 다음을 강조합니다:

• 양보다 질: 신중한 필터링과 전문가 검토는 효과적인 자동 탐지를 지원하는 작지만 매우 정보량이 풍부한 데이터셋을 생성할 수 있습니다.
• 표현이 핵심: 강력한 임베딩 (Qwen 의 임베딩 등) 은 더 간단한 분류기 아키텍처를 보완할 수 있어 비공식 환경에서의 허위 정보 탐지를 위한 견고한 베이스라인이 됩니다.
• LLM 의 잠재력: 제로샷 및 퓨샷 LLM 은 데이터 가용성에 의해 지도 파인튜닝이 제한된 탐지 작업에 대한 실현 가능한 대안을 제공하지만, 성능은 모델 아키텍처와 도메인 정렬에 따라 크게 달라집니다.
• 모호성: 데이터셋은 건강 담론의 의미 있는 모호성 층을 포착하여 표준 분류의 이진적 성격을 도전하고, 화용론과 문맥에 민감한 모델의 필요성을 강조합니다.

저자들은 WhaVax 를 암호화된 환경에서 계산적 모델링과 공중보건 연구를 지원하기 위한 희귀한 자원으로 위치시키며, 공개 및 비공개 플랫폼 분석 간의 간극을 메우고자 합니다. 그들은 허위 정보 문제를 해결했다고 주장하지는 않지만, 이 분야를 발전시키기 위해 필요한 인프라 (데이터 및 벤치마크) 를 제공합니다.