WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection

技術概要：WhaVax – 健康誤情報検出のための専門家による注釈付きデータセットおよびベンチマーク

問題定義
WhatsApp などの暗号化メッセージングプラットフォームにおける健康誤情報は、特に集団免疫を脅かすワクチン接種率の低下が見られるブラジルにおいて、重大な公衆衛生上の課題を提起している。公開されたソーシャルメディアとは異なり、WhatsApp のエンドツーエンド暗号化と半非公開のグループ構造は、外部による監視やモデレーションを妨げ、研究者にとっての「ブラックボックス」を生み出している。既存のワクチン誤情報データセットは、主に Twitter/X などの公開プラットフォームから収集されたものであり、非公開グループ会話の独自の言語的、構造的、文脈的ダイナミクスを捉えきれていない。さらに、現実的なデータ不足の制約下での計算機検出モデルの開発と評価を制限する、高品質で専門家による検証がなされたポルトガル語データセットの不足が存在する。

手法
著者は、厳格な多段階パイプラインを通じて構築された新しいデータセット WhaVax を提示する。

1. データ収集: 2020 年から 2023 年にかけて、招待リンクを介してアクセス可能な大規模なブラジル人の公開 WhatsApp グループからメッセージを収集した。収集には、送信者、グループ、タイムスタンプなどのテキストとメタデータを取得する自動化パイプラインが用いられ、ブラジルのデータ保護法に準拠するため個人を特定可能な情報は匿名化された。
2. フィルタリングと重複除去:
   • キーワードフィルタリング: ポルトガル語のワクチン接種に関連する広範な用語（スラングや「v4c1n4」のような隠蔽された綴りを含む）を用いて、より大きな政治的コーパスから健康関連コンテンツを抽出した。
   • 意味的重複除去: ほぼ重複するコンテンツを除去するため、SentenceTransformers を使用してメッセージの埋め込みを生成した。コサイン距離が 0.02 未満のメッセージをクラスタリングし、最初のインスタンスのみを保持した。これによりデータセットは 5.18% 削減された。
3. 専門家による注釈:
   • プロトコル: 4 人の医療専門家が、段階的かつ反復的な注釈プロセスを実施した。基準の整合性を図るためのパイロットフェーズに続き、50 件、300 件、最終的に 950 件のランダムに選択されたメッセージのラウンドが行われた。
   • 基準: 注釈者はメッセージを「誤情報」または「非誤情報」として分類した。不一致は多数決（4 人中少なくとも 3 人）によって解決された。
   • 結果: 最終的なゴールドスタンダードコーパスは 950 件のメッセージ（約 30% が誤情報、70% が非誤情報）で構成され、Fleiss' Kappa は 0.621 であり、注釈者間の合意が実質的であることを示している。
4. ベンチマーク: 著者は、現実的なデータ不足の条件下（8 回繰り返された 5 層の層化交差検証）で 3 つのモデルファミリーを評価した。
   • 古典的機械学習: BERTimbau と Qwen (8B) からの埋め込みを使用した、SVM、ロジスティック回帰、ランダムフォレスト、MLP、XGBoost。
   • ファインチューニングされた小規模言語モデル (SLM): BERTimbau、RoBERTa、BERTuguês、BioBERTpt。
   • 大規模言語モデル (LLM): LLaMA 3.1/3.2、DeepSeek、Qwen、および独自 GPT モデル（GPT-5.1/5.2）を使用した、ゼロショットおよびフューショットのインコンテキスト学習 (ICL)。

主な貢献

1. WhaVax データセット: ワクチン関連の WhatsApp メッセージの、専門家による注釈付きの新しいコーパス。暗号化メッセージング環境における最初の医学的に検証されたリソースの一つである。
2. 経験的特徴付け: 誤情報メッセージは非誤情報に比べて有意に長く、感情的な句読点（感嘆符/疑問符）を多く含み、絵文字をより多く使用し、大文字をより多く用いることを詳細な分析が明らかにした。語彙的には、誤情報は「死」や「副作用」などのリスク/恐怖の物語に依存するのに対し、非誤情報は機関源と整合する。また、専門家の合意が困難な曖昧なケースのサブセット（約 8.8%）も特定されており、健康議論の複雑さを反映している。
3. 体系的ベンチマーク: リソース制約下での分類戦略の比較評価。強力な埋め込みと LLM アプローチが、小規模データセットであっても競争力のあるパフォーマンスを発揮しうることを実証した。

結果

• 古典的モデル: 高品質な埋め込み（特に Qwen 8B）と組み合わせられた場合、古典的モデルは強力なパフォーマンスを達成した。Qwen 埋め込みを用いたロジスティック回帰は、BERTimbau ベースの埋め込み (0.747) を上回る、最高のマクロ F1 スコア 0.791 に達した。これは、この分野において表現の質が分類器の複雑さよりも重要であることを示唆している。
• ファインチューニングされた SLM: パフォーマンスは不均質であり、強力な埋め込みを備えた古典的モデルよりも全体的に低かった（例：BERTimbau: 0.712, RoBERTa: 0.580）。著者はこれを、事前学習ドメインと WhatsApp テキストの非公式でノイズの多い性質との不一致、および効果的な適応のための不十分なデータに起因すると考えている。
• LLM (ICL): ゼロショットおよびフューショット LLM は、教師ありチューニングなしで競争力のあるパフォーマンスを示した。
  • オープンソース: LLaMA 3.1 (8B) と DeepSeek-V3.2 (685B) は、マクロ F1 スコアが 0.74 付近に達した。
  • 独自: GPT-5.1 と GPT-5.2 は、LLM 間で最高スコア（それぞれ 0.786 と 0.780）を達成し、統計的に最良の古典的アプローチと同等であった。
  • エラー分析: モデルは、誤情報に似ており専門家によって非誤情報とラベル付けされた（偽陽性）、非常に感情的または政治的な言語に苦戦した。また、明示的な虚偽の主張なしに不信感を醸成する微妙で暗示的なメッセージ（偽陰性）にも苦戦した。

意義と主張
本論文は、暗号化メッセージングのためのドメイン固有の専門家による注釈付きデータセットの構築が可能であり、信頼性の高いゴールドスタンダードコーパスを生み出すと主張している。本研究は以下の点を強調している。

• 量より質: 慎重なフィルタリングと専門家によるレビューは、効果的な自動検出を支援する小規模だが非常に情報量の多いデータセットを生み出すことができる。
• 表現が鍵: 強力な埋め込み（Qwen からのものなど）は、より単純な分類器アーキテクチャを補完でき、非公式な環境における誤情報検出のための堅牢なベースラインとなる。
• LLM の可能性: ゼロショットおよびフューショット LLM は、データ利用の制約により教師ありファインチューニングが制限される検出タスクに対する実用的な代替手段を提供するが、パフォーマンスはモデルアーキテクチャとドメインの整合性に基づいて大きく変動する。
• 曖昧さ: データセットは健康議論における意味のある曖昧さの層を捉えており、標準的な分類の二項性を挑戦し、語用論と文脈に敏感なモデルの必要性を強調している。

著者は、WhaVax を、暗号化環境における計算モデリングと公衆衛生研究を支援する稀有なリソースとして位置づけ、公開プラットフォームと非公開プラットフォームの分析の間のギャップを埋めるものとしている。彼らは誤情報問題を解決したと主張するのではなく、この分野を進展させるために必要なインフラ（データとベンチマーク）を提供していると述べている。