WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection

Résumé technique : WhaVax – Un jeu de données annoté par des experts et une référence pour la détection de la désinformation sanitaire

Énoncé du problème
La désinformation sanitaire sur les plateformes de messagerie chiffrée comme WhatsApp constitue un défi majeur de santé publique, particulièrement au Brésil, où la baisse des taux de vaccination menace l'immunité collective. Contrairement aux réseaux sociaux publics, le chiffrement de bout en bout et les structures de groupes semi-privés de WhatsApp entravent la surveillance et la modération externes, créant une « boîte noire » pour les chercheurs. Les jeux de données existants sur la désinformation vaccinale proviennent principalement de plateformes publiques comme Twitter/X, échouant à capturer les dynamiques linguistiques, structurelles et contextuelles uniques des conversations de groupes privés. De plus, la rareté de jeux de données de haute qualité, validés par des experts et en portugais, reflétant des environnements conversationnels authentiques, limite le développement et l'évaluation des modèles de détection computationnelle dans des conditions réalistes de pénurie de données.

Méthodologie
Les auteurs présentent WhaVax, un nouveau jeu de données construit via un pipeline rigoureux en plusieurs étapes :

1. Collecte de données : Des messages ont été extraits de grands groupes publics WhatsApp brésiliens (accessibles via des liens d'invitation) entre 2020 et 2023. La collecte a utilisé un pipeline automatisé capturant le texte et les métadonnées (expéditeur, groupe, horodatage) tout en anonymisant les informations personnellement identifiables pour se conformer aux lois brésiliennes sur la protection des données.
2. Filtrage et déduplication :
   • Filtrage par mots-clés : Un ensemble large de termes portugais liés à la vaccination (incluant l'argot et les orthographes obscurcies comme « v4c1n4 ») a été utilisé pour isoler le contenu lié à la santé d'un corpus politique plus vaste.
   • Déduplication sémantique : Pour éliminer le contenu quasi-dupliqué, des plongements de messages (message embeddings) ont été générés à l'aide de SentenceTransformers. Les messages dont la distance cosinus était inférieure à 0,02 ont été regroupés, en ne conservant que la première occurrence. Cela a réduit le jeu de données de 5,18 %.
3. Annotation par des experts :
   • Protocole : Quatre professionnels de la santé ont mené un processus d'annotation progressif et itératif. Il a débuté par une phase pilote pour aligner les critères, suivi de tours de 50, 300 et enfin 950 messages sélectionnés au hasard.
   • Critères : Les annotateurs ont classé les messages comme « désinformation » ou « non-désinformation ». Les désaccords ont été résolus par vote majoritaire (au moins 3 voix sur 4).
   • Résultat : Le corpus de référence final comprend 950 messages (environ 30 % de désinformation, 70 % de non-désinformation) avec un Kappa de Fleiss de 0,621, indiquant un accord substantiel entre les annotateurs.
4. Évaluation comparative (Benchmarking) : Les auteurs ont évalué trois familles de modèles dans des conditions réalistes de pénurie de données (validation croisée stratifiée en 5 plis, répétée 8 fois) :
   • Apprentissage automatique classique (ML) : SVM, Régression logistique, Forêt aléatoire, MLP et XGBoost, utilisant des plongements de BERTimbau et Qwen (8B).
   • Modèles de langage de petite taille (SLM) affinés : BERTimbau, RoBERTa, BERTuguês et BioBERTpt.
   • Modèles de langage de grande taille (LLM) : Apprentissage en contexte (ICL) en zéro-shot et few-shot utilisant LLaMA 3.1/3.2, DeepSeek, Qwen et des modèles GPT propriétaires (GPT-5.1/5.2).

Contributions clés

1. Jeu de données WhaVax : Un corpus nouveau, annoté par des experts, de messages WhatsApp liés aux vaccins, représentant l'une des premières ressources médicalement validées pour les environnements de messagerie chiffrée.
2. Caractérisation empirique : Une analyse détaillée révélant que les messages de désinformation sont significativement plus longs, contiennent plus de ponctuation émotionnelle (points d'exclamation/interrogation), utilisent plus d'émojis et emploient davantage de majuscules que les messages non désinformation. Lexicalement, la désinformation s'appuie sur des récits de risque/peur (par exemple, « mort », « effets secondaires »), tandis que la non-désinformation s'aligne sur des sources institutionnelles. L'étude identifie également un sous-ensemble de cas ambigus (environ 8,8 %) où le consensus des experts était difficile, reflétant la complexité du discours sanitaire.
3. Référence systématique : Une évaluation comparative des stratégies de classification sous contraintes de ressources, démontrant que de bons plongements et les approches LLM peuvent performer de manière compétitive même avec de petits jeux de données.

Résultats

• Modèles classiques : Couplés à des plongements de haute qualité (spécifiquement Qwen 8B), les modèles classiques ont atteint de fortes performances. La régression logistique avec des plongements Qwen a atteint le score macro-F1 le plus élevé de 0,791, surpassant les plongements basés sur BERTimbau (0,747). Cela suggère que la qualité de la représentation l'emporte souvent sur la complexité du classificateur dans ce domaine.
• SLM affinés : Les performances étaient hétérogènes et généralement inférieures à celles des modèles classiques avec de bons plongements (par exemple, BERTimbau : 0,712, RoBERTa : 0,580). Les auteurs attribuent cela à un décalage entre les domaines de pré-entraînement et la nature informelle et bruyante du texte WhatsApp, ainsi qu'à des données insuffisantes pour une adaptation efficace.
• LLM (ICL) : Les LLM en zéro-shot et few-shot ont démontré des performances compétitives sans ajustement supervisé.
  • Open-source : LLaMA 3.1 (8B) et DeepSeek-V3.2 (685B) ont atteint des scores macro-F1 proches de 0,74.
  • Propriétaires : GPT-5.1 et GPT-5.2 ont obtenu les scores les plus élevés parmi les LLM (0,786 et 0,780 respectivement), correspondant statistiquement à la meilleure approche classique.
  • Analyse des erreurs : Les modèles ont eu des difficultés avec un langage hautement émotionnel ou politisé imitant la désinformation mais étiqueté comme non-désinformation par les experts (faux positifs), et avec des messages subtils et insinuants favorisant la méfiance sans affirmations fausses explicites (faux négatifs).

Signification et affirmations
L'article affirme que la construction d'un jeu de données spécifique à un domaine, annoté par des experts, pour la messagerie chiffrée est réalisable et produit un corpus de référence fiable. L'étude souligne que :

• Qualité des données plutôt que quantité : Un filtrage minutieux et un examen par des experts peuvent produire un petit jeu de données hautement informatif qui soutient une détection automatique efficace.
• La représentation est cruciale : De bons plongements (comme ceux de Qwen) peuvent compenser des architectures de classificateurs plus simples, en faisant une base robuste pour la détection de la désinformation dans des contextes informels.
• Potentiel des LLM : Les LLM en zéro-shot et few-shot offrent une alternative viable pour les tâches de détection où l'affinement supervisé est contraint par la disponibilité des données, bien que les performances varient considérablement selon l'architecture du modèle et l'alignement avec le domaine.
• Ambiguïté : Le jeu de données capture une couche significative d'ambiguïté dans le discours sanitaire, remettant en question la nature binaire de la classification standard et soulignant le besoin de modèles sensibles à la pragmatique et au contexte.

Les auteurs positionnent WhaVax comme une ressource rare pour soutenir la modélisation computationnelle et la recherche en santé publique dans des environnements chiffrés, comblant le fossé entre l'analyse des plateformes publiques et privées. Ils ne prétendent pas résoudre le problème de la désinformation, mais fournissent l'infrastructure nécessaire (données et références) pour faire avancer le domaine.