WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection

Technische Samenvatting: WhaVax – Een door experts geannoteerde dataset en benchmark voor detectie van gezondheidsdesinformatie

Probleemstelling
Gezondheidsdesinformatie op versleutelde berichtplatforms zoals WhatsApp vormt een aanzienlijke uitdaging voor de volksgezondheid, met name in Brazilië, waar dalende vaccinatiepercentages de kuddeimmuniteit bedreigen. In tegenstelling tot openbare sociale media, belemmeren de end-to-end-versleuteling en de semi-privé groepsstructuren van WhatsApp externe monitoring en moderatie, waardoor een "black box" ontstaat voor onderzoekers. Bestaande datasets voor vaccinatiedesinformatie zijn voornamelijk afkomstig van openbare platforms zoals Twitter/X, en slagen er niet in de unieke linguïstische, structurele en contextuele dynamiek van privé-gesprekken in groepen vast te leggen. Bovendien is er een schaarste aan hoogwaardige, door experts gevalideerde datasets in het Portugees die authentieke conversatieomgevingen weerspiegelen, wat de ontwikkeling en evaluatie van computationele detectiemodellen beperkt onder realistische beperkingen wat betreft datatekorten.

Methodologie
De auteurs presenteren WhaVax, een nieuwe dataset die is opgebouwd via een rigoureuze, meerstaps pipeline:

1. Dataverzameling: Berichten werden geoogst uit grote Braziliaanse openbare WhatsApp-groepen (toegankelijk via uitnodigingslinks) tussen 2020 en 2023. De verzameling maakte gebruik van een geautomatiseerde pipeline die tekst en metadata (afzender, groep, tijdstempel) vastlegde, terwijl persoonlijk identificeerbare informatie werd geanonimiseerd om te voldoen aan de Braziliaanse wetgeving inzake gegevensbescherming.
2. Filteren en Deduplicatie:
   • Trefwoordfiltering: Een brede reeks Portugees met vaccinatierelateerde termen (waaronder slang en verduisterde spelling zoals "v4c1n4") werd gebruikt om gezondheidsgerelateerde inhoud te isoleren uit een groter politiek corpus.
   • Semantische Deduplicatie: Om bijna-dubbele inhoud te verwijderen, werden berichtembeddings gegenereerd met SentenceTransformers. Berichten met een cosinusafstand onder de 0,02 werden geklusterd, waarbij alleen het eerste exemplaar werd behouden. Dit verkleinde de dataset met 5,18%.
3. Expertannotatie:
   • Protocol: Vier medische professionals voerden een progressief, iteratief annotatieproces uit. Dit begon met een pilotfase om criteria af te stemmen, gevolgd door rondes van 50, 300 en uiteindelijk 950 willekeurig geselecteerde berichten.
   • Criteria: Annotatoren classificeerden berichten als "desinformatie" of "niet-desinformatie". Meningsverschillen werden opgelost via meerderheidsstemming (minimaal 3 van de 4).
   • Resultaat: Het definitieve gouden standaardcorpus bestaat uit 950 berichten (ongeveer 30% desinformatie, 70% niet-desinformatie) met een Fleiss' Kappa van 0,621, wat wijst op een substantiële overeenstemming tussen annotatoren.
4. Benchmarking: De auteurs evalueerden drie families van modellen onder realistische omstandigheden van datatekorten (5-voudige gestratificeerde kruisvalidatie, 8 keer herhaald):
   • Klassiek ML: SVM, Logistische Regressie, Random Forest, MLP en XGBoost, met gebruik van embeddings van BERTimbau en Qwen (8B).
   • Gefinetuned Small Language Models (SLMs): BERTimbau, RoBERTa, BERTuguês en BioBERTpt.
   • Large Language Models (LLMs): Zero-shot en few-shot In-Context Learning (ICL) met LLaMA 3.1/3.2, DeepSeek, Qwen en propriëtaire GPT-modellen (GPT-5.1/5.2).

Belangrijkste Bijdragen

1. WhaVax Dataset: Een nieuw, door experts geannoteerd corpus van vaccinatierelateerde WhatsApp-berichten, dat een van de eerste medisch gevalideerde bronnen vertegenwoordigt voor versleutelde berichtomgevingen.
2. Empirische Karakterisering: Een gedetailleerde analyse die aantoont dat desinformatieberichten aanzienlijk langer zijn, meer emotionele leestekens (uitroeptekens/vraagtekens) bevatten, meer emoji's gebruiken en meer hoofdletters hanteren dan niet-desinformatie. Lexicaal vertrouwt desinformatie op risicovolle/angstwekkende verhalen (bijv. "dood", "bijwerkingen"), terwijl niet-desinformatie aansluit bij institutionele bronnen. De studie identificeert ook een subset van ambiguïteitsgevallen (ongeveer 8,8%) waar expertconsensus moeilijk was, wat de complexiteit van gezondheidsdiscours weerspiegelt.
3. Systematische Benchmark: Een vergelijkende evaluatie van classificatiestrategieën onder beperkingen in middelen, die aantoont dat sterke embeddings en LLM-benaderingen zelfs met kleine datasets concurrerend kunnen presteren.

Resultaten

• Klassieke Modellen: In combinatie met hoogwaardige embeddings (specifiek Qwen 8B) bereikten klassieke modellen sterke prestaties. Logistische Regressie met Qwen-embeddings bereikte de hoogste macro-F1-score van 0,791, beter dan embeddings gebaseerd op BERTimbau (0,747). Dit suggereert dat in dit domein de kwaliteit van representatie vaak zwaarder weegt dan de complexiteit van de classifier.
• Gefinetuned SLM's: De prestaties waren heterogeen en over het algemeen lager dan die van klassieke modellen met sterke embeddings (bijv. BERTimbau: 0,712, RoBERTa: 0,580). De auteurs schrijven dit toe aan een mismatch tussen pre-trainingdomeinen en het informele, ruisige karakter van WhatsApp-tekst, evenals onvoldoende data voor effectieve adaptatie.
• LLM's (ICL): Zero- en few-shot LLM's toonden concurrerende prestaties zonder toezicht op finetuning.
  • Open source: LLaMA 3.1 (8B) en DeepSeek-V3.2 (685B) behaalden macro-F1-scores dicht bij 0,74.
  • Propriëtaire: GPT-5.1 en GPT-5.2 behaalden de hoogste scores onder de LLM's (0,786 en 0,780 respectievelijk), statistisch gelijkend aan de beste klassieke aanpak.
  • Foutanalyse: Modellen hadden moeite met sterk emotionele of gepolitiseerde taal die desinformatie nabootste maar door experts als niet-desinformatie was gelabeld (vals-positieven), en met subtiele, insinuerende berichten die wantrouwen kweekten zonder expliciete valse claims (vals-negatieven).

Betekenis en Claims
Het artikel beweert dat het construeren van een domeinspecifieke, door experts geannoteerde dataset voor versleutelde berichtgeving haalbaar is en een betrouwbaar gouden standaardcorpus oplevert. De studie benadrukt dat:

• Kwaliteit boven Kwantiteit: Zorgvuldig filteren en expertreview een kleine maar zeer informatieve dataset kunnen produceren die effectieve automatische detectie ondersteunt.
• Representatie is Sleutel: Sterke embeddings (zoals die van Qwen) kunnen eenvoudigere classifierarchitecturen compenseren, waardoor ze een robuuste baseline vormen voor desinformatiedetectie in informele settings.
• LLM Potentieel: Zero- en few-shot LLM's bieden een levensvatbaar alternatief voor detectietaken waar supervised finetuning beperkt wordt door de beschikbaarheid van data, hoewel de prestaties aanzienlijk variëren afhankelijk van modelarchitectuur en domeinalignatie.
• Ambiguïteit: De dataset vangt een betekenisvolle laag van ambiguïteit in gezondheidsdiscours op, wat de binair aard van standaardclassificatie uitdaagt en de noodzaak onderstreept voor modellen die gevoelig zijn voor pragmatica en context.

De auteurs positioneren WhaVax als een zeldzame bron om computationele modellering en volksgezondheidsonderzoek in versleutelde omgevingen te ondersteunen, en overbrugt zo de kloof tussen analyse van openbare en private platforms. Zij claimen niet het desinformatieprobleem op te lossen, maar bieden de nodige infrastructuur (data en benchmarks) om het veld vooruit te helpen.