WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection

Sintesi Tecnica: WhaVax – Un Dataset e un Benchmark Annotati da Esperti per il Rilevamento della Disinformazione Sanitaria

Enunciato del Problema
La disinformazione sanitaria sulle piattaforme di messaggistica crittografata come WhatsApp rappresenta una sfida significativa per la salute pubblica, in particolare in Brasile, dove il calo dei tassi di vaccinazione minaccia l'immunità di gregge. A differenza dei social media pubblici, la crittografia end-to-end e le strutture di gruppo semi-private di WhatsApp ostacolano il monitoraggio e la moderazione esterni, creando una "scatola nera" per i ricercatori. I dataset esistenti per la disinformazione sui vaccini sono prevalentemente tratti da piattaforme pubbliche come Twitter/X, non riuscendo a catturare le dinamiche linguistiche, strutturali e contestuali uniche delle conversazioni in gruppi privati. Inoltre, vi è una scarsità di dataset di alta qualità, validati da esperti, in portoghese che riflettano ambienti conversazionali autentici, limitando lo sviluppo e la valutazione di modelli computazionali di rilevamento in condizioni realistiche di scarsità di dati.

Metodologia
Gli autori presentano WhaVax, un nuovo dataset costruito attraverso una pipeline rigorosa e multistadio:

1. Raccolta Dati: I messaggi sono stati estratti da grandi gruppi pubblici WhatsApp brasiliani (accessibili tramite link di invito) tra il 2020 e il 2023. La raccolta ha utilizzato una pipeline automatizzata che catturava testo e metadati (mittente, gruppo, timestamp) anonimizzando le informazioni identificative personali per conformarsi alle leggi brasiliane sulla protezione dei dati.
2. Filtraggio e Duplicazione:
   • Filtraggio per Parole Chiave: Un ampio set di termini portoghesi relativi alla vaccinazione (inclusi slang e grafie oscurate come "v4c1n4") è stato utilizzato per isolare i contenuti sanitari da un più ampio corpus politico.
   • Deduplicazione Semantica: Per rimuovere contenuti quasi duplicati, sono stati generati embedding dei messaggi utilizzando SentenceTransformers. I messaggi con una distanza coseno inferiore a 0,02 sono stati raggruppati, mantenendo solo la prima istanza. Ciò ha ridotto il dataset del 5,18%.
3. Annotazione da Parte di Esperti:
   • Protocollo: Quattro professionisti medici hanno condotto un processo di annotazione progressivo e iterativo. È iniziato con una fase pilota per allineare i criteri, seguito da round di 50, 300 e infine 950 messaggi selezionati casualmente.
   • Criteri: Gli annotatori hanno classificato i messaggi come "disinformazione" o "non disinformazione". I disaccordi sono stati risolti tramite voto di maggioranza (almeno 3 su 4).
   • Esito: Il corpus finale gold-standard consiste in 950 messaggi (circa il 30% disinformazione, il 70% non disinformazione) con un Kappa di Fleiss di 0,621, indicando un sostanziale accordo tra gli annotatori.
4. Benchmarking: Gli autori hanno valutato tre famiglie di modelli in condizioni realistiche di scarsità di dati (validazione incrociata stratificata a 5 fold, ripetuta 8 volte):
   • ML Classico: SVM, Regressione Logistica, Random Forest, MLP e XGBoost, utilizzando embedding da BERTimbau e Qwen (8B).
   • Modelli Linguistici di Piccole Dimensioni (SLM) Affinati: BERTimbau, RoBERTa, BERTuguês e BioBERTpt.
   • Modelli Linguistici di Grandi Dimensioni (LLM): Apprendimento Contestuale (ICL) a zero-shot e few-shot utilizzando LLaMA 3.1/3.2, DeepSeek, Qwen e modelli GPT proprietari (GPT-5.1/5.2).

Contributi Chiave

1. Dataset WhaVax: Un corpus innovativo, annotato da esperti, di messaggi WhatsApp relativi ai vaccini, che rappresenta una delle prime risorse validate medicalmente per ambienti di messaggistica crittografata.
2. Caratterizzazione Empirica: Un'analisi dettagliata che rivela come i messaggi di disinformazione siano significativamente più lunghi, contengano più punteggiatura emotiva (punti esclamativi/interrogativi), utilizzino più emoji e impieghino più maiuscole rispetto ai messaggi non disinformazione. Lessicalmente, la disinformazione fa affidamento su narrazioni di rischio/paura (es. "morte", "effetti collaterali"), mentre la non disinformazione si allinea con fonti istituzionali. Lo studio identifica anche un sottoinsieme di casi ambigui (circa l'8,8%) in cui il consenso degli esperti è stato difficile, riflettendo la complessità del discorso sanitario.
3. Benchmark Sistematico: Una valutazione comparativa delle strategie di classificazione sotto vincoli di risorse, dimostrando che embedding di alta qualità e approcci basati su LLM possono performare in modo competitivo anche con dataset piccoli.

Risultati

• Modelli Classici: Quando accoppiati con embedding di alta qualità (in particolare Qwen 8B), i modelli classici hanno raggiunto prestazioni solide. La Regressione Logistica con embedding Qwen ha raggiunto il punteggio macro-F1 più alto di 0,791, superando gli embedding basati su BERTimbau (0,747). Ciò suggerisce che la qualità della rappresentazione spesso supera la complessità del classificatore in questo dominio.
• SLM Affinati: Le prestazioni sono state eterogenee e generalmente inferiori rispetto ai modelli classici con embedding forti (es. BERTimbau: 0,712, RoBERTa: 0,580). Gli autori attribuiscono ciò a una discrepanza tra i domini di pre-addestramento e la natura informale e rumorosa del testo WhatsApp, nonché a dati insufficienti per un adattamento efficace.
• LLM (ICL): Gli LLM a zero-shot e few-shot hanno dimostrato prestazioni competitive senza sintonizzazione supervisionata.
  • Open-source: LLaMA 3.1 (8B) e DeepSeek-V3.2 (685B) hanno raggiunto punteggi macro-F1 vicini a 0,74.
  • Proprietari: GPT-5.1 e GPT-5.2 hanno ottenuto i punteggi più alti tra gli LLM (0,786 e 0,780 rispettivamente), corrispondendo statisticamente al miglior approccio classico.
  • Analisi degli Errori: I modelli hanno faticato con linguaggio altamente emotivo o politicizzato che imitava la disinformazione ma era etichettato come non disinformazione dagli esperti (falsi positivi), e con messaggi sottili e insinuanti che alimentavano la sfiducia senza affermazioni false esplicite (falsi negativi).

Significato e Affermazioni
Il paper afferma che la costruzione di un dataset specifico per il dominio, annotato da esperti, per la messaggistica crittografata è fattibile e produce un corpus gold-standard affidabile. Lo studio evidenzia che:

• Qualità dei Dati sopra la Quantità: Un filtraggio attento e una revisione da parte di esperti possono produrre un dataset piccolo ma altamente informativo che supporta un rilevamento automatico efficace.
• La Rappresentazione è Fondamentale: Embedding forti (come quelli di Qwen) possono compensare architetture di classificatori più semplici, rendendoli una baseline robusta per il rilevamento della disinformazione in contesti informali.
• Potenziale degli LLM: Gli LLM a zero-shot e few-shot offrono un'alternativa praticabile per compiti di rilevamento in cui l'affinamento supervisionato è vincolato dalla disponibilità di dati, sebbene le prestazioni varino significativamente in base all'architettura del modello e all'allineamento con il dominio.
• Ambiguità: Il dataset cattura un livello significativo di ambiguità nel discorso sanitario, sfidando la natura binaria della classificazione standard e sottolineando la necessità di modelli sensibili alla pragmatica e al contesto.

Gli autori posizionano WhaVax come una risorsa rara per supportare la modellazione computazionale e la ricerca sulla salute pubblica in ambienti crittografati, colmando il divario tra l'analisi delle piattaforme pubbliche e private. Non affermano di risolvere il problema della disinformazione, ma forniscono l'infrastruttura necessaria (dati e benchmark) per far avanzare il settore.