WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection

Resumen Técnico: WhaVax – Un Conjunto de Datos Anotado por Expertos y un Punto de Referencia para la Detección de Desinformación en Salud

Planteamiento del Problema
La desinformación en salud en plataformas de mensajería cifrada como WhatsApp representa un desafío significativo para la salud pública, particularmente en Brasil, donde la disminución de las tasas de vacunación amenaza la inmunidad de rebaño. A diferencia de las redes sociales públicas, el cifrado de extremo a extremo y las estructuras de grupos semiprivados de WhatsApp dificultan la supervisión y moderación externas, creando una "caja negra" para los investigadores. Los conjuntos de datos existentes sobre desinformación vacunal provienen predominantemente de plataformas públicas como Twitter/X, lo que impide capturar las dinámicas lingüísticas, estructurales y contextuales únicas de las conversaciones en grupos privados. Además, existe una escasez de conjuntos de datos de alta calidad y validados por expertos en portugués que reflejen entornos conversacionales auténticos, limitando el desarrollo y la evaluación de modelos computacionales de detección bajo restricciones realistas de escasez de datos.

Metodología
Los autores presentan WhaVax, un nuevo conjunto de datos construido mediante una tubería rigurosa y multifase:

1. Recopilación de Datos: Los mensajes se obtuvieron de grandes grupos públicos de WhatsApp en Brasil (accesibles mediante enlaces de invitación) entre 2020 y 2023. La recopilación utilizó una tubería automatizada que capturó texto y metadatos (remitente, grupo, marca de tiempo) mientras anonimizaba la información de identificación personal para cumplir con las leyes brasileñas de protección de datos.
2. Filtrado y Duplicación:
   • Filtrado por Palabras Clave: Se utilizó un amplio conjunto de términos en portugués relacionados con la vacunación (incluyendo jerga y ortografías ofuscadas como "v4c1n4") para aislar el contenido relacionado con la salud de un corpus político más amplio.
   • Deduplicación Semántica: Para eliminar contenido casi duplicado, se generaron incrustaciones de mensajes utilizando SentenceTransformers. Los mensajes con una distancia coseno inferior a 0.02 se agruparon, conservando solo la primera instancia. Esto redujo el conjunto de datos en un 5.18%.
3. Anotación por Expertos:
   • Protocolo: Cuatro profesionales médicos realizaron un proceso de anotación progresivo e iterativo. Comenzó con una fase piloto para alinear los criterios, seguido de rondas de 50, 300 y finalmente 950 mensajes seleccionados aleatoriamente.
   • Criterios: Los anotadores clasificaron los mensajes como "desinformación" o "no desinformación". Los desacuerdos se resolvieron mediante votación mayoritaria (al menos 3 de 4).
   • Resultado: El corpus final de referencia consta de 950 mensajes (aproximadamente 30% desinformación, 70% no desinformación) con un Kappa de Fleiss de 0.621, lo que indica un acuerdo sustancial entre anotadores.
4. Punto de Referencia (Benchmarking): Los autores evaluaron tres familias de modelos bajo condiciones realistas de escasez de datos (validación cruzada estratificada de 5 pliegues, repetida 8 veces):
   • ML Clásico: SVM, Regresión Logística, Random Forest, MLP y XGBoost, utilizando incrustaciones de BERTimbau y Qwen (8B).
   • Modelos de Lenguaje Pequeños (SLM) Ajustados: BERTimbau, RoBERTa, BERTuguês y BioBERTpt.
   • Modelos de Lenguaje Grandes (LLM): Aprendizaje en contexto (ICL) de cero y pocos ejemplos utilizando LLaMA 3.1/3.2, DeepSeek, Qwen y modelos GPT propietarios (GPT-5.1/5.2).

Contribuciones Clave

1. Conjunto de Datos WhaVax: Un corpus novedoso y anotado por expertos de mensajes de WhatsApp relacionados con vacunas, que representa uno de los primeros recursos validados médicamente para entornos de mensajería cifrada.
2. Caracterización Empírica: Un análisis detallado que revela que los mensajes de desinformación son significativamente más largos, contienen más puntuación emocional (signos de exclamación/pregunta), utilizan más emojis y emplean más mayúsculas que la no desinformación. Léxicamente, la desinformación se basa en narrativas de riesgo/miedo (por ejemplo, "muerte", "efectos secundarios"), mientras que la no desinformación se alinea con fuentes institucionales. El estudio también identifica un subconjunto de casos ambiguos (aproximadamente 8.8%) donde el consenso de expertos fue difícil, reflejando la complejidad del discurso en salud.
3. Punto de Referencia Sistemático: Una evaluación comparativa de estrategias de clasificación bajo restricciones de recursos, demostrando que incrustaciones sólidas y enfoques de LLM pueden rendir de manera competitiva incluso con conjuntos de datos pequeños.

Resultados

• Modelos Clásicos: Cuando se combinaron con incrustaciones de alta calidad (específicamente Qwen 8B), los modelos clásicos lograron un rendimiento sólido. La Regresión Logística con incrustaciones de Qwen alcanzó la puntuación macro-F1 más alta de 0.791, superando a las incrustaciones basadas en BERTimbau (0.747). Esto sugiere que la calidad de la representación a menudo supera la complejidad del clasificador en este dominio.
• SLM Ajustados: El rendimiento fue heterogéneo y generalmente inferior al de los modelos clásicos con incrustaciones sólidas (por ejemplo, BERTimbau: 0.712, RoBERTa: 0.580). Los autores atribuyen esto a una discrepancia entre los dominios de preentrenamiento y la naturaleza informal y ruidosa del texto de WhatsApp, así como a datos insuficientes para una adaptación efectiva.
• LLM (ICL): Los LLM de cero y pocos ejemplos demostraron un rendimiento competitivo sin ajuste supervisado.
  • Código abierto: LLaMA 3.1 (8B) y DeepSeek-V3.2 (685B) alcanzaron puntuaciones macro-F1 cercanas a 0.74.
  • Propietarios: GPT-5.1 y GPT-5.2 alcanzaron las puntuaciones más altas entre los LLM (0.786 y 0.780, respectivamente), igualando estadísticamente el mejor enfoque clásico.
  • Análisis de Errores: Los modelos tuvieron dificultades con lenguaje altamente emocional o politizado que imitaba la desinformación pero fue etiquetado como no desinformación por expertos (falsos positivos), y con mensajes sutiles e insinuantes que fomentaban la desconfianza sin afirmaciones falsas explícitas (falsos negativos).

Significado y Afirmaciones
El artículo afirma que la construcción de un conjunto de datos específico del dominio y anotado por expertos para mensajería cifrada es viable y produce un corpus de referencia confiable. El estudio destaca que:

• Calidad de los Datos sobre Cantidad: El filtrado cuidadoso y la revisión por expertos pueden producir un conjunto de datos pequeño pero altamente informativo que apoye la detección automática efectiva.
• La Representación es Clave: Incrustaciones sólidas (como las de Qwen) pueden compensar arquitecturas de clasificadores más simples, convirtiéndolas en una línea base robusta para la detección de desinformación en entornos informales.
• Potencial de los LLM: Los LLM de cero y pocos ejemplos ofrecen una alternativa viable para tareas de detección donde el ajuste fino supervisado está limitado por la disponibilidad de datos, aunque el rendimiento varía significativamente según la arquitectura del modelo y la alineación con el dominio.
• Ambigüedad: El conjunto de datos captura una capa significativa de ambigüedad en el discurso de salud, desafiando la naturaleza binaria de la clasificación estándar y subrayando la necesidad de modelos sensibles a la pragmática y el contexto.

Los autores posicionan a WhaVax como un recurso raro para apoyar la modelación computacional y la investigación en salud pública en entornos cifrados, cerrando la brecha entre el análisis de plataformas públicas y privadas. No afirman resolver el problema de la desinformación, sino proporcionar la infraestructura necesaria (datos y puntos de referencia) para avanzar en el campo.