WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection

Resumo Técnico: WhaVax – Um Conjunto de Dados Anotado por Especialistas e um Benchmark para Detecção de Desinformação em Saúde

Declaração do Problema
A desinformação em saúde em plataformas de mensagens criptografadas, como o WhatsApp, representa um desafio significativo de saúde pública, particularmente no Brasil, onde a queda nas taxas de vacinação ameaça a imunidade de rebanho. Diferentemente das redes sociais públicas, a criptografia de ponta a ponta e as estruturas de grupos semi-privados do WhatsApp dificultam a monitorização e moderação externas, criando uma "caixa preta" para pesquisadores. Os conjuntos de dados existentes para desinformação sobre vacinas são predominantemente provenientes de plataformas públicas como o Twitter/X, falhando em capturar as dinâmicas linguísticas, estruturais e contextuais únicas das conversas em grupos privados. Além disso, há uma escassez de conjuntos de dados de alta qualidade e validados por especialistas em português que reflitam ambientes conversacionais autênticos, limitando o desenvolvimento e a avaliação de modelos computacionais de detecção sob restrições realistas de escassez de dados.

Metodologia
Os autores apresentam o WhaVax, um novo conjunto de dados construído por meio de um pipeline rigoroso e multifase:

1. Coleta de Dados: Mensagens foram extraídas de grandes grupos públicos brasileiros do WhatsApp (acessíveis via links de convite) entre 2020 e 2023. A coleta utilizou um pipeline automatizado que capturou texto e metadados (remetente, grupo, carimbo de data/hora), ao mesmo tempo que anonimizou informações de identificação pessoal para cumprir as leis brasileiras de proteção de dados.
2. Filtragem e Deduplicação:
   • Filtragem por Palavras-chave: Um conjunto amplo de termos em português relacionados à vacinação (incluindo gírias e grafias ofuscadas como "v4c1n4") foi utilizado para isolar conteúdo relacionado à saúde de um corpus político maior.
   • Deduplicação Semântica: Para remover conteúdo quase duplicado, foram gerados embeddings de mensagens usando SentenceTransformers. Mensagens com distância cosseno inferior a 0,02 foram agrupadas, mantendo apenas a primeira instância. Isso reduziu o conjunto de dados em 5,18%.
3. Anotação por Especialistas:
   • Protocolo: Quatro profissionais de saúde conduziram um processo de anotação progressivo e iterativo. Iniciou-se com uma fase piloto para alinhar critérios, seguida por rodadas de 50, 300 e, finalmente, 950 mensagens selecionadas aleatoriamente.
   • Critérios: Os anotadores classificaram as mensagens como "desinformação" ou "não desinformação". Discordâncias foram resolvidas por votação majoritária (pelo menos 3 de 4).
   • Resultado: O corpus final de padrão-ouro consiste em 950 mensagens (aproximadamente 30% desinformação, 70% não desinformação) com um Kappa de Fleiss de 0,621, indicando concordância substancial entre os anotadores.
4. Benchmarking: Os autores avaliaram três famílias de modelos sob condições realistas de escassez de dados (validação cruzada estratificada de 5 dobras, repetida 8 vezes):
   • ML Clássico: SVM, Regressão Logística, Random Forest, MLP e XGBoost, utilizando embeddings de BERTimbau e Qwen (8B).
   • Modelos de Linguagem Pequenos (SLMs) Ajustados: BERTimbau, RoBERTa, BERTuguês e BioBERTpt.
   • Modelos de Linguagem Grandes (LLMs): Aprendizado em Contexto (ICL) zero-shot e few-shot usando LLaMA 3.1/3.2, DeepSeek, Qwen e modelos proprietários GPT (GPT-5.1/5.2).

Principais Contribuições

1. Conjunto de Dados WhaVax: Um corpus inédito e anotado por especialistas de mensagens do WhatsApp relacionadas a vacinas, representando um dos primeiros recursos validados medicalmente para ambientes de mensagens criptografadas.
2. Caracterização Empírica: Uma análise detalhada revelando que mensagens de desinformação são significativamente mais longas, contêm mais pontuação emocional (exclamação/interrogação), usam mais emojis e empregam mais capitalização do que mensagens de não desinformação. Lexicalmente, a desinformação recorre a narrativas de risco/medo (por exemplo, "morte", "efeitos colaterais"), enquanto a não desinformação alinha-se a fontes institucionais. O estudo também identifica um subconjunto de casos ambíguos (aproximadamente 8,8%) onde o consenso entre especialistas foi difícil, refletindo a complexidade do discurso em saúde.
3. Benchmark Sistemático: Uma avaliação comparativa de estratégias de classificação sob restrições de recursos, demonstrando que embeddings robustos e abordagens com LLMs podem desempenhar de forma competitiva mesmo com conjuntos de dados pequenos.

Resultados

• Modelos Clássicos: Quando acoplados a embeddings de alta qualidade (especificamente Qwen 8B), os modelos clássicos alcançaram desempenho forte. A Regressão Logística com embeddings Qwen atingiu a maior pontuação macro-F1 de 0,791, superando embeddings baseados em BERTimbau (0,747). Isso sugere que a qualidade da representação frequentemente supera a complexidade do classificador neste domínio.
• SLMs Ajustados: O desempenho foi heterogêneo e geralmente inferior ao dos modelos clássicos com embeddings fortes (por exemplo, BERTimbau: 0,712, RoBERTa: 0,580). Os autores atribuem isso a uma incompatibilidade entre os domínios de pré-treinamento e a natureza informal e ruidosa do texto do WhatsApp, bem como a dados insuficientes para adaptação eficaz.
• LLMs (ICL): LLMs zero-shot e few-shot demonstraram desempenho competitivo sem ajuste supervisionado.
  • Código aberto: LLaMA 3.1 (8B) e DeepSeek-V3.2 (685B) alcançaram pontuações macro-F1 próximas a 0,74.
  • Proprietários: GPT-5.1 e GPT-5.2 alcançaram as maiores pontuações entre os LLMs (0,786 e 0,780, respectivamente), correspondendo estatisticamente à melhor abordagem clássica.
  • Análise de Erros: Os modelos tiveram dificuldade com linguagem altamente emocional ou politizada que imitava desinformação, mas foi classificada como não desinformação por especialistas (falsos positivos), e com mensagens sutis e insinuantes que fomentavam desconfiança sem alegações falsas explícitas (falsos negativos).

Significado e Afirmações
O artigo afirma que a construção de um conjunto de dados específico de domínio e anotado por especialistas para mensagens criptografadas é viável e produz um corpus de padrão-ouro confiável. O estudo destaca que:

• Qualidade dos Dados sobre Quantidade: Filtragem cuidadosa e revisão por especialistas podem produzir um conjunto de dados pequeno, mas altamente informativo, que suporta detecção automática eficaz.
• Representação é Fundamental: Embeddings fortes (como os do Qwen) podem compensar arquiteturas de classificador mais simples, tornando-os uma linha de base robusta para detecção de desinformação em ambientes informais.
• Potencial dos LLMs: LLMs zero-shot e few-shot oferecem uma alternativa viável para tarefas de detecção onde o ajuste fino supervisionado é limitado pela disponibilidade de dados, embora o desempenho varie significativamente com base na arquitetura do modelo e no alinhamento de domínio.
• Ambiguidade: O conjunto de dados captura uma camada significativa de ambiguidade no discurso em saúde, desafiando a natureza binária da classificação padrão e sublinhando a necessidade de modelos sensíveis à pragmática e ao contexto.

Os autores posicionam o WhaVax como um recurso raro para apoiar a modelagem computacional e a pesquisa em saúde pública em ambientes criptografados, preenchendo a lacuna entre a análise de plataformas públicas e privadas. Eles não afirmam resolver o problema da desinformação, mas fornecem a infraestrutura necessária (dados e benchmarks) para avançar o campo.