Investigating Vaccine Buyer's Remorse: Post-Vaccination Decision Regret in COVID-19 Social Media Using Politically Diverse Human Annotation

Este artigo apresenta a criação de um novo conjunto de dados e benchmark para analisar o arrependimento pós-vacinação contra a COVID-19 em redes sociais, utilizando anotação humana politicamente diversa e modelos de linguagem para identificar que, embora esse sentimento seja raro no discurso público geral (<2%), ele se concentra desproporcionalmente em comunidades de influenciadores céticos e é majoritariamente expresso através de narrativas em primeira pessoa sobre eventos adversos à saúde.

O essencial

Imagine que você comprou um carro novo, muito caro, com muita expectativa. Mas, depois de alguns meses, você começa a sentir um barulho estranho no motor ou a sentir que o preço foi muito alto para o que você recebeu. Você começa a se arrepender da compra. Na psicologia, isso se chama "arrependimento do comprador".

Este artigo de pesquisa investiga exatamente isso, mas no mundo das vacinas contra a COVID-19. Os cientistas queriam saber: Quantas pessoas estão se arrependendo de terem se vacinado? Por que elas se arrependem? E onde essas histórias estão sendo contadas?

Aqui está a explicação do estudo, traduzida para uma linguagem simples e cheia de analogias:

1. O Grande Baú de Tesouros (Os Dados)

Os pesquisadores foram até o YouTube, que é como uma biblioteca gigante e barulhenta de conversas. Eles olharam para milhões de comentários em vídeos de notícias (como CNN, Fox News) e de influenciadores famosos.

• A Analogia: Imagine que o YouTube é um oceano enorme. A maioria das ondas são sobre o clima ou esportes. Os pesquisadores queriam encontrar apenas as "bolhas" que falavam sobre vacinas. Eles usaram um filtro digital (um "peneira mágica") para separar o que era relevante do que não era.

2. O Time de Detetives (Annotadores)

Para entender o que as pessoas sentiam, eles precisavam de humanos para ler os comentários. Mas, como o assunto é muito polêmico (dividido entre políticos), eles tiveram uma ideia brilhante:

• A Analogia: Eles não contrataram apenas um tipo de detetive. Eles formaram um time misto com Democratas, Republicanos e Independentes.
• Por que? Imagine que você está julgando uma obra de arte abstrata. Se todos os juízes forem do mesmo clube de arte, eles podem ter o mesmo viés. Ao ter juízes de "partidos" diferentes, eles garantiram que o resultado fosse justo e não viesse de uma só visão política.

3. O Robô Inteligente (IA e LLMs)

Ler 600.000 comentários manualmente levaria anos. Então, eles usaram Inteligência Artificial (Modelos de Linguagem Grandes) como assistentes.

• A Analogia: Pense na IA como um robô bibliotecário super-rápido. Primeiro, ele lê o comentário e decide: "Isso fala de vacina? Sim ou não?". Se for "Sim", ele passa para a segunda etapa: "Essa pessoa está se arrependendo? Ela está falando de si mesma ou de um amigo?".
• Eles treinaram esse robô com exemplos para que ele aprendesse a diferença entre "Estou bravo com o governo" (não é arrependimento da vacina) e "Meu corpo está doendo desde que tomei a vacina" (isso é arrependimento).

4. O Que Eles Descobriram? (Os Resultados)

Aqui estão as descobertas principais, explicadas de forma simples:

• É mais raro do que parece: Apesar de ouvirmos muitas histórias tristes nas redes sociais, o estudo mostrou que o arrependimento real é muito pequeno. Apenas 1,1% dos comentários relevantes expressavam arrependimento.

  • Analogia: É como se em uma sala de 100 pessoas, apenas uma estivesse chorando por ter tomado a vacina. Mas, como a internet amplifica o som, parece que toda a sala está chorando.

• Onde o arrependimento vive: O arrependimento não está distribuído igualmente. Ele é muito mais comum em canais de influenciadores que são céticos em relação às vacinas.

  • Analogia: Imagine dois jardins. Um jardim (notícias tradicionais) tem 1 flor de arrependimento. O outro jardim (influenciadores céticos) tem 3 flores. E, dentro desse segundo jardim, o canto dos "céticos" tem quase 3 vezes mais flores do que o canto dos "pró-vacina". Isso cria uma "câmera de eco" onde o arrependimento parece maior do que realmente é.

• Quem está falando? A maioria das pessoas que expressa arrependimento está falando de si mesmas (primeira pessoa).

  • Analogia: São histórias de "Eu tomei e me senti mal". É menos comum ouvir "Meu vizinho tomou e se arrependeu", embora isso também aconteça.

• Por que elas se arrependem? Os motivos principais foram:

  1. Problemas de Saúde: Sentir efeitos colaterais ou doenças novas (o motivo mais comum).
  2. Falta de Eficácia: A pessoa tomou a vacina, mas ainda pegou COVID e achou que a vacina não funcionou.
  3. Coerção: Sentir que foi obrigada a tomar (por trabalho ou governo) e, por isso, sente que perdeu sua liberdade.

5. Por que isso importa?

O estudo conclui que, embora o arrependimento seja uma narrativa forte e emocional na internet, ele representa uma pequena fração da conversa geral.

• A Lição Final: As autoridades de saúde precisam entender que, quando as pessoas falam sobre "arrependimento", elas geralmente estão falando de histórias pessoais de saúde ou de sentimento de falta de controle. Para reconstruir a confiança, a comunicação pública precisa ouvir essas histórias específicas, em vez de apenas dar estatísticas frias, e entender que em certos cantos da internet (os influenciadores céticos), o clima é muito mais negativo do que na realidade geral.

Em resumo: O estudo usou uma mistura de detetives humanos de diferentes opiniões e robôs super-rápidos para mapear o "mapa do tesouro" do arrependimento vacinal, descobrindo que o tesouro (o arrependimento) existe, mas é pequeno e está escondido em lugares específicos da internet.

Resumo técnico

Título: Investigando o Arrependimento do Comprador de Vacinas: Regret Pós-Vacinação em Mídias Sociais sobre COVID-19 Usando Anotação Humana Politicamente Diversa

1. Problema e Contexto

O artigo aborda uma lacuna significativa na literatura de saúde pública e ciência social computacional: a falta de dados e compreensão sobre o arrependimento pós-vacinação (ou "vaccine buyer's remorse"). Enquanto a hesitação vacinal pré-vacinação foi amplamente estudada, o sentimento de arrependimento após a administração da vacina, seja baseado em experiências pessoais ou vicárias (de terceiros), permanece pouco explorado.
O ambiente polarizado das redes sociais, alimentado por uma "infodemia", facilita a disseminação de narrativas de arrependimento que podem corroer a confiança nas instituições de saúde. O desafio metodológico reside em distinguir entre relatos de primeira pessoa e narrativas de terceiros, interpretar nuances emocionais complexas (como o arrependimento) e mitigar vieses políticos na análise de dados, dado que o tema é altamente sensível e politizado.

2. Metodologia

Os autores desenvolveram um pipeline híbrido de inferência e um novo conjunto de dados para analisar um grande corpus de comentários do YouTube.

• Coleta de Dados:

  • Corpo Principal: 80,3 milhões de comentários de 65.886 vídeos de três grandes redes de notícias dos EUA (Fox News, CNN, MSNBC) e 847.702 comentários de 981 vídeos de influenciadores (divididos entre pró-vacina e céticos em relação à vacina).
  • Filtragem: Um filtro inicial baseado em palavras-chave e modelos de NLI (Inferência de Linguagem Natural) isolou comentários relevantes para vacinação, resultando em um corpus de "selvagem" (in-the-wild) de 600.000 comentários analisados.
  • Conjunto de Benchmark: Um subconjunto de 2.000 comentários foi criado para anotação humana e validação de modelos.

• Anotação Humana (Diversidade Política):

  • Para mitigar vieses subjetivos, 201 anotadores únicos (divididos igualmente entre Democratas, Republicanos e Independentes) foram recrutados via Prolific.
  • Cada comentário foi anotado por três pessoas de diferentes afiliações políticas. O rótulo final foi determinado por votação majoritária.
  • Esquema de Anotação:
    1. Perspectiva Narrativa: Primeira pessoa (self), Terceira parte/Vicária (other), ou Não especificado.
    2. Status de Vacinação: Vacinado ou não.
    3. Arrependimento: Presença de arrependimento explícito ou implícito (baseado em eventos adversos, coerção, etc.).

• Pipeline Computacional (Inferência Híbrida de Duas Etapas):

  1. Filtro de Relevância (NLI): Uso do modelo ModernBERT-large-nli para descartar comentários irrelevantes, otimizando o custo computacional.
  2. Raciocinador Especialista (LLM): Uso de modelos de Linguagem Grande (LLMs) ajustados (fine-tuned) para classificação multi-rotulada (Perspectiva, Vacinação, Arrependimento).
  • Modelos Testados: Foram avaliados oito LLMs (incluindo Llama 3.1, Mixtral, GPT-4o-mini, Mistral). O modelo Llama-3.1:70b foi selecionado para o pipeline final devido ao seu equilíbrio entre desempenho (F1-score) e velocidade de inferência.
  • Extração de Causas: Um segundo passo de extração de informação identificou os motivos do arrependimento (Eventos Adversos de Saúde, Coerção Percebida, Falta de Eficácia, Mudança de Crenças).

3. Principais Contribuições

1. Novo Conjunto de Dados: Criação de um benchmark de 2.000 comentários anotados por uma painel politicamente diverso, focado especificamente em arrependimento vacinal.
2. Pipeline de Classificação Híbrido: Desenvolvimento de um sistema escalável que combina filtragem NLI e LLMs ajustados para analisar grandes volumes de dados com precisão.
3. Análise de Viés: Avaliação sistemática de como a afiliação política dos anotadores e dos modelos influencia a classificação de sentimentos subjetivos.
4. Distinção Narrativa: Capacidade de diferenciar e quantificar arrependimento em primeira pessoa versus relatos vicários (de terceiros).

4. Resultados Chave

• Prevalência do Arrependimento: O arrependimento é um tema persistente, mas estatisticamente raro, representando apenas 1,1% dos comentários relevantes.
• Disparidade por Fonte:
  • O índice de arrependimento em canais de influenciadores (1,9%) foi mais que o dobro do observado em canais de notícias tradicionais (0,7%).
  • Dentro dos influenciadores, canais céticos em relação à vacina apresentaram uma taxa de arrependimento de 2,9%, quase três vezes superior à dos influenciadores pró-vacina (1,0%).
• Perspectiva Narrativa: A maioria dos comentários de arrependimento (67,9%) são narrativas de primeira pessoa, citando eventos adversos à saúde.
• Motivos do Arrependimento:
  • Evento Adverso à Saúde: A causa mais comum (55% no geral), dominando especialmente em canais de influenciadores (64,2%).
  • Falta de Eficácia: Mais proeminente em canais de notícias (26,9%).
  • Coerção Percebida: Mais citada em relatos de primeira pessoa (11,6%) do que em relatos de terceiros (4,9%).
• Viés Político e do Modelo:
  • Houve concordância moderada entre anotadores de diferentes partidos (Kappa de Fleiss ~0,45-0,50).
  • A afiliação política influenciou significativamente a classificação da perspectiva narrativa (quem é o sujeito), mas não teve impacto sistemático na classificação factual de "vacinação" ou no sentimento de "arrependimento".
  • O modelo LLM não demonstrou viés sistemático a favor de nenhum grupo político específico nas decisões de discordância.

5. Significado e Implicações

• Para a Saúde Pública: O estudo fornece um método escalável para monitorar o sentimento público em tempo real. Identificar que o arrependimento é impulsionado principalmente por narrativas de eventos adversos e coerção ajuda a refinar a comunicação de saúde, permitindo abordagens direcionadas para mitigar o medo e restaurar a confiança.
• Ecossistema de Informação: Os resultados destacam o papel desproporcional dos influenciadores e das "câmaras de eco" na amplificação de sentimentos negativos, sugerindo que estratégias de comunicação devem ser adaptadas para diferentes ecossistemas online.
• Ciência Social Computacional: O trabalho demonstra a viabilidade de usar LLMs ajustados com anotação humana diversificada para analisar emoções complexas e politizadas, oferecendo um modelo para futuras pesquisas sobre polarização e saúde digital.

Em suma, o artigo revela que, embora o arrependimento vacinal seja uma narrativa poderosa e amplificada em certas comunidades online, ele representa uma fração pequena do discurso geral, sendo concentrado em nichos específicos e impulsionado por experiências pessoais negativas e percepções de falta de autonomia.