Investigating Vaccine Buyer's Remorse: Post-Vaccination Decision Regret in COVID-19 Social Media Using Politically Diverse Human Annotation

Cette étude présente un nouveau jeu de données annoté par des experts politiquement diversifiés pour quantifier la « regret de l'acheteur de vaccin » sur YouTube, révélant que bien que ce sentiment soit rare (<2 %), il est concentré dans les communautés sceptiques et principalement exprimé sous forme de récits personnels liés à des effets secondaires.

L'essentiel

🕵️‍♂️ L'Enquête : « Le Regret du Vacciné » sur Internet

Imaginez que vous êtes un détective privé qui enquête sur un phénomène étrange : le « regret d'achat ». Vous savez, ce sentiment douloureux quand on achète quelque chose (une voiture, un téléphone) et qu'on se dit : « Oh non, j'aurais dû ne pas le faire ! ».

Les chercheurs de cette étude se sont demandé : « Est-ce que les gens regrettent d'avoir été vaccinés contre le COVID, et comment en parlent-ils sur Internet ? »

Pour répondre à cette question, ils ont créé un véritable laboratoire d'investigation numérique. Voici comment ils ont procédé, étape par étape :

1. La Grande Chasse aux Trésors (La Collecte de Données)

Les chercheurs ont envoyé des robots (des algorithmes) explorer une immense bibliothèque numérique : YouTube.

• Où ? Ils ont fouillé les commentaires de deux types de chaînes :
  • Les grands journaux télévisés (comme CNN, Fox, MSNBC), qui sont comme les bibliothèques officielles de la ville.
  • Les influenceurs (des youtubeurs populaires), qui sont comme les places de marché où les gens discutent, racontent des histoires et parfois crient fort.
• Quoi ? Ils ont ramassé des millions de commentaires, un peu comme un pêcheur qui jette un filet géant dans l'océan pour attraper des poissons.

2. Le Filtre Magique (L'Intelligence Artificielle)

Ils avaient trop de poissons (des millions de commentaires) pour les examiner un par un. Alors, ils ont construit un tamis intelligent (une Intelligence Artificielle).

• Le premier tamis a trié le sable pour ne garder que les commentaires qui parlaient vraiment de vaccins.
• Le deuxième tamis, plus fin, a cherché spécifiquement les histoires de regret. C'est comme chercher une aiguille dans une botte de foin, mais avec un aimant très puissant.

3. Le Jury Humain (L'Annotation Politique)

C'est ici que ça devient intéressant. Le sujet est sensible et politique. Pour éviter que les juges ne soient biaisés par leurs propres opinions, les chercheurs ont recruté un jury mixte : des gens de gauche, de droite et des indépendants.

• Ils ont demandé à ce jury de lire 2 000 commentaires et de dire : « Est-ce que cette personne regrette vraiment ? Est-ce que c'est son histoire ou celle de son voisin ? »
• C'est comme si on demandait à un juge conservateur, un juge libéral et un juge neutre de décider ensemble si un dessin est drôle ou non, pour s'assurer que le verdict est juste.

🔍 Ce qu'ils ont découvert (Les Résultats)

Voici les grandes révélations de l'enquête, expliquées simplement :

1. Le regret est rare, mais bruyant
Sur tous les commentaires parlant de vaccins, seulement 1,1 % expriment un regret. C'est comme si, dans une salle de concert de 1 000 personnes, seule une personne levait la main pour dire qu'elle n'aimait pas la musique.

• Le paradoxe : Même si c'est rare, ces quelques voix résonnent très fort sur Internet, un peu comme un petit feu qui fait beaucoup de fumée.

2. L'effet « Écho » des Influenceurs
Le regret est beaucoup plus fréquent sur les chaînes d'influenceurs (surtout ceux sceptiques) que sur les chaînes de news classiques.

• L'analogie : Imaginez une petite salle de concert (les chaînes de news) où tout le monde écoute calmement. À côté, il y a une fête foraine (les influenceurs sceptiques) où quelques personnes crient très fort qu'elles ont mal au pied. Même s'il y a moins de monde, le bruit de la fête foraine semble plus fort et plus inquiétant.

3. Qui parle ? (Moi vs Mon Voisin)
La majorité des regrets viennent de gens qui parlent de leur propre expérience (« Je me sens mal »).

• Quand les gens parlent de leurs proches (« Mon frère est malade »), c'est souvent pour raconter des histoires de problèmes de santé graves.
• C'est comme si les gens disaient : « J'ai mangé ce gâteau et j'ai mal au ventre » (regret personnel) ou « Mon voisin a mangé ce gâteau et il est à l'hôpital » (regret par procuration).

4. Pourquoi regrettent-ils ?
Les chercheurs ont classé les raisons du regret en trois catégories principales :

• La santé : « Je suis tombé malade après le vaccin » (le plus fréquent).
• L'efficacité : « Je l'ai pris, mais j'ai quand même attrapé le COVID ».
• La contrainte : « On m'a forcé à le prendre, je n'avais pas le choix ». C'est comme si quelqu'un vous forçait à porter un manteau en plein été : vous le portez, mais vous le détestez parce que vous n'aviez pas le choix.

🤖 Le Rôle des Robots (Les Modèles de Langage)

Les chercheurs ont utilisé des robots très intelligents (des IA comme Llama ou GPT) pour lire des centaines de milliers de commentaires.

• Le verdict : Les robots sont devenus très bons pour repérer le regret (ils ont raison 8 fois sur 10).
• Le problème : Parfois, les robots confondent la colère avec le regret. Si quelqu'un dit « Je suis en colère contre le gouvernement », le robot peut penser « Ah, il regrette son vaccin ! », alors que ce n'est pas forcément le cas. C'est comme confondre quelqu'un qui crie parce qu'il a mal au pied avec quelqu'un qui crie parce qu'il a perdu son portefeuille.

💡 La Conclusion de l'Enquête

Cette étude nous apprend deux choses importantes :

1. La réalité vs la perception : Bien que les histoires de regret fassent beaucoup de bruit sur Internet, elles ne représentent qu'une toute petite partie des conversations réelles.
2. Le danger des bulles : Les gens qui doutent des vaccins ont tendance à se regrouper dans des espaces en ligne où leurs histoires de regret sont amplifiées, comme dans une salle de résonance. Cela peut donner l'impression que le problème est plus grand qu'il ne l'est vraiment.

En résumé : Les chercheurs ont utilisé des robots et un jury humain pour écouter ce que des millions de gens disent sur YouTube. Ils ont découvert que le regret existe, qu'il est souvent lié à des problèmes de santé ou à un sentiment de contrainte, et qu'il est surtout amplifié par certains influenceurs, créant une illusion de fréquence plus élevée que la réalité.

C'est une carte précieuse pour les autorités de santé : pour rassurer les gens, il ne suffit pas de donner des chiffres, il faut aussi écouter et comprendre ces histoires personnelles, même si elles sont rares.

Résumé technique

1. Problématique et Contexte

Bien que la réticence pré-vaccinale (hesitancy) ait fait l'objet de nombreuses études, il existe un vide significatif dans la compréhension des sentiments post-vaccinaux, en particulier le phénomène de "remords de l'acheteur de vaccin" (vaccine buyer's remorse). Ce regret, défini comme la détresse ressentie après une décision de santé, est un facteur clé de l'érosion de la confiance institutionnelle et de la réticence aux doses de rappel.

Le défi majeur réside dans la nature subjective et politisée de ce sujet. Les plateformes de médias sociaux, comme YouTube, agissent comme des systèmes de surveillance informels (similaires au système VAERS), mais l'analyse de ces données est complexe :

• Il faut distinguer les récits en première personne (expérience personnelle) des récits vicaires (témoignages sur autrui).
• L'émotion du regret est nuancée et souvent difficile à capturer par l'analyse de sentiment traditionnelle.
• Les biais politiques des annotateurs peuvent fausser les résultats.

2. Méthodologie

L'étude propose un pipeline d'inférence hybride multi-étapes et une approche d'annotation innovante pour analyser un corpus massif de commentaires YouTube.

A. Collecte et Constitution du Dataset

• Source : 80,3 millions de commentaires provenant de 65 886 vidéos de trois chaînes d'actualités américaines majeures (Fox News, CNN, MSNBC) et de 981 vidéos de créateurs d'influence (divisés en "pro-vaccin" et "sceptiques").
• Filtrage : Un filtrage initial par mots-clés et par LLM (Zero-shot/Few-shot) a permis d'isoler les commentaires pertinents, aboutissant à un corpus de 600 000 commentaires pour l'analyse "in-the-wild".
• Dataset de Référence (Benchmark) : Un sous-ensemble de 2 000 commentaires a été annoté manuellement pour servir de vérité terrain.

B. Annotation Politique Diversifiée

Pour contrer les biais subjectifs, l'étude a recruté 201 annotateurs uniques répartis équitablement entre trois affiliations politiques : Démocrates, Républicains et Indépendants.

• Chaque commentaire du benchmark a été annoté par un représentant de chaque groupe politique.
• La décision finale a été prise par vote majoritaire.
• Les annotations couvrent trois dimensions :
  1. Regret : Positif (explicite ou implicite) vs Négatif (neutre/non pertinent).
  2. Perspective narrative : Première personne (Self), Tiers (Other), ou Non spécifié.
  3. Statut vaccinal : Vacciné ou non.

C. Pipeline d'Inférence Hybride

Pour traiter le volume massif de données avec précision et efficacité, les auteurs ont conçu un pipeline en deux étapes :

1. Filtre de Pertinence (Stage 1) : Utilisation d'un modèle NLI (Natural Language Inference) ModernBERT-large-nli pour éliminer les commentaires non liés aux vaccins.
2. Raisonneur Expert (Stage 2) : Utilisation d'un LLM finetuné (Llama-3.1-70B) pour classer les commentaires pertinents selon les dimensions de regret, de perspective et de statut vaccinal.

D. Modèles et Entraînement

• Comparaison de modèles : Huit LLMs (de 7B à 70B paramètres, incluant Mistral, Llama, Gemma, Qwen, GPT-4o) ont été évalués en Zero-shot et Few-shot.
• Fine-tuning : Les modèles Llama-3.1 (8B et 70B) et Mixtral-8x7b ont été finetunés avec une approche LoRA sur le dataset d'entraînement (80% du benchmark).
• Extraction des causes : Un modèle Zero-shot a été utilisé pour catégoriser les raisons du regret (Événement sanitaire, Coercition perçue, Efficacité insuffisante, Changement de croyance).

3. Contributions Clés

1. Dataset de Référence : Création du premier dataset de référence annoté par un panel politiquement diversifié pour le regret vaccinal.
2. Pipeline Scalable : Développement d'une architecture hybride (NLI + LLM finetuné) capable de traiter des millions de commentaires avec une précision élevée.
3. Analyse Nuancée : Distinction systématique entre les expériences personnelles et les récits vicaires, ainsi que l'identification des causes sous-jacentes du regret.
4. Évaluation des Biais : Analyse rigoureuse de l'impact de l'affiliation politique des annotateurs et de l'alignement politique des modèles.

4. Résultats Principaux

A. Prévalence du Regret

• Le regret vaccinal ne représente que 1,1 % des commentaires pertinents, bien que souvent amplifié par des anecdotes virales.
• Disparité des sources : Le taux de regret est significativement plus élevé sur les chaînes d'influenceurs (1,9 %) que sur les chaînes d'actualités traditionnelles (0,7 %).
• Influenceurs sceptiques : Les chaînes "sceptiques" affichent un taux de regret de 2,9 %, soit près de trois fois celui des influenceurs "pro-vaccin" (1,0 %).

B. Perspectives Narratives

• 67,9 % des commentaires exprimant du regret sont des récits en première personne. Les individus partageant leur propre histoire sont la source principale de ce sentiment.
• Pour les récits vicaires, la catégorie "Membre de la famille" est la plus citée (29,6 %), soulignant le rôle des réseaux sociaux intimes.

C. Raisons du Regret

• Événement sanitaire adverse : C'est la raison dominante (55 % globalement), mais elle atteint 64,2 % sur les chaînes d'influenceurs.
• Efficacité perçue : C'est la deuxième raison la plus fréquente sur les chaînes d'actualités (26,9 %).
• Coercition perçue : Significativement plus citée dans les récits en première personne (11,6 %) que dans les récits vicaires (4,9 %), indiquant que la perte d'autonomie est un sentiment très personnel.

D. Performance et Biais

• Performance du modèle : Le pipeline atteint un score F1 macro de 0,82 pour la détection du regret et 0,87 pour le statut vaccinal.
• Alignement politique : Les tests montrent que le modèle ne favorise systématiquement aucun groupe politique (Démocrates, Républicains, Indépendants) dans ses prédictions de regret, contrairement aux variations observées chez les annotateurs humains (où l'affiliation politique influence la classification du sujet, mais pas du regret).

5. Signification et Implications

Cette étude fournit une méthode scalable pour surveiller le sentiment public post-vaccination à grande échelle. Ses implications sont multiples :

• Santé Publique : Comprendre que le regret est principalement alimenté par des événements sanitaires adverses et un sentiment de coercition permet de cibler les communications de santé publique pour rétablir la confiance.
• Désinformation et Infodémie : La concentration du regret dans les communautés d'influenceurs sceptiques met en évidence la nécessité de stratégies de communication adaptées à différents écosystèmes numériques.
• Méthodologie : L'approche d'annotation politiquement diversifiée démontre qu'il est possible de créer des benchmarks robustes pour des sujets hautement polarisés, minimisant les biais systémiques dans l'IA appliquée aux sciences sociales.

En conclusion, bien que le regret vaccinal soit une réalité persistante dans le discours en ligne, il reste minoritaire. Cependant, sa concentration dans des communautés spécifiques et son ancrage dans des récits personnels d'événements adverses en font un indicateur critique pour les futures interventions de santé publique.