Investigating Vaccine Buyer's Remorse: Post-Vaccination Decision Regret in COVID-19 Social Media Using Politically Diverse Human Annotation

Dit artikel introduceert een nieuw, politiek gediversifieerd dataset van YouTube-berichten om post-vaccinatie spijt te analyseren, waarbij wordt vastgesteld dat deze gevoelens, hoewel ze minder dan 2% van het publieke discours uitmaken, disproportioneel voorkomen in sceptische gemeenschappen en voornamelijk worden uitgedrukt via persoonlijke verhalen over bijwerkingen.

De kern

Het Verhaal van de "Koperen Spijt": Een Onderzoek naar Vaccinatie-Regret op YouTube

Stel je voor dat je een dure, nieuwe auto koopt. Je bent enthousiast, maar een maand later merk je dat de airco niet werkt en dat je er last van hebt. Je voelt je bedrogen en denkt: "Had ik dit maar niet gekocht." Dit gevoel noemen we koperen spijt (buyer's remorse).

De onderzoekers in dit paper hebben gekeken of mensen dit gevoel ook hebben na het krijgen van een COVID-19-vaccin. Ze wilden niet alleen weten of mensen spijt hadden, maar ook waarom, wie het vertelde en waar dit gesprek plaatsvond.

Hier is hoe ze het aanpakken, vertaald naar alledaagse taal:

1. De Grote Digitale Bibliotheek (De Data)

De onderzoekers duiken de diepte in op YouTube. Ze hebben een enorme berg commentaren verzameld van drie grote Amerikaanse nieuwszenders (Fox News, CNN, MSNBC) en van populaire YouTubers (influencers).

• De Analogie: Stel je voor dat je een gigantische bibliotheek hebt met 80 miljoen boeken (commentaren). De meeste gaan over het weer of politiek, maar de onderzoekers zoeken specifiek naar de boeken die over vaccins gaan. Ze hebben er ongeveer 1,3 miljoen gevonden die relevant waren.

2. De Politieke Jury (De Menselijke Annotatie)

Het lastige aan dit onderwerp is dat het politiek geladen is. Iemand die links is, ziet een commentaar misschien anders dan iemand die rechts is.

• De Oplossing: Om eerlijk te blijven, hebben ze een jury samengesteld. Deze jury bestond uit mensen met verschillende politieke achtergronden (Democraten, Republikeinen en Onafhankelijken).
• De Taak: Deze juryleden moesten elk commentaar lezen en bepalen:
  1. Is dit iemand die over zichzelf praat (ik) of over iemand anders (mijn buurman)?
  2. Is de persoon gevaccineerd?
  3. Heeft de persoon spijt? (Dit is lastig: is het echt spijt, of is het gewoon boosheid van de schrijver over iemand anders?)

3. De Slimme Robots (De AI en LLM's)

Het is onmogelijk om 80 miljoen commentaren met de hand te lezen. Dus hebben ze kunstmatige intelligentie (AI) ingezet.

• De Twee-Stappen-Plan:
  1. De Poortwachter: Een snelle, simpele robot kijkt eerst of een commentaar überhaupt over vaccins gaat. Als het niet relevant is, wordt het weggegooid. Dit bespaart tijd.
  2. De Expert: De commentaren die overblijven, gaan naar een heel slimme AI (een "Large Language Model"). Deze robot leest de tekst als een detective en zoekt naar subtiele hints van spijt.
• De Controle: De onderzoekers hebben gecheckt of de robots het goed deden door hun antwoorden te vergelijken met die van de menselijke jury. De robots bleken verrassend goed te zijn, vooral de grotere modellen.

4. Wat Vonden Ze? (De Resultaten)

Hier zijn de belangrijkste ontdekkingen, vertaald in simpele termen:

• Het is zeldzaam, maar luidruchtig:
  Alleen 1,1% van alle commentaren over vaccins bevatte eigenlijk spijt. Dat is als een druppel in een emmer water. Maar omdat deze verhalen vaak emotioneel en dramatisch zijn, klinken ze veel harder dan ze zijn.
• De "Echo-kamer" van de Influencers:
  Mensen die spijt uitten, zaten veel vaker in de commentaren van influencers (YouTubers) dan bij de grote nieuwszenders.
  • Bij vaccin-sceptische YouTubers was het percentage spijt bijna 3 keer zo hoog als bij pro-vaccin YouTubers.
  • De Metafoor: Het is alsof je in een klein, luidrumig café zit (de sceptische influencer) waar iedereen over zijn slechte ervaringen schreeuwt, terwijl in een groot, rustig theater (het nieuws) de meeste mensen gewoon zitten te luisteren. In het café klinkt het alsof iedereen spijt heeft, maar in het theater is dat niet zo.
• Eigen verhaal vs. Het verhaal van een ander:
  De meeste mensen die spijt uitten, vertelden over zichzelf ("Ik heb spijt"). Ze vertelden vaak over ernstige gezondheidsklachten die ze na het vaccin kregen.
  Als iemand over een ander vertelde (bijv. "Mijn oom heeft spijt"), was de reden vaak dat ze geloofden dat de oom ziek was geworden door het vaccin.
• De Redenen voor Spijt:
  De drie grootste redenen voor spijt waren:
  1. Slechte gezondheid: "Het heeft mijn lichaam kapotgemaakt."
  2. Gedwongen voelen: "Ik moest het doen voor mijn baan, ik had geen keuze."
  3. Niet werken: "Ik ben toch ziek geworden, dus het heeft niets gedaan."

5. Waarom is dit belangrijk?

De onderzoekers zeggen: "Luister niet alleen naar de luidste schreeuwers."
Hoewel de verhalen over spijt op internet vaak dominant lijken, zijn ze in werkelijkheid een klein deel van de totale discussie. Maar voor de mensen die ze wel hebben, is het een groot probleem.

De les voor de toekomst:
Als overheden of artsen willen dat mensen zich veilig voelen, moeten ze begrijpen waarom mensen spijt hebben. Als iemand zich gedwongen voelt, moet je uitleggen dat ze een keuze hadden. Als iemand ziek is geworden, moet je serieus luisteren naar hun verhaal, in plaats van alleen statistieken te tonen.

Kortom: Dit onderzoek is als een grote, gedetailleerde kaart van een landschap. Het laat zien dat hoewel er een paar donkere wolken zijn (spijt), het grootste deel van de lucht nog steeds helder is. Maar die donkere wolken zitten bij elkaar in specifieke hoekjes van het internet, en daar moeten we goed naar kijken om te begrijpen wat er misgaat.

Technische samenvatting

Titel: Onderzoek naar Vaccinatie-Remorse: Post-vaccinatie Regret in COVID-19 Sociale Media met Politiek Diverse Menselijke Annotatie

1. Probleemstelling

Hoewel er veel onderzoek is gedaan naar de oorzaken van vaccinatie-aarzeling voor vaccinatie, bestaat er een significante kennislacune over post-vaccinatie sentiment, specifiek het fenomeen van "vaccine buyer's remorse" (vaccinatie-berouw).

• Context: De COVID-19 vaccinatiecampagne vond plaats in een sterk gepolariseerde omgeving met een "infodemie" (overvloed aan informatie, zowel waar als onwaar).
• Uitdaging: Het is moeilijk om de prevalentie en aard van vaccinatie-berouw te begrijpen op basis van formele rapportagesystemen (zoals VAERS), omdat deze vaak passief zijn en ondervertegenwoordigd. Sociale media (zoals YouTube) bieden een alternatieve, informele bron van data, maar deze is ongestructureerd, subjectief en vaak gepolitiseerd.
• Specifiek probleem: Het onderscheiden van eersteklas (persoonlijke) ervaringen van derden-verhalen (vicarious narratives), het interpreteren van de subtiele emotie van berouw, en het mitigeren van bias in AI-modellen bij het analyseren van politiek geladen content.

2. Methodologie

De auteurs hebben een multi-stap hybride inferentie-pipeline ontwikkeld om een grote corpus van YouTube-commentaren te analyseren.

• Dataverzameling:

  • Een dataset van 80,3 miljoen commentaren verzameld van 65.886 YouTube-video's van drie Amerikaanse nieuwszenders (Fox News, CNN, MSNBC) en 981 video's van prominente influencers (gesplitst in pro-vaccinatie en vaccinatie-sceptisch).
  • Filtering: Via trefwoorden en LLM's werden commentaren gefilterd die relevant waren voor vaccinatie, resulterend in een corpus van 1,37 miljoen commentaren.
  • Benchmark Dataset: Een subset van 2.000 commentaren werd handmatig geannoteerd om een benchmark te creëren.

• Annotatie-ontwerp:

  • Om politieke bias te mitigeren, werden 201 unieke annotatoren gerekruteerd met een evenwichtige verdeling over drie politieke affiniteiten: Democraten, Republikeinen en Independents.
  • Elke commentaar werd onafhankelijk beoordeeld door drie annotatoren (één per groep). De eindlabel werd bepaald door meerderheidsstemming.
  • Annotatie-dimensies:
    1. Vaccinatie-berouw: Positief (expliciet of impliciet berouw) vs. Negatief (geen berouw/neutraal).
    2. Verhaalperspectief: Eerste persoon (zelf), Derde persoon (vicarious/andere) of Onbepaald.
    3. Vaccinatie-status: Wel/Niet gevaccineerd.

• Computational Pipeline (Hybride Inference):

  • Fase 1: Relevantie-filter: Een Natural Language Inference (NLI) model (ModernBERT-large-nli) filtert irrelevante commentaren uit om de rekenkracht te besparen.
  • Fase 2: Expert Reasoner: Een fijngefineerde Large Language Model (LLM) voert multi-label classificatie uit.
  • Modelkeuze: Verschillende LLM's (o.a. Llama 3, Mixtral, GPT-4o-mini) werden getest in zero-shot, few-shot en supervised (fine-tuning met LoRA) settings. Het model Llama-3.1:70b werd geselecteerd als de "Expert Reasoner" vanwege de beste balans tussen nauwkeurigheid en inferentie-snelheid.

3. Belangrijkste Bijdragen

1. Nieuwe Dataset: De creatie van een uniek, politiek gebalanceerd benchmark-dataset voor vaccinatie-berouw, geannoteerd door een diverse groep mensen.
2. Methodologische Innovatie: Een hybride pipeline die NLI-filtering combineert met fine-tuned LLM's om schaalbare en nauwkeurige analyse van complexe sociale sentimenten mogelijk te maken.
3. Differentiatie: Het onderscheid maken tussen persoonlijke ervaringen (first-person) en verhalen over anderen (vicarious), wat cruciaal is voor het begrijpen van de verspreiding van angst en berouw.
4. Bias-analyse: Een systematische evaluatie van hoe politieke affiniteit van annotatoren en AI-modellen invloed heeft op de classificatie van subjectieve sentimenten.

4. Resultaten

• Prevalentie: Vaccinatie-berouw komt slechts voor in 1,1% van de relevante commentaren. Dit weerlegt de perceptie dat berouw dominant is in de algemene publieke discussie, hoewel het wel een hardnekkig thema blijft.
• Bronverschillen:
  • De prevalentie is significant hoger op influencer-kanaal (1,9%) dan op mainstream nieuws (0,7%).
  • Binnen influencers is het berouw bijna drie keer zo hoog op vaccinatie-sceptische kanalen (2,9%) vergeleken met pro-vaccinatie kanalen (1,0%).
• Verhaalperspectief: Van de commentaren met berouw is 67,9% eerste-persoons (persoonlijke ervaring). Dit suggereert dat individuele verhalen de drijvende kracht zijn achter dit sentiment.
• Redenen voor Berouw:
  • De meest genoemde reden is bijwerkingen/adverse health events (55,0% overall).
  • Op influencer-kanalen domineren bijwerkingen (64,2%), terwijl op nieuwskanalen "gebrek aan effectiviteit" (Lack of Efficacy) een prominenter secundaire reden is (26,9%).
  • Perceived Coercion (gevoel van gedwongen worden) komt vaker voor in eerste-persoons verhalen (11,6%) dan in verhalen over anderen (4,9%).
• Modelprestaties:
  • De pipeline bereikte een Exact Match van 62% op de testset.
  • De F1-score voor het detecteren van "Regret" was 0,82, wat aangeeft dat het model redelijk goed presteert, hoewel er uitdagingen blijven bij het onderscheiden van sarcasme en impliciete sentimenten.
  • Politieke affiniteit had een significant effect op de annotatie van het onderwerp (Subject), maar niet op de feitelijke vaccinatie-status of het sentiment van berouw zelf. Het AI-model toonde geen systematische bias ten gunste van één politieke groep.

5. Betekenis en Implicaties

• Volksgezondheid: De studie biedt een schaalbare methode voor gezondheidsautoriteiten om publiek sentiment te monitoren. Het inzicht dat berouw vaak wordt gedreven door bijwerkingen en het gevoel van dwang, helpt bij het verfijnen van communicatiestrategieën om vertrouwen te herstellen.
• Infodemie-beheersing: De resultaten tonen aan dat influencer-gemeenschappen (vooral sceptische) een "echo-kamer" kunnen vormen waar berouw wordt genormaliseerd en versterkt, wat een grotere impact heeft dan de feitelijke prevalentie suggereert.
• Toekomstig Onderzoek: De auteurs pleiten voor longitudinale studies om te zien hoe deze verhalen evolueren en voor uitbreiding naar andere talen en platforms. Ook wordt voorgesteld om de classificatie van redenen voor berouw verder te verfijnen (bijv. onderscheid tussen milde en ernstige bijwerkingen).

Conclusie: Hoewel vaccinatie-berouw een klein percentage van de totale online discussie uitmaakt, is het een potentieel schadelijk fenomeen dat disproportioneel wordt verspreid door specifieke online gemeenschappen. De combinatie van politiek diverse menselijke annotatie en geavanceerde LLM-pipelines biedt een robuust raamwerk om dit complexe sociale fenomeen te kwantificeren en te analyseren.