Dynamic Topic Alignment and Sentiment between Official Health Communication and General Public Discourse during COVID-19: A Comprehensive Infoveillance Framework

Deze studie introduceert een uitgebreid infoveillance-kader om de dynamische uitlijning en het sentiment tussen CDC-communicatie en publieke discussies op sociale media tijdens de COVID-19-pandemie te analyseren, waarbij wordt aangetoond dat een sterkere onderwerpsuitlijning correleert met verhoogde negatieve emotionele reacties in plaats van publieke instemming.

De kern

Stel je de COVID-19-pandemie voor als een massaal, chaotisch concert waar twee verschillende groepen proberen de muziek te leiden: de CDC (de officiële dirigenten) en het algemeen publiek (het publiek).

Dit artikel is als een rapport van een high-tech geluidstechnicus. Het probeert een eenvoudige maar lastige vraag te beantwoorden: Spelen de dirigenten en het publiek echt hetzelfde nummer, of schreeuwen ze gewoon over elkaar heen?

Hier is hoe de onderzoekers dit hebben opgebroken, met behulp van eenvoudige analogieën:

1. De Twee Speellijsten (Topic Modeling)

Eerst verzamelden de onderzoekers twee enorme speellijsten met tweets:

• Speellijst A: 17.524 tweets van officiële CDC-accounts (de dirigenten).
• Speellijst B: 67.895 tweets van gewone mensen (het publiek).

Ze gebruikten een slim computerprogramma (een "Biterm Topic Model") om naar deze speellijsten te luisteren en de woorden te groeperen in thema's.

• De CDC-speellijst klonk als een medisch handboek: "hospitalisatiepercentages", "vaccinati protocollen", "niet-farmaceutische ingrepen" en "klinische aspecten".
• De publieke speellijst klonk als een mix van een raadsvergadering, een bar en een woonkamer: "economische impact", "politiek", "sport", "familiebescherming" en "persoonlijke strijd".

De bevinding: Hoewel beide groepen over het virus spraken, spraken ze vaak verschillende talen. De CDC concentreerde zich op technische maatstaven, terwijl het publiek zich concentreerde op hoe het virus hun dagelijks leven, banen en gevoelens beïnvloedde.

2. De "Alignmentscore" (Topic Consistency)

De onderzoekers bedachten een nieuwe manier om te meten hoe goed de twee speellijsten op elkaar aansloten. Stel je een thermometer voor die geen hitte meet, maar "topic-uitlijning".

• Hoe het werkt: Ze keken niet alleen naar of de woorden vergelijkbaar waren; ze keken naar hoeveel het publiek op een bepaalde dag over een specifiek onderwerp sprak.
• Het resultaat: Na verloop van tijd ging de "alignement-thermometer" omhoog. Dit betekent dat het publiek begon te praten over dezelfde onderwerpen waar de CDC over sprak (zoals schoolreacties of familiebescherming).
• De addertje onder het gras: Het feit dat het publiek over dezelfde onderwerpen sprak als de CDC betekent niet dat ze het ermee eens waren. Het betekent alleen dat ze naar dezelfde dingen keken. Het is als twee mensen die naar dezelfde stormwolk staren; de ene is bezorgd over de regen, de andere over de wind. Ze kijken naar hetzelfde ding, maar ze zijn niet per se op dezelfde lijn.

3. De Stemmenring (Sentiment Analysis)

Om te begrijpen hoe het publiek over deze onderwerpen voelde, gebruikten de onderzoekers twee verschillende "Stemmenringen":

• Stemmenring #1 (Verwacht sentiment): Dit meet de gemiddelde toon. Als je een willekeurige tweet zou kiezen, zou deze blij, verdrietig of boos zijn?

  • Het resultaat: Zelfs wanneer het publiek over exact dezelfde onderwerpen sprak als de CDC, bleef de gemiddelde toon consistent negatief. Hoe meer het publiek aansloot bij de onderwerpen van de CDC, hoe negatiever de toon werd. Dit suggereert dat wanneer mensen zich richten op de waarschuwingen van de CDC, ze zich meer zorgen maken, niet meer gerustgesteld voelen.

• Stemmenring #2 (Netto sentiment): Dit meet de intensiteit of het volume van de emotie. Het gaat niet om wat ze voelen, maar om hoe hard ze het voelen.

  • Het resultaat: Toen het publiek aansloot bij de onderwerpen van de CDC, schoot de emotionele intensiteit direct omhoog. Het was als een plotselinge schreeuw van emotie. Het publiek reageerde snel en fel op de onderwerpen die de CDC aan de orde stelde.

4. De Tijdmachine (ARIMAX-modellen)

Tot slot gebruikten de onderzoekers een wiskundig model dat door de tijd reist om te zien hoe lang het duurde voordat de stemming van het publiek veranderde nadat de CDC had gesproken.

• De "Gemiddelde stemming" (Verwacht sentiment): Deze veranderde langzaam. Toen de CDC over een onderwerp sprak, verschuift de gemiddelde stemming van het publiek direct negatief, maar bleef deze ook dagenlang negatief verschuiven en volgde zelfs een wekelijks patroon (zoals een terugkerende hoofdpijn).
• De "Emotionele intensiteit" (Netto sentiment): Dit was een bliksemschicht. De intensiteit van de emotie van het publiek schoot direct op dezelfde dag omhoog dat de CDC sprak, maar had niet hetzelfde vertraagde effect.

De Grote Les

De belangrijkste les uit deze studie is een beetje een realiteitscheck voor gezondheidsfunctionarissen:

"Uitlijning" betekent niet "Toestemming".

Wanneer het publiek begint te praten over dezelfde dingen waar de CDC over praat, betekent dit niet dat ze instemmend knikken of zich beter voelen. Sterker nog, de studie vond dat hogere uitlijning eigenlijk gekoppeld was aan meer negatieve gevoelens en hogere angst.

Het publiek besteedde veel aandacht aan de boodschappen van de CDC, maar deed dit met angst en bezorgdheid, niet met kalm aanvaarden. De studie suggereert dat wanneer gezondheidsinstanties en het publiek "over hetzelfde onderwerp" praten, dit vaak betekent dat het publiek diep bezorgd is over de kwesties die het agentschap benadrukt.

Kortom: Het publiek en de CDC dansten op hetzelfde ritme, maar het publiek danste op een verdrietig liedje.

Technische samenvatting

Technische Samenvatting: Dynamische Thematische Uitlijning en Sentiment tussen Officiële Gezondheidscommunicatie en Algemeen Publiek Discours tijdens COVID-19

Probleemstelling
Tijdens de COVID-19-pandemie fungeerde sociale media als een kritiek kanaal voor zowel officiële gezondheidscommunicatie (bijvoorbeeld Centers for Disease Control and Prevention, CDC) als algemeen publiek discours. Hoewel bestaand onderzoek publiek sentiment of geïsoleerde onderwerpen heeft onderzocht, ontbreekt er een systematisch onderzoek naar de dynamische temporele uitlijning tussen kernboodschappen van officiële gezondheidsinstanties en de evoluerende thema's van het bredere publiek. Vorige studies waren vaak beperkt tot momentopnames van één dag, faalden in het modelleren van de evolutie van thematische uitlijning en emoties in de tijd, of maakten geen onderscheid tussen publieke aandacht en publieke instemming. Deze studie adresseert het gat in het begrip van hoe publieke opinies, uitgedrukt als inhoudelijke thema's en sentimenten, correleren met en afwijken van officiële gezondheidscommunicatie gedurende een gezondheidsemergentie.

Methodologie
De auteurs ontwikkelden een end-to-end infoveillance-raamwerk dat Natural Language Processing (NLP), themamodellering en multivariate tijdreeksanalyse integreert. De studie gebruikte twee grootschalige Twitter/X-datasets:

1. CDC-communicatie: 17.524 tweets van 7 officiële aan het CDC gelieerde accounts (17 december 2019 – 15 januari 2022).
2. Algemeen publiek discours: 67.895 tweets verzameld via BrandWatch (28 februari 2020 – 1 juni 2023).

De methodologische pijplijn bestond uit vier kernfasen:

1. Themamodellering (Biterm Topic Model - BTM):

   • BTM werd afzonderlijk toegepast op beide corpora om de data-schaarste bij korte teksten aan te pakken, waarbij woordco-occurentie over het volledige corpus werd gemodelleerd in plaats van binnen individuele documenten.
   • Er werd een gedeelde vocabulaire geconstrueerd om vergelijkbaarheid mogelijk te maken.
   • Het optimale aantal thema's werd bepaald met behulp van Rényi-entropie (stabiliserend op 10 voor publiek discours en 9 voor CDC) en gevalideerd door een kwalitatieve expertreview.
   • Dit leverde twee distincte sets thema's op: 9 CDC-thema's (bijvoorbeeld epidemisch risico, lokale reacties, gezinsbescherming) en 10 publieke discours-thema's (bijvoorbeeld economische impact, politiek, sport).

2. Systeem voor Thematische Consistentiescoring:

   • Er werd een nieuwe metriek ontwikkeld om dynamische uitlijning te kwantificeren. Deze integreert cosinus-similariteit (het meten van semantische similariteit tussen themawoord-kansverdelingen) met dagelijkse thematische prominentie (het aandeel van een specifiek thema in het publieke discours op een bepaalde dag).
   • Het systeem berekent een gewogen uitlijningsscore ($C_{j,d}$) voor elk CDC-thema $j$ op dag $d$, wat weergeeft hoe nauw het publieke discours uitlijnt met dat specifieke officiële thema, gewogen naar hoe prominent dat thema is in de publieke sfeer.

3. Sentimentanalyse:

   • Twee complementaire sentimentmaten werden opgenomen om verschillende dimensies van publieke emotie vast te leggen:
     • Verwacht sentiment: De gemiddelde emotionele toon (genormaliseerd), die de toon van een willekeurig geselecteerde post vertegenwoordigt, ongeacht het volume.
     • Netto sentiment: De geaggregeerde emotionele intensiteit (ongenormaliseerde som van positief minus negatief), die de grootte en concentratie van emotionele pieken vastlegt.

4. Temporele Dynamiek (ARIMAX-modellering):

   • Autoregressieve geïntegreerde bewegende gemiddelden met exogene variabelen (ARIMAX)-modellen werden ingezet om de temporele relatie tussen thematische consistentie (exogene variabele) en publiek sentiment (afhankelijke variabele) te onderzoeken.
   • Modellen werden uitgevoerd voor zowel verwacht als netto sentiment, waarbij lag-termen tot 7 dagen werden opgenomen om directe, vertraagde en wekelijkse cyclische patronen vast te leggen.

Belangrijkste Resultaten

• Trends in Thematische Uitlijning: De thematische uitlijning tussen CDC-communicatie en publiek discours nam in de tijd toe voor de meeste thema's, met name voor "lokale en staatsreacties" en "gezinsbescherming". De uitlijning varieerde echter aanzienlijk per thema; technische thema's zoals "niet-farmaceutische interventies" vertoonden lagere uitlijning, waarschijnlijk vanwege verschillen in taalgebruik en framing tussen officiële en publieke discours.
• Dynamiek van Sentiment: Ondanks toenemende thematische uitlijning bleef het verwachte publieke sentiment gedurende de hele studietijd consistent negatief. Dit geeft aan dat hogere uitlijning publieke aandacht en bezorgdheid weerspiegelt, en niet overeenstemming of een positieve ontvangst van officiële boodschappen.
• Temporele Effecten (ARIMAX-bevindingen):
  • Verwacht sentiment: Hogere thematische consistentie was significant geassocieerd met directe afnames in het gemiddelde sentiment (negatievere toon) en vertoonde significante vertraagde effecten op 2, 3 en 7 dagen, wat wijst op een wekelijks cyclisch patroon in de publieke emotionele respons.
  • Netto sentiment: Hogere thematische consistentie was geassocieerd met een significante directe toename in emotionele intensiteit (grootte), maar zonder dezelfde vertraagde of wekelijkse vertraagde effecten die bij verwacht sentiment werden waargenomen. Dit suggereert dat wanneer het publiek zich richt op dezelfde thema's als het CDC, de emotionele reactie intens en direct is, vaak gedreven door negatieve pieken (bijvoorbeeld tijdens vroege fasen van de pandemie of rapporten over sterfgevallen).

Belangrijkste Bijdragen

1. Nieuw Infoveillance-Raamwerk: De studie presenteert een schaalbaar, end-to-end raamwerk dat voorbijgaat aan statische analyse om de dynamische, temporele relatie tussen officiële gezondheidscommunicatie en publiek discours te modelleren.
2. Systeem voor Thematische Consistentiescoring: De auteurs introduceren een gewogen similariteitsmetriek die rekening houdt met zowel semantische uitlijning als de dagelijkse prominentie van thema's, waardoor een genuanceerdere maatstaf voor uitlijning wordt geboden dan simpele cosinus-similariteit.
3. Dubbele Sentimentmetrieken: Door onderscheid te maken tussen verwacht sentiment (gemiddelde toon) en netto sentiment (emotionele intensiteit), biedt de studie een completer beeld van de publieke reactie, waarbij wordt aangetoond dat hoge uitlijning kan samengaan met een negatieve toon en hoge emotionele volatiliteit.
4. Empirisch Inzicht in Uitlijning: De bevindingen challenge de aanname dat thematische uitlijning gelijkstaat aan succesvolle communicatie of publieke instemming. In plaats daarvan toont de studie aan dat uitlijning vaak een weerspiegeling is van verhoogde publieke bezorgdheid en aandacht voor dezelfde kwesties, vaak gepaard gaande met negatieve emotionele reacties.

Betekenis en Claims
Het artikel claimt dat dit raamwerk een generaliseerbare aanpak biedt voor het onderzoeken en evalueren van publieke betrokkenheid bij officiële gezondheidscommunicatie. De primaire betekenis ligt in het vermogen om onderscheid te maken tussen publieke aandacht (uitlijning) en publieke instemming (sentiment). De auteurs stellen dat hun resultaten suggereren dat gezondheidsinstanties thematische uitlijning niet moeten interpreteren als een teken van acceptatie van het bericht, maar als een indicator van publieke bezorgdheid die mogelijk specifiek emotioneel contextbeheer vereist. Het raamwerk is modulair ontworpen, waardoor integratie van verschillende themamodelleringsbenaderingen of sentimentmetrieken mogelijk is, en is bedoeld om effectievere communicatiestrategieën te ondersteunen tijdens toekomstige volksgezondheidsemergenties. De studie wijst expliciet op beperkingen met betrekking tot het exclusieve gebruik van Twitter/X-gegevens en het onvermogen van huidige NLP-methoden om sarcasme of gemengde sentimenten volledig te vangen, en presenteert deze als gebieden voor toekomstige uitbreiding in plaats van huidige mogelijkheden.