Using machine learning to build public policy agenda from social media conversations

Technische Samenvatting: Het opstellen van publieke beleidsagenda's via sociale media middels Machine Learning

Probleemstelling
Het identificeren van kwesties en de daaropvolgende vaststelling van publieke beleidsagenda's zijn cruciale, maar zeer arbeidsintensieve fasen van het beleidsproces. Traditionele methodologieën voor deze fase leunen zwaar op handmatige gegevensverzameling (bijv. opiniepeilingen, workshops) en kwalitatieve analyse. Deze benaderingen zijn vaak arbeidsintensief, kostbaar om op te schalen naar grote geografische gebieden, en gevoelig voor veroudering vanwege de lange cycli die nodig zijn voor gegevensverzameling, analyse en validatie. Bovendien vereisen ze schaarse menselijke expertise, met name in lage-inkomenslanden. Hoewel sociale mediaplatforms zoals Twitter een enorme, real-time opslagplaats van publieke opinie bieden, is er een gebrek aan onderzoek naar de geschiktheid van machine learning (ML)-methoden om systematisch publieke beleidsagenda's af te leiden uit deze gesprekken, in ieder geval binnen Sub-Sahara Afrika.

Methodologie
De auteurs stellen een vijffasige, door mensen versterkte machine learning-pipeline voor, ontworpen om ruwe sociale mediadata te transformeren naar gevalideerde publieke beleidsagenda-items. De methodologie werd geïmplementeerd met behulp van een dataset van 56.737 tweets verzameld in Oeganda tijdens de algemene verkiezingen van 2020/2021.

1. Gegevensopschoning en Pre-processing: Ruwe tweets werden opgeschoond om ruis te verwijderen, waaronder retweets, URL's, gebruikershandles, leestekens, niet-Engelse woorden en stopwoorden. De gegevens werden getokeniseerd, gestemd (stemming) en gevectoriseerd om ze voor te bereiden op taalmodellering.
2. Trefwoordextractie en Kwestie-identificatie: Twee technieken voor onderwerpmodellering (topic modeling, TM) werden toegepast om latente thema's te extraheren:
   • Latent Dirichlet Allocation (LDA): Een traditionele bag-of-words benadering waarbij het optimale aantal onderwerpen werd bepaald door de coherentiescores te maximaliseren.
   • Top2Vec: Een methode voor gedistribueerde representatie die automatisch het aantal onderwerpen bepaalt zonder dat er stopwoordlijsten of handmatige pre-processing nodig zijn.
   • Uit de resulterende onderwerpen werden 75 "issuespecifieke trefwoorden" die relevant zijn voor publiek beleid (bijv. corruptie, gezondheidszorg, veiligheid, onderwijs) handmatig gecureerd.
3. Narratief Creatie (Tekstgeneratie): Een Generative Pre-trained Transformer 2 (GPT-2) model (124M parameters) werd gefinetuned op een dataset van 6.000 unieke tweets die geassocieerd waren met de gecureerde trefwoorden. Het model werd geconfigureerd om korte, coherente narratieven (ongeveer 50 tokens) te genereren op basis van specifieke trefwoord-prompts.
4. Narratief Validatie: De kwaliteit van de gegenereerde tekst werd geëvalueerd door menselijke beoordelaars (studenten met een Engelse studie) met behulp van een 4-puntige Likert-schaal die leesbaarheid en coherentie mat. De inter-beoordelaarsovereenstemming werd berekend met Fleiss' Kappa.
5. Agenda Validatie: De resulterende agenda-items werden gevalideerd via twee methoden:
   • Gelijkenis-analyse (Similarity Analysis): Cosinus-gelijkenis werd berekend tussen de door GPT-2 gegenereerde teksten en referentieteksten geëxtraheerd uit de manifesten van twee grote Oegandese politieke partijen (NRM en NUP).
   • Menselijke Evaluatie: Een crowd-sourced enquête beoordeelde of de gegenereerde items geldige maatschappelijke zorgen vertegenwoordigden die aandacht verdienen in het publieke beleid.

Belangrijkste Bijdragen

1. Voorgestelde Framework: Het artikel introduceert een semi-geautomatiseerde, door mensen versterkte ML-pipeline voor het opbouwen van publieke beleidsagenda's vanuit sociale mediadata, en demonstreert dat ML de agenda's afgeleid uit traditionele methoden kan aanvullen of valideren.
2. End-to-End Pipeline: De auteurs beschrijven een volledige workflow bestaande uit vijf afzonderlijke stadia: gegevensopschoning, trefwoordextractie, narratiefgeneratie, narratiefvalidatie en agenda-validatie.
3. Proof-of-Concept Implementatie: Een functioneel ML-model werd ontwikkeld en getest met behulp van Twitter-data uit de Oegandese verkiezingen van 2020/2021. De studie biedt empirisch inzicht in de sociale kwesties die door het publiek werden geagendeerd tijdens deze periode, en adresseert specifiek de kenniskloof met betrekking tot ML-toepassingen voor beleidsagenda-instelling in lage-inkomenslanden.

Resultaten

• Kwaliteit van Tekstgeneratie: Menselijke evaluatie van de door GPT-2 gegenereerde narratieven leverde een "zeer goede" inter-beoordelaarsovereenstemming (IRA) op voor leesbaarheid (Kappa = 0,78) en een "goede" overeenstemming voor coherentie (Kappa = 0,60).
• Agenda Validatie:
  • Gelijkenis-analyse: Het model behaalde bovengemiddelde cosinus-gelijkenisscores (drempelwaarde > 0,5) voor ten minste drie van de vijf referentiethema's. Specifiek toonde het een sterke afstemming met referentieteksten met betrekking tot veiligheid (tegenover het NRM-manifest) en democratie/bestuur en onderwijs (tegenover het NUP-manifest). De prestaties waren ondergemiddeld voor de thema's economie en gezondheidszorg.
  • Menselijke Evaluatie: De crowd-sourced validatie van de agenda-items resulteerde in een "goede" inter-beoordelaarsovereenstemming (Kappa = 0,45).
• Geobserveerde Beperkingen: De auteurs merkten op dat hoewel het model in veel gevallen coherente tekst produceerde, sommige outputs incoherent waren of een gebrek aan diepgaande verklarende kracht hadden wat betreft semantiek en context. Dit werd toegeschreven aan de inherente ruis en het gebrek aan organisatorische structuur in ruwe sociale mediadatasets.

Betekenis en Claims
Het artikel beweert dat de voorgestelde ML-benadering een "veelbelovende methodologie" vertegenwoordigt voor het identificeren van zaken van publiek belang uit gesprekken op sociale media. Het stelt dat deze benadering een efficiënter alternatief biedt voor het verwerken van grote hoeveelheden beleidsgerelateerde inputgegevens vergeleken met traditionele handmatige enquêtes. De auteurs houden echter een bescheiden standpunt aan en erkennen dat de huidige implementatie een proof-of-concept is. Ze stellen expliciet dat de methode de verwachtingen wat betreft tekstkwaliteit niet volledig heeft waargemaakt en dat kwesties van databias, eerlijkheid en verantwoording overwogen moeten worden voordat dergelijke benaderingen als basis voor daadwerkelijke beleidsbesluitvorming kunnen dienen. Het werk claimt niet de menselijke expertise te vervangen, maar deze eerder aan te vullen, en suggereert dat verder onderzoek nodig is om de kwaliteit van tekstgeneratie te verbeteren en automatisering in de validatiestadia te verkennen.