Using machine learning to build public policy agenda from social media conversations

Sintesi Tecnica: Costruire Agende di Politica Pubblica dai Social Media tramite il Machine Learning

Definizione del Problema
L'identificazione dei problemi e la successiva definizione delle agende di politica pubblica sono fasi critiche, sebbene dispendiose in termini di risorse, del processo di formulazione delle politiche. Le metodologie tradizionali per questa fase si affidano pesantemente alla raccolta manuale di dati (ad es., sondaggi d'opinione, workshop) e all'analisi qualitativa. Tali approcci sono spesso laboriosi, costosi da scalare su vaste aree geografiche e soggetti a obsolescenza a causa dei lunghi cicli richiesti per la raccolta, l'analisi e la validazione dei dati. Inoltre, richiedono una scarsità di competenze umane, in particolare nei contesti a basso reddito. Sebbene le piattaforme di social media come Twitter offrano un vasto deposito in tempo reale dell'opinione pubblica, manca una ricerca che indaghi l'idoneità dei metodi di machine learning (ML) per derivare sistematicamente le agende di politica pubblica da queste conversazioni, specialmente nell'Africa subsahariana.

Metodologia
Gli autori propongono una pipeline di machine learning a cinque stadi, aumentata dall'intervento umano, progettata per trasformare i dati grezzi dei social media in elementi di agenda di politica pubblica validati. La metodologia è stata implementata utilizzando un dataset di 56.737 tweet raccolti in Uganda durante le elezioni generali del 2020/2021.

1. Pulizia dei Dati e Pre-elaborazione: I tweet grezzi sono stati puliti per rimuovere il rumore, inclusi retweet, URL, handle degli utenti, punteggiatura, parole non in inglese e stop words. I dati sono stati tokenizzati, derivati (stemming) e vettorizzati per preparare la modellazione del linguaggio.
2. Estrazione delle Parole Chiave e Identificazione dei Temi: Sono state impiegate due tecniche di topic modeling (TM) per estrarre temi latenti:
   • Latent Dirichlet Allocation (LDA): Un approccio tradizionale "bag-of-words" dove il numero ottimale di argomenti è stato determinato massimizzando i punteggi di coerenza.
   • Top2Vec: Un metodo di rappresentazione distribuita che determina automaticamente il numero di argomenti senza richiedere liste di stop-word o pre-elaborazione manuale.
   • Dai temi risultanti, sono state curate manualmente 75 "parole chiave specifiche per il tema" rilevanti per la politica pubblica (ad es., corruzione, sanità, sicurezza, istruzione).
3. Creazione della Narrativa (Generazione del Testo): Un modello Generative Pre-trained Transformer 2 (GPT-2) (124M di parametri) è stato perfezionato (fine-tuning) su un dataset di 6.000 tweet unici associati alle parole chiave curate. Il modello è stato configurato per generare narrazioni brevi e coerenti (circa 50 token) basate su prompt di parole chiave specifiche.
4. Validazione della Narrativa: La qualità del testo generato è stata valutata da valutatori umani (studenti con specializzazione in inglese) utilizzando una scala Likert a 4 punti per misurare leggibilità e coerenza. L'accordo tra i valutatori è stato calcolato tramite il coefficiente Kappa di Fleiss.
5. Validazione dell'Agenda: Gli elementi dell'agenda risultanti sono stati validati attraverso due metodi:
   • Analisi di Similarità: La similarità del coseno è stata calcolata tra i testi generati da GPT-2 e i testi di riferimento estratti dai manifesti di due principali partiti politici ugandesi (NRM e NUP).
   • Valutazione Umana: Un sondaggio crowdsourced ha valutato se gli elementi generati rappresentassero preoccupazioni sociali valide per l'attenzione della politica pubblica.

Contributi Chiave

1. Framework Proposto: Il documento introduce una pipeline di ML semi-automatizzata e aumentata dall'uomo per costruire agende di politica pubblica dai dati dei social media, dimostrando che il ML può integrare o validare le agende derivate dai metodi tradizionali.
2. Pipeline End-to-End: Gli autori dettagliano un flusso di lavoro completo composto da cinque stadi distinti: pulizia dei dati, estrazione delle parole chiave, generazione della narrativa, validazione della narrativa e validazione dell'agenda.
3. Implementazione Proof-of-Concept: È stato sviluppato e testato un modello ML funzionale utilizzando i dati di Twitter delle elezioni 2020/2021 in Uganda. Lo studio fornisce un'intuizione empirica sugli problemi sociali sollevati dal pubblico durante questo periodo, affrontando specificamente il vuoto di conoscenza riguardante le applicazioni del ML per la definizione dell'agenda politica nei paesi a basso reddito.

Risultati

• Qualità della Generazione del Testo: La valutazione umana delle narrazioni generate da GPT-2 ha prodotto un accordo tra valutatori (IRA) "molto buono" per la leggibilità (Kappa = 0,78) e "buono" per la coerenza (Kappa = 0,60).
• Validazione dell'Agenda:
  • Analisi di Similarità: Il modello ha ottenuto punteggi di similarità del coseno superiori alla media (soglia > 0,5) per almeno tre dei cinque temi di riferimento. Nello specifico, ha mostrato un forte allineamento con i testi di riferimento riguardanti la sicurezza (rispetto al manifesto NRM) e democrazia/governance ed educazione (rispetto al manifesto NUP). Le prestazioni sono state sotto la media per i temi economia e sanità.
  • Valutazione Umana: La validazione tramite sondaggio crowdsourced degli elementi dell'agenda ha prodotto un accordo tra valutatori "buono" (Kappa = 0,45).
• Limitazioni Osservate: Gli autori hanno notato che, sebbene il modello producesse testo coerente in molti casi, alcuni output erano incoerenti o mancavano di una profonda capacità esplicativa riguardo semantica e contesto. Ciò è stato attribuito al rumore intrinseco e alla mancanza di organizzazione tematica nei dataset grezzi dei social media.

Significatività e Rivendicazioni
Il documento sostiene che il metodo ML proposto rappresenti una "metodologia promettente" per identificare questioni di interesse pubblico dalle conversazioni sui social media. Afferma che questo approccio offre un'alternativa più efficiente per l'elaborazione di grandi quantità di dati di input relativi alle politiche rispetto ai sondaggi manuali tradizionali. Tuttavia, gli autori mantengono una posizione modesta, riconoscendo che l'attuale implementazione è una prova di concetto. Essi dichiarano esplicitamente che il metodo non ha pienamente soddisfatto le aspettative per quanto riguarda la qualità del testo e che le questioni di bias dei dati, equità e responsabilità devono essere considerate prima che tali approcci possano essere utilizzati come base per decisioni politiche reali. Il lavoro non rivendica di sostituire l'esperienza umana, ma piuttosto di integrarla, suggerendo che ulteriori ricerche siano necessarie per migliorare la qualità della generazione del testo ed esplorare l'automazione nelle fasi di validazione.