Using machine learning to build public policy agenda from social media conversations

Résumé technique : Construire des ordres du jour de politiques publiques à partir des réseaux sociaux via l'apprentissage automatique

Énoncé du problème
L'identification des enjeux et la détermination subséquente des ordres du jour des politiques publiques sont des phases critiques, mais gourmandes en ressources, du processus d'élaboration des politiques. Les méthodologies traditionnelles pour cette étape reposent largement sur la collecte manuelle de données (ex. : enquêtes d'opinion, ateliers) et l'analyse qualitative. Ces approches sont souvent laborieuses, coûteuses à mettre à l'échelle sur de vastes zones géographiques et sujettes à l'obsolescence en raison des cycles longs requis pour la collecte, l'analyse et la validation des données. De plus, elles nécessitent une expertise humaine rare, particulièrement dans les contextes à faible revenu. Bien que les plateformes de médias sociaux comme Twitter offrent un vaste réservoir en temps réel de l'opinion publique, il existe un manque de recherche étudiant la pertinence des méthodes d'apprentissage automatique (ML) pour dériver systématiquement des ordres du jour de politiques publiques à partir de ces conversations, particulièrement en Afrique subsaharienne.

Méthodologie
Les auteurs proposent un pipeline d'apprentissage automatique à cinq étapes, augmenté par l'humain, conçu pour transformer les données brutes des réseaux sociaux en éléments d'ordre du jour de politiques publiques validés. La méthodologie a été mise en œuvre à l'aide d'un ensemble de données de 56 737 tweets collectés en Ouganda lors des élections générales de 2020/2021.

1. Nettoyage et prétraitement des données : Les tweets bruts ont été nettoyés pour éliminer le bruit, incluant les retweets, les URL, les noms d'utilisateurs, la ponctuation, les mots non anglais et les mots vides (stop words). Les données ont été tokenisées, réduites à leur racine (stemmed) et vectorisées pour préparer la modélisation linguistique.
2. Extraction de mots-clés et identification des enjeux : Deux techniques de modélisation de thèmes (TM) ont été employées pour extraire des thèmes latents :
   • Allocation de Dirichlet Latente (LDA) : Une approche traditionnelle de sac de mots (bag-of-words) où le nombre optimal de sujets a été déterminé en maximisant les scores de cohérence.
   • Top2Vec : Une méthode de représentation distribuée qui détermine automatiquement le nombre de sujets sans nécessiter de listes de mots vides ou de prétraitement manuel.
   • À partir des thèmes résultants, 75 « mots-clés spécifiques aux enjeux » pertinents pour les politiques publiques (ex. : corruption, santé, sécurité, éducation) ont été manuellement sélectionnés.
3. Création de récits (Génération de texte) : Un modèle Generative Pre-trained Transformer 2 (GPT-2) (124M de paramètres) a été affiné sur un ensemble de 6 000 tweets uniques associés aux mots-clés sélectionnés. Le modèle a été configuré pour générer des récits courts et cohérents (environ 50 tokens) basés sur des invites de mots-clés spécifiques.
4. Validation des récits : La qualité du texte généré a été évaluée par des évaluateurs humains (étudiants en lettres anglaises) à l'aide d'une échelle de Likert à 4 points mesurant la lisibilité et la cohérence. L'accord inter-évaluateurs a été calculé à l'aide du Kappa de Fleiss.
5. Validation de l'ordre du jour : Les éléments d'ordre du jour résultants ont été validés par deux méthodes :
   • Analyse de similarité : La similitude cosinus a été calculée entre les textes générés par GPT-2 et les textes de référence extraits des manifestes de deux grands partis politiques ougandais (NRM et NUP).
   • Évaluation humaine : Une enquête de type crowd-sourced a évalué si les éléments générés représentaient des préoccupations sociales valides pour l'attention des politiques publiques.

Principales contributions

1. Cadre proposé : L'article présente un pipeline d'apprentissage automatique semi-automatisé et augmenté par l'humain pour construire des ordres du jour de politiques publiques à partir de données de réseaux sociaux, démontrant que le ML peut compléter ou valider des ordres du jour dérivés de méthodes traditionnelles.
2. Pipeline de bout en bout : Les auteurs détaillent un flux de travail complet comprenant cinq étapes distinctes : nettoyage des données, extraction de mots-clés, génération de récits, validation des récits et validation de l'ordre du jour.
3. Mise en œuvre de preuve de concept : Un modèle de ML fonctionnel a été développé et testé à l'aide de données Twitter de l'élection ougandaise de 2020/2021. L'étude fournit un aperçu empirique des enjeux sociaux soulevés par le public durant cette période, répondant spécifiquement au manque de connaissances concernant les applications du ML pour la définition des ordres du jour politiques dans les pays à faible revenu.

Résultats

• Qualité de la génération de texte : L'évaluation humaine des récits générés par GPT-2 a produit un accord inter-évaluateurs (IRA) « très bon » pour la lisibilité (Kappa = 0,78) et un accord « bon » pour la cohérence (Kappa = 0,60).
• Validation de l'ordre du jour :
  • Analyse de similarité : Le modèle a obtenu des scores de similitude cosinus supérieurs à la moyenne (seuil > 0,5) pour au moins trois des cinq thèmes de référence. Plus précisément, il a montré un fort alignement avec les textes de référence concernant la sécurité (vs manifeste du NRM) et la démocratie/gouvernance et l'éducation (vs manifeste du NUP). La performance était inférieure à la moyenne pour les thèmes de l'économie et de la santé.
  • Évaluation humaine : La validation par enquête crowd-sourced des éléments d'ordre du jour a abouti à un accord inter-évaluateurs « bon » (Kappa = 0,45).
• Limites observées : Les auteurs ont noté que bien que le modèle ait produit un texte cohérent dans de nombreux cas, certains résultats étaient incohérents ou manquaient de profondeur explicative concernant la sémantique et le contexte. Cela a été attribué au bruit inhérent et au manque d'organisation thématique des ensembles de données brutes des réseaux sociaux.

Signification et affirmations
L'article affirme que la méthodologie de ML proposée représente une « méthodologie prometteuse » pour identifier les questions d'intérêt public à partir des conversations sur les réseaux sociaux. Il soutient que cette approche offre une alternative plus efficace pour traiter de grandes quantités de données d'entrée liées aux politiques par rapport aux enquêtes manuelles traditionnelles. Cependant, les auteurs maintiennent une position modeste, reconnaissant que l'implémentation actuelle est une preuve de concept. Ils déclarent explicitement que la méthode n'a pas pleinement répondu aux attentes concernant la qualité du texte et que les questions de biais de données, d'équité et de responsabilité doivent être prises en compte avant que de telles approches ne puissent servir de base à de réelles décisions politiques. Le travail ne prétend pas remplacer l'expertise humaine mais plutôt l'augmenter, suggérant que des recherches supplémentaires sont nécessaires pour améliorer la qualité de la génération de texte et explorer l'automatisation des étapes de validation.