Using machine learning to build public policy agenda from social media conversations

Resumen Técnico: Construcción de Agendas de Políticas Públicas desde Redes Sociales mediante Aprendizaje Automático

Planteamiento del Problema
La identificación de problemas y la subsecuente fijación de las agendas de políticas públicas son fases críticas, aunque intensivas en recursos, del proceso de formulación de políticas. Las metodologías tradicionales para esta etapa dependen en gran medida de la recolección manual de datos (p. ej., encuestas de opinión, talleres) y el análisis cualitativo. Estos enfoques suelen ser laboriosos, costosos de escalar en áreas geográficas extensas y propensos a la obsolescencia debido a los largos ciclos requeridos para la recolección, el análisis y la validación de datos. Además, requieren de una experiencia humana escasa, particularmente en contextos de bajos ingresos. Si bien plataformas de redes sociales como Twitter ofrecen un repositorio vasto y en tiempo real de la opinión pública, existe una falta de investigación que investigue la idoneidad de los métodos de aprendizaje automático (ML) para derivar sistemáticamente agendas de políticas públicas de estas conversaciones, especialmente dentro de África Subsahariana.

Metodología
Los autores proponen un flujo de trabajo de aprendizaje automático de cinco etapas, aumentado por humanos, diseñado para transformar datos brutos de redes sociales en elementos de agenda de políticas públicas validados. La metodología se implementó utilizando un conjunto de datos de 56,737 tweets recolectados en Uganda durante las elecciones generales de 2020/2021.

1. Limpieza y Preprocesamiento de Datos: Los tweets brutos fueron limpiados para eliminar el ruido, incluyendo retweets, URLs, nombres de usuario, puntuación, palabras en inglés no deseadas y palabras de parada (stop words). Los datos fueron tokenizados, derivados (stemmed) y vectorizados para preparar el modelado de lenguaje.
2. Extracción de Palabras Clave e Identificación de Temas: Se emplearon dos técnicas de modelado de temas (TM) para extraer temas latentes:
   • Asignación Latente de Dirichlet (LDA): Un enfoque tradicional de bolsa de palabras donde el número óptimo de temas se determinó maximizando las puntuaciones de coherencia.
   • Top2Vec: Un método de representación distribuida que determina automáticamente el número de temas sin requerir listas de palabras de parada o preprocesamiento manual.
   • A partir de los temas resultantes, se curaron manualmente 75 "palabras clave específicas de problemas" relevantes para las políticas públicas (p. ej., corrupción, salud, seguridad, educación).
3. Creación de Narrativas (Generación de Texto): Un modelo Generative Pre-trained Transformer 2 (GPT-2) (124M de parámetros) fue ajustado (fine-tuned) sobre un conjunto de datos de 6,000 tweets únicos asociados con las palabras clave curadas. El modelo fue configurado para generar narrativas cortas y coherentes (aprox. 50 tokens) basadas en instrucciones (prompts) de palabras clave específicas.
4. Validación de Narrativas: La calidad del texto generado fue evaluada por evaluadores humanos (estudiantes con especialidad en inglés) utilizando una escala Likert de 4 puntos que mide la legibilidad y la coherencia. El acuerdo entre evaluadores se calculó mediante el Kappa de Fleiss.
5. Validación de la Agenda: Los elementos de la agenda resultantes fueron validados a través de dos métodos:
   • Análisis de Similitud: Se computó la similitud de coseno entre los textos generados por GPT-2 y los textos de referencia extraídos de los manifiestos de dos de los principales partidos políticos de Uganda (NRM y NUP).
   • Evaluación Humana: Una encuesta de la multitud (crowd-sourced) evaluó si los elementos generados representaban preocupaciones sociales válidas para la atención de las políticas públicas.

Contribuciones Clave

1. Marco Propuesto: El artículo introduce un flujo de trabajo de ML semiautomatizado y aumentado por humanos para construir agendas de políticas públicas a partir de datos de redes sociales, demostrando que el ML puede complementar o validar agendas derivadas de métodos tradicionales.
2. Flujo de Trabajo de Extremo a Extremo: Los autores detallan un flujo de trabajo completo que comprende cinco etapas distintas: limpieza de datos, extracción de palabras clave, generación de narrativas, validación de narrativas y validación de la agenda.
3. Implementación de Prueba de Concepto: Se desarrolló un modelo funcional de ML y se probó utilizando datos de Twitter de las elecciones de Uganda de 2020/2021. El estudio proporciona una visión empírica de los problemas sociales planteados por el público durante este período, abordando específicamente la brecha de conocimiento respecto a las aplicaciones de ML para la fijación de la agenda política en países de bajos ingresos.

Resultados

• Calidad de la Generación de Texto: La evaluación humana de las narrativas generadas por GPT-2 arrojó un acuerdo entre evaluadores (IRA) "muy bueno" para la legibilidad (Kappa = 0.78) y un acuerdo "bueno" para la coherencia (Kappa = 0.60).
• Validación de la Agenda:
  • Análisis de Similitud: El modelo logró puntuaciones de similitud de coseno por encima del promedio (umbral > 0.5) para al menos tres de los cinco temas de referencia. Específicamente, mostró una fuerte alineación con los textos de referencia respecto a seguridad (vs. manifiesto del NRM) y democracia/gobernanza y educación (vs. manifiesto del NUP). El desempeño fue por debajo del promedio para los temas de economía y salud.
  • Evaluación Humana: La validación de la agenda mediante encuestas de la multitud resultó en un acuerdo entre evaluadores "bueno" (Kappa = 0.45).
• Limitaciones Observadas: Los autores señalaron que, si bien el modelo produjo texto coherente en muchos casos, algunos resultados fueron incoherentes o carecieron de un poder explicativo profundo respecto a la semántica y el contexto. Esto se atribuyó al ruido inherente y la falta de organización temática en los conjuntos de datos brutos de las redes sociales.

Significancia y Reivindicaciones
El artículo afirma que el enfoque de ML propuesto representa una "metodología prometedora" para identificar asuntos de interés público a partir de las conversaciones en redes sociales. Sostiene que este enfoque ofrece una alternativa más eficiente para procesar grandes cantidades de datos de entrada relacionados con políticas en comparación con las encuestas manuales tradicionales. Sin embargo, los autores mantienen una postura modesta, reconociendo que la implementación actual es una prueba de concepto. Declaran explícitamente que el método no cumplió plenamente con las expectativas en cuanto a la calidad del texto y que se deben considerar cuestiones de sesgo de datos, equidad y rendición de cuentas antes de que tales enfoques puedan utilizarse como base para la toma de decisiones de políticas reales. El trabajo no pretende reemplazar la experiencia humana, sino aumentarla, sugiriendo que se necesita más investigación para mejorar la calidad de la generación de texto y explorar la automatización en las etapas de validación.