Using machine learning to build public policy agenda from social media conversations

Resumo Técnico: Construção de Agendas de Políticas Públicas a partir de Redes Sociais via Aprendizado de Máquina

Definição do Problema
A identificação de questões e a subsequente definição de agendas de políticas públicas são fases críticas, porém intensivas em recursos, do processo de formulação de políticas. As metodologias tradicionais para esta etapa dependem fortemente da coleta manual de dados (ex: pesquisas de opinião, workshops) e de análise qualitativa. Essas abordagens são frequentemente laboriosas, dispendiosas para escalar em grandes áreas geográficas e propensas à obsolescência devido aos longos ciclos exigidos para coleta, análise e validação de dados. Além disso, requerem expertise humana escassa, particularmente em contextos de baixa renda. Embora as plataformas de redes sociais como o Twitter ofereçam um vasto repositório de tempo real da opinião pública, há uma carência de pesquisa investigando a adequação de métodos de aprendizado de máquina (ML) para derivar sistematicamente agendas de políticas públicas dessas conversas, especialmente na África Subsaariana.

Metodologia
Os autores propõem um pipeline de aprendizado de máquina de cinco estágios, aumentado por humanos, projetado para transformar dados brutos de redes sociais em itens de agenda de políticas públicas validados. A metodologia foi implementada utilizando um conjunto de dados de 56.737 tweets coletados na Uganda durante as eleições gerais de 2020/2021.

1. Limpeza e Pré-processamento de Dados: Os tweets brutos foram limpos para remover ruídos, incluindo retweets, URLs, handles de usuários, pontuação, palavras em não-inglês e stop words. Os dados foram tokenizados, submetidos a stemming e vetorizados para preparar para a modelagem de linguagem.
2. Extração de Palavras-chave e Identificação de Questões: Duas técnicas de modelagem de tópicos (TM) foram empregadas para extrair temas latentes:
   • Latent Dirichlet Allocation (LDA): Uma abordagem tradicional de "saco de palavras" (bag-of-words) onde o número ideal de tópicos foi determinado pela maximização dos escores de coerência.
   • Top2Vec: Um método de representação distribuída que determina automaticamente o número de tópicos sem exigir listas de stop-words ou pré-processamento manual.
   • Dos tópicos resultantes, 75 "palavras-chave específicas de questões" relevantes para políticas públicas (ex: corrupção, saúde, segurança, educação) foram curadas manualmente.
3. Criação de Narrativas (Geração de Texto): Um modelo Generative Pre-trained Transformer 2 (GPT-2) (124M de parâmetros) foi ajustado (fine-tuned) em um conjunto de dados de 6.000 tweets únicos associados às palavras-chave curadas. O modelo foi configurado para gerar narrativas curtas e coerentes (aprox. 50 tokens) baseadas em prompts de palavras-chave específicas.
4. Validação de Narrativas: A qualidade do texto gerado foi avaliada por avaliadores humanos (estudantes de letras com foco em inglês) usando uma escala Likert de 4 pontos medindo legibilidade e coerência. O acordo entre avaliadores foi calculado usando o Kappa de Fleiss.
5. Validação da Agenda: Os itens de agenda resultantes foram validados através de dois métodos:
   • Análise de Similaridade: A similaridade de cosseno foi computada entre os textos gerados pelo GPT-2 e textos de referência extraídos dos manifestos de dois grandes partidos políticos ugandenses (NRM e NUP).
   • Avaliação Humana: Uma pesquisa via crowdsourcing avaliou se os itens gerados representavam preocupações sociais válidas para atenção de políticas públicas.

Principais Contribuições

1. Framework Proposto: O artigo introduz um pipeline de ML semi-automatizado e aumentado por humanos para construir agendas de políticas públicas a partir de dados de redes sociais, demonstrando que o ML pode complementar ou validar agendas derivadas de métodos tradicionais.
2. Pipeline de Ponta a Ponta: Os autores detalham um fluxo de trabalho completo composto por cinco estágios distintos: limpeza de dados, extração de palavras-chave, geração de narrativa, validação de narrativa e validação de agenda.
3. Implementação de Prova de Conceito: Um modelo funcional de ML foi desenvolvido e testado usando dados do Twitter das eleições de 2020/2021 na Uganda. O estudo fornece insights empíricos sobre questões sociais levantadas pelo público durante este período, abordando especificamente a lacuna de conhecimento quanto às aplicações de ML para definição de agenda política em países de baixa renda.

Resultados

• Qualidade da Geração de Texto: A avaliação humana das narrativas geradas pelo GPT-2 rendeu um acordo entre avaliadores (IRA) "muito bom" para legibilidade (Kappa = 0,78) e um acordo "bom" para coerência (Kappa = 0,60).
• Validação da Agenda:
  • Análise de Similaridade: O modelo alcançou escores de similaridade de cosseno acima da média (limiar > 0,5) para pelo menos três dos cinco temas de referência. Especificamente, mostrou forte alinhamento com textos de referência em relação a segurança (vs. manifesto do NRM) e democracia/governança e educação (vs. manifesto do NUP). O desempenho foi abaixo da média para os temas de economia e saúde.
  • Avaliação Humana: A validação via crowdsourcing dos itens de agenda resultou em um acordo entre avaliadores "bom" (Kappa = 0,45).
• Limitações Observadas: Os autores observaram que, embora o modelo tenha produzido texto coerente em muitos casos, alguns resultados foram incoerentes ou careceram de profundidade explicativa em relação à semântica e ao contexto. Isso foi atribuído ao ruído inerente e à falta de organização de tópicos nos conjuntos de dados brutos de redes sociais.

Significância e Alegações
O artigo alega que o método de ML proposto representa uma "metodologia promissora" para identificar assuntos de interesse público a partir de conversas em redes sociais. Afirma que esta abordagem oferece uma alternativa mais eficiente para processar grandes quantidades de dados de entrada relacionados a políticas em comparação com pesquisas manuais tradicionais. No entanto, os autores mantêm uma postura modesta, reconhecendo que a implementação atual é uma prova de conceito. Eles declaram explicitamente que o método não atendeu totalmente às expectativas em termos de qualidade de texto e que questões de viés de dados, justiça e responsabilidade devem ser consideradas antes que tais abordagens possam ser usadas como base para decisões reais de políticas públicas. O trabalho não pretende substituir a expertise humana, mas sim aumentá-la, sugerindo que pesquisas adicionais são necessárias para melhorar a qualidade da geração de texto e explorar a automação nos estágios de validação.