Privacy-Aware Predictions in Participatory Budgeting

Resumo Técnico: Predições Conscientes de Privacidade em Orçamentos Participativos

Definição do Problema
O orçamento participativo (OP) é um processo democrático onde os cidadãos propõem e votam em projetos de investimento público. Embora a pesquisa em escolha social computacional tenha se concentrado extensivamente na otimização da fase de votação (por exemplo, no design de regras de seleção), a fase de consolidação — onde os organizadores devem selecionar uma lista de projetos (shortlist) de um grande volume de propostas antes da votação — permanece amplamente opaca e frequentemente depende de decisões manuais de comitês sem objetivos claros. Esta fase apresenta desafios significativos de escalabilidade devido ao alto volume de dados textuais (títulos e descrições de projetos). Além disso, as abordagens de IA existentes neste domínio frequentemente dependem de dados demográficos dos eleitores ou informações de identificação pessoal (PII) para criar "personas de eleitores", o que levanta preocupações de privacidade e limita a aplicabilidade em contextos onde tais dados não estão disponíveis ou são legalmente restritos.

Metodologia
Os autores propõem uma estrutura preservadora de privacidade para prever o sucesso de projetos (medido pela contagem de votos) utilizando apenas dados publicamente disponíveis: descrições textuais de projetos e registros históricos de votação anônimos. O estudo utiliza dois conjuntos de dados plurianuais de cidades europeias: Toulouse, França (campanhas de 2022 e 2024) e Wroclaw, Polônia (campanhas de 2016 e 2017). Estes conjuntos de dados foram construídos fundindo dados de votação do repositório Pabulib.org com descrições de projetos extraídas de sites municipais.

A metodologia compara duas abordagens distintas:

1. Aprendizado de Máquina Clássico (ML):

   • Modelos: ElasticNet (regressão) e XGBoost (florestas aleatórias).
   • Características (Features): Dados tabulares (distrito, categoria, custo) combinados com três estratégias de pré-processamento de texto: TF-IDF, Sentence-BERT (SBERT) e BGE-M3.
   • Treinamento/Avaliação: Os modelos foram treinados na campanha mais antiga disponível em cada cidade e avaliados na mais recente. A Análise de Componentes Principais (PCA) foi aplicada para reduzir a dimensionalidade.
   • Baseline: Uma configuração "Sem-Texto" treinada exclusivamente com dados tabulares.

2. Grandes Modelos de Linguagem (LLMs):

   • Modelos: GPT-4 Turbo e Llama 3.3 70B.
   • Estratégias de Prompting: Três variantes foram testadas para fornecer um contexto progressivamente mais rico:
     • Zero-Shot: Sem dados históricos fornecidos.
     • Contexto Completo (Full Context): Lista de projetos anteriores (títulos, categorias, custos, distritos, votos) sem as descrições textuais devido aos limites da janela de contexto.
     • Geração Aumentada por Recuperação (RAG): O modelo recebe o projeto alvo mais os 20% de projetos semanticamente mais similares do conjunto de dados histórico (baseado em similaridade de cosseno), incluindo suas descrições completas e contagem de votos.
   • Salvaguardas de Privacidade: Os autores verificaram que os LLMs não tiveram exposição prévia aos resultados de votação específicos ou às descrições completas dos projetos das campanhas de teste, garantindo que as predições não fossem baseadas em dados memorizados do treinamento.

Principais Contribuições

• Conjuntos de Dados: A construção e liberação de dois novos conjuntos de dados de OP fundindo resultados de votação com descrições textuais ricas para Toulouse e Wroclaw.
• Predição Preservadora de Privacidade: Uma demonstração de que uma classificação precisa de projetos pode ser alcançada sem utilizar a demografia dos eleitores ou PII, baseando-se apenas em dados públicos de projetos e resultados eleitorais históricos.
• Análise Comparativa: Uma avaliação sistemática de modelos de ML clássicos versus estratégias de prompting de LLM (Zero-shot, Full Context, RAG) para prever contagens de votos e classificações ordinais.
• Utilidade de Shortlisting: Uma análise de como esses preditores performam especificamente para a tarefa de "shortlisting" (identificar os top-k projetos que provavelmente passariam em uma regra de seleção gananciosa/greedy), em vez de apenas a predição da contagem exata de votos.

Resultos

• Desempenho vs. Baseline: Todos os modelos propostos superaram significativamente um baseline aleatório (Cultura Imparcial).
• Classificação Ordinal vs. Contagens Exatas: Os LLMs demonstraram maior precisão na predição da classificação ordinal dos projetos (Kendall's $\tau$) do que na predição de contagens exatas de votos (Erro Médio Absoluto).
• LLM vs. ML: Abordagens baseadas em LLM, particularmente com RAG, alcançaram desempenho comparável e, em alguns casos, superior aos melhores modelos de ML clássicos.
  • Em Toulouse, o GPT-4 Turbo (RAG) alcançou um Kendall's $\tau$ de 0,35, comparável à melhor variante do ElasticNet (0,36).
  • Em Wroclaw, o Llama 3.3 (RAG) alcançou um $\tau$ de 0,51, superando a melhor variante do XGBoost (0,44).
• Importância do Contexto: Prompts Zero-shot performaram mal, confirmando que o conhecimento prévio da cidade é insuficiente sem dados históricos específicos. O RAG apresentou consistentemente os resultados mais estáveis e precisos entre as estratégias de LLM.
• Eficácia de Shortlisting: Ao avaliar a sobreposição dos 30% superiores de projetos previstos com os projetos efetivamente financiados (usando o índice de Jaccard), os modelos mostraram utilidade substancial. Para Wroclaw, as variantes de LLM RAG atingiram um índice de Jaccard de quase 0,5, indicando forte alinhamento com os projetos que passariam em uma regra de seleção gananciosa.
• Eficiência de Dados: A inclusão de descrições textuais foi essencial para superar os baselines aleatórios e os modelos apenas de tabelas.

Significância e Alegações
O artigo afirma que sua metodologia oferece uma ferramenta de suporte prática e consciente de privacidade para organizadores de OP gerenciarem grandes volumes de propostas durante a fase de consolidação. Ao basear-se apenas em dados publicamente disponíveis, a abordagem constrói confiança e incentiva a participação.

Os autores enfatizam que sua ferramenta é projetada para auxiliar os organizadores, não para substituir o processo de votação. Eles declaram explicitamente que os LLMs não devem ser usados como ferramentas de shortlisting "prontas para uso" sem configuração técnica (ex: implementação de RAG) e que o output deve servir como uma classificação inicial para revisão humana. O estudo destaca que dados eleitorais históricos da mesma cidade podem substituir efetivamente os inputs demográficos para predição, abordando uma limitação chave da pesquisa anterior de "personas de eleitores".

Finalmente, os autores reconhecem limitações, incluindo o potencial de manipulação estratégica das descrições dos projetos, a natureza de "caixa preta" dos LLMs e o risco de viés de custo (onde projetos de maior custo são favorecidos). Eles concluem que, embora a abordagem seja promissora para a democracia digital, ela requer escrutínio adicional e deve ser implantada como parte de um processo de auxílio por IA com supervisão humana (human-in-the-loop).