Persona-driven Simulation of Voting Behavior in the European Parliament with Large Language Models

Título: Simulação Impulsionada por Personas do Comportamento de Votação no Parlamento Europeu com Grandes Modelos de Linguagem (LLMs)

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades notáveis na compreensão e produção de discurso político, mas estudos anteriores indicam que eles tendem a exibir um viés inerente progressista e de esquerda. Embora existam pesquisas sobre como prompts de persona (identidade) podem alinhar o comportamento do LLM a grupos socioeconômicos específicos, ainda não está claro até que ponto essas técnicas podem prever com precisão as decisões de voto individuais de políticos reais, especialmente em um sistema complexo como o do Parlamento Europeu (PE).

O PE apresenta desafios únicos: os Deputados ao Parlamento Europeu (DPEs) pertencem simultaneamente a partidos nacionais e a grupos políticos europeus. Suas decisões muitas vezes envolvem equilibrar preferências pessoais, linhas partidárias nacionais e a posição do grupo europeu, resultando em dissidências frequentes. O objetivo deste trabalho é investigar se o prompting de persona zero-shot (sem ajuste fino), utilizando informações limitadas e públicas, pode simular com precisão o comportamento de voto individual e, por agregação, as posições dos grupos políticos europeus.

2. Metodologia

2.1. Coleta de Dados

• Votações: Os autores coletaram dados de 47 votações por chamada (roll-call votes) significativas do Parlamento Europeu de 2024, cobrindo 27.770 decisões individuais de 710 DPEs.
• Fontes: Os dados de voto foram obtidos do projeto HowTheyVote. As informações de perfil dos DPEs (nome, gênero, idade, país, partido nacional, grupo europeu) foram extraídas da Wikipedia em inglês e Wikidata.
• Contexto dos Debates: Para fornecer o contexto da proposta, utilizaram-se os discursos dos representantes de cada grupo político antes das votações. Para evitar viés de informação direta sobre a posição do grupo, os discursos foram anonimizados (nomes e grupos substituídos por placeholders) e apresentados em ordem aleatória.

2.2. Modelos Utilizados
Para evitar vazamento de dados (já que as votações ocorreram em 2024), foram selecionados modelos com datas de corte de treinamento anteriores a 16 de janeiro de 2024:

• Llama3: Versões 70B e 8B (Instruct).
• Qwen2.5: Versões 72B e 7B (Instruct).
• Nota: O modelo Mixtral foi testado, mas rejeitou frequentemente o formato de prompt, sendo excluído das análises principais.

2.3. Construção de Personas e Prompts
O sistema foi configurado para fazer o LLM assumir a identidade de um DPE específico e votar em uma proposta. Duas estratégias de persona foram testadas:

1. Atributos Estruturados: Uma lista de atributos demográficos e políticos (nome, idade, país, partido nacional, grupo europeu).
2. Resumo da Wikipedia: Um resumo gerado por LLM do artigo da Wikipedia do político.

Duas estratégias de resposta foram comparadas:

• Sem Raciocínio (nr): O modelo responde diretamente com a opção (FOR, AGAINST, ABSTENTION).
• Com Raciocínio (r): O modelo primeiro gera uma cadeia de raciocínio (texto aberto) justificando a decisão antes de escolher a opção final.

2.4. Avaliação
Devido ao desequilíbrio das classes (77% votos a favor, 17% contra, 6% abstenção), a métrica principal foi o F1-score ponderado (Weighted F1). A estabilidade foi testada através de múltiplas execuções e variações de prompts.

3. Resultados Principais

3.1. Desempenho de Previsão

• O melhor desempenho foi alcançado pelo Llama3-70B utilizando prompts baseados em atributos com estratégia de raciocínio, atingindo um F1-score ponderado de 0,793.
• Modelos maiores (70B/72B) superaram consistentemente os menores (8B/7B).
• A estratégia de raciocínio melhorou o desempenho geral, especialmente para modelos menores e para a classe minoritária de abstenções.

3.2. Viés e Estabilidade

• Viés Inerente: Sem personas, os modelos tendem a votar "A Favor" na maioria esmagadora das propostas, alinhando-se a grupos de centro-esquerda (S&D, Renew) e verdes (Greens/EFA).
• Robustez: As previsões foram estáveis (desvio padrão < 0,002 entre execuções).
• Limitação nas Abstenções: Todos os modelos tiveram dificuldade em prever corretamente abstenções (F1 baixo para a classe ABSTENTION), embora a estratégia de raciocínio tenha melhorado ligeiramente a sensibilidade a essa classe no Qwen-7B.

3.3. Análise por Grupo Político

• O modelo previu com maior precisão os votos de grupos centrais e progressistas (S&D, Renew, Greens/EFA), com F1-scores acima de 0,85.
• O desempenho foi pior para grupos nas extremidades do espectro político (GUE/NGL, ECR, ID), onde o modelo frequentemente falha em prever a linha do grupo ou a dissidência individual.

3.4. Estudos de Ablação

• Debates Contrafactuais: Ao substituir os discursos reais por discursos gerados pelo LLM com a posição oposta, o viés de "votar a favor" foi reduzido. No entanto, as personas de grupos extremos (esquerda e direita distantes) foram mais suscetíveis a mudar seu voto baseado no argumento do que as personas de grupos centrais, sugerindo que o LLM tem dificuldade em replicar consistentemente visões divergentes de seu viés base.
• Importância dos Atributos: O Partido Nacional foi identificado como o atributo mais influente na previsão, seguido pelo Grupo Europeu. Curiosamente, fornecer apenas o nome do político resultou em um desempenho marginalmente acima da linha de base (majority baseline), indicando que os LLMs já possuem conhecimento prévio sobre muitos políticos em seus dados de treinamento.

4. Contribuições Chave

1. Validação de Simulação Política: Demonstra que LLMs, quando guiados por personas com informações públicas limitadas, podem simular o comportamento de voto individual no PE com alta precisão (F1 ~0,79), superando métodos tradicionais de Machine Learning e baselines de sentimento.
2. Descoberta sobre Viés e Raciocínio: Evidencia que a estratégia de "raciocínio antes da escolha" (chain-of-thought) é crucial para alinhar modelos com personas que divergem do viés inerente do modelo, melhorando a previsão de classes minoritárias (como abstenções e votos contra).
3. Hierarquia de Influência: Confirma empiricamente, através da análise de atributos, que o partido nacional é o principal determinante do voto de um DPE, superando o grupo europeu e outros fatores demográficos, alinhando-se com a literatura política existente.
4. Recursos Abertos: Os autores disponibilizaram o conjunto de dados de personas dos DPEs de 2024 e o código de simulação, facilitando pesquisas futuras em simulação política.

5. Significado e Implicações

Este trabalho é significativo por várias razões:

• Para Ciência Política: Oferece uma nova ferramenta para simular cenários políticos e entender a dinâmica de coalizões e dissidências no PE sem depender de grandes volumes de dados históricos de votação para cada indivíduo.
• Para IA e Ética: Destaca os limites éticos e técnicos da simulação. Embora os modelos possam prever votos, eles falham em capturar a complexidade estratégica das abstenções (que muitas vezes são decisões políticas calculadas) e podem ser facilmente manipulados por argumentos contrafactuais se a persona não estiver alinhada com o viés do modelo.
• Viés Algorítmico: Reforça a existência de um viés progressista de esquerda nos LLMs ocidentais e mostra que, embora prompts de persona possam mitigar esse viés, não o eliminam completamente, especialmente para posições políticas extremas.

Em conclusão, a simulação impulsionada por personas é uma abordagem viável e promissora para modelar o comportamento político, mas requer atenção cuidadosa à construção do prompt (especialmente o uso de raciocínio explícito) e à compreensão das limitações inerentes aos modelos de linguagem em relação a posições ideológicas divergentes.