Persona-driven Simulation of Voting Behavior in the European Parliament with Large Language Models

Resumen Técnico: Simulación de Votación en el Parlamento Europeo con LLMs

1. Problema y Motivación

Los Modelos de Lenguaje Grande (LLMs) han demostrado capacidades notables para entender y generar discurso político, pero se ha observado que exhiben consistentemente un sesgo progresista de izquierda. A pesar de esto, existe la hipótesis de que el uso de prompts de "persona" (instrucciones que asignan una identidad específica al modelo) podría permitir que los LLMs alineen su comportamiento con grupos socioeconómicos o políticos con los que no están naturalmente alineados.

El objetivo de este trabajo es determinar si el uso de prompts de persona en zero-shot (sin entrenamiento previo específico) con información limitada puede:

1. Predecir con precisión las decisiones de votación individuales de los Diputados al Parlamento Europeo (DPE/MEPs).
2. Agregar estas predicciones para simular con precisión las posiciones de los grupos políticos europeos en un conjunto diverso de políticas.
3. Evaluar la estabilidad de estas predicciones frente a argumentos contrafácticos y diferentes métodos de generación.

2. Metodología

A. Recopilación de Datos

• Fuentes: Se utilizaron datos de HowTheyVote para las votaciones registradas (roll-call votes) del Parlamento Europeo de 2024.
• Muestra: 47 votaciones clave (con comunicados de prensa y debates), cubriendo 27,770 decisiones de votación individuales de 710 políticos.
• Datos de Perfil: Se recopilaron perfiles de los DPEs desde Wikipedia, Wikidata y el sitio web oficial del Parlamento Europeo (afiliación a partidos nacionales y grupos europeos).
• Información de Propuestas: En lugar de usar documentos legislativos largos o resumos sesgados, se utilizaron los discursos de los representantes de cada grupo antes de la votación. Estos discursos se anonimizaron (se eliminaron nombres y afiliaciones) para presentar argumentos a favor y en contra sin revelar la posición del grupo.

B. Configuración del Modelo

• Modelos Evaluados: Se utilizaron cuatro LLMs para evitar la fuga de datos (corte de entrenamiento anterior a enero de 2024):
  • Llama3-70B y Llama3-8B (Occidentales).
  • Qwen2.5-72B y Qwen2.5-7B (Chinos, para comparar sesgos culturales).
• Construcción de Personas: Se probaron dos estrategias de prompting:
  1. Atributos: Nombre, género, edad, lugar de nacimiento, país, grupo europeo y partido nacional.
  2. Resumen de Wikipedia: Un resumen generado por LLM del artículo de Wikipedia del político.
• Estrategias de Respuesta:
  • Sin razonamiento (nr): Respuesta directa (FOR, AGAINST, ABSTENTION).
  • Con razonamiento (r): El modelo genera una cadena de pensamiento (razonamiento abierto) antes de elegir la opción.
• Validación: Se realizaron estudios de ablación con debates contrafácticos (generados por el modelo para tomar la postura opuesta a la real) para medir la resistencia del modelo a cambiar su posición.

3. Contribuciones Clave

1. Marco de Simulación Política: Se establece una línea base para la predicción de votaciones políticas en un sistema multipartidista complejo (UE) utilizando LLMs con personas, superando métodos tradicionales de aprendizaje automático que dependían de grandes volúmenes de datos históricos.
2. Análisis de Sesgo y Estabilidad: Se demuestra que, aunque los LLMs tienen un sesgo inherente de izquierda, las personas pueden mitigar este sesgo, aunque con limitaciones significativas en grupos políticos extremos.
3. Descubrimiento sobre el Razonamiento: Se identifica que el uso de cadenas de razonamiento (chain-of-thought) antes de la clasificación mejora la capacidad del modelo para simular posturas que divergen de su sesgo base, especialmente en modelos más pequeños.
4. Recurso Abierto: Se libera un conjunto de datos de personas de los DPEs de 2024 y el código de simulación para fomentar futuras investigaciones.

4. Resultados Principales

Rendimiento General:

• El mejor modelo (Llama3-70B con prompting de atributos y razonamiento) alcanzó un puntuación F1 ponderada de 0.793, superando significativamente la línea base de mayoría (0.666).
• La predicción es estable: en el 87.1% de los casos, el modelo predice el mismo voto en tres ejecuciones diferentes.

Análisis por Grupo Político:

• Mejor desempeño: Grupos de centro-izquierda y progresistas (S&D, Renew, Greens/EFA), con puntuaciones F1 superiores a 0.85.
• Peor desempeño: Grupos en los extremos del espectro político (GUE/NGL - extrema izquierda, ECR e ID - extrema derecha), con puntuaciones F1 entre 0.53 y 0.59.
• Sesgo de Abstención: Todos los modelos lucharon para predecir correctamente las abstenciones (F1 muy bajo, ~0.11), tendiendo a sobreestimar los votos a favor (FOR) y subestimar las abstenciones.

Hallazgos de los Estudios de Ablación:

• Importancia del Partido Nacional: El atributo más influyente fue el partido nacional. Incluir solo el nombre y el partido nacional casi igualó el rendimiento del conjunto completo de atributos, validando la investigación política actual sobre la primacía del partido nacional en la disciplina de votación de los DPEs.
• Efecto de los Debates Contrafácticos: Cuando se presentaron argumentos opuestos a los reales, los modelos con personas de grupos extremos (que divergen del sesgo base del LLM) cambiaron su voto con mayor frecuencia que los modelos con personas de grupos centristas. Esto sugiere que los LLMs tienen dificultades para mantener consistentemente las posturas de personas que contradicen sus sesgos inherentes.
• Razonamiento vs. Respuesta Directa: El razonamiento abierto mejoró el rendimiento general y, crucialmente, ayudó a los modelos a identificar mejor las abstenciones y votos en contra, aunque a veces a costa de la precisión en la clase mayoritaria.

5. Significado y Limitaciones

Significado:
El estudio demuestra que los LLMs, cuando se guían adecuadamente con personas y datos públicos limitados, pueden simular el comportamiento de votación en democracias complejas con una precisión razonable. Esto tiene implicaciones para la investigación en ciencias políticas, permitiendo simular escenarios hipotéticos o analizar la cohesión de los grupos sin necesidad de acceso a datos privados o encuestas masivas.

Limitaciones:

• Predicción de Abstenciones: El modelo no captura bien la naturaleza estratégica de la abstención, que a menudo surge de dilemas entre lealtad al grupo europeo y al partido nacional.
• Sesgo Inherente: Los modelos siguen mostrando dificultades para simular fielmente a políticos de grupos extremos cuando se enfrentan a argumentos contrafácticos, lo que indica una fragilidad en la "alineación" de la persona.
• Datos de Entrenamiento: Aunque se seleccionaron modelos con cortes de datos anteriores a las votaciones, existe la posibilidad de que la información sobre políticos famosos esté presente en los datos de pre-entrenamiento, lo que podría influir en las predicciones más allá de los prompts.
• Traducción: El uso de traducción automática para los discursos en múltiples idiomas podría introducir matices perdidos o sesgos adicionales.

Conclusión:
El trabajo valida el potencial de los LLMs como herramientas de simulación política, pero advierte sobre la necesidad de considerar cuidadosamente el sesgo del modelo base, la importancia de incluir razonamiento explícito y la dificultad de simular comportamientos estratégicos complejos como la abstención.