Persona-driven Simulation of Voting Behavior in the European Parliament with Large Language Models

1. Il Problema

I Large Language Models (LLM) mostrano capacità notevoli nella comprensione e produzione del discorso politico, ma è stato dimostrato che tendono a esibire sistematicamente un bias progressista di sinistra. Sebbene i prompt basati su "persona" (o identità) abbiano dimostrato di poter allineare il comportamento degli LLM a gruppi socioeconomici specifici, rimane incerto quanto questi modelli possano simulare accuratamente le decisioni di voto individuali di politici reali, specialmente in contesti complessi come il Parlamento Europeo (PE).

Il PE presenta una sfida unica: i membri (MEP) devono bilanciare le preferenze personali, le linee dei partiti nazionali e le posizioni dei gruppi europei. Sebbene le decisioni di voto siano state storicamente dominate dalle linee dei partiti nazionali, il PE ha subito una fase di "potenziamento" dove le coalizioni sono specifiche per politica. L'obiettivo è determinare se gli LLM, guidati da prompt di persona con informazioni limitate (zero-shot), possono prevedere con precisione i voti individuali e, per aggregazione, le posizioni dei gruppi politici europei su una vasta gamma di politiche.

2. Metodologia

Raccolta Dati

• Dataset: I ricercatori hanno raccolto dati da HowTheyVote, focalizzandosi sui voti nominali (roll-call votes) del 2024, l'unico tipo di voto in cui sono registrati i voti individuali di tutti gli MEP.
• Campionamento: Sono stati selezionati 47 voti chiave (proposte o risoluzioni) che avevano un comunicato stampa ufficiale e un dibattito dedicato. Il dataset finale include 27.770 decisioni di voto individuali da 710 politici.
• Fonti di Informazione: Per ogni MEP sono stati recuperati dati da Wikipedia (inglese), Wikidata e dal sito ufficiale del PE (affiliazioni a partiti nazionali e gruppi europei). Sono stati raccolti anche i testi dei discorsi dei rappresentanti di gruppo durante i dibattiti.

Costruzione del Prompt e Modelli

• Modelli Utilizzati: Per evitare la "fuga di dati" (data leakage), sono stati scelti modelli con una data di taglio del training precedente al 16 gennaio 2024: Llama3 (versioni 8B e 70B) e Qwen2.5 (versioni 7B e 72B).
• Strategia di Persona: Sono state testate due strategie per descrivere l'identità dell'MEP:
  1. Attributi: Una combinazione strutturata di dati demografici e politici (nome, genere, età, luogo di nascita, paese, gruppo europeo, partito nazionale).
  2. Sintesi Wikipedia: Un riassunto generato da Llama3-70B dell'articolo Wikipedia dell'MEP.
• Informazione sulla Proposta: Invece di usare documenti legislativi troppo lunghi o comunicati stampa parziali, il modello ha ricevuto i discorsi dei rappresentanti di gruppo (anonimizzati) presentati prima del voto. Questi discorsi contengono argomenti a favore e contro, fornendo un quadro bilanciato senza rivelare esplicitamente la posizione del gruppo.
• Formato di Risposta: Il modello doveva scegliere tra FOR (a favore), AGAINST (contro) o ABSTENTION (astensione). Sono state testate due strategie:
  • Reasoning (r): Il modello genera prima una catena di ragionamento in testo aperto, poi sceglie il voto.
  • No Reasoning (nr): Il modello risponde direttamente con la scelta.

3. Risultati Chiave

Prestazioni Generali

• Il modello migliore (Llama3-70B con prompt basato su attributi e ragionamento) ha raggiunto un F1-score ponderato di 0.793, superando significativamente la baseline di maggioranza (che predice sempre il voto maggioritario, F1 = 0.666).
• I modelli più grandi (70B/72B) hanno generalmente performato meglio di quelli più piccoli (8B/7B).
• L'approccio con ragionamento (reasoning) ha migliorato le prestazioni complessive per la maggior parte dei modelli, specialmente nel guidare modelli più piccoli o nel gestire casi complessi.

Analisi per Gruppo Politico

• Accuratezza Differenziata: Il modello predice con maggiore precisione i voti dei gruppi di centro-sinistra e progressisti (S&D, Renew, Greens/EFA), con F1-score superiori a 0.90 per Renew e S&D.
• Difficoltà ai Margini: Le prestazioni calano drasticamente per i gruppi agli estremi dello spettro politico (GUE/NGL a sinistra, ECR e ID a destra), con F1-score che scendono sotto 0.60. Questo suggerisce che gli LLM faticano a replicare convincentemente le visioni di persone che divergono fortemente dai loro bias intrinseci.
• Problema delle Astensioni: Tutti i modelli hanno faticato a prevedere correttamente le astensioni (F1-score molto basso, spesso < 0.12). Il modello tende a sovrastimare i voti "FOR" e sottostimare le astensioni.

Studi di Ablazione

1. Debate Controfattuali: Sostituendo i discorsi reali con discorsi generati che prendono la posizione opposta, si è osservato che i modelli con persona "divergente" (es. politici di destra estrema) cambiano il loro voto predetto più frequentemente rispetto a quelli allineati. Questo indica una mancanza di robustezza nel mantenere la posizione della persona quando esposta a argomenti contrari.
2. Influenza degli Attributi:
   • L'attributo più influente è il partito nazionale, seguito dal gruppo europeo.
   • Fornire solo il nome dell'MEP offre già una buona baseline (F1 0.681), ma l'aggiunta di tutti gli attributi migliora significativamente le prestazioni.
   • L'analisi delle catene di ragionamento mostra che il modello menziona più frequentemente il partito nazionale, confermando la ricerca politica secondo cui il partito nazionale è il principale vincolo per gli MEP.

4. Contributi Principali

1. Nuovo Dataset e Benchmark: Creazione di un dataset di simulazione per il Parlamento Europeo 2024, pubblico e riproducibile, che include attributi dei politici e testi dei dibattiti.
2. Validazione della Simulazione Persona: Dimostrazione che gli LLM possono simulare il comportamento di voto di politici reali con un'accuratezza ragionevole (F1 ~0.79) utilizzando solo informazioni pubbliche limitate, senza bisogno di dati storici di voto massicci o social media.
3. Analisi del Bias e della Robustezza: Evidenziazione del fatto che, sebbene i prompt di persona possano mitigare il bias di sinistra degli LLM, i modelli faticano ancora a mantenere posizioni coerenti per gruppi politici estremi quando esposti a contro-argomentazioni.
4. Implicazioni Metodologiche: Evidenza che la strategia di ragionamento in testo aperto prima della scelta multipla è cruciale per migliorare l'accuratezza, specialmente per modelli più piccoli o per persona non allineate.

5. Significato e Limiti

Significato:
Questo lavoro apre la strada all'uso degli LLM come strumenti di simulazione politica ("silicon samples") per comprendere meglio le dinamiche legislative e prevedere l'orientamento dei gruppi politici. Conferma che la struttura dei partiti nazionali rimane il predittore più forte del voto, anche nell'era digitale.

Limiti:

• Bias sulle Astensioni: I modelli non riescono a catturare la complessità strategica delle astensioni, che spesso derivano da dilemmi tra lealtà al gruppo europeo e al partito nazionale, o da calcoli politici che gli LLM non simulano.
• Bias Intrinseci: La difficoltà nel simulare gruppi estremi suggerisce che gli LLM non possono ancora essere considerati "neutrali" o perfettamente adattabili a qualsiasi ideologia.
• Traduzione e Dati: L'uso della traduzione automatica per i discorsi e la possibile presenza di dati di voto nel training set (non verificabile) sono fonti di potenziale distorsione.
• Considerazioni Etiche: L'uso di LLM per impersonare politici reali solleva rischi di disinformazione e manipolazione dell'opinione pubblica, richiedendo un uso responsabile di queste tecnologie.

In conclusione, lo studio dimostra che la simulazione del comportamento politico tramite LLM è fattibile e promettente, ma richiede un'attenta gestione dei prompt e una consapevolezza dei limiti attuali nella rappresentazione di ideologie non allineate e di comportamenti strategici complessi.