Large Language Models are Perplexed by some Political Parties

Sintesi Tecnica: I Large Language Models sono perplessi da alcuni partiti politici

Definizione del problema
Sebbene i Large Language Models (LLM) siano sempre più impiegati in applicazioni politiche, la loro equità politica rimane scarsamente studiata. La letteratura esistente valuta principalmente i "bias politici" negli LLM sottoposti a Instruction-Tuning (IT) utilizzando metodi basati su sondaggi (ad esempio, chiedendo ai modelli di rispondere a domande del compasso politico). Questi metodi soffrono spesso di fragilità rispetto alla formulazione dei prompt e sono generalmente inapplicabili ai modelli base (base LLM). Inoltre, il lavoro precedente sull'equità della traduzione (Lerner e Yvon, 2025) suggerisce che la qualità della traduzione vari in base all'affiliazione politica dell'interlocutore, ma ciò si basa su corpora paralleli e metriche a valle. Gli autori postulano che un modello equo dovrebbe assegnare una probabilità uguale (perplessità) ai testi indipendentemente dal loro contenuto partitico, tuttavia non è noto se i base LLM mostrino un'ingiustizia sistematica nelle loro distribuzioni di pretraining attraverso diversi gruppi politici e lingue.

Metodologia
Gli autori propongono un metodo per valutare l'equità politica utilizzando la perplessità (e metriche informative correlate come la Negative Log-Likelihood, i Bits Per Character e i Bits Per English Character) su corpora monolingue. L'ipotesi centrale è che un modello equo debba esibire una perplessità uguale per i testi di tutti i gruppi politici.

• Dataset: Lo studio utilizza tre dataset che coprono 37 lingue:
  1. Manifesto: Programmi dei partiti politici (2018–presente).
  2. Parlamint: Dibattiti parlamentari nazionali (2022–presente).
  3. 21-EuroParl: Un corpus multi-parallelo delle procedure del Parlamento Europeo (2009–2011) allineato a livello di frase in 21 lingue.
• Modelli: Gli esperimenti coprono dieci LLM di tre famiglie (Gemma-3, Qwen3, Llama-3.1) in due dimensioni (4B/8B e 8B/70B), valutando sia i Base LLM che i loro corrispondenti Instruction-Tuned (IT-LLM).
• Metriche e Analisi:
  • Valutazione dell'equità: Gli autori calcolano perplessità (PPL), BPC e BPEC su testi stratificati per partito politico. Per determinare se la perplessità vari significativamente per partito, utilizzano l'analisi di Kruskal-Wallis (un'ANOVA non parametrica).
  • Aggregazione: Per il confronto cross-linguistico, utilizzano l'aggregazione tramite Borda count per classificare i partiti o le famiglie politiche (ad esempio, Social Democratic vs. Nationalist) in base ai loro punteggi di perplessità.
  • Correlazione: Per collegare l'equità del pretraining alle prestazioni a valle, calcolano la correlazione di Spearman tra la perplessità del base LLM e le metriche di traduzione a valle (sBLEU e COMET) del corrispondente IT-LLM.

Risultati Chiave

1. Inequità Sistematica nel Pretraining: In dieci LLM e dataset che coprono 37 lingue, gli LLM sono costantemente più perplessi dai testi dei partiti di estrema destra e nazionalisti rispetto ai partiti socialdemocratici.
   • Nel caso studio del Portoghese, i partiti radicali di sinistra e di estrema destra avevano il NLL più alto (peggiore), mentre il partito socialista di sinistra aveva il Nello NLL più basso (migliore).
   • Aggregati su 10 lingue nel dataset Manifesto, i partiti Nazionalisti/Radicali di Destra hanno ricevuto costantemente i peggiori punteggi Borda (classifica più bassa), mentre i partiti Socialdemocratici hanno ricevuto i migliori.
2. Base vs. Instruction-Tuning: L'inequità politica osservata nei base LLM è altamente correlata a quella dei loro corrispondenti istruiti (IT-LLM) (Pearson $r \approx 0.99$). Lo studio rileva che l'instruction-tuning non altera significativamente l'equità politica sottostante stabilita durante il pretraining.
3. Correlazione con la Traduzione a Valle: Esiste una forte correlazione negativa tra la perplessità del testo di un partito politico nel base LLM e la qualità della traduzione (sBLEU/COMET) di quel testo quando generato dall'IT-LLM.
   • I partiti con perplessità più elevata (minore probabilità assegnata dal modello) ricevono punteggi di traduzione inferiori.
   • Questa correlazione si mantiene anche utilizzando la perplessità non condizionata (senza contesto del testo sorgente), suggerendo che la difficoltà intrinseca del modello nel modellare il linguaggio di un particolare gruppo politico impatta direttamente sulla sua capacità di generare o tradurre tale linguaggio successivamente.

Contributi Chiave

• La Perplessità come Metrica di Equità: Il paper introduce un metodo per valutare l'equità politica utilizzando la perplessità su corpora monolingui semplici, applicabile sia a modelli base che istruiti senza richiedere traduzioni di riferimento o prompt di sondaggio.
• Origine del Bias nel Pretraining: Gli autori dimostrano che i problemi di equità politica derivano principalmente dalla fase di pretraining, poiché i base LLM e i loro corrispondenti IT mostrano profili di equità quasi identici.
• Coerenza Multilingue: Le scoperte valgono per 37 lingue e 420 coppie linguistiche, suggerendo che le caratteristiche politiche siano condivise tra le lingue all'interno di un singolo modello piuttosto che essere spazi sottospaziali specifici per ogni lingua.
• Predizione delle Prestazioni a Valle: Lo studio stabilisce che la perplessità del modello base può predire l'equità della traduzione a valle, offrendo un modo per stimare il bias di traduzione senza dati paralleli.

Significatività e Rivendicazioni
Il paper sostiene che l'equità politica degli LLM non è uno spettro graduale destra-sinistra, ma piuttosto uno svantaggio specifico per certi gruppi (particolarmente i partiti di estrema destra e nazionalisti) rispetto a quelli socialdemocratici. Gli autori sostengono che, poiché questo bias ha origine nel pretraining, i metodi standard di allineamento tramite instruction-tuning sono insufficienti per correggerlo. Di conseguenza, il lavoro richiama a:

• Metodi di allineamento post-training alternativi.
• La progettazione di metodi di pretraining equi.
• Una riflessione più ampia sull'integrazione degli LLM in applicazioni politiche sensibili.

Lo studio si distingue dalla letteratura precedente basata sui sondaggi concentrandosi sulle distribuzioni di probabilità intrinseche del modello piuttosto che sulle sue risposte generate a prompt, fornendo prove che il "bias politico" è una proprietà fondamentale della distribuzione di addestramento del modello.