Reasoning Boosts Opinion Alignment in LLMs

1. Il Problema

La modellazione delle opinioni politiche mira a catturare le preferenze individuali o di gruppo per applicazioni come le "democrazie digitali", dove i "gemelli digitali" potrebbero votare o simulare il comportamento politico in modo fedele. Sebbene i Large Language Models (LLM) siano candidati ideali grazie alla loro versatilità, soffrono di due limiti principali quando si tratta di simulare opinioni politiche:

1. Natura statistica e bias: Gli LLM tendono a produrre opinioni distorte se sollecitati in modo ingenuo (prompting), riflettendo spesso i bias intrinseci del modello di addestramento piuttosto che la vera diversità delle opinioni umane.
2. Inconsistenza dei metodi basati su prompt: Gli approcci attuali, che utilizzano informazioni demografiche (età, genere, affiliazione politica) per guidare il modello, falliscono nel catturare le distribuzioni reali delle opinioni. Questi metodi mostrano risposte instabili e inconsistenti tra diversi prompt e gruppi demografici, non riuscendo a rappresentare fedelmente le preferenze individuali specifiche.

L'obiettivo della ricerca è determinare se l'integrazione di capacità di ragionamento (reasoning) possa migliorare l'allineamento delle opinioni degli LLM rispetto a profili individuali reali, superando i limiti dei metodi basati su semplici prompt demografici.

2. Metodologia

Gli autori propongono un approccio che tratta la formazione dell'opinione come un problema di ragionamento strutturato, utilizzando l'apprendimento per rinforzo (Reinforcement Learning - RL).

Dati e Setup

Il lavoro si basa su tre dataset reali che coprono diversi sistemi politici:

• Smartvote (Svizzera): Posizioni di 18 candidati su 60 questioni politiche (binarie: Sì/No).
• Wahl-O-Mat (Germania): Posizioni di 6 partiti su questioni federali, statali ed europee (terzarie: Sì/Neutrale/No).
• ANES 2020 (USA): Risposte di 21 elettori su 79 questioni politiche (terzarie).

Architettura e Addestramento

Il metodo proposto combina Supervised Fine-Tuning (SFT) e Group Relative Policy Optimization (GRPO):

1. Formato di Output Strutturato: Il modello è istruito a generare una risposta in due fasi obbligate:
   • Un tag <reasoning> contenente una breve giustificazione logica.
   • Un tag <answer> contenente la scelta finale (Sì/No/Neutrale).
2. Fase SFT (Inizializzazione): Il modello viene inizialmente addestrato (SFT) su un dataset sintetico di "catene di pensiero" (chain-of-thought) e risposte vere. Questo serve a insegnare al modello il formato di output corretto e a fornire una base di ragionamento politico.
3. Fase GRPO (Ottimizzazione): Viene applicato l'algoritmo GRPO (una variante di PPO). Per ogni domanda, il modello genera un gruppo di risposte. La ricompensa è calcolata in base a tre dimensioni:
   • Ricompensa di Formato ($R_{format}$): Assegna punti se i tag <reasoning> e <answer> sono presenti e corretti.
   • Ricompensa di Lunghezza ($R_{length}$): Penalizza le deviazioni da una lunghezza desiderata del ragionamento.
   • Ricompensa di Correttezza ($R_{correct}$): Assegna un punteggio positivo solo se la risposta finale corrisponde alla risposta reale dell'individuo nel sondaggio.
   • La ricompensa totale è una combinazione ponderata di questi fattori.

Non viene utilizzata una rappresentazione esplicita del "persona" (es. embedding dell'utente); l'allineamento avviene esclusivamente attraverso la capacità del modello di rispondere correttamente alle domande basandosi sui dati di addestramento specifici per quel profilo.

3. Contributi Chiave

1. Allineamento delle Opinioni basato su Ragionamento: Introduzione di un metodo che utilizza il RL (GRPO) per incoraggiare il ragionamento esplicito, migliorando significativamente l'allineamento rispetto alle risposte di sondaggio rispetto ai metodi tradizionali.
2. Benchmark su Dati Politici Reali: Creazione e rilascio di un benchmark su tre dataset politici reali (Svizzera, Germania, USA), fornendo una base solida per la ricerca futura sull'allineamento delle opinioni.
3. Analisi degli Effetti Ideologici: Indagine su come l'ideologia politica influenzi le prestazioni del modello, rivelando variazioni sistematiche nella qualità dell'allineamento attraverso lo spettro politico (sinistra, centro, destra).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli (Llama 3.1 8B, Qwen3 8B, Magistral 24B) confrontando SFT+GRPO con baseline come prompting in-context (ICL), ORPO e addestramento puramente SFT.

• Prestazioni Generali: La combinazione SFT+GRPO supera costantemente le baseline naive e spesso i metodi SFT o GRPO isolati. Il ragionamento strutturato porta a un miglioramento significativo dell'accuratezza (F1-score).
  • Esempio: Su Smartvote, Magistral 24B con SFT+GRPO raggiunge un F1 di 70.73%, superando tutte le altre configurazioni.
• Impatto del Dataset: Le prestazioni variano in base alla natura del dataset. Smartvote (risposte binarie) ottiene i risultati migliori, mentre ANES (con la classe "Neutrale") è più difficile da modellare.
• Il Problema della Classe "Neutrale": Il modello fatica notevolmente a prevedere correttamente le risposte "Neutre". C'è una forte correlazione negativa tra il tasso di risposte "Neutre" di un individuo e le prestazioni del modello (F1 e accuratezza). Rimuovendo le istanze neutre, le prestazioni migliorano drasticamente, ma il divario tra gruppi politici rimane.
• Bias Ideologici:
  • I modelli tendono a performare meglio sui profili di Sinistra rispetto a quelli di Destra o Centro.
  • L'analisi PCA mostra che gli agenti tendono a spostarsi verso il centro-destra rispetto alle posizioni reali dei candidati, suggerendo un bias intrinseco del modello base o difficoltà nell'apprendere profili di destra.
  • L'uso di dati SFT con bias ideologici (progressivo o conservatore) danneggia principalmente i gruppi sottorappresentati, peggiorando le prestazioni dei profili di destra in caso di bias progressivo e viceversa.

5. Significato e Conclusioni

Il paper dimostra che il ragionamento strutturato, abilitato dall'apprendimento per rinforzo, è uno strumento potente per migliorare l'allineamento delle opinioni degli LLM, rendendoli più fedeli ai profili individuali rispetto ai metodi basati su prompt demografici.

Tuttavia, lo studio evidenzia limiti significativi:

• L'allineamento non è perfetto e non elimina completamente i bias del modello.
• Esiste una disparità sistematica nelle prestazioni tra diversi gruppi ideologici, con una difficoltà maggiore nel modellare le posizioni di destra e le risposte neutre.
• La ricerca conclude che, sebbene i "gemelli digitali" politici siano un passo verso democrazie più rappresentative, sono necessarie ulteriori ricerche per mitigare i bias e gestire l'incertezza (classe Neutrale) prima di un eventuale dispiegamento nel mondo reale, per evitare rischi di disinformazione o rappresentazione politica distorta.

Il lavoro fornisce un baseline solido e open-source per la futura ricerca sull'allineamento delle opinioni politiche con gli LLM.