Language Model Fine-Tuning on Scaled Survey Data for Predicting Distributions of Public Opinions

1. Il Problema

La ricerca sulle opinioni pubbliche è fondamentale per comprendere le dinamiche sociali, ma i sondaggi tradizionali sono costosi, lenti e soggetti a bias di campionamento e non-risposta. Recenti studi hanno suggerito che i Grandi Modelli Linguistici (LLM) potrebbero simulare le risposte umane per prevedere le opinioni di diverse sottopopolazioni. Tuttavia, gli approcci esistenti basati sul prompt engineering (come l'uso di descrizioni demografiche nei prompt) hanno mostrato risultati limitati:

• Faticano a riprodurre fedelmente la distribuzione delle risposte umane (spesso predicono solo la risposta più probabile o stereotipata).
• Non riescono a catturare la varianza interna all'interno di una sottopopolazione.
• I modelli pre-addestrati tendono a riflettere le opinioni di gruppi sovrarappresentati (es. ricchi e istruiti) e falliscono nel generalizzare a gruppi sottorappresentati o a nuovi argomenti di sondaggio.

L'obiettivo principale è sviluppare un metodo per addestrare gli LLM a prevedere non solo la risposta singola, ma l'intera distribuzione probabilistica delle risposte di una specifica sottopopolazione umana, con alta accuratezza e capacità di generalizzazione.

2. Metodologia

Creazione del Dataset: SubPOP

Gli autori hanno curato e rilasciato SubPOP (Subpopulation-level Public Opinion Prediction), un dataset su larga scala progettato specificamente per il fine-tuning degli LLM.

• Scala: Comprende 3.362 domande e 70.000 coppie "sottopopolazione-risposta", rendendolo circa 6,5 volte più grande dei dataset precedenti (come OpinionQA).
• Fonti: I dati provengono da due famiglie di sondaggi distinti:
  • SubPOP-Train: 53 "onde" (wave) del American Trends Panel (ATP) della Pew Research Center (onde 61-132), escluse quelle presenti in OpinionQA.
  • SubPOP-Eval: 133 domande dal General Social Survey (GSS) del NORC, utilizzate come benchmark fuori distribuzione (OOD).
• Struttura: Ogni esempio è una tripletta composta da: (Domanda del sondaggio, Informazioni sulla sottopopolazione target, Distribuzione empirica delle risposte umane).

Approccio di Fine-Tuning

Invece di usare prompt ingegnerizzati complessi, gli autori applicano un fine-tuning supervisionato diretto:

• Input: La coppia (Domanda, Descrizione della sottopopolazione) viene fornita come prompt.
• Target: Il modello deve prevedere la distribuzione di probabilità per ogni opzione di risposta (es. A, B, C, D, E).
• Funzione di Perdita (Loss): Viene utilizzata la divergenza di Kullback-Leibler (KL) in avanti ($D_{KL}(p_H || p_\theta)$), dove $p_H$ è la distribuzione empirica umana e $p_\theta$ è la distribuzione predetta dal modello.
  • La KL in avanti è scelta perché penalizza il modello se assegna bassa probabilità a risposte che gli umani hanno scelto frequentemente, incoraggiando così a coprire l'intera distribuzione reale.
• Architettura: Vengono utilizzati tecniche di LoRA (Low-Rank Adaptation) per adattare efficientemente modelli come Llama-2, Mistral e Llama-3.

Metriche di Valutazione

Per misurare la qualità della distribuzione predetta, gli autori utilizzano la Distanza di Wasserstein (WD) (o Earth Mover's Distance).

• A differenza dell'accuratezza "one-hot" (che verifica solo se la risposta principale è corretta), la WD tiene conto della natura ordinale delle risposte (es. "Molto probabile" è più vicino a "Probabile" che a "Improbabile").
• Questo permette di quantificare il "costo" di spostamento della massa di probabilità, offrendo una valutazione più sfumata della discrepanza tra distribuzione umana e modello.

3. Risultati Chiave

Performance Superiore rispetto ai Baseline

Il fine-tuning su SubPOP ha dimostrato miglioramenti significativi rispetto a tutti i metodi di base (zero-shot, few-shot prompting e Modular Pluralism):

• Riduzione dell'errore: Il modello ha ridotto la Distanza di Wasserstein tra le predizioni LLM e le risposte umane del 32-46% rispetto ai migliori baseline su OpinionQA e del 39-42% su SubPOP-Eval.
• Confronto con Prompting: Il prompting zero-shot e few-shot ha mostrato miglioramenti marginali o nulli, confermando che l'adattamento interno del modello tramite fine-tuning è cruciale per catturare le distribuzioni.
• Confronto con Modular Pluralism: Sebbene Modular Pluralism migliori l'accuratezza della singola risposta (one-hot), fallisce nel modellare l'intera distribuzione delle opzioni, un aspetto in cui il metodo proposto eccelle.

Generalizzazione (Out-of-Distribution)

Uno dei risultati più importanti è la capacità di generalizzazione del modello:

• Nuovi Sondaggi: Addestrato su dati ATP (Pew), il modello generalizza efficacemente a domande del GSS (NORC), due istituzioni con metodologie e pool di rispondenti diversi.
• Nuovi Sottogruppi: Il modello generalizza bene a sottopopolazioni non viste durante l'addestramento (es. gruppi di età specifici o ideologie politiche estreme non presenti nei dati di training), mantenendo un miglioramento relativo del ~44% rispetto al prompting zero-shot.
• Steerability: Gli esperimenti dimostrano che il modello è effettivamente "guidabile" (steerable): quando si cambia l'etichetta della sottopopolazione nel prompt, la distribuzione predetta cambia in modo coerente con le differenze osservate nei dati umani reali, anche per gruppi non visti in training.

Scalabilità

L'analisi sulla dimensione del dataset mostra che le prestazioni continuano a migliorare all'aumentare della quantità di dati di addestramento, senza plateau immediato. Si stima che dataset ancora più grandi potrebbero avvicinare le prestazioni del modello al limite inferiore teorico (la varianza intrinseca del campionamento umano).

4. Contributi Principali

1. Metodo: Dimostrazione che il fine-tuning diretto su distribuzioni di risposte da sondaggi strutturati è superiore al prompt engineering per la previsione delle opinioni pubbliche.
2. Dataset: Rilascio di SubPOP, il più grande dataset curato per la previsione delle opinioni pubbliche (6,5x più grande dei precedenti), che copre una vasta gamma di temi e sottopopolazioni.
3. Generalizzazione: Evidenza empirica che gli LLM fine-tunati possono generalizzare a nuovi sondaggi, nuovi argomenti e, crucialmente, a sottopopolazioni demografiche non presenti nel set di addestramento.
4. Metrica: Validazione dell'uso della Distanza di Wasserstein come metrica superiore per valutare l'allineamento distribuzionale rispetto alle metriche di accuratezza classica.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo nell'uso degli LLM per le scienze sociali:

• Efficienza nei Sondaggi: I ricercatori potrebbero utilizzare questi modelli per testare piloti di sondaggi, identificare sottogruppi da sovracampionare o validare pipeline di analisi prima di lanciare costosi sondaggi reali.
• Riduzione dei Bias: Il metodo offre un modo per stimare le opinioni di gruppi sottorappresentati o difficili da raggiungere, riducendo potenzialmente i bias di campionamento.
• Limiti e Futuro: Sebbene promettente, il paper riconosce che rimangono sfide aperte, come la gestione delle intersezioni complesse di identità demografiche e l'adattamento nel tempo. Il lavoro suggerisce che gli LLM non dovrebbero sostituire i partecipanti umani, ma agire come strumenti complementari per migliorare l'efficienza e la progettazione della ricerca sulle opinioni pubbliche.

In sintesi, gli autori dimostrano che trasformando i dati di sondaggio in un compito di addestramento distribuzionale supervisionato, è possibile creare modelli linguistici capaci di simulare con alta fedeltà la complessità e la diversità delle opinioni umane.