Sintesi Tecnica: Le persone non sono solo i loro paesi

Definizione del problema

Poiché i modelli linguistici di grandi dimensioni (LLM) stanno diventando fonti primarie di informazione e consulenza, comprendere la loro convergenza di valori (value alignment) con le popolazioni umane è fondamentale. La letteratura esistente sull'allineamento dei valori degli LLM si basa prevalentemente su sondaggi su larga scala (ad esempio, il World Values Survey) e si concentra su confronti transnazionali o transculturali. Questo approccio spesso tratta i paesi come unità monolitiche, trascurando il ruolo delle divisioni socio-demografiche (come istruzione, reddito e religione) nel creare disparità nell'allineamento dei valori. Inoltre, l'uso ripetuto di sondaggi consolidati come il World Values Survey (WVS) solleva preoccupazioni riguardanti la contaminazione dei dati, poiché gli LLM potrebbero aver memorizzato questi specifici dataset. Manca una ricerca che distingua i contributi del paese di residenza rispetto ai dati socio-demografici individuali nel spiegare i modelli di allineamento dei valori, particolarmente all'interno di un contesto europeo.

Metodologia

Lo studio affronta queste lacune sfruttando l'undicesima ondata dell'European Social Survey (ESS), condotta tra il 2023 e il 2024 in 29 paesi europei e Israele.

• Fonte dei dati: L'analisi utilizza 50.116 rispondenti dell'ESS, incorporando 47 domande relative ai valori (escludendo gli item specifici per paese). Un sottoinsieme di 21 domande corrisponde al Portrait Value Questionnaire (PVQ) basato sulla teoria dei valori umani fondamentali di Schwartz.
• Modelli: Lo studio valuta 10 prominenti LLM commerciali provenienti da quattro provider: OpenAI (varianti GPT-5), Anthropic (varianti Claude Opus/Sonnet), Mistral (varianti di ragionamento diverse) e DeepSeek (V3/V4).
• Strategia di prompting: I modelli sono stati interrogati 20 volte per domanda in inglese utilizzando uno schema standardizzato. Le risposte sono state mappate su categorie di scala Likert. Per garantire la robustezza, le risposte sono state aggregate tramite voto di maggioranza tra le chiamate al modello.
• Definizione del punteggio di allineamento: Un punteggio di allineamento ($A_{p,m,q}$) è calcolato per ogni persona $p$ e modello $m$ sulla domanda $q$ come la distanza normalizzata tra la risposta umana e il voto di maggioranza del modello sulla scala Likert, con un intervallo da 0 a 1.
• Approccio analitico:
  1. Deviazione aggregata: Calcolo delle deviazioni medie tra i modelli ($d_{G,M,Q}$) per gruppi socio-demografici e paesi rispetto alla media della popolazione.
  2. Inverse Propensity Weighting (IPW): Ripesatura dei campioni nazionali per corrispondere alla distribuzione socio-demografica aggregata dell'ESS, al fine di testare se le differenze a livello di paese siano meri artefatti della composizione demografica.
  3. Decomposizione della varianza: Utilizzo di Ordinary Least Squares (OLS) e Gradient Boosted Models (XGBoost) per predire i punteggi di allineamento individuale. Lo studio confronta la varianza spiegata ($R^2$) da: (i) solo il paese di residenza, (ii) solo i dati socio-demografici, e (iii) la combinazione di entrambi.

Risultati chiave

1. Disparità socio-demografiche

Gli LLM mostrano un allineamento diseguale tra i gruppi socio-demografici. L'analisi rivela che l'allineamento è significativamente più alto per i gruppi con:

• Status socio-economico più elevato: Gli individui con livelli di istruzione più alti, decili di reddito più elevati e coloro che occupano professioni impiegatizie (white-collar) mostrano un migliore allineamento.
• Background occidentali: I rispondenti con background migratori occidentali si allineano meglio rispetto a quelli con background non occidentali.
• Secolarismo: Gli individui non religiosi e coloro con punteggi di religiosità inferiori si allineano meglio rispetto agli individui religiosi, in particolare musulmani e ortodossi orientali, che mostrano le deviazioni più negative.
• Interesse politico: Un maggiore interesse politico correla con un maggiore allineamento.
• Tendenze generazionali: Emerge un pattern a forma di U dove le coorti più giovani e più anziane si allineano meno bene rispetto ai gruppi di mezza età, sebbene ciò vari a seconda del modello.

2. Effetti a livello di paese

• Variazione geografica: Esistono disparità significative tra i paesi. I paesi scandinavi e dell'Europa centrale mostrano l'allineamento più alto, mentre i paesi balcanici e baltici mostrano il più basso. La differenza tra i paesi con il maggior e il minor allineamento (Svezia vs Bulgaria) è 0,0896, superando la variazione trovata in qualsiasi singolo fattore socio-demografico.
• Indipendenza dalla composizione: L'analisi Inverse Propensity Weighting dimostra che il ripesaggio dei paesi per avere composizioni socio-demografiche identiche non riduce significativamente la varianza nei punteggi di allineamento a livello di paese. Ciò indica che il paese di residenza spiega le disparità di allineamento indipendentemente dalla composizione socio-demografica della popolazione.

3. Decomposizione della varianza

• Fattori complementari: Sia il paese di residenza che i dati socio-demografici sono complementari nello spiegare l'allineamento dei valori. La combinazione di entrambi i fattori produce la maggiore capacità esplicativa.
• Peso relativo: Per l'intero set di domande, il solo paese di residenza spiega una quantità sostanziale di varianza (che varia da circa il 7% al 28% a seconda del modello), un valore paragonabile al set completo di 15 variabili socio-demografiche.
• Sensibilità del set di domande: La capacità esplicativa del paese di residenza varia in base al tipo di domanda. Per il set di domande più ampio ($Q$), il paese è un forte predittore. Tuttavia, per le domande PVQ più astratte, la varianza spiegata dal paese diminuisce notevolmente per la maggior parte dei modelli, suggerendo che i valori astratti sono guidati maggiormente dai dati demografici individuali, mentre le posizioni più ampie sono più influenzate dal contesto nazionale (clima politico/media).

Significato e contributi

Il documento rivendica tre contributi primari:

1. Prima valutazione socio-demografica transnazionale: Fornisce la prima valutazione dell'allineamento dei valori attraverso i dati socio-demografici utilizzando l'ESS, offrendo un'alternativa al potenzialmente contaminato WVS.
2. Evidenza della riproduzione WEIRD: Lo studio conferma che gli LLM riproducono i modelli globali di allineamento verso le popolazioni "WEIRD" (Western, Educated, Industrialized, Rich, Democratic). Nello specifico, all'interno dell'Europa, gli LLM sono meglio allineati con individui più ricchi, più istruiti e più occidentali, rischiando potenzialmente di rafforzare i valori delle popolazioni già privilegiate.
3. Distinguere geografia e demografia: La ricerca stabilisce che il paese di residenza è una variabile distinta e critica nella ricerca sull'allineamento. Non può essere sostituito solo dai dati socio-demografici, né può essere pienamente spiegato da essi. I due fattori sono complementari, con la loro importanza relativa che cambia in base alla specifica definizione di "valori" misurata (astratti vs pratici).

Gli autori concludono che, sebbene i dati socio-demografici siano cruciali, ignorare il ruolo specifico del contesto nazionale porta a una comprensione incompleta delle disparità di allineamento. Enfatizzano la necessità di un design sensibile ai valori che tenga conto di questi strati intersecati di disuguaglianza.