Riepilogo Tecnico: "Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models"

Definizione del Problema

I grandi modelli linguistici (LLM) sono sempre più impiegati in contesti di decision-making sociale dove devono bilanciare le norme culturali collettive con le preferenze personali individuali. La ricerca esistente studia tipicamente l'allineamento culturale (se i modelli riconoscono le norme) e la personalizzazione (se i modelli si adattano alle preferenze dell'utente) in modo isolato. Questa separazione lascia un vuoto critico: non è chiaro come gli LLM risolvano le tensioni quando la preferenza personale di un utente entra in conflitto con una norma culturale locale. Senza comprendere questo compromesso, i modelli rischiano l'iper-culturalizzazione (imporre norme generalizzate ignorando la variazione individuale) o l'iper-personalizzazione (dare priorità alle preferenze dichiarate ignorando i contesti normativi locali). Inoltre, le attuali valutazioni si basano spesso sull'accordo della scelta di maggioranza, rischiando di mascherare il disaccordo distributivo e l'incertezza inerenti al giudizio sociale umano.

Metodologia: Il Framework PACT

Per affrontare queste lacune, gli autori introducono PACT (Personal-Preference and Cultural-Norm Trade-off), un framework e un benchmark progettati per valutare come gli LLM diano priorità alla cultura rispetto alla preferenza personale in scenari di conflitto.

1. Costruzione del Benchmark

Il dataset PACT è costruito a partire da due dataset sorgente: NormAd-ETI (75 paesi, focalizzato sull'etichetta) e CultureAtlas (149 paesi, conoscenza culturale più ampia). La pipeline di costruzione prevede tre fasi:

• Generazione di Scenario e Preferenza: Situazioni sociali e norme culturali vengono estratte. Una preferenza personale viene generata (usando GPT-4o) per creare una tensione comportamentale con la norma. Le preferenze sono categorizzate come basate sulla comodità, basate sull'abitudine o basate su valori/stile.
• Diadi Attore-Ricevente: Gli scenari sono istanziati con un attore e un ricevente. Le demografie (età, genere) e le relazioni tra paesi (stesso paese, vicino, lontano) sono variate ortogonalmente per analizzare gli effetti contestuali.
• Design delle Configurazioni: Ogni istanza presenta una scelta binaria: FOLLOW-CULTURE (Segui la Cultura) o ALLOW-PREFERENCE (Permetti la Preferenza). Tre configurazioni testano diversi dinamiche di conflitto:
  • C1: L'attore preferisce l'opzione personale; il ricevente preferisce la norma culturale.
  • C2: L'attore preferisce la norma culturale; il ricevente preferisce l'opzione personale.
  • C3: Entrambi preferiscono l'opzione personale (testando se i modelli impongono comunque la cultura).

Il benchmark finale contiene 318.720 istanze distribuite su 75 paesi, validate da annotatori umani per plausibilità e chiarezza, e ulteriormente filtrate da un giudice LLM.

2. Valutazione del Modello

Lo studio valuta un set diversificato di modelli instruction-following open- e closed-source (Llama-3.1, Qwen-3, OLMo-2, Mistral-7B, DeepSeek-7B, GPT-5.4-mini). I modelli vengono istruiti a scegliere tra le due opzioni attraverso vari contesti demografici e nazionali. Lo studio confronta inoltre i modelli base con le versioni instruction-tuned per valutare l'impatto del post-training.

3. Studio Umano e Allineamento

Per stabilire un riferimento per il comportamento umano, gli autori hanno condotto uno studio con 200 partecipanti provenienti da cinque paesi (Brasile, India, Sud Africa, Regno Unito, USA). I partecipanti hanno risposto a due domande per scenario:

1. Scelta Personale: Cosa farebbero loro?
2. Giudizio Normativo: Cosa è socialmente appropriato?

Questo design permette agli autori di misurare il "gap norma-personale" e le distribuzioni di risposta umana piuttosto che un singolo ground truth. L'allineamento è valutato utilizzando quattro metriche:

• Allineamento della scelta di maggioranza: Il modello sceglie l'opzione umana di maggioranza?
• Allineamento del Tasso (MAE): Il modello corrisponde al tasso umano di concessione della preferenza?
• Gap segno-preferenza: La direzionalità del disaccordo (iper-culturalizzazione vs iper-personalizzazione).
• Allineamento dell'Incertezza: La variabilità del modello attraverso esecuzioni condizionate dalla persona corrisponde ai livelli di disaccordo umano?

Risultati Chiave

1. Eterogeneità dei Modelli nei Trade-off Cultura-Preferenza

I modelli mostrano distinte "gerarchie di preferenza":

• Permissivi verso la Preferenza: Llama e GPT permettono frequentemente alle preferenze personali di prevalere sulle norme culturali.
• Dominanti verso la Norma: Mistral, DeepSeek e Qwen impongono rigidamente le norme culturali, con Mistral che mostra la minore flessibilità.
• Misti: OLMo occupa una posizione intermedia.
  Queste differenze sono specifiche per famiglia di modelli e non sono determinate esclusivamente dalla scala del modello.

2. Impatto dell'Instruction Tuning

L'instruction tuning sposta il comportamento dei modelli in modo non uniforme:

• Llama e Qwen sono diventati più permissivi verso le preferenze dopo il tuning.
• DeepSeek e Mistral sono diventati più aderenti alla cultura.
  Ciò suggerisce che gli obiettivi di post-training (es. utilità vs sicurezza/appropriatezza) amplificano diverse priorità sociali a seconda della famiglia di modelli.

3. Driver Contestuali: Paese vs Demografia

• Contesto del Paese: Il paese dello scenario è il predittore più forte del comportamento del modello. I modelli sono più permissivi verso le preferenze in contesti occidentali/anglofoni e latinoamericani, e più aderenti alla cultura in contesti dell'Asia orientale/sud-orientale, dell'Asia meridionale e del MENA.
• Demografia: Gli effetti di età e genere esistono ma sono significativamente più deboli rispetto agli effetti del paese. I modelli sono leggermente più permissivi verso attori giovani e demografie femminili, ma questi cambiamenti sono marginali rispetto al contesto culturale.
• Distanza tra Paesi: I modelli sono meno propensi ad ammettere le preferenze personali quando l'attore e il ricevente appartengono allo stesso paese (implicando un maggiore obbligo verso le norme locali) e più permissivi quando sono culturalmente distanti.

4. Limitazioni dell'Allineamento Umano-LLM

• Maggioranza vs Distribuzione: Sebbene i modelli possano corrispondere alla scelta di maggioranza umana (miglior allineamento ~0.24 correlazione per l'incertezza), falliscono nel catturare la distribuzione delle risposte umane e l'incertezza.
• Mismatch dell'Incertezza: Anche con il condizionamento della persona, i modelli non tracciano in modo affidabile quali scenari sono contestati dagli umani; la migliore correlazione dell'incertezza ha raggiunto solo lo 0.24, indicando che i modelli sono eccessivamente decisivi in situazioni sociali ambigue.
• Gap Norma-Personale: Gli umani mostrano gap significativi tra ciò che farebbero personalmente e ciò che percepiscono come socialmente appropriato. I modelli spesso non replicano questa sfumatura, o impongono eccessivamente le norme o ignorano completamente la tensione.

Significato e Contributi

Il documento apporta tre contributi primari:

1. Framework e Benchmark: Introduce PACT, un benchmark su larga scala che modella esplicitamente la tensione tra norme culturali e preferenze personali, basato su dataset di scienze sociali.
2. Risultati Empirici sul Comportamento dei Modelli: Dimostra che gli LLM codificano diverse gerarchie cultura-preferenza che dipendono fortemente dal modello e sono sensibili all'instruction tuning. Stabilisce che il contesto del paese è un driver del comportamento più forte rispetto ai segnali demografici come età o genere.
3. Oltre la Maggioranza: Attraverso studi umani, mostra che l'allineamento culturale è un problema distributivo, non binario. Gli autori sostengono che le attuali metriche di valutazione (accordo della maggioranza) siano insufficienti perché nascondono il disaccordo e l'incertezza umana.

Claim e Limitazioni

Gli autori sostengono con moderazione che i loro risultati motivano un passaggio nelle valutazioni di allineamento verso la cattura del pluralismo culturale e del disaccordo, piuttosto che cercare un'unica etichetta "corretta". Essi sottolineano che:

• Il comportamento del modello riflette le associazioni apprese dai dati di addestramento e dai priori di allineamento, non necessariamente verità culturali fattuali.
• La scelta binaria in PACT semplifica le decisioni sociali reali, che spesso implicano negoziazione o compromesso.
• Il paese è usato come proxy per la cultura, il che può appiattire la diversità interna.
• Lo studio non fornisce un modello "migliore" definitivo per tutti i contesti, ma piuttosto un diagnostico di come diversi modelli gestiscono questi trade-off.

Il paper conclude che costruire LLM culturalmente consapevoli richiede di ragionare non solo su cosa sia una norma, ma su quando essa sia negoziabile, e che le valutazioni future devono tenere conto dell'incertezza e del disaccordo inerenti al giudizio sociale.