💬 NLP

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

Questo articolo introduce i Population Aligned Language Models (PALMs), una suite di modelli allineati a specifiche popolazioni nazionali sfruttando razionali basati su molteplici costrutti per il fine-tuning delle preferenze, che superano significativamente i baseline esistenti nella simulazione di diversi valori culturali, credenze e ragionamenti sociali senza richiedere la supervisione specifica per il compito.

Autori originali: Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

Pubblicato 2026-08-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come capire le persone. In questo momento, la maggior parte dei robot è come uno chef generalista che ha assaggiato un po' di tutto ma non sa davvero come cucinare il piatto preferito di una specifica famiglia. Potrebbero sapere cos'è il "cibo", ma non colgono del tutto il perché una nonna in Italia possa preferire un ragù a cottura lenta mentre un adolescente in Brasile possa desiderare una feijoada piccante. Questo è il mondo dei Large Language Models (LLM): programmi informatici super intelligenti che possono scrivere, chattare e risolvere problemi. Ma ecco la parte complicata: questi robot spesso si comportano come se fossero una singola persona media. Perdono di vista le regole profonde e invisibili che fanno pensare e sentire le persone in modo diverso a seconda dei gruppi di appartenenza.

Per risolvere questo problema, gli scienziati studiano le "preferenze": ciò che le persone amano, credono e valorizzano. Sanno che le nostre scelte non sono casuali; sono modellate dalle nostre personalità (siamo avventurosi o cauti?), dalla nostra cultura (valorizziamo il gruppo o l'individuo?) e dal nostro bussola morale (cosa è giusto o equo?). La grande domanda che i ricercatori si pongono è: come possiamo insegnare a un robot di smettere di agire come un "umano generico medio" e iniziare ad agire come una persona specifica di un luogo specifico, con tutte le sue uniche stranezze e il proprio background culturale? Se riuscissimo a farlo, questi robot potrebbero essere molto più bravi ad aiutarci, a capirci e persino a simulare come le persone reali potrebbero reagire a nuove idee.

È qui che un nuovo team di ricercatori interviene con una soluzione intelligente chiamata PALMs (Population Aligned Language Models). Pensa a un robot standard come a uno studente che cerca di imparare a memoria le risposte di un test guardando solo il voto finale. Potrebbe dare la risposta corretta, ma non capisce davvero perché sia giusta. I ricercatori dietro i PALMs hanno capito che per comprendere davvero una popolazione, il robot deve imparare la "ricetta segreta" dietro le risposte. Non si sono limitati a dare al robot dati su ciò che le persone hanno detto; gli hanno insegnato a scrivere un "diario di ragionamento" prima di dare una risposta.

Ecco come hanno fatto: hanno creato cinque versioni speciali del robot, una per ciascuno di cinque paesi: USA, India, Brasile, Francia e Italia. Ma invece di dire semplicemente al robot "Tu sei americano", gli hanno dato uno strumento molto più profondo. Gli hanno insegnato a pensare usando cinque lenti specifiche, come un paio di occhiali speciali che cambiano la visuale:

Personalità: La persona è aperta alle nuove idee o ama la routine?
Cultura: Valorizzano l'indipendenza o l'appartenenza al gruppo?
Valori: Cosa li guida? È la libertà, la sicurezza o l'aiutare gli altri?
Credenze sul mondo: Vedono il mondo come un luogo sicuro ed eccitante o come un luogo pericoloso e caotico?
Moralità: Cosa ritengono giusto o sacro?

Il robot è stato addestrato a scrivere un breve racconto usando queste cinque lenti per spiegare perché una persona di quel paese sceglierebbe una determinata risposta. Ad esempio, se un brasiliano preferisce un certo tipo di musica, il robot non dice solo "Gli piace". Scrive una piccola nota dicendo: "Perché questa persona valorizza la comunità e il piacere sensoriale (Cultura e Valori) e vede il mondo come un luogo pieno di opportunità divertenti (Credenze sul mondo), questa musica sembra la cosa giusta". Il robot si è esercitato ripetutamente, imparando a nascondere queste "note di ragionamento" all'interno del suo cervello in modo da poterle usare automaticamente in seguito.

I risultati sono stati sorprendentemente buoni. Quando i ricercatori hanno testato questi nuovi robot, hanno scoperto che i PALM erano molto più bravi a capire le persone rispetto ai vecchi robot generici. Infatti, in tutti e cinque i paesi, i nuovi modelli hanno migliorato la loro precisione di una media del 8,59% rispetto ai migliori metodi precedenti. Ciò suggerisce che radicare l'apprendimento di un robot nelle teorie psicologiche e culturali profonde funziona molto meglio rispetto al semplice mostrare dati superficiali o semplici etichette demografiche come "età" o "genere".

Il documento ha anche verificato se questi robot potessero fare altre cose, come agire come un "modello di ricompensa personalizzato" (decidere cosa piace a una persona specifica) o simulare come un gruppo potrebbe reagire a una nuova politica. In questi test, i PALM hanno superato la concorrenza, mostrando miglioramenti del 5,19% nelle ricompense personalizzate e del 6,34% nelle simulazioni di popolazione. Anche quando venivano interrogati per risolvere enigmi sociali riguardanti le emozioni e le intenzioni umane (un compito chiamato Social IQA), i robot sono migliorati, raggiungendo un'accuratezza dell'80,23% nel test.

Tuttavia, i ricercatori tengono esplicitamente presente che questo non è un rimedio magico per tutto. Hanno scoperto che alimentare semplicemente il robot con più dati di sondaggio senza questo approccio del "diario di ragionamento" ha effettivamente peggiorato le cose in alcuni casi, causando la perdita della capacità del robot di vedere prospettive diverse. Ammettono anche che trattare un intero paese come un unico gruppo è una semplificazione; all'interno di ogni paese ci sono molte diverse regioni e culture che il loro modello non cattura ancora completamente. Ma il messaggio principale è chiaro: se vuoi che un robot comprenda davvero un gruppo di persone, devi insegnargli a pensare come loro, non solo a parlare come loro. Dando al robot un modo strutturato per ragionare attraverso la personalità e la cultura, otteniamo un quadro molto più chiaro del diversificato mondo umano.

Riepilogo Tecnico: Modelli Linguistici Allineati alla Popolazione (PALMs)

Definizione del Problema

I Large Language Models (LLM) sono sempre più utilizzati per simulare il comportamento dei singoli utenti, tuttavia faticano a rappresentare fedelmente la variazione sistematica di valori, credenze e norme culturali che distinguono una popolazione dall'altra. Gli approcci esistenti si affidano tipicamente a un prompting demografico superficiale (ad es., "agisci come un trentenne del Brasile") o al fine-tuning diretto su dati di sondaggi comportamentali. Il paper sostiene che questi metodi falliscono perché ottimizzano distribuzioni di risposte superficiali piuttosto che catturare i costrutti psicologici e culturali sottostanti che plasmano congiuntamente il giudizio umano. Di conseguenza, i modelli spesso sovrarappresentano i punti di vista della maggioranza o collassano in rappresentazioni generiche quando vengono sottoposti a fine-tuning direttamente sulle risposte osservate, fallendo nel preservare la ricca struttura composizionale delle preferenze umane.

Metodologia

Gli autori introducono i Population Aligned Language Models (PALMs), un framework che allinea gli LLM a popolazioni specifiche radicando l'apprendimento delle preferenze in razionali multi-costrutto. La metodologia opera sulla premessa che le preferenze umane emergano dall'interazione tra la psicologia a livello individuale e la variazione culturale a livello di gruppo.

1. Spazio dei Costrutti

L'approccio utilizza cinque famiglie consolidate di teoria delle scienze sociali per formare uno spazio latente di ragionamento:

Personalità (OCEAN): Tratti individuali (Apertura, Coscienziosità, Estroversione, Gradevolezza, Nevroticismo).
Dimensioni Culturali (Hofstede): Tendenze a livello di gruppo (ad es., Individualismo vs. Collettivismo, Distanza dal Potere).
Valori Umani (Schwartz): Priorità motivazionali (ad es., Autodirezione, Sicurezza, Benevolenza).
Credenze Primordiali sul Mondo (Clifton): Assunzioni individuali sul mondo (ad es., Sicuro vs. Pericoloso, Accattivante vs. Noioso).
Fondamenti Morali (Haidt): Intuizioni etiche (ad es., Cura/Danno, Equità/Iniquità, Lealtà/Tradimento).

2. Pipeline di Addestramento

I PALM sono addestrati tramite un processo in due fasi sul dataset Community Alignment, che copre cinque paesi: USA, India, Brasile, Francia e Italia.

Fase 1: Supervised Fine-Tuning (SFT): Un modello base (Llama-3.1-8B-Instruct) viene sottoposto a fine-tuning su istanze di preferenza condizionate dalla persona $(p, q, a^+)$ per inizializzare la predizione della preferenza.
Fase 2: Ottimizzazione delle Preferenze con Supervisione Latente: L'innovazione principale consiste nella Direct Preference Optimization (DPO) aumentata da razionali radicati nei costrutti.
- Per ogni coppia di preferenze, razionali sintetici vengono generati da un LLM esterno (Qwen2.5-7B-Instruct). Questi razionali decompongono la decisione di preferenza attraverso le cinque famiglie di costrutti, spiegando perché un determinato profilo demografico preferirebbe $a^+$ rispetto a $a^-$ .
- Durante la DPO, questi razionali vengono inseriti nel contesto del prompt ma sono mascherati dalla funzione di perdita (loss function). Il modello non è addestrato a generare esplicitamente i token del razionale; invece, i razionali fungono da bias induttivo strutturato e latente per plasmare le rappresentazioni interne delle preferenze del modello.
- Questo contrasta con i razionali "generici" (senza radicamento nei costrutti) o con il fine-tuning comportamentale diretto, che gli autori sostengono manchino del necessario segnale strutturale.

3. Inferenza

Al momento dell'inferenza, il modello viene sollecitato con una persona utente e una query. Genera internamente un razionale basato sui costrutti (prima di produrre l'output finale) per guidare la sua decisione di preferenza. I token del razionale non sono richiesti come input durante l'inferenza, permettendo al modello di generalizzare senza annotazioni esterne.

Contributi Chiave

Framework PALM: L'introduzione di una suite di modelli allineati a popolazioni specifiche utilizzando razionali multi-costrutto radicati nella teoria psicologica e culturale come supervisione latente.
Superiorità dei Razionali Radicati nei Costrutti: Evidenza empirica che dimostra come il radicamento dell'apprendimento delle preferenze nei costrutti psicologici e culturali superi sia il prompting demografico che il fine-tuning comportamentale (incluso il modello specializzato nella cultura, CultureLLM).
Generalizzazione a Task a Valle: Dimostrazione che i PALM si generalizzano ad applicazioni a valle — modellazione del reward personalizzato, simulazione di popolazioni e ragionamento sociale — senza supervisione specifica del task, suggerendo che le rappresentazioni basate sui costrutti catturino strutture latenti trasferibili della diversità umana.

Risultati

Gli autori hanno valutato i PALM attraverso quattro dimensioni: personalità, valori/credenze, norme culturali e moralità, utilizzando le distribuzioni umane reali delle popolazioni target.

Allineamento In-Domain: I PALM hanno superato costantemente tutti i baseline (inclusi zero-shot Llama-3.1-8B-Instruct, Gemini-2.5-Flash e CultureLLM) in tutte le cinque popolazioni. Il modello PALM completo ha ottenuto un miglioramento relativo medio dell'8,59% rispetto al miglior baseline. Notevolmente, la configurazione "SFT + DPO + Generic" (utilizzando razionali senza radicamento nei costrutti) ha performato meglio del DPO standard ma peggio dei PALM, isolando il contributo specifico dei costrutti psicologici.
Performance a Valle:
- Modellazione del Reward Personalizzato: I PALM hanno migliorato l'accuratezza del 5,19% su PersonalizedRewardBench e PRISM rispetto ai baseline, con guadagni significativi su temi legati alla società (religione, legge, politica).
- Simulazione di Popolazione: Su SIMBENCH, i PALM hanno ottenuto il miglior allineamento su 15 dei 17 dataset, con guadagni particolarmente elevati (fino a circa il 20%) su task allineati con le famiglie di costrutti (ad es., OpinionQA, OSPsychMACH).
- Ragionamento Sociale: In un caso di studio su SOCIALIQA, i PALM hanno raggiunto un'accuratezza dell'80,23% sul test set, superando il forte baseline Gemini-2.5-Flash (79,72%), nonostante sia un modello più piccolo da 8B, con i maggiori guadagni nel ragionamento sulle motivazioni umane.

Significato e Rivendicazioni

Il paper afferma che la razionalizzazione attraverso costrutti psicologici e culturali stabiliti fornisce un segnale induttivo più ricco per l'apprendimento delle preferenze rispetto al semplice condizionamento demografico o ai dati di addestramento basati su sondaggi.

Gli autori sostengono che l'adattamento diretto dei modelli agli output comportamentali osservati porti spesso a un collasso della diversità rappresentativa, mentre il radicamento del processo di apprendimento nei costrutti latenti permette al modello di interiorizzare il "perché" dietro le preferenze. Questo approccio consente la creazione di modelli specifici per popolazione che non sono meri imitatori statistici di dati di sondaggio, ma sono strutturalmente allineati con i meccanismi psicologici che guidano il giudizio umano. Il lavoro promuove l'adozione più ampia della teoria delle scienze sociali come bias induttivo strutturato nella ricerca sull'allineamento, offrendo una base principiata per la modellazione delle popolazioni in modo multilingue e granulare.

Gli autori riconoscono i limiti, tra cui l'uso dell'astrazione a livello di paese come proxy per le popolazioni (il che appiattisce la variazione interna al paese), la natura non esaustiva delle famiglie di costrutti selezionate e l'attuale dipendenza da dati di addestramento esclusivamente in inglese. Essi ipotizzano che il lavoro futuro possa esplorare definizioni di popolazione più fini e una modellazione multilingue nativa.