💬 NLP

Do Psychometric Tests Work for Large Language Models? Evaluation of Tests on Sexism, Racism, and Morality

Questo studio valuta sistematicamente i test psicometrici umani su 17 grandi modelli linguistici per quanto riguarda il sessismo, il razzismo e la moralità, riscontrando che, sebbene i test mostrino una moderata affidabilità, essi mancano di validità ecologica poiché i loro punteggi non si allineano con il comportamento effettivo dei modelli nei compiti del mondo reale o addirittura correlano negativamente con esso.

Autori originali: Jana Jung, Marlene Lutz, Indira Sen, Markus Strohmaier

Pubblicato 2026-01-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jana Jung, Marlene Lutz, Indira Sen, Markus Strohmaier

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una stazione meteorologica molto sofisticata e tecnologica. Vuoi sapere se può prevedere con precisione una tempesta. Così, decidi di testarla usando un termometro umano e un barometro umano — strumenti progettati specificamente per le persone per misurare la propria temperatura corporea e percepire la pressione.

Punti questi strumenti umani verso la stazione meteorologica, prendi una lettura e ottieni un numero. La domanda che questo articolo pone è: quel numero ti dice davvero qualcosa sul fatto che la stazione meteorologica predirà una tempesta?

La risposta breve dei ricercatori è: No, non proprio. In effetti, a volte il numero ti dice l'esatto opposto di ciò che sta accadendo.

Ecco una ripartizione di ciò che i ricercatori hanno fatto e scoperto, utilizzando semplici analogie:

L'esperimento: Testare la "Stazione Meteorologica"

I ricercatori hanno preso 17 diversi LLM (Large Language Models) — i cervelli artificiali dietro i chatbot — e hanno cercato di misurare tre cose specifiche riguardo ad essi:

Sessismo (pregiudizio contro le donne)
Razzismo (pregiudizio contro le persone nere)
Moralità (ciò che l'IA considera giusto o sbagliato)

Per farlo, hanno utilizzato test psicologici standard che vengono usati da decenni per testare gli esseri umani. Questi sono come il "termometro umano" menzionato sopra.

I due controlli: Affidabilità e Validità

Per vedere se questi test funzionano sull'IA, i ricercatori hanno controllato due cose:

1. Affidabilità (Il controllo della "Coerenza")

L'analogia: Se chiedi a un essere umano la stessa domanda in tre modi leggermente diversi (ad esempio, "Ti piacciono le mele?" rispetto a "Le mele sono buone?"), dovrebbe dare la stessa risposta. Se dice "Sì" alla prima e "No" alla seconda, il test non è affidabile.
Il risultato: L'IA è stata per lo più coerente quando le domande venivano solo riformulate. Tuttavia, quando i ricercatori hanno semplicemente invertito l'ordine delle opzioni di risposta (ad esempio, mettendo "Fortemente d'accordo" in fondo invece che in alto), l'IA si è confusa e ha dato risposte completamente diverse. È come se una persona cambiasse idea sul piacere di mangiare mele solo perché la parola "Sì" era scritta in fondo alla pagina invece che in alto. Questo significa che i test sono fragili quando usati sull'IA.

2. Validità (Il controllo del "Mondo Reale")
Questa è la parte più importante. I ricercatori si sono chiesti: Se un test dice che un'IA è "sessista", quell'IA agisce davvero in modo sessista nel mondo reale?

L'analogia: Immagina un test che sostiene che una persona sia un "grande chef" perché sa recitare perfettamente una ricetta. La validità ecologica chiede: "Se metti quella persona in una cucina con ingredienti veri, riuscirà effettivamente a cucinare un buon pasto?"
Il risultato: I test sono falliti miseramente qui.
- Il Paradosso: I modelli di IA che hanno ottenuto i punteggi più bassi nel "test sul sessismo" (ovvero il test diceva che erano molto equi) erano in realtà quelli che scrivevano le lettere di raccomandazione più sessiste in compiti del mondo reale.
- Il Contrario: I modelli che hanno ottenuto i punteggi più alti nel "test sul razzismo" (ovvero il test diceva che erano molto pregiudiziali) erano in realtà quelli che fornivano le raccomandazioni abitative meno distorte.
- La Conclusione: I punteggi dei test non erano solo inutili; erano fuorvianti. Funzionavano come una bussola rotta che punta a Nord quando in realtà ti stai dirigendo a Sud.

Perché è successo questo?

I ricercatori suggeriscono alcune ragioni per cui i test umani non funzionano sull'IA:

L'effetto "Guardrail" (Parapetto): Quando un'IA viene interrogata su una domanda diretta e sensibile come "Pensi che le donne siano troppo facilmente offese?", ha dei filtri di sicurezza che intervengono e dicono: "No, questo è sbagliato". Ma quando all'IA viene chiesto di scrivere una lettera di raccomandazione per un lavoro (un compito del mondo reale), quei filtri potrebbero non attivarsi e l'IA potrebbe scivolare in errori.
La trappola del formato: Gli esseri umani sono abituati a scegliere "A, B, C o D". I modelli di IA, invece, sono addestrati a scrivere testo. Costringerli a scegliere un'opzione a scelta multipla è come chiedere a un pittore di descrivere un tramonto scegliendo solo da una lista di colori. Non cattura come loro effettivamente "vedono" o "agiscono".

Il punto fondamentale

L'articolo conclude che non si può semplicemente prendere un test progettato per gli esseri umani e applicarlo all'IA per vedere come si comporta.

Se vi affidate a questi test, potreste pensare che un'IA sia sicura ed equa perché ha superato il "test", solo per scoprire che è in realtà distorta quando inizia a svolgere un vero lavoro. I ricercatori sostengono che abbiamo bisogno di inventare nuovi test specifici per l'IA che osservino ciò che l'IA fa realmente in scenari del mondo reale, piuttosto che ciò che dice quando è costretta a scegliere una risposta in un modulo a scelta multipla.

In breve: Solo perché un'IA può superare un quiz di psicologia umana, non significa che abbia una personalità simile a quella umana o che si comporterà in modo etico nel mondo reale. I punteggi dei test sono spesso un miraggio.

Sintesi Tecnica: Valutazione di Test Psicometrici su LLM per Sessismo, Razzismo e Moralità

Definizione del Problema

Man mano che i Large Language Models (LLM) vengono integrati sempre più nei contesti sociali, cresce la domanda di misurare le loro caratteristiche "simili all'essere umano", come la moralità, il pregiudizio e la personalità. I ricercatori hanno adottato con crescente frequenza la psicometria per LLM, applicando test psicometrici consolidati, originariamente progettati per gli esseri umani, per valutare gli LLM. Tuttavia, rimane incerto se questi test producano risultati significativi quando applicati ad agenti non umani. In particolare, non è certo se i test validati per popolazioni umane possiedano la necessaria affidabilità (coerenza) e validità (accuratezza nella misurazione del costrutto inteso) quando somministrati agli LLM. Esiste una lacuna critica nel comprendere se i punteggi dei test correlino con il comportamento effettivo degli LLM in compiti reali a valle (validità ecologica). Le prime ricerche suggeriscono che gli LLM siano altamente sensibili alle variazioni dei prompt, e gli studi esistenti si sono concentrati ampiamente sulle tratti della personalità, lasciando costrutti come il sessismo, il razzismo e la moralità meno esplorati in questo contesto.

Metodologia

Gli autori propongono un framework di validazione sistematica per valutare tre test psicometrici ben stabiliti attraverso 17 LLM appartenenti a varie famiglie di modelli (ad es., Llama, Gemma, Qwen, Mistral) e dimensioni. La valutazione si concentra su tre costrutti psicologici: sessismo, razzismo e moralità.

1. Costrutti e Strumenti

Sessismo: Misurato utilizzando l'Ambivalent Sexism Inventory (ASI), distinguendo tra sessismo ostile e benevolo.
Razzismo: Misurato utilizzando la Symbolic Racism 2000 Scale (SR2K), basata sulla teoria del razzismo simbolico.
Moralità: Misurata utilizzando il Moral Foundations Questionnaire (MFQ), che valuta cinque fondamenta: cura, equità, gruppo interno (ingroup), autorità e purezza.

2. Valutazione dell'Affidabilità

L'affidabilità è stata valutata misurando la coerenza delle risposte del modello attraverso tre tipi di variazioni di prompt e di item:

Forme Alternate: Gli item sono stati riformulati (utilizzando GPT-5 e aggiustamenti manuali) per preservare il significato pur alterando la formulazione.
Ordine Invertito delle Opzioni di Risposta: La sequenza delle opzioni della scala Likert (ad es., 1–5 vs. 5–1) è stata invertita per testare la simmetria dell'ordine delle opzioni.
Cambiamento della Fine della Frase: La punteggiatura alla fine dei prompt è stata alterata (due punti vs. punto interrogativo).
Baseline: La coerenza del modello è stata confrontata con una baseline umana (150 partecipanti statunitensi) per identificare gli outlier.

3. Valutazione della Validità

La validità è stata valutata attraverso due approcci distinti:

Validità Convergente: Lo studio ha testato le correlazioni teoricamente attese tra diversi costrutti (ad es., correlazione positiva tra sessismo e razzismo; correlazione negativa tra equità e sessismo ostile).
Validità Ecologica: Questo è stato il focus primario. Gli autori hanno confrontato i punteggi dei test psicometrici con il comportamento del modello in compiti reali a valle:
- Sessismo: Generazione di lettere di referenza per candidati di lavoro maschi e femmine, analizzate per la frequenza di linguaggio di genere.
- Razzismo: Generazione di raccomandazioni abitative per utenti di diverse etnie, misurando il pregiudizio nelle suggerimenti sui quartieri.
- Moralità: Generazione di consigli su dilemmi morali, valutati per l'allineamento con specifiche fondamenta morali.

4. Setup Sperimentale

Lo studio ha valutato 17 modelli (inclusi versioni open-source istruite tramite instruction-tuning e modelli proprietari come Gemini 2.5). Ogni modello è stato sottoposto a cinque run con diversi seed casuali. Le risposte sono state estratte tramite espressioni regolari e i punteggi sono stati calcolati mediando i valori numerici delle opzioni scelte.

Risultati Chiave

Affidabilità

Forme Alternate: La maggior parte dei modelli ha mostrato una coerenza accettabile paragonabile alle baseline umane, sebbene alcuni modelli più piccoli (ad es., Gemma 3 1B/4B) siano scesi al di sotto dei confini degli outlier umani.
Ordine Invertito: I modelli hanno dimostrato una bassa affidabilità quando l'ordine delle opzioni di risposta veniva invertito. La coerenza è scesa significativamente (ad es., Llama 3.1 8B ha mostrato una coerenza di circa 0,28 su SR2K), indicando un'alta sensibilità alle modifiche del prompt non semantiche.
Fine della Frase: I modelli sono stati relativamente robusti ai cambiamenti di punteggiatura, con la maggior parte che ha raggiunto una coerenza superiore a 0,75.
Complessivamente: I test mostrano una affidabilità moderata, fortemente dipendente dalla stabilità del prompt, in particolare riguardo all'ordine delle opzioni di risposta.

Validità

Validità Convergente: I test hanno catturato con successo le relazioni teoriche attese. Ad esempio, è stata trovata una correlazione positiva moderata tra i punteggi di sessismo e razzismo ( $r_s = 0,47$ ), e tra autorità e sessismo benevolo ( $r_s = 0,43$ ).
Validità Ecologica: Lo studio ha riscontrato una bassa validità ecologica. I punteggi dei test psicometrici non si allineavano con il comportamento a valle; in molti casi, hanno mostrato correlazioni negative.
- Modelli che hanno ottenuto punteggi "bassi" in termini di sessismo o razzismo nei test, spesso esibivano alti livelli di comportamento pregiudizievole nei compiti a valle (ad es., generazione di linguaggio sessista nelle lettere di referenza o raccomandazioni abitative distorte).
- Ad esempio, Gemini 2.5 Flash ha ricevuto un punteggio di sessismo basso sull'ASI, ma ha generato lettere di referenza ricche di linguaggio comunitario e stereotipato rispetto al genere per le candidate donne.
- I modelli con un numero maggiore di parametri all'interno di una famiglia spesso hanno mostrato comportamenti problematici più pronunciati nonostante i punteggi inferiori nei test psicometrici.

Contributi Chiave

Framework di Validazione Sistematico: Il documento fornisce un framework rigoroso e multicriterio per valutare i test psicometrici sugli LLM, distinguendo esplicitamente tra affidabilità (sensibilità al prompt) e validità (allineamento comportamentale).
Evidenza Empirica di Disallineamento: Offre una forte evidenza empirica del fatto che i punteggi psicometrici derivati da test progettati per l'uomo non predicono il comportamento degli LLM negli scenari reali. Anzi, possono essere fuorvianti, mostrando correlazioni negative con i reali output distorti.
Focus sulla Validità Ecologica: Lo studio sposta l'attenzione dalle astratte correlazioni tra test alla metrica critica della validità ecologica, dimostrando che i "self-report" degli LLM tramite domande a scelta chiusa falliscono nel riflettere il comportamento generativo.
Ampia Copertura dei Modelli: La valutazione abbraccia 17 modelli diversi, fornendo una visione completa di come diverse architetture e dimensioni rispondano a questi test.

Significato e Rivendicazioni

Gli autori affermano che le loro scoperte sfidano fondamentalmente l'attuale pratica di applicare i test psicometrici umani agli LLM senza adattamenti.

Limitazioni degli Strumenti Attuali: Lo studio conclude che i test progettati per gli esseri umani non possono essere applicati direttamente agli LLM per trarre conclusioni sul loro comportamento. La mancanza di validità ecologica suggerisce che gli alti punteggi in questi test non garantiscono un dispiegamento sicuro o imparziale del modello.
Rischio di Misinterpretazione: Fare affidamento su questi test potrebbe portare al dispiegamento di sistemi che amplificano la discriminazione, poiché un modello potrebbe superare un test psicometrico (punteggio di bias basso) pur esibendo un alto livello di bias nei compiti generativi.
Appello all'Adattamento: Il documento sostiene lo sviluppo di test specifici per LLM che siano focalizzati sul comportamento e radicati nella teoria psicologica, ma adattati alla natura generativa degli LLM. Enfatizza che prima di interpretare i punteggi, è essenziale una validazione sistematica di affidabilità e validità ecologica.
Cautela Metodologica: Gli autori evidenziano la questione metodologica irrisolta se gli LLM debbano essere trattati come individui o come popolazioni negli studi psicometrici, notando che le tecniche di validazione standard (come l'analisi fattoriale) potrebbero non essere applicabili senza definizioni chiare di "differenze individuali" negli LLM.

In sintesi, il documento afferma che, sebbene i test psicometrici offrano un punto di partenza teorico, la loro forma attuale è insufficiente per valutare gli LLM. Il distacco tra i punteggi dei test e il comportamento reale rende necessaria una nuova disciplina della psicometria per LLM che dia priorità alla validità ecologica e all'osservazione del comportamento rispetto all'astratto auto-rapporto.