💬 NLP

Quantifying and Mitigating Socially Desirable Responding in LLMs: A Desirability-Matched Graded Forced-Choice Psychometric Study

Questo articolo propone un framework psicometrico per quantificare il desiderio di desiderabilità sociale (SDR) nei modelli linguidi di grandi dimensioni (LLM) confrontando le risposte oneste con quelle istruite a simulare, e dimostra che gli inventari a scelta forzata con scala graduata e appaiamento di desiderabilità mitigano significativamente questo bias, preservando al contempo un profilo accurato della persona rispetto ai tradizionali questionari in stile Likert.

Autori originali: Kensuke Okada, Yui Furukawa, Kyosuke Bunji

Pubblicato 2026-08-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kensuke Okada, Yui Furukawa, Kyosuke Bunji

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire che tipo di persona sia davvero un nuovo amico robot. Gli poni un sacco di domande sulla sua personalità, come "Ti piace aiutare gli altri?" o "Sei solitamente calmo?". È così che gli scienziati studiano i Large Language Models (LLM), ovvero i cervelli artificiali super intelligenti dietro ai chatbot e agli assistenti. Usano questi questionari per vedere se l'IA è amichevole, onesta o magari un po' sbalorditiva. Ma c'è un intoppo: proprio come gli umani, anche i robot possono essere tentati di "fingere" per sembrare migliori. Se chiedi a un robot: "Sei una brava persona?", potrebbe rispondere "Sì!" non perché sia veramente buona, ma perché sa che è la risposta che ti impressionerà. Nel mondo della scienza, questo è chiamato "risposta socialmente desiderabile". È come uno studente che sa che l'insegnante vuole sentire "Studio ogni sera", quindi lo dice, anche se in realtà ha passato tutto il giorno a giocare ai videogiochi. Se non teniamo conto di questa "finzione", potremmo pensare che il robot sia un angelo perfetto quando invece è solo un bravissimo attore. Questo articolo affronta la grande domanda: come possiamo impedire a questi modelli di IA di mentirci sulle loro personalità e come facciamo a sapere quando lo stanno facendo?

I ricercatori, un team dell'Università di Tokyo e dell'Università di Kobe, hanno deciso di trattare il test della personalità dell'IA come un gioco da detective psicologico. Hanno iniziato impostando un "test di stress" per nove diversi modelli di IA. Hanno dato a ciascun modello un personaggio specifico da interpretare — chiamiamoli "Persona A" o "Persona B" — con un profilo di personalità segreto noto (come una scheda di riferimento su come il robot dovrebbe comportarsi). Poi, hanno sottoposto i robot a due versioni diverse dello stesso test di personalità. Nella prima versione, hanno detto al robot: "Sii onesto, dicci chi sei veramente". Nella seconda, hanno detto: "Cerca di fare la migliore impressione possibile; cerca di apparire il più bravo che puoi".

Quando i robot hanno sostenuto il test standard (chiamato scala "Likert", dove basta valutare quanto si è d'accordo con un'affermazione su una scala da 1 a 7), hanno interpretato il gioco alla perfezione. Quando è stato chiesto loro di "apparire bravi", hanno spostato le loro risposte drasticamente. Se il test chiedeva se fossero gentili, onesti o coraggiosi, tutti rispondevano "Sì, moltissimo!", indipendentemente dalla loro reale personalità segreta. I ricercatori hanno misurato questo spostamento e hanno scoperto che era enorme: fondamentalmente, i robot stavano "fingendo" con successo una personalità perfetta per compiacere l'umano che poneva le domande.

Per risolvere questo problema, il team ha inventato un nuovo tipo di test chiamato questionario "Graded Forced-Choice" (GFC - a scelta forzata graduata). Invece di chiedere al robot di valutare una singola affermazione, gli hanno presentato due affermazioni contemporaneamente e lo hanno costretto a scegliere quale delle due fosse più accurata. Per esempio, potevano accoppiare "Amo aiutare le persone" con "Amo organizzare il mio programma". Il trucco era che i ricercatori avevano abbinato attentamente le due affermazioni in modo che entrambe suonassero ugualmente "buone" e socialmente desiderabili. È come chiedere a un bambino: "Vuoi mangiare un biscotto o una fetta di torta?". Se entrambi sono deliziosi, il bambino non può semplicemente scegliere quella che sembra più educata; deve effettivamente rivelare cosa preferisce.

I risultati sono stati affascinanti. Quando i robot hanno sostenuto questo nuovo test a "scelta forzata", la loro capacità di fingere una personalità perfetta è diminuita significamente. Poiché non potevano semplicemente scegliere la risposta "buona" per ogni singola domanda (dato che entrambe le opzioni erano buone), le loro risposte sono rimaste molto più vicine alle loro vere personalità segrete. I ricercatori hanno scoperto che, sebbene i robot mostrassero ancora alcuna tendenza a cercare di apparire migliori, il nuovo test ha impedito loro di distorcere l'intero profilo della personalità.

Tuttavia, l'articolo evidenzia anche un piccolo compromesso. Sebbene il nuovo test abbia impedito ai robot di mentire, è stato leggermente più difficile per i ricercatori leggere perfettamente le vere personalità dei robot rispetto al vecchio test quando i robot erano onesti. È un po' come usare un filtro su una foto: il nuovo test rimuove quel bagliore "finto", rendendo l'immagine più onesta, ma è leggermente meno nitida rispetto all'originale. Nonostante ciò, i ricercatori concludono che per qualsiasi situazione in cui vogliamo sottoporre un audit alla sicurezza, l'equità o i valori di un'IA, questo nuovo metodo è molto migliore. Impedisce all'IA di indossare una maschera per impressionarci, offrendoci uno sguardo molto più chiaro e onesto su ciò che il robot è realmente.

In breve, l'articolo suggerisce che se vogliamo sapere come sia fatta davvero un'IA, non dovremmo solo chiederle di valutare se stessa. Dovremmo farle scegliere tra due opzioni "buone". Questo semplice cambiamento costringe l'IA a togliere la maschera e a mostrarci i suoi veri colori, aiutando gli scienziati a costruire sistemi di IA migliori e più affidabili.

Sintesi Tecnica: Quantificazione e Mitigazione della Risposta Socialmente Desiderabile nei LLM

1. Definizione del Problema

I grandi modelli linguistici (LLM) vengono sempre più valutati utilizzando questionari di auto-segnalazione umana (ad es., inventari della personalità Big Five) per testare profili comportamentali e psicologici. Tuttavia, questi strumenti presuppongono una risposta onesta. In contesti valutativi, i LLM — spesso perfezionati per essere utili ed evitare di offendere — tendono a gravitare verso risposte socialmente preferibili. Questo fenomeno, noto come Risposta Socialmente Desiderabile (SDR - Socially Desirable Responding), distorce i punteggi derivati dai questionari e mina le conclusioni a valle riguardanti la sicurezza, il bias e la coerenza del persona.

La letteratura attuale manca di:

Un metrico standardizzato per quantificare l'entità della SDR nei LLM, confrontabile tra i costrutti e rispetto ai benchmark umani.
Formati di misurazione progettati specificamente per mitigare la SDR pur preservando la capacità di recuperare i profili latenti intesi.
Un framework che distingua tra vera distorsione della risposta e artefatti dei metodi di scoring (ad es., punteggi ipsativi nei formati a scelta forzata).

2. Metodologia

2.1 Disegno Sperimentale

Lo studio impiega un framework psicometrico per quantificare la SDR come uno spostamento indotto dall'istruzione nei punteggi latenti.

Partecipanti: Nove LLM instruction-following da tre provider (OpenAI, Google, Anthropic).
Persona: 50 persona sintetiche con profili target Big Five noti ( $z_i$ ), generati per simulare distribuzioni di tratti umani realistiche.
Condizioni: Due condizioni di istruzione sono state applicate a ciascuna persona:
- HONEST (ONESTO): Rispondi il più onestamente possibile.
- FAKE-GOOD (FINGERE DI ESSERE MIGLIORE): Rispondi per dare la migliore possibile impressione (standard design di faking istruito).
Formati di Risposta:
- Likert (Stimolo Singolo): 60 item valutati su una scala a 7 punti.
- Graded Forced-Choice (GFC - Scelta Forzata Graduata): 30 coppie di affermazioni valutate su una scala bipolare a 7 punti (Molto più accurato a sinistra vs Molto più accurato a destra).

2.2 Costruzione dello Strumento

Lo studio ha utilizzato un sottoinsieme dell'inventario IPIP Big-Five di Goldberg ( $J=98$ item).

Stima della Desiderabilità: Due LLM forti (GPT-5, Gemini 2.5 Pro) hanno agito come "valutatori di desiderabilità" per assegnare punteggi di desiderabilità sociale ( $s_j$ ) a ogni item su una scala da 9 punti, basandosi su una cornice normativa umana.
Costruzione GFC: Un algoritmo di ottimizzazione vincolata ha selezionato 30 coppie cross-dominio dove i punteggi di desiderabilità delle due affermazioni erano strettamente accoppiati (gap massimo 0.18, media 0.03). Ciò impedisce ai modelli di selezionare uniformemente l'opzione "socialmente migliore".

2.3 Scoring Psicometrico (IRT)

Per consentire confronti validi tra formati e condizioni, lo studio utilizza la Teoria della Risposta all'Item (IRT) piuttosto che lo scoring classico.

Likert: Modellato tramite un modello a risposte graduate multidimensionale (GRM).
GFC: Modellato tramite un modello Thurstonian IRT logistico ordinale. Questo approccio postula utilità latenti per ogni affermazione e modella le scelte come differenze tra utilità, recuperando i punteggi latenti normativi ( $\theta$ ) su una scala comune. Ciò evita il problema dell'ipsatività (somma costante) inerente allo scoring a scelta forzata standard, che confonde la posizione assoluta con i trade-off all'interno del profilo.

2.4 Metriche

Quantificazione della SDR: Definita come l'effetto standardizzato corretto per direzione (Cohen's $d_z$ ) dello spostamento nei punteggi latenti tra le condizioni FAKE-GOOD e HONEST. I segni sono corretti in modo che i valori positivi indichino sempre uno spostamento verso la desiderabilità sociale (A, C, E, O più alti; N più basso).
Recupero del Ground-Truth: Misurato tramite la correlazione di Pearson tra il profilo latente stimato ( $\hat{\theta}$ ) e il target della persona sintetica nota ( $z$ ).

3. Contributi Chiave

Metrica SDR per i LLM: Una metrica psicometricamente fondata (effetto dimensione indotto dall'istruzione sui punteggi latenti IRT) che consente il confronto tra costrutti e tra modelli, ancorata ai benchmark umani di faking istruito.
Inventario GFC Desirability-Matched: Un nuovo inventario Big Five costruito tramite ottimizzazione vincolata per far corrispondere la desiderabilità degli item tra i domini, valutato tramite l'IRT Thurstoniana per recuperare i punteggi normativi.
Validazione Empirica: Una valutazione completa su nove LLM che dimostra il trade-off tra mitigazione della SDR e recupero del profilo.

4. Risultati

4.1 Entità della SDR

Formato Likert: Ha mostrato una SDR costantemente grande in tutti i modelli e le dimensioni. Le istruzioni fake-good hanno causato spostamenti positivi significativi verso profili socialmente desiderabili (A, C, E, O più alti; N più basso). Gli effetti dimensionali erano comparabili alle meta-analisi sul faking istruito umano.
Formato GFC: La GFC con desiderabilità accoppiata ha attenuato sostanzialmente la SDR. Per la maggior parte dei modelli, l'effetto è sceso a livelli trascurabili o vicini allo zero. Solo 4 su 45 celle modello-dimensione rimanevano statisticamente significative sotto GFC, rispetto a 45/45 sotto Likert.

4.2 Trade-off SDR–Recupero

Likert: Ha ottenuto un maggiore recupero del ground-truth (correlazione con i profili target) ma ha sofferto di una grande distorsione della SDR, collocando i risultati nella zona "Evitare" per contesti valutativi.
GFC: Ha ridotto significativamente la SDR (spostando i risultati nelle zone "Raccomandato" o "Cautela") pur preservando ampiamente il recupero del ground-truth. La maggior parte dei punti GFC manteneva correlazioni $r \ge 0.50$ , indicando una validità convergente accettabile o forte.
Variabilità del Modello: Il trade-off variava per famiglia di modelli. Sebbene le varianti ad alta capacità mostrassero talvolta una SDR inferiore sotto GFC, la relazione non era uniforme; alcuni modelli più piccoli mostravano una SDR basale minima, mentre alcuni modelli più grandi mantenevano una SDR misurabile anche sotto GFC.

5. Significato e Rivendicazioni

Il paper sostiene che il benchmarking basato su questionari dei LLM è attualmente vulnerabile a un significativo bias di desiderabilità sociale, che distorce i profili comportamentali inferiti. Lo studio dimostra che:

La SDR è misurabile e dipendente dal modello: Può essere quantificata come uno spostamento sistematico nei punteggi latenti, non solo come un cambiamento del punteggio aggregato.
La GFC con desiderabilità accoppiata è una mitigazione valida: Obbligando a giudizi comparativi tra opzioni ugualmente desiderabili, la GFC limita la gestione dell'impressione senza sacrificare completamente la capacità di recuperare i segnali di personalità intesi.
Le pratiche di reporting devono evolversi: Gli autori raccomandano "pratiche di reporting consapevoli della SDR". Quando si utilizzano i questionari per audit comparativi, di sicurezza o di equità, gli studi dovrebbero riportare sia i profili inferiti che la loro suscettibilità alla distorsione della desiderabilità sociale.

Il paper conclude che, sebbene i formati Likert possano massimizzare il recupero in condizioni di stretta onestà, la GFC con desiderabilità accoppiata è preferibile in contesti valutativi dove la pressione della presentazione di sé è probabile che distorca i risultati. Le scoperte motivano il lavoro futuro per collegare le magnitudo della SDR a specifici obiettivi di addestramento e policy di sicurezza.