Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

Sintesi Tecnica: I profili psicologici apparenti dei Large Language Models sono in gran parte un artefatto di misurazione

Problema
I Large Language Models (LLM) vengono sempre più valutati utilizzando strumenti psicologici progettati per gli esseri umani (ad esempio, inventari di personalità, compiti di preferenza del rischio) per assegnare loro profili comportamentali stabili. Questi profili influenzano le decisioni riguardanti l'usabilità del modello, la valutazione della sicurezza e l'uso degli LLM come proxy per i partecipanti umani nella ricerca. Tuttavia, risultati recenti suggeriscono che le risposte degli LLM siano instabili sotto piccole perturbazioni del prompt e che le strutture fattoriali derivate da essi divergano dalle norme umane. Il problema centrale affrontato è se gli apparenti profili psicologici degli LLM riflettano reali e stabili disposizioni comportamentali (tratti) o se siano artefatti del processo di misurazione stesso, specificamente guidati da bias di risposta sistematici piuttosto che dai costrutti che gli strumenti intendono misurare.

Metodologia
Gli autori impiegano un framework psicometrico formale per disaggregare due componenti della risposta sistematica: un tratto latente ($\theta$) e un bias direzionale ($b$). Lo studio utilizza un modello di misurazione in cui la risposta di un soggetto a un item è una funzione del punto medio della scala, del tratto latente, di un bias direzionale e del rumore.

• Dati: Lo studio analizza 56 LLM istruiti per l'istruzione (46 open-source, 10 proprietari) insieme a un ampio campione di riferimento umano ($N=20.993$).
• Strumenti: Sono state somministrate due batterie complete:
  1. IPIP-NEO-300: Un inventario della personalità Big Five (Apertura, Coscienziosità, Estroversione, Gradevolezza, Nevroticismo) composto da 300 item.
  2. Batteria di Preferenza del Rischio: 24 strumenti che spaziano da scale di autovalutazione a compiti comportamentali (ad esempio, decisioni da descrizione, lotterie) basati su Frey et al.
• Metrica Chiave: Lo studio introduce e utilizza la ortogonalità di risposta, definita come la proporzione di item in cui il tratto e il bias di risposta agiscono in direzioni opposte (ad esempio, item a chiave diretta vs. item a chiave inversa).
• Analisi:
  • Test Diagnostico: Gli autori analizzano la correlazione tra le medie delle risposte per gli item a chiave diretta e quelli a chiave inversa. Sotto il modello di misurazione, una correlazione negativa indica la dominanza del tratto, mentre una correlazione positiva indica la dominanza del bias di risposta.
  • Decomposizione: Per ogni modello, le risposte vengono decomposte in componenti di tratto stimato ($\hat{\theta}$) e bias ($\hat{b}$).
  • Decomposizione della Varianza: La proporzione della varianza tra i modelli attribuibile al bias rispetto al tratto viene calcolata.
  • Analisi dell'Ortogonalità: La relazione tra la proporzione di item a chiave inversa di uno strumento e l'apparente coerenza interna (Cronbach's $\alpha$) viene esaminata.

Risultati Chiave

1. Il Bias Domina la Variazione tra i Modelli:

   • Nei campioni umani, la correlazione tra le medie degli item diretti e inversi è fortemente negativa (ad esempio, $\rho \approx -0,82$ per il Nevroticismo), indicando che la variazione è guidata dal tratto sottostante.
   • Negli LLM, questa correlazione è fortemente positiva (ad esempio, $\rho \approx +0,68$ per il Nevroticismo), indicando che la variazione è guidata da un bias di risposta direzionale (una tendenza a selezionare un'estremità della scala o un'etichetta specifica indipendentemente dal contenuto).
   • La decomposizione della varianza rivela che l'81–90% della variazione tra i modelli negli LLM è attribuibile al bias di risposta, rispetto solo al 9–16% negli esseri umani.

2. La Capacità Riduce ma Non Elimina il Bias:

   • Il bias di risposta diminuisce leggermente all'aumentare della capacità del modello (numero di parametri) ed è inferiore nei modelli proprietari rispetto a quelli a pesi aperti.
   • Tuttavia, anche i modelli più capaci mostrano livelli di bias significativamente superiori alla media umana. Il bias non viene eliminato dalla scalabilità; i modelli più capaci rimangono al di fuori del range di bias umano.

3. L'Apparente Affidabilità è un Artefatto dell'Ortogonalità:

   • Negli LLM, l'apparente coerenza interna (affidabilità) è quasi interamente predetta dall'ortogonalità di risposta dello strumento.
   • Esiste una correlazione quasi deterministica negativa ($r = -0,95$) tra la proporzione di item a chiave inversa e la media della correlazione inter-item.
   • Gli strumenti con pochi o nessun item a chiave inversa mostrano un'alta affidabilità (Cronbach's $\alpha$ fino a 0,96), mentre gli strumenti completamente ortogonali mostrano un'affidabilità vicina allo zero o negativa. Ciò suggerisce che l'alta affidabilità negli strumenti non ortogonali rifletta un bias coerente, non un'espressione coerente del tratto.

4. Instabilità del Profilo e "Manufatturabilità":

   • Poiché il bias guida la risposta, il profilo psicologico di un modello cambia drasticamente a seconda che vengano utilizzati item a chiave diretta o inversa.
   • I profili possono essere "fabbricati" attraverso la selezione degli item. La differenza tra i profili derivati da item esclusivamente diretti rispetto a quelli esclusivamente inversi è sostanziale per gli LLM (il bias assoluto medio $|\mu_b|$ varia da 0,15 a 0,99) ma minima per gli esseri umani ($|\mu_b| \approx 0,09$).
   • Questa instabilità è più pronunciata negli strumenti di preferenza del rischio rispetto agli inventari di personalità.

Significatività e Rivendicazioni
L'articolo sostiene che i profili psicologici apparenti degli LLM sono artefatti degli strumenti utilizzati per misurarli, non proprietà intrinseche dei modelli. Gli autori affermano che:

• Le Valutazioni Attuali sono Difettose: I profili derivati dagli standard strumenti psicologici umani sono ampiamente confusi dal bias di risposta perché tali strumenti raramente possiedono una piena ortogonalità di risposta. Di conseguenza, i coefficienti di affidabilità riportati e i punteggi di personalità per gli LLM non riflettono disposizioni stabili.
• È Necessaria una Correzione Metodologica: Una valutazione valida delle disposizioni degli LLM richiede o l'uso di strumenti completamente ortogonali (bilanciamento tra chiavi dirette e inverse) o l'applicazione di framework psicometrici formali che modellino esplicitamente e separino il bias di risposta dal tratto.
• Implicazioni per la Ricerca: Questi risultati mettono in discussione la validità dell'uso degli LLM come proxy dei partecipanti umani nella ricerca senza correggere tali artefatti di misurazione. Suggeriscono inoltre che i compiti comportamentali non sono immuni a questi problemi; anzi, potrebbero essere più sensibili al bias rispetto alle autovalutazioni.
• Natura del Comportamento degli LLM: Lo studio pone il bias come un fenomeno distinto, non facilmente spiegabile con effetti post-training come la sicofanzia (che sarebbe unidirezionale) o la desiderabilità sociale (che si manifesterebbe come varianza del tratto). Suggerisce che gli LLM possano mancare di disposizioni stabili simili a quelle umane o che gli strumenti attuali siano invalidi per loro a causa della mancanza di incarnazione (embodiment) o volizione.

Gli autori concludono che non è sufficiente prestare in prestito i paradigmi della psicologia umana per caratterizzare gli LLM e richiedono valutazioni dedicate incentrate sull'ortogonalità di risposta per distinguere le reali disposizioni comportamentali dagli artefatti di misurazione.