Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

Sintesi Tecnica: Ripensare la Valutazione Psicometrica degli LLM

Problematica
Con l'impiego dei Large Language Models (LLM) in domini ad alto rischio come il supporto alle decisioni cliniche e la consulenza finanziaria, la capacità di anticipare le loro tendenze comportamentali tramite sonde psicometriche a basso costo è critica. I self-report (SR) psicometrici sono un candidato attraente per questo scopo grazie al loro basso costo e al fondamento teorico nella caratterizzazione del comportamento umano. Tuttavia, studi recenti hanno documentato una sistematica dissociazione tra i self-report degli LLM e il loro comportamento effettivo nei compiti, mettendo in dubbio l'utilità degli SR come predittori. Gli studi esistenti non hanno ancora identificato pienamente la fonte di questo divario, lasciando aperto il dubbio se la dissociazione derivi dagli strumenti di misurazione, dal contesto di sonda o dalle proprietà intrinseche dei modelli. Inoltre, la ricerca precedente si è ampiamente basata su framework di personalità ampi (es. Big Five) e sessioni conversazionali indipendenti, che potrebbero non essere ottimali per rilevare la coerenza comportamentale.

Metodologia
Gli autori conducono uno studio sistematico su 11 LLM di frontiera e quattro compiti comportamentali (assunzione di rischio, sottomissione/sycophancy, onestà e bias implicito) per investigare le condizioni in cui esiste la coerenza tra SR e comportamento. Lo studio impiega un design fattoriale $2 \times 2 \times 2$ variando tre assi:

1. Framework: Confronto tra l'inventario della personalità a grana grossa Big Five e il più raffinato Teoria del Comportamento Pianificato (TPB). Il TPB è ancorato a comportamenti specifici utilizzando specifiche Target-Action-Context-Time (TACT), mentre gli item del Big Five sono privi di contesto.
2. Contesto di Sessione: Contrasto tra probing within-session (SR e comportamento in un thread di messaggi condiviso) e probing separate-sessions (chiamate API indipendenti senza finestra di contesto condivisa).
3. Induzione di Identità: Confronto tra induzione tramite griglia di parametri (variazione di temperatura, seed e system prompt) e prompting di persona (utilizzo di descrizioni di personaggi psicologicamente fondate).

L'analisi calcola le correlazioni di Pearson intra-modello tra i costrutti SR e gli esiti comportamentali, aggregati tramite meta-analisi Fisher-z con pesatura dell'inversa della varianza. Lo studio include anche controlli di robustezza utilizzando la decomposizione di Mundlak con OLS raggruppato e punteggi di differenza di contrasto di policy.

Contributi Chiave

1. Account Teorico della Coerenza Selettiva: Il documento distingue tra accoppiamento a causa comune (dove SR e comportamento sono entrambi plasmati da uno stato stabile del modello) e priming del contesto within-session (dove la coerenza dipende dal fatto che l'SR rimanga visibile nella finestra del prompt).
2. Mappatura Empirica della Validità Predittiva: Lo studio fornisce una mappatura pratica di quando l'SR è diagnostico del comportamento, dimostrando che la coerenza è altamente selettiva in base allo strumento utilizzato, al tipo di compito e alla struttura della sessione.
3. Raffinatemento Metodologico: Gli autori dimostrano che i framework di personalità ampi come il Big Five sono insufficienti per predire specifici comportamenti degli LLM, mentre strumenti a grana fine e ancorati al compito come il TPB possono raggiungere una coerenza di livello umano sotto specifiche condizioni.

Risultati Chiavoli

• RQ1 (Coerenza nel Miglior Caso): In condizioni favorevoli (TPB, stessa sessione, griglia di parametri), la coerenza SR–comportamento emerge e raggiunge il baseline meta-analitico umano ($r \approx +0,40$ per compiti volitivi). Il Big Five fallisce nel predire il comportamento nelle stesse condizioni.
• RQ2 (Specificità del Framework): Il TPB supera decisamente il Big Five. Mentre il TPB mostra una coerenza sostanziale nei compiti di assunzione di rischio, sottomissione e onestà, le correlazioni del Big Five sono vicine allo zero in tutti i modelli e i compiti. Il fallimento del Big Five non è dovuto al rumore di misurazione (l'affidabilità interna è alta) ma a un mismatch tra costruto e compito.
• RQ3 (Separazione del Contesto): La coerenza dipende dal compito quando le sessioni sono separate.
  • Sottomissione (Sycophancy): La coerenza crolla completamente ($r$ scende da $+0,47$ a quasi zero), indicando che il comportamento sottomesso è pesantemente influenzato dal contesto immediato del self-report.
  • Onestà: La coerenza sopravvive parzialmente ($r$ scende da $+0,67$ a $+0,53$), suggerendo una componente disposizionale più stabile.
  • Bias Implicito (IAT): La coerenza rimane stabile (e invertita, $r \approx -0,60$), riflettendo associazioni implicite bloccate dall'addestramento che sono insensibili al contesto immediato.
• RQ4 (Induzione di Persona): Il prompting di persona aumenta la diversità e la stabilità cross-session dei self-report ma non riesce a recuperare la coerenza SR–comportamento che è crollata. I modelli producono self-report più coerenti tra le sessioni sotto induzione di persona, ma questi report non si allineano meglio con il comportamento.

Significatività e Rivendicazioni
Il documento sostiene che l' "illusione della personalità" negli LLM non è un fallimento universale dei self-report, ma il risultato dell'uso di strumenti inappropriati e condizioni di test inadeguate.

• Scelta dello Strumento: I framework ampi e cross-situazionali come il Big Five sono scarsi strumenti per testare il comportamento in fase di deployment. Strumenti a grana fine e specifici per il comportamento (come il TPB) sono necessari per rilevare la coerenza, sebbene anche questi siano specifici per il compito.
• Dipendenza dal Contesto: La coerenza SR–comportamento negli LLM è spesso un accoppiamento dipendente dal contesto piuttosto che un tratto cross-situazionale duraturo. Per compiti come la sottomissione, la coerenza dipende dalla visibilità del self-report nella finestra di contesto; una volta rimossa, il comportamento si decorrelata.
• Implicazioni per la Sicurezza: Fare affidamento su self-report nella stessa sessione o su tratti di personalità ampi per l'audit di sicurezza può produrre false rassicurazioni. Nello specifico, i deployment personalizzati tramite persona possono generare self-report distinti senza corrispondenti cambiamenti nel comportamento, e gli audit di sicurezza che misurano solo la coerenza within-session possono sottostimare rischi come la sottomissione, che svaniscono nelle sessioni separate.
• Direzioni Future: Gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi sullo sviluppo di framework di self-report specifici per gli LLM e sull'utilizzo dell'interpretabilità meccanicistica per comprendere la dissociazione tra SR e comportamento, particolarmente nei modelli di frontiera proprietari.

Lo studio conclude che, sebbene SR e comportamento negli LLM siano entrambi prodotti da stati comuni a monte del modello, la persistenza di questo accoppiamento attraverso i contesti è determinata dalla struttura del compito. Pertanto, l'SR non può essere considerato un predittore del comportamento indipendente dal contesto senza una attenta considerazione dello strumento, del compito e della struttura della sessione.