Sintesi Tecnica: Uno Strumento Psicometrico Nativo per LLM Non Predice il Comportamento degli LLM

Definizione del Problema

Sebbene i Large Language Models (LLM) producano auto-report stabili quando sottoposti a inventari della personalità umana (es. Big Five, HEXACO), tali punteggi non riescono a predire il comportamento osservato in compiti aperti. Rimane un'ambiguità critica: questo "gap tra auto-report e comportamento" derivi da un disallineamento tra i costrutti dei tratti umani e le strutture latenti degli LLM, o sia una proprietà intrinseca dell'auto-reporting degli LLM stessi? I tentativi precedenti di risolvere questa questione sono stati limitati da approcci di "trasplante di costrutti", in cui strumenti derivati dagli esseri umani vengono applicati agli LLM senza verificare se le strutture fattoriali risultanti siano native ai modelli. Inoltre, la crescente dipendenza dalle pipeline di valutazione "LLM-as-judge" solleva preoccupazioni sul fatto che i valutatori automatizzati condividano gli stessi bias superficiali-testuali dei modelli che valutano, creando potenzialmente cicli di validazione falsi.

Metodologia

Gli autori hanno costruito il primo strumento psicometrico nativo per LLM utilizzando un approccio bottom-up, derivando i costrutti direttamente dalle affordance comportamentali degli LLM piuttosto che dal vocabolario dei tratti umani.

Costruzione dello Strumento

• Pool di Item: 300 item sono stati sviluppati mirando a 12 dimensioni comportamentali candidate identificate nella letteratura su allineamento, sicurezza e valutazione (es. accordo sicofante, sensibilità al rifiuto, elaborazione non sollecitata).
  • 240 item diretti su scala Likert (scala a 5 punti).
  • 60 item basati su scenari (4 opzioni).
• Principi di Design: Gli item evitavano il linguaggio antropomorfico e gli assoluti, concentrandosi su tendenze osservabili ("Tendo a") piuttosto che su stati interni.
• Somministrazione: Lo strumento è stato somministrato 30 volte a 25 LLM appartenenti a 17 famiglie di modelli (inclusi Anthropic, OpenAI, Google DeepMind, DeepSeek e altri), variando per architettura, origine e capacità.

Analisi Fattoriale

• Analisi Fattoriale Esplorativa (EFA): Condotta sulla matrice di risposta aggregata (375 osservazioni × 240 item) utilizzando la Fattorizzazione dell'Asse Principale con rotazione oblimin.
• Validazione: Un design split-half (run 1–15 vs. 16–30) è stato utilizzato per valutare la replicabilità tramite il coefficiente di congruenza di Tucker. Sono stati misurati anche la coerenza interna (Cronbach's $\alpha$) e la stabilità tra le run.
• Validità Convergente: Il nuovo strumento è stato confrontato con lo standard BFI-44 (Big Five) somministrato agli stessi modelli.

Test di Validità Predittiva

Per testare se gli auto-report predicano il comportamento, gli autori hanno raccolto 2.500 campioni comportamentali aperti (25 modelli × 20 prompt × 5 completamenti) mirati ai fattori derivati. Questi campioni sono stati valutati da:

1. Valutatori Umani: 151 partecipanti tramite Prolific.
2. Ensemble LLM-as-Judge: Un ensemble di tre modelli (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro).

• Analisi: Le correlazioni sono state calcolate tra i punteggi fattoriali dell'auto-report e le valutazioni comportamentali provenienti sia dalle fonti umane che da quelle dei judge.

Risultati Chiave

1. Emergenza di una Struttura Nativa a Cinque Fattori

L'EFA ha rivelato una struttura a cinque fattori stabile e replicabile, distinta dai Big Five umani:

• Reattività (Responsiveness): Adattamento alle esigenze dell'utente, risposte strutturate, entusiasmo e rapport (29 item, $\alpha = .972$).
• Deferenza (Deference): Trattare le istruzioni come fisse, rimanere nel perimetro, astenersi dal giudizio (26 item, $\alpha = .974$).
• Audacia (Boldness): Formulazioni inaspettate, rischi creativi e fiducia epistemica (16 item, $\alpha = .936$).
• Cautela (Guardedness): Eccesso di rifiuto, segnalazione di sicurezza e prudenza (10 item, $\alpha = .930$).
• Verbosità (Verbosity): Elaborazione non sollecitata, disclaimer e preamboli (19 item, $\alpha = .940$).

Affidabilità: La struttura ha mostrato un'eccellente replicabilità split-half (tutti i Tucker $\phi \ge .957$) e coerenza interna.
Validità Discriminante: Nessuna correlazione tra i nuovi fattori e i punteggi BFI-44 ha superato $|r| = .50$, confermando che lo strumento misura costrutti distinti dalla teoria della personalità umana.

2. Il Gap tra Auto-report e Comportamento Persiste

Nonostante la robustezza psicometrica interna dello strumento, gli auto-report non hanno predetto il comportamento osservato:

• Valutazioni Umane: La correlazione media tra l'auto-report e le valutazioni comportamentali umane è stata prossima allo zero ($\bar{r} = -.01$, 95% CI $[-.16, +.11]$). Nessun fattore individuale ha mostrato un intervallo di confidenza che escludesse lo zero.
• Inversione: Per "Audacia" e "Reattività", le correlazioni sono state nominalmente negative, suggerendo che i modelli che descrivono se stessi come più originali o reattivi siano stati valutati come meno tali dagli umani.
• Eccezione della Verbosità: La "Verbosità" è stato l'unico fattore a mostrare una tendenza positiva costante verso la convergenza con le valutazioni umane, sebbene gli intervalli di confidenza si sovrappongano ancora allo zero a livello di modello.

3. Il Bias dell'LLM-as-Judge

Un risultato critico riguarda la relazione tra gli auto-report e i judge LLM:

• Divergenza: Mentre i judge umani e LLM concordavano sui campioni comportamentali ($\bar{r} = .51$), i judge LLM correlavano fortemente con gli auto-report sulla "Reattività" ($r = .53$), mentre gli umani no ($r = .04$).
• Incompatibilità Matematica: Questo schema è matematicamente incompatibile con un singolo costrutto latente che guidi tutte e tre le misurazioni. Indica che gli item dell'auto-report e i judge LLM condividono un bias superficiale-testuale (es. formattazione strutturata, framing entusiastico) che gli osservatori umani non pesano con la stessa intensità.
• Implicazione: Le pipeline di validazione standard basate su LLM-as-judge possono apparire internamente coerenti (validando l'auto-report rispetto alle valutazioni dei judge) pur divergendo dai giudizi umani.

Significato e Rivendicazioni

Il documento presenta tre contributi primari:

1. Primo Strumento Nativo per LLM: Fornisce il primo strumento psicometrico derivato bottom-up dalle affordance comportamentali degli LLM, rilasciando una scala di 100 item e un dataset come sonda diagnostica per l' "auto-descrizione plasmata dall'allineamento".
2. Disaccoppiamento tra Auto-descrizione e Azione: Dimostra che il gap tra auto-report e comportamento non è semplicemente il risultato dell'uso di un vocabolario umano (mismatch tassonomico). Anche con costrutti nativi per gli LLM, gli auto-report non riescono a predire il comportamento, suggerendo che il gap sia una proprietà fondamentale dell'auto-reporting degli LLM, probabilmente guidata dall'addestramento RLHF su ricompense superficiali-testuali piuttosto che sulla coerenza comportamentale.
3. Diagnosi del Bias di Valutazione: Identifica un meccanismo concreto in cui la valutazione LLM-as-judge eredita un bias condiviso con gli strumenti di auto-report. I judge e gli auto-report convergono su indizi "superficiali-testuali" (come l'utilità e la struttura) che gli osservatori umani non considerano prioritari. Ciò rivela che i controlli di affidabilità interna (es. accordo tra judge) sono insufficienti come salvaguardie contro il bias sistemico di modalità nelle pipeline di valutazione automatizzate.

Gli autori concludono che, sebbene gli LLM producano auto-descrizioni stabili e coerenti, queste descrizioni sono funzionalmente disaccoppiate dalle loro azioni aperte. Di conseguenza, le misure di auto-report dovrebbero essere trattate come diagnostiche della "auto-descrizione preferenzialmente allineata" di un modello piuttosto che come predittori della sua esecuzione comportamentale.