🤖 AI

Evaluating Developmental Cognition Capabilities of LLMs

Questo articolo introduce il Developmental Sentence Completion Test (DSCT) per valutare la capacità dei LLM di rilevare stadi cognitivi dello sviluppo basati sulla teoria di Robert Kegan, constatando che, sebbene i modelli possano identificare con precisione gli stadi previsti in personalità simulate e mostrare pattern di sviluppo coerenti nelle loro stesse produzioni, il loro accordo con le risposte umane reali rimane moderato, evidenziando che la sfida principale per un'IA consapevole degli stadi risiede nella disponibilità del segnale di sviluppo all'interno del testo elicito piuttosto che nella sola accuratezza del classificatore.

Autori originali: Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

Pubblicato 2026-05-12

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'idea fondamentale: come "pensiamo" al pensiero?

Immagina di parlare con un robot molto intelligente. Di solito, cerchiamo di far capire al robot cosa vuoi (i tuoi obiettivi) o cosa sai (i tuoi fatti). Ma questo documento si pone una domanda diversa: come riesci effettivamente a dare senso al mondo?

Gli autori utilizzano una teoria psicologica di Robert Kegan per esaminare questo aspetto. Immagina la teoria di Kegan come una scala della "costruzione del significato".

Pioli inferiori: Vedi il mondo come una serie di regole o di ciò che gli altri si aspettano da te. (Esempio: "Lo faccio perché l'ha detto il mio capo".)
Pioli superiori: Costruisci la tua bussola interna e riesci a fare un passo indietro per osservare le tue stesse convinzioni. (Esempio: "Lo faccio perché ho analizzato la situazione e ho deciso che è in linea con i miei valori, anche se il mio capo non è d'accordo".)

Il documento cerca di capire se l'IA può rilevare su quale "piolo" della scala si trova una persona semplicemente leggendo il suo testo.

Il problema: i vecchi test erano troppo pesanti

Tradizionalmente, per determinare dove si trova una persona su questa scala, gli psicologi devono sedersi per un lungo e profondo colloquio (come una sessione di terapia di 90 minuti). È come cercare di pesare una balena sollevandola; è troppo pesante e lento da fare per migliaia di persone o per testare l'IA.

Esistono anche test più brevi (completamento di frasi), ma spesso sono vecchi, privati (devi acquistarli) o chiedono domande molto personali su sesso e famiglia che sembrano invadenti.

La soluzione: il "DSCT" (un nuovo test più leggero)

Gli autori hanno creato un nuovo test di 20 domande chiamato Developmental Sentence Completion Test (DSCT).

L'analogia: Immagina un gioco di "completa la frase". Invece di chiedere "Qual è il tuo colore preferito?", chiede cose come: "Quando una promessa viene infranta, io mi sento..." oppure "Quando una persona deve scegliere tra due opzioni valide, essa...".
L'obiettivo: Le risposte non sono valutate come "giuste" o "sbagliate". Sono valutate sulla struttura del pensiero. La risposta suona come quella di qualcuno che segue la folla o di qualcuno con il proprio sistema interno?

I tre esperimenti: la "degustazione"

I ricercatori hanno condotto tre diverse "degustazioni" per vedere se l'IA poteva leggere queste risposte correttamente.

1. Il test "Robot che finge di essere umano" (Personaggi simulati)

La configurazione: Hanno chiesto a un'IA superintelligente di fingere di essere diversi tipi di persone (da "seguace delle regole" a "pensatore indipendente") e di compilare il test.
Il risultato: I classificatori dell'IA (i "valutatori") sono stati straordinariamente bravi in questo. Quando l'IA sapeva esattamente quale personaggio doveva interpretare, le altre IA potevano indovinare lo "stile di pensiero" con una precisione quasi perfetta.
La metafora: È come un attore che legge una sceneggiatura perfettamente. Gli altri attori (i valutatori) potevano facilmente capire esattamente quale personaggio stava interpretando.

2. Il test "Umano reale"

La configurazione: Hanno somministrato il test a 83 persone reali. Poi, hanno chiesto sia a esperti umani che all'IA di valutare le risposte.
Il risultato: È stato più caotico. L'IA e gli esperti umani erano d'accordo circa metà delle volte sul "piolo" esatto, ma concordavano molto più spesso sul quartiere generale (ad esempio, entrambi dicevano "da qualche parte tra il piolo 3 e il 4").
La metafora: Gli umani reali sono disordinati. A volte scrivono risposte brevi, a volte lunghe, e a volte si contraddicono. È come cercare di indovinare l'umore di qualcuno leggendo un messaggio di testo che ha inviato mentre era in ritardo; è più difficile che leggere una sceneggiatura. L'IA era un po' più conservatrice (più severa) rispetto agli esperti umani, raramente assegnando un "piolo alto" a meno che non fosse sicura.

3. Il test "IA che parla con se stessa" (Risposte predefinite)

La configurazione: Hanno chiesto ai modelli di IA di sostenere il test senza fingere di essere nessuno. Rispondevano semplicemente come se stessi.
Il risultato: I modelli di IA più nuovi e grandi hanno dato risposte che sembravano provenire da un piolo più alto della scala rispetto ai modelli più piccoli e vecchi.
La metafora: Immagina di chiedere a un bambino e a uno studente universitario di compilare lo stesso test di "completa la frase". Le risposte dello studente universitario suonano naturalmente più complesse e riflessive. Il documento ha rilevato che, man mano che i modelli di IA diventano più grandi e nuovi, la loro "voce predefinita" suona più come quella di un adulto riflessivo.

I punti chiave principali

L'IA è brava a individuare schemi, ma il segnale conta: Se il testo è pulito e strutturato (come nel test simulato), l'IA è eccellente nel determinare lo "stile di pensiero". Se il testo è disordinato (come le risposte umane reali), è più difficile, ma è ancora possibile farsi un'idea generale.
L'IA non "pensa" come un umano: Il documento fa attenzione a dire che l'IA non possiede effettivamente una fase di sviluppo. È solo che le parole che l'IA genera sembrano provenire da una fase specifica.
La "voce" dell'IA conta: I modelli di IA più grandi e nuovi tendono a parlare in modo che sembri più "auto-autoreferenziale" (più in alto sulla scala). Questo potrebbe significare che interpretano gli utenti umani in modo diverso rispetto ai modelli più piccoli.

Cosa significa questo per il futuro (secondo il documento)

Il documento suggerisce che, affinché l'IA sia davvero personalizzata, non dovrebbe imparare solo cosa ti piace (ad esempio: "Mi piacciono i film di fantascienza"). Dovrebbe cercare di capire come pensi (ad esempio: "Hai bisogno che ti dia le regole, o vuoi che metta in discussione le tue idee?").

Tuttavia, gli autori avvertono che non possiamo indovinare questo da una chat casuale. Abbiamo bisogno di modi strutturati per chiedere (come questo test) per ottenere una lettura affidabile. Non puoi determinare la "scala di pensiero" di qualcuno semplicemente dando un'occhiata a un messaggio di testo veloce; hai bisogno di una conversazione adeguata per vedere la struttura.

In sintesi: Il documento ha creato un nuovo test più breve per misurare come le persone danno senso al mondo. Hanno scoperto che l'IA può leggere bene questo test, specialmente quando le risposte sono chiare, ma le risposte umane reali sono disordinate. Inoltre, i modelli di IA stessi stanno "crescendo" nel loro stile di scrittura, suonando più complessi man mano che diventano più grandi.

Riepilogo Tecnico: Valutazione delle Capacità di Cognizione dello Sviluppo dei LLM

Enunciato del Problema
I sistemi di intelligenza artificiale conversazionale sono sempre più personalizzati in base alle preferenze, alle storie e agli obiettivi degli utenti. Tuttavia, gli approcci attuali ignorano in larga misura come gli utenti interpretano e costruiscono significato dai risultati del modello. Basandosi sulla teoria costruttivista-sviluppale di Robert Kegan, gli autori ipotizzano che gli individui differiscano nella loro trasformazione "soggetto-oggetto"—specificamente, ciò di cui sono soggetti rispetto a ciò su cui possono riflettere come oggetto. Ignorare queste differenze nelle strutture di costruzione del significato può portare a modalità di fallimento come output omogeneizzati o rinforzo servile delle convinzioni dell'utente. La sfida fondamentale è che i metodi standard per valutare gli stadi di sviluppo (ad esempio, il Colloquio Soggetto-Oggetto) sono guidati da esperti, richiedono molto tempo e non si scalano al benchmarking dei Large Language Model (LLM). Inoltre, gli strumenti esistenti di completamento di frasi sono spesso proprietari, lunghi o contengono prompt invasivi inadatti alla valutazione automatizzata.

Metodologia
Per affrontare queste limitazioni, gli autori introducono il Test di Completamento di Frasi per lo Sviluppo (DSCT), uno strumento autoamministrato di 20 item progettato per elicita testi sufficientemente ricchi da permettere a valutatori umani addestrati o a LLM di assegnare un'etichetta di sviluppo keganiana provvisoria. Il DSCT rimuove gli item di genere e culturalmente invasivi presenti negli strumenti più vecchi (come l'SCT di Loevinger) e utilizza un design a due voci: 10 item in prima persona (autovalutazione) e 10 in terza persona (valutazione astratta di un altro generico).

Lo studio valuta il recupero del segnale di sviluppo attraverso tre regimi distinti:

Personaggi Simulati: Gli autori hanno generato 138 risposte sintetiche al DSCT utilizzando 23 profili di sviluppo descritti da esperti (stadi da 2 a 5, incluse le transizioni) radicati nella letteratura precedente. Questi sono stati generati da un simulatore (Gemini 3.1 Pro) condizionato su personaggi specifici. Dodici LLM all'avanguardia e compatti sono stati poi incaricati di classificare queste risposte negli stadi keganiani.
Reali Rispondenti Umani: Il DSCT è stato somministrato a 83 partecipanti umani. Tre valutatori umani addestrati su Kegan hanno fornito etichette di consenso per ogni insieme di risposte. Due LLM ad alte prestazioni (Claude Opus 4.6 e Gemini 3.1 Pro) sono stati poi invitati a classificare le stesse risposte umane per misurare l'accordo con i valutatori umani.
Risposte Predefinite Generate dal Modello: Un insieme più ampio di 29 LLM (che va da GPT-3.5 ai modelli all'avanguardia attuali) è stato sollecitato a rispondere al DSCT senza alcuna condizione di personaggio o istruzioni sullo stadio target. I risultati sono stati valutati per analizzare la struttura di sviluppo intrinseca della generazione di testo predefinita dei modelli.

Contributi Chiave

Sviluppo dello Strumento: L'introduzione del DSCT, uno strumento autoamministrato, non invasivo e di 20 item, specificamente progettato per la valutazione abbinata di umani e LLM della struttura simile a uno stadio nel testo elicita.
Benchmarking dei LLM: Un benchmark completo di dodici LLM sull'etichettatura keganiana. Lo studio dimostra che i modelli all'avanguardia possono recuperare le etichette intese dal simulatore con alta accuratezza in condizioni sintetiche controllate, mentre le prestazioni sui dati umani reali sono discrete ma limitate dal rumore intrinseco nelle risposte umane.
Analisi della Struttura dell'Output del Modello: Un'analisi che rivela che i LLM differiscono non solo nella loro capacità di classificare la struttura di sviluppo, ma anche nella struttura del testo che generano di default. I modelli più grandi e recenti tendono a produrre testi valutati a stadi di sviluppo più alti rispetto ai modelli più piccoli o vecchi.

Risultati

Validazione Sintetica: In condizioni sintetiche controllate, i modelli all'avanguardia (ad esempio, Claude Opus 4.6, Gemini 3.1 Pro, Grok 4.2) hanno raggiunto il 100% di accuratezza nel recuperare le etichette di stadio intese dal simulatore. I modelli più piccoli/compatti hanno mostrato un degrado significativo, in particolare sugli stadi di transizione (ad esempio, 3/4, 4/5), e hanno esibito un bias sistematico verso l'alto nelle loro classificazioni.
Accordo Uomo-LLM: Sulle risposte reali al DSCT da parte di umani, l'accordo tra valutatori umani e classificatori LLM è stato "discreto" ( $\kappa$ quadratico-pesato = 0,49). L'accordo esatto è stato del 46,3%, ma l'accordo entro $\pm0,5$ di stadio è stato dell'82,9%. A differenza degli ambienti sintetici, i LLM sono stati leggermente più conservativi (assegnando stadi più bassi) rispetto ai valutatori umani sul testo strutturato. Lo studio nota che gli stessi valutatori umani hanno mostrato un accordo solo discreto ( $\kappa = 0,31$ ), suggerendo che la "verità fondamentale" per test autoamministrati di 20 item è intrinsecamente probabilistica.
Tendenze dell'Output del Modello: Le risposte predefinite dei modelli più nuovi e grandi sono state valutate a stadi di sviluppo più alti (stadio medio 3,97 per i modelli all'avanguardia) rispetto ai modelli più vecchi o compatti (stadio medio 3,55). È stata trovata una correlazione positiva significativa tra la data di rilascio del modello e il punteggio di sviluppo ( $R^2 = 0,698$ ).
Formato di Elicitazione: Lo studio ha rilevato che il segnale di sviluppo è "più pulito" nel testo strutturato ed elicita (come il DSCT) rispetto alle tracce conversazionali non vincolate. L'inferenza dello stadio dalla cronologia delle chat non strutturata ha portato a un forte bias verso l'alto e a un accordo molto debole con i giudizi dei questionari strutturati.

Significato e Affermazioni
Il documento afferma che il segnale di sviluppo è recuperabile da testi di tipo DSCT, ma la recuperabilità dipende fortemente dalla fonte del testo. Il vincolo centrale per l'intelligenza artificiale conversazionale consapevole dello stadio non è identificato meramente come accuratezza del classificatore, ma come la disponibilità del segnale di sviluppo nel testo elicita.

Gli autori sostengono che l'elicitazione strutturata (come il DSCT) fornisce una base più affidabile per l'adattamento allo sviluppo rispetto all'inferenza passiva da linguaggio arbitrario. Sottolineano che il loro lavoro non misura lo stadio di sviluppo di un utente come tratto stabile o fatto diagnostico, ma caratterizza la "struttura simile a uno stadio" presente in un insieme specifico di risposte. I risultati suggeriscono che affinché l'intelligenza artificiale conversazionale si adatti efficacemente alle strutture di costruzione del significato degli utenti, deve fare affidamento sull'elicitazione strutturata per accedere a segnali di sviluppo recuperabili, piuttosto che tentare di inferire stadi di sviluppo complessi da tracce di interazione rumorose e non strutturate.