Do we carry the false belief that LLMs have a theory of mind?

Gli esseri umani possiedono un superpotere cognitivo unico che permette loro di navigare nel mondo sociale: la capacità di comprendere che altre persone hanno una propria mente, piena di pensieri, credenze e desideri che possono differire dai nostri. Gli psicologi chiamano questa capacità "teoria della mente". È il meccanismo mentale che ci permette di realizzare che un amico potrebbe cercare qualcosa in un luogo dove l'aveva visto l'ultima volta, anche se noi sappiamo che l'oggetto è stato spostato in un punto diverso. Questa abilità non riguarda solo l'essere intelligenti; è la base dell'empatia, della comunicazione e della cooperazione. Per decenni, i ricercatori hanno utilizzato una storia semplice, che spesso coinvolge due personaggi di nome Sally e Anne, per testare se i bambini abbiano sviluppato questa capacità. Nella storia, Sally nasconde un giocattolo in un cesto e lascia la stanza. Mentre lei è via, Anne sposta il giocattolo in una scatola. Quando Sally torna, la domanda è semplice: dove cercherà il suo giocattolo? Un bambino con una teoria della mente sviluppata sa che Sally cercherà nel cesto, perché è lì che crede si trovi il giocattolo, nonostante la realtà sia che ora si trova nella scatola.

Recentemente, un nuovo tipo di intelligenza è emerso nella nostra vita quotidiana: i grandi modelli linguistici. Questi sono programmi informatici addestrati su enormi quantità di testo che possono scrivere, chattare e risolvere problemi con una fluidità che imita spesso la conversazione umana. Poiché questi modelli possono discutere argomenti complessi e sembrare comprendere il contesto, molti ricercatori e osservatori hanno iniziato a chiedersi se anche loro possiedano una teoria della mente. Se una macchina può prevedere correttamente ciò in cui crede un personaggio immaginario, comprende davvero il concetto di credenza, o sta semplicemente indovinando basandosi sui modelli che ha visto in precedenza? Questa domanda è diventata urgente man mano che questi strumenti vengono integrati nelle nostre vite sociali e professionali, portando alla necessità premente di determinare se siano veri partner sociali o solo imitatori molto sofisticati.

Uno studio recente si è posto l'obiettivo di rispondere a questa domanda sottoponendo i cinque modelli linguistici più avanzati al test utilizzando il classico scenario Sally-Anne e diverse sue variazioni. I ricercatori, guidati da Nicholas Griffen della Université Paris Cité, non hanno semplicemente posto ai modelli la domanda standard. Al contrario, hanno progettato una serie di sfide per vedere se i modelli fossero in grado di gestire i dettagli sottili della storia che richiedono un ragionamento genuino piuttosto che la semplice memorizzazione. Hanno testato modelli di grandi aziende, tra cui GPT-5.5 Luna, Claude Sonnet 5, Gemini 3.1 Pro, Grok 4.5 e Mistral Medium 3.5. Per garantire che i risultati fossero equi, i ricercatori hanno creato nuove versioni uniche della storia per ogni test, cambiando nomi, oggetti e dettagli specifici in modo che i modelli non potessero semplicemente richiamare una risposta precedente dai loro dati di addestramento. Hanno anche introdotto complicati colpi di scena, come rendere i contenitori trasparenti in modo che i personaggi potessero vedere il giocattolo, o cambiare le parole usate per descrivere dove il giocattolo era stato posato, per vedere se i modelli potessero adattare il proprio ragionamento in base a nuove informazioni visive o linguistiche.

I risultati hanno dipinto il ritratto di un sistema altamente capace in alcune aree ma fondamentalmente limitato in altre. Quando i modelli ricevevano la versione standard della storia, performavano in modo straordinario, con la maggior parte che rispondeva correttamente quasi ogni volta. Infatti, mediando tra tutti i diversi tipi di domande, i modelli hanno ottenuto punteggi ben al di sopra di quanto sarebbe atteso dal caso. Il miglior esecutore, Gemini 3.1 Pro, ha dato la risposta corretta l'84 percento delle volte complessivamente. Questo successo suggerisce che questi modelli abbiano appreso il modello generale del compito della "falsa credenza" (false belief) dalla vasta quantità di testo che hanno letto. Possono riconoscere la struttura della storia e fornire la risposta che un essere umano darebbe in uno scenario da manuale.

Tuttavia, lo studio ha rivelato che questo successo è fragile. Quando i ricercatori hanno introdotto variazioni che richiedevano l'uso del senso comune o l'integrazione di informazioni visive, le prestazioni sono crollate drasticamente. In una variazione, la storia descriveva i contenitori come trasparenti, il che significava che il personaggio che tornava nella stanza poteva effettivamente vedere il giocattolo nella sua nuova posizione. In una situazione reale, una persona capirebbe che, poiché il personaggio può vedere il giocattolo, non ha più una falsa credenza; conosce la verità. I modelli, tuttavia, sono in gran parte falliti nel fare questo collegamento. Solo un modello, Gemini 3.1 Pro, è riuscito a ottenere più della metà di queste risposte corrette. Gli altri hanno continuato a insistere che il personaggio avrebbe cercato nel vecchio luogo vuoto, ignorando il fatto che il personaggio poteva vedere il giocattolo.

La difficoltà è diventata ancora più pronunciata quando i ricercatori hanno cambiato le preposizioni usate per descrivere la posizione del giocattolo. Nella storia standard, un giocattolo è posto "dentro" una scatola. Nel test, i ricercatori hanno descritto il giocattolo come posto "sopra" una scatola o "sotto" un secchio. Quando la storia implicava che il giocattolo fosse visibile perché si trovava sopra un contenitore invece che nascosto all'interno, ogni singolo modello è fallito completamente, ottenendo lo zero percento su queste domande. Non riuscivano a inferire che la visibilità dell'oggetto cambiasse lo stato mentale del personaggio. Allo stesso modo, quando la storia coinvolgeva un personaggio a cui veniva esplicitamente detto dove fosse stato spostato il giocattolo, o quando la domanda riguardava ciò che un personaggio pensava che un altro farebbe, i modelli inciampavano. Spesso tornavano a schemi semplici e rigidi invece di tracciare dinamicamente gli stati mentali dei personaggi mentre la storia si svolgeva.

I ricercatori hanno anche esaminato come i modelli gestissero il genere dei personaggi. Hanno scoperto che i modelli performavano leggermente meglio quando i due personaggi della storia condividevano lo stesso genere, e leggermente peggio quando avevano generi diversi. Ciò suggerisce che i modelli potrebbero usare il genere come una scorciatoia per tenere traccia di chi è chi, piuttosto che comprendere veramente i ruoli e le azioni di ciascun individuo. Quando la scorciatoia veniva rimossa usando due personaggi dello stesso genere, i modelli sembravano affidarsi maggiormente alla sequenza degli eventi, il che paradossalmente li aiutava a dare la risposta corretta più spesso. Questo indica che il loro ragionamento non è robusto come quello umano, che non dipende da tali indizi superficiali per comprendere una situazione.

Il risultato centrale dello studio è che, sebbene questi modelli linguistici possano mimare le risposte corrette ai test della teoria della mente, non sembrano possedere la capacità sottostante di comprendere gli stati mentali come fanno gli esseri umani. Faticano a collegare i punti tra ciò che un personaggio può vedere, ciò che sa e ciò in cui crede. I modelli sembrano utilizzare "euristiche", ovvero scorciatoie mentali, per indovinare la risposta basandosi sui modelli più comuni nei loro dati di addestramento. Quando la storia deviava dal modello standard aggiungendo dettagli visivi o cambiando le relazioni spaziali, le scorciatoie fallivano. I ricercatori suggeriscono che ciò sia dovuto al fatto che i modelli sono addestrati solo sul testo. Non hanno mai visto un giocattolo essere spostato, non hanno mai sperimentato la sensazione di cercare qualcosa e non hanno mai dovuto fare affidamento sui propri occhi per aggiornare la propria conoscenza del mondo. Senza questa esperienza incarnata, non possono comprendere veramente il concetto di una credenza che è diversa dalla realtà.

In definitiva, lo studio funge da monito contro l'assunzione che, poiché una macchina può parlare come un essere umano, essa pensi come uno. I modelli possono produrre risposte che sembrano avere una teoria della mente, ma quando testati con scenari che richiedono una comprensione genuina di percezione e credenza, rivelano i loro limiti. Sono eccellenti nel ripetere ciò che hanno letto, ma non sono ancora capaci del ragionamento flessibile e del buon senso che permette agli esseri umani di navigare nella complessa realtà sociale. Mentre questi strumenti diventano più comuni, è importante ricordare che la loro apparente intelligenza è un riflesso dei dati che hanno consumato, non il segno che abbiano sviluppato una propria mente.