Human-Like Anaphor Resolution in Large Language Models

Immagina di leggere un romanzo giallo. L'autore introduce un personaggio chiamato "Il Fornaio" nel primo capitolo. Dieci pagine dopo, la storia menziona nuovamente "lui". Il tuo cervello non si limita a indovinare chi sia "lui"; torna istantaneamente indietro nella tua memoria, afferra l'immagine del Fornaio e connette i puntini. Questo trucco di magia mentale è chiamato risoluzione dell'anafora. È il modo in cui teniamo traccia di chi o di cosa si sta parlando mentre una storia si svolge.

Gli scienziati studiano questo fenomeno da molto tempo. Sanno che se il Fornaio era il focus principale della storia (topico), lo trovi più velocemente. Se "lui" appare subito dopo il Fornaio, è facile. Ma se "lui" appare dopo un intervallo lungo e confuso, o se c'è un altro fornaio nelle vicinanze a confonderti, il tuo cervello inciampa. Ora, entra in scena la Large Language Model (LLM). Questi sono programmi per computer super intelligenti, addestrati su montagne di testo, capaci di scrivere storie, rispondere a domande e chiacchierare come gli umani. Ma ecco la grande domanda: questi cervelli artificiali pensano davvero come i cervelli umani quando risolvono questi enigmi, o sono solo molto bravi a indovinare basandosi su schemi? Questo articolo si addentra in questo mistero per vedere se l'IA e gli umani sono sulla stessa lunghezza d'onda mentale.

---

Il Grande Test di Memoria dell'IA

I ricercatori hanno deciso di sottoporre cinque diversi modelli di IA — GPT-2-XL, Llama-3.1-8B, Pythia-12B, Mistral-7B e Mistral-24B — a una serie di giochi di memoria progettati specificamente per gli esseri umani. Volevano vedere se l'IA si sarebbe stancata, confusa o rallentata esattamente come farebbe un lettore umano.

Per misurare questo, hanno usato due trucchi astuti. Primo, hanno osservato la sorpresa (surprisal). Pensa a questo come allo "sudore cerebrale" dell'IA. Quando un computer legge una parola che non si aspettava, la sua "sorpresa" aumenta. Negli umani, un'alta sorpresa di solito significa che facciamo una pausa più lunga per riflettere. Quindi, se l'IA "sudore" (alta sorpresa) negli stessi momenti in cui gli umani si bloccano, è un buon segno che stanno elaborando la storia in modo simile. Secondo, hanno posto all'IA domande di comprensione, come "Chi ha colpito la sedia?", per vedere se ricordavano effettivamente la persona giusta.

I Giochi di Memoria

Il team ha condotto tre esperimenti diversi, ognuno dei quali testava una specifica regola della memoria umana:

1. Il Test di "Focus" e "Distanza"
Immagina un riflettore. Se un personaggio è sotto il riflettore (il titolo della storia lo menziona), gli umani lo trovano facilmente. Se è al buio, è più difficile. Inoltre, se il personaggio è a una sola frase di distanza, è facile. Se è a dieci frasi di distanza, è più difficile.

• Il Risultato: La maggior parte dei modelli di IA si è comportata come gli umani in questo caso! Quando il personaggio era evidenziato dal titolo e vicino, la "sudorazione cerebrale" dell'IA era bassa e rispondevano correttamente. Quando il personaggio era nascosto e lontano, l'IA si confondeva. È come se la loro capacità di attenzione si allungasse e si restringesse proprio come la nostra.

2. Il Test di "Spazio e Tempo"
Questo era più complicato. Immagina che la storia si svolga in un enorme castello. Se il personaggio si sposta dalla cucina alla stanza successiva (breve distanza) o dalla cucina alla torre (lunga distanza), importa qualcosa? E se aspettasse 10 minuti o 2 ore? Gli umani diventano più lenti e commettono più errori quando il divario di spazio o tempo è enorme.

• Il Risultato: I risultati sono stati misti. Alcuni modelli, come Llama-3.1-8B e Mistral-7B, sembravano percepire il peso della distanza e del tempo, "sudando" quando il divario era lungo. Altri non sembravano curarsi molto dei divari di tempo o spazio. Ciò suggerisce che, mentre alcune IA stanno iniziando a comprendere la "sensazione" della linea temporale di una storia, altre sembrano semplicemente saltarla.

3. Il Test del "Indizio Confuso"
Questa è la parte più difficile. Immagina che la storia menzioni una "sedia di metallo". Più avanti, dice "il mobile metallico". Questo è facile. Ma cosa succederebbe se la storia menzionasse anche una "scrivania di legno" (un tipo diverso di mobile) proprio prima? Gli umani si confondono perché "mobile" potrebbe riferirsi sia alla sedia che alla scrivania. Se l'oggetto sbagliato è un esempio molto tipico della categoria (come una scrivania per la categoria mobili), la nostra velocità diminuisce.

• Il Risultato: È qui che l'IA è fallita maggiormente nel comportarsi come un essere umano. Quando i ricercatori hanno aggiunto un elemento "distruttore" confondente, i modelli di IA non sono rallentati o confusi come fanno gli umani. Sembravano passare oltre la confusione senza problemi. Questo suggerisce che, sebbene l'IA possa tracciare dove si trovano le cose in una storia, non coglie del tutto la competizione disordinata e sovrapposta che avviene nei nostri cervelli quando cerchiamo di scegliere il ricordo giusto.

Il Verdetto: Un Match Parziale

Quindi, qual è il punteggio finale? L'articolo suggerisce che questi modelli di IA sono selettivamente simili agli umani. Sono bravi a capire come la struttura di una storia (come la distanza di una parola o il titolo) influenzi la memoria. Se rendi la storia più lunga o nascondi il personaggio, l'IA diventa un po' più "sudata", proprio come un lettore stanco.

Tuttavia, non sono cloni perfetti delle menti umane. Quando si tratta del disordinato gioco di prestigio semantico — dove parole simili combattono per l'attenzione nella nostra memoria — l'IA non inciampa come facciamo noi. Sembrano mancare di quel tipo specifico di "attrito mentale" che si verifica quando i nostri cervelli devono scegliere tra due memorie molto simili.

Gli autori avvertono che questo non è un problema "risolto". Lo studio ha utilizzato un numero relativamente piccolo di storie (da 16 a 19), quindi i risultati sono più simili a forti indizi che a prove assolute. Inoltre, l'accuratezza complessiva dell'IA sulle domande era talvolta piuttosto bassa, il che significa che potrebbero aver risposto correttamente per i motivi sbagliati. Ma il messaggio è entusiasmante: questi cervelli digitali stanno iniziando a mostrare gli stessi schemi di difficoltà dei cervelli umani, almeno per quanto riguarda la distanza e il focus di una storia. Non sono solo macchine di associazione di parole; stanno iniziando a mostrare i primi segni di un "modello situazionale" — una mappa mentale del mondo della storia, proprio come quella che abbiamo noi.