💬 NLP

Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects

Questo studio dimostra che, sebbene i modelli transformer autoregressivi riescano a prevedere i tempi di lettura umani nelle configurazioni con preposizioni, falliscono nel replicare i complessi pattern di interferenza morfosintattica osservati nelle frasi relative, evidenziando così i limiti attuali di questi modelli come rappresentazioni cognitive del processamento linguistico umano.

Autori originali: Titus von der Malsburg, Sebastian Padó

Pubblicato 2026-03-18

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Titus von der Malsburg, Sebastian Padó

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un gruppo di studenti molto intelligenti (i modelli linguistici, o "Transformer") che hanno letto quasi tutto ciò che è stato scritto su internet. Il loro compito è indovinare la prossima parola in una frase.

Gli scienziati si chiedono: "Questi studenti pensano e ragionano come gli esseri umani quando leggono, o sono solo bravi a imitare?"

Per scoprirlo, i ricercatori di questo studio hanno messo alla prova questi studenti con un trucco linguistico chiamato "attrazione di accordo".

Il Trucco: L'Inganno del "Cappello"

Immagina una frase come questa:

"La chiave delle scatole erano arrugginite."

In italiano (e in inglese), c'è un errore grammaticale: il soggetto è "la chiave" (singolare), quindi il verbo dovrebbe essere "era" (singolare), non "erano" (plurale). Tuttavia, la parola "scatole" (plurale) si trova in mezzo e "attira" l'attenzione, facendo sembrare la frase meno sbagliata o più facile da leggere per il cervello umano. È come se il cervello si distraesse guardando il cappello colorato ("scatole") e dimenticasse che la testa ("chiave") è diversa.

Gli esseri umani commettono questo errore di distrazione in modo molto specifico:

Succede solo se la frase è sbagliata.
Succede solo se il soggetto principale è singolare.

L'Esperimento: Due Tipi di Labirinti

I ricercatori hanno fatto leggere queste frasi a 11 diversi modelli di intelligenza artificiale (dai più piccoli ai più grandi) e hanno confrontato le loro "difficoltà di lettura" (calcolate come "sorpresa" o surprisal) con i tempi di lettura reali delle persone.

Hanno usato due tipi di labirinti (frasi):

1. Il Labirinto Semplice (Frasi con preposizioni)

Qui le frasi erano tipo: "La chiave sulla scrivania...".

Risultato: Gli studenti AI si sono comportati quasi esattamente come gli umani. Hanno commesso lo stesso errore di distrazione, ignorando la parola di mezzo solo quando dovevano farlo.
Metafora: È come se gli studenti avessero studiato lo stesso libro di testo e avessero preso appunti identici. Funzionava bene.

2. Il Labirinto Complesso (Frasi relative)

Qui le frasi erano più intricate, tipo: "Il marine che l'ufficiale vuole promuovere...".

Risultato: Qui è andato tutto in tilt.
- Gli studenti AI hanno iniziato a comportarsi in modo caotico.
- Alcuni hanno fatto l'errore, altri no.
- Alcuni hanno commesso errori che nessun umano farebbe mai (come distrarsi anche quando la frase era grammaticalmente corretta!).
- Non c'era un modello che replicasse il comportamento umano in modo affidabile.
Metafora: Immagina di chiedere a 11 diversi chef di cucinare lo stesso piatto complesso. Nel primo caso (salsa semplice), tutti hanno fatto una salsa deliziosa e simile. Nel secondo caso (pasta ripiena), uno ha bruciato la pasta, un altro ha messo il sale al posto dello zucchero, e un terzo ha deciso di non cucinare affatto. Ognuno ha seguito una logica diversa, ma nessuna era quella umana.

La Conclusione: Imitatori, non Pensatori

Cosa ci dicono questi risultati?

Non sono tutti uguali: Non possiamo dire "l'Intelligenza Artificiale pensa come noi". Alcuni modelli funzionano bene in situazioni semplici, altri falliscono miseramente in quelle complesse.
Memoria vs. Comprensione: È probabile che questi modelli non abbiano un vero "sistema di memoria" come il nostro cervello. Quando le frasi diventano complesse (come nel secondo labirinto), il loro meccanismo di previsione della parola successiva si rompe, mentre il cervello umano usa regole interne più solide.
Attenzione alle generalizzazioni: Gli scienziati avvertono: non dobbiamo fregarci pensando che un modello funzioni bene su un tipo di frase e quindi funzioni bene su tutto. È come dire che un'auto va bene in città perché ha i fari, e quindi è perfetta per le piste da rally.

In Sintesi

Questi modelli di intelligenza artificiale sono bravissimi imitatori quando le regole sono semplici e le frasi sono corte. Ma quando la grammatica si fa complessa e il cervello umano deve fare un "salto logico" per non confondersi, gli AI si perdono, mostrano comportamenti strani e non riescono a spiegare come pensiamo davvero.

Per capire la mente umana, non basta guardare come un computer completa una frase; dobbiamo guardare come reagisce quando la frase diventa un vero rompicapo. E finora, i computer hanno fallito questo test.

1. Il Problema

Il lavoro affronta la questione della adeguatezza cognitiva dei modelli linguistici basati su Transformer come modelli del processo di elaborazione del linguaggio umano. Sebbene i Transformer siano lo stato dell'arte nelle applicazioni di linguistica computazionale, rimane dibattito se catturino effettivamente i meccanismi cognitivi sottostanti alla comprensione umana delle frasi.

Il focus specifico è sul fenomeno dell'attrazione di accordo (agreement attraction), un effetto psicolinguistico ben documentato in cui la presenza di un sostantivo "distrattore" (grammaticalmente irrilevante ma morfologicamente simile) interferisce con l'elaborazione della concordanza tra soggetto e verbo.

Esempio classico: "The key to the cabinets were rusty" viene percepito come più accettabile e letto più velocemente di "The key to the cabinet were rusty", nonostante entrambi siano grammaticalmente errati. L'errore è causato dal distrattore plurale ("cabinets") che attira il verbo plurale ("were").
Il gap nella ricerca: Studi precedenti hanno valutato i Transformer su questo fenomeno, ma con limitazioni critiche:
1. Hanno testato solo costruzioni con modificatori preposizionali.
2. Hanno spesso ignorato le configurazioni in cui l'effetto non dovrebbe apparire (es. soggetti plurali o frasi grammaticali), rendendo difficile valutare la specificità del modello.
3. Si sono concentrati su singoli modelli (spesso GPT-2), senza testare la generalizzabilità su diverse famiglie e dimensioni.
4. Alcuni studi hanno incluso modelli bidirezionali (BERT), cognitivamente implausibili per l'elaborazione incrementale (sinistra-destra) tipica della lettura.

2. Metodologia

Gli autori hanno condotto un'analisi sistematica utilizzando un meccanismo di collegamento basato sullo surprisal (sorpresa) per valutare le prestazioni di 11 modelli Transformer autoregressivi di diverse dimensioni e architetture.

Dati Umani di Riferimento: Hanno utilizzato i tempi di lettura da studi auto-pilotati (self-paced reading) di Wagers et al. (2009), considerati il benchmark più completo per l'attrazione di accordo in inglese.
Design Sperimentale: Due esperimenti che coprono due costruzioni sintattiche distinte:
1. Esperimento 1 (Modificatori Preposizionali): Frasi come "The slogan on the poster(s) was/were...".
2. Esperimento 2 (Proposizioni Relative Estratte dall'Oggetto): Frasi come "The marine(s) who the officer(s) want(s)...".
- In entrambi gli esperimenti, sono state testate 8 configurazioni (fattore 2x2x2: numero del soggetto, grammaticalità, presenza di attrazione).
Modelli Testati: 11 modelli pre-addestrati (senza instruction tuning) appartenenti a 5 famiglie (GPT, GPT-2, Bloom, XGLM, Gemma-3), con dimensioni variabili da 124M a 4B parametri. Sono stati scelti modelli "di medie dimensioni" che in letteratura mostrano una migliore corrispondenza con i dati umani rispetto a modelli molto piccoli o molto grandi.
Metrica: Il tempo di lettura umano è stato correlato con lo surprisal del verbo target calcolato dai modelli: $surprisal = -\log_2 P(w_i | w_{0...i-1})$ . Un surprisal più basso indica una previsione più facile (lettura più veloce).
Analisi Statistica: Sono stati utilizzati test t appaiati per le singole configurazioni e modelli di regressione lineare mista per analizzare le asimmetrie a livello di popolazione (soggetto singolare/plurale e grammaticale/non grammaticale), trattando i modelli come partecipanti in uno studio umano.

3. Contributi Chiave

Valutazione Comparativa Estesa: È il primo studio a testare sistematicamente una vasta gamma di modelli Transformer su un set completo di configurazioni sintattiche per l'attrazione di accordo, andando oltre i singoli casi d'uso.
Identificazione di una Discrepanza Strutturale: Dimostra che la capacità dei Transformer di modellare l'elaborazione umana dipende criticamente dalla struttura sintattica specifica, non essendo una proprietà uniforme del modello.
Critica Metodologica: Sottolinea la necessità di disegni sperimentali rigorosi e completi per evitare generalizzazioni spurie basate su configurazioni isolate o singoli modelli.
Analisi delle Asimmetrie: Verifica non solo la presenza dell'effetto, ma anche la sua assenza dove teoricamente atteso (es. soggetti plurali), un aspetto spesso trascurato negli studi precedenti.

4. Risultati

Esperimento 1: Costruzioni con Modificatori Preposizionali

Risultati: I modelli hanno mostrato un allineamento robusto e coerente con i dati umani.
Pattern: Tutti i modelli hanno replicato correttamente l'effetto di attrazione solo nella configurazione non grammaticale con soggetto singolare (riduzione dello surprisal di circa 2.4 bit).
Asimmetrie: Hanno rispettato le asimmetrie umane: nessun effetto di attrazione significativo per soggetti plurali o frasi grammaticali (con alcune eccezioni minori in modelli specifici per frasi non grammaticali con soggetti plurali, un caso raramente testato nell'uomo).
Conclusione: Per questa struttura semplice, i Transformer sembrano catturare efficacemente il pattern di elaborazione.

Esperimento 2: Proposizioni Relative Estratte dall'Oggetto

Risultati: I risultati sono stati caotici e divergenti.
Divergenza: Le previsioni dei modelli si sono discostate significativamente dai dati umani e tra loro stessi.
Fallimento delle Asimmetrie:
- Molti modelli hanno predetto effetti di attrazione (facilitazione) in configurazioni dove l'essere umano non li mostra (es. frasi grammaticali con soggetto plurale).
- Nessuno dei modelli ha replicato fedelmente l'asimmetria complessa osservata nell'uomo (dove l'attrazione è forte solo per soggetti singolari non grammaticali).
- Alcuni modelli hanno predotto effetti nella direzione opposta a quella teoricamente spiegabile.
Impatto della Dimensione: Contrariamente alle aspettative, modelli più grandi (es. Gemma-3 4B) non hanno mostrato un miglioramento, ma anzi si sono discostati ulteriormente dal comportamento umano rispetto a modelli più piccoli (es. GPT).

5. Significato e Conclusioni

Il paper conclude che i modelli Transformer attuali non spiegano l'elaborazione morfosintattica umana in modo completo.

Limiti Cognitivi: Il fatto che i modelli funzionino bene su strutture semplici (modificatori preposizionali) ma falliscano su strutture più complesse (relative estratte dall'oggetto) suggerisce che i Transformer potrebbero non possedere i meccanismi di memoria e recupero a "basso livello" necessari per l'elaborazione umana, o che questi meccanismi emergono solo in contesti specifici.
Ipotesi sull'Apprendimento: È possibile che i Transformer mostrino effetti di attrazione non perché possiedono bias induttivi simili all'uomo, ma perché hanno semplicemente appreso a imitare i pattern di errore superficiali presenti nei corpora di addestramento.
Raccomandazioni Future: Gli autori invitano la comunità a non generalizzare le capacità dei modelli basandosi su singoli esperimenti o configurazioni. Per valutare l'adeguatezza cognitiva, è necessario:
1. Coprire un set completo di realizzazioni sintattiche.
2. Testare una gamma diversificata di modelli (architettura, dimensione, monolingue vs multilingue).
3. Utilizzare analisi statistiche rigorose a più livelli.

In sintesi, mentre i Transformer sono potenti strumenti predittivi, la loro capacità di fungere da modelli cognitivi della sintassi umana rimane fortemente limitata e dipendente dalla complessità strutturale della frase in esame.