Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly

Sintesi Tecnica: La Sorpresa derivante da Modelli Linguistici basati su Transformer di dimensioni maggiori predice i dati fMRI in modo peggioreore

Definizione del Problema
Le teorie dell'elaborazione sintattica basate sulle aspettative postulano che la difficoltà di elaborazione sia proporzionale alla sorpresa informazionale (il logaritmo negativo della probabilità di una parola dato il suo contesto). Sebbene i modelli linguistici (LM) basati su Transformer siano stati ampiamente adottati per stimare la sorpresa, studi recenti hanno identificato un fenomeno di "scaling inverso" sui dati basati sulla latenza (tempi di lettura): all'aumentare delle dimensioni dei LM (numero di parametri) e dei dati di addestramento, le loro stime di sorpresa diventano meno predittive dei tempi di lettura umani. I modelli più grandi, che raggiungono una perplexity inferiore e predicono meglio i token rari, assegnano valori di sorpresa inferiori che divergono dai dati comportamentali umani.

Tuttavia, indagini precedenti su questo fenomeno utilizzando dati di neuroimaging (fMRI) hanno prodotto risultati inconcludenti. Uno studio di Oh et al. (2022), utilizzando un set relativamente piccolo di LM, non ha trovato una chiara tendenza di scaling sui dati fMRI, lasciando aperta la possibilità che lo scaling inverso sia specifico per le misure basate sulla latenza. Inoltre, altre ricerche che utilizzano rappresentazioni vettoriali grezze dei LM (anziché la sorpresa) sui dati fMRI hanno mostrato uno scaling positivo, suggerendo che i dati di imaging cerebrale potrebbero comportarsi diversamente. Questo studio affronta se la relazione di scaling inverso si applichi ai dati fMRI quando valutata con un set esaustivo di modelli.

Metodologia
Gli autori hanno condotto una valutazione completa utilizzando stime di sorpresa da 17 modelli Transformer autoregressivi pre-addestrati appartenenti a tre famiglie di modelli: GPT-2, GPT-Neo e OPT. Questi modelli variavano significativamente per numero di parametri. Lo studio ha utilizzato due distinti dataset di risonanza magnetica funzionale (fMRI):

1. Natural Stories fMRI (Shain et al., 2020): Segnali BOLD (Blood Oxygenation Level-Dependent) in serie temporali registrati mentre i soggetti ascoltavano storie naturali in inglese.
2. Pereira fMRI (Pereira et al., 2018): Segnali BOLD per frase, aggregati attraverso le regioni della rete del linguaggio, da soggetti che leggevano passaggi in inglese.

Procedura Sperimentale:

• Calcolo della Sorpresa: I testi sono stati tokenizzati utilizzando il byte-pair encoding specifico per ogni modello. La sorpresa a livello di parola è stata calcolata aggregando le stime a livello di token. Per affrontare gli artefatti del tokenizer in cui le probabilità degli spazi bianchi iniziali sommano a più di uno, lo studio ha incorporato la decodifica del trailing whitespace, riallocando la probabilità dello spazio bianco iniziale alla parola precedente.
• Allineamento del Segnale:
  • Per la Natural Stories fMRI, le stime di sorpresa a livello di parola sono state convolte con una funzione di risposta emodinamica (HRF) canonica per allinearle alla serie temporale continua del segnale BOLD.
  • Per la Pereira fMRI, dove le risposte sono per frase, è stata utilizzata la stima di sorpresa dell'ultima parola della frase come predittore, poiché il contesto precedente è interamente considerato in tale stima.
• Modellazione della Regressione: Sono stati applicati modelli Lineari a Effetti Misti (LME) per predire i segnali BOLD.
  • I predittori includevano la stima della sorpresa, la posizione della parola e la lunghezza della parola (o la lunghezza della frase per Pereira).
  • I modelli includevano effetti casuali per i soggetti e per le storie/frasi.
  • Il fit del modello è stato valutato utilizzando la log-likelihood su set di test tenuti separati (held-out).

Risultati Chiave
Lo studio ha riscontrato una relazione di scaling inverso statisticamente significativa tra la dimensione del modello e il potere predittivo su entrambi i dataset fMRI:

• Natural Stories fMRI: All'aumentare del numero di parametri dei LM, la log-likelihood dei modelli di regressione che predicono i segnali BOLD è diminuita significativamente ($p < 0.01$). Ciò risolve i risultati inconcludenti di Oh et al. (2022) utilizzando una gamma più ampia di dimensioni dei modelli.
• Pereira fMRI: È stata osservata una simile diminuzione significativa del potere predittivo all'aumentare della dimensione del modello ($p < 0.05$).

I risultati indicano che i LM più grandi, nonostante abbiano probabilità per parola stimata più elevate (perplexity inferiore), forniscono un adattamento peggiore ai dati neurali umani rispetto ai modelli più piccoli.

Significatività e Rivendicazioni
Il contributo primario di questo lavoro è la dimostrazione che il fenomeno dello scaling inverso delle stime di sorpresa non è specifico delle misure basate sulla latenza (come i tempi di lettura), ma si applica anche ai dati neurali (fMRI).

• Risoluzione di Dati Inconcludenti: Lo studio chiarisce l'ambiguità precedente riguardante i dati fMRI, mostrando che la tendenza osservata nei dati comportamentali si generalizza al neuroimaging quando viene valutato un set di modelli sufficientemente diversificato.
• Natura della Tendenza: Gli autori osservano che, sebbene la relazione inversa esista nei dati fMRI, essa "non è così rigorosa" come nei dati basati sulla latenza. Speculano che ciò sia dovuto ai livelli di rumore più elevati intrinseci nelle misurazioni fMRI rispetto ai dati comportamentali di latenza.
• Implicazioni per la Ricerca: I risultati suggeriscono che i dati di imaging cerebrale non si comportano in modo sostanzialmente diverso dai dati di latenza in questo contesto. Di conseguenza, la divergenza dei LM più grandi dai pattern di elaborazione umana (probabilmente guidata dalla loro migliore predizione di token rari) è un fenomeno generale attraverso diverse misure psicometriche. Gli autori suggeriscono che i modelli più piccoli possano essere più appropriati per i ricercatori che desiderano comprendere i meccanismi di elaborazione delle frasi umane utilizzando i LM, poiché i modelli più grandi possono sovra-adattarsi (overfit) a regolarità statistiche nei dati di addestramento che non si allineano con i vincoli cognitivi umani.

Limitazioni
Gli autori riconoscono che i modelli e i dataset sono centrati sulla lingua inglese e che i risultati potrebbero non replicarsi in altre lingue. Inoltre, lo studio si basa su dataset fMRI pubblicati, e lo scaling inverso nel dataset Pereira era meno robusto dal punto di vista statistico rispetto al dataset Natural Stories, potenzialmente a causa della scarsità di dati nell'aggregazione tra i soggetti.