Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly

Technische Samenvatting: Surprisal van grotere Transformer-gebaseerde taalmodellen voorspelt fMRI-data slechter

Probleemstelling
Verwachtingsgebaseerde theorieën over syntactische begripsverwerking postuleren dat verwerkingsmoeilijkheid evenredig is aan de informatie-theoretische surprisal (de negatieve logaritme van de woordwaarschijnlijkheid gegeven de context). Hoewel Transformer-gebaseerde taalmodellen (LM's) breed zijn geadopteerd om surprisal te schatten, hebben recente studies een "inverse scaling"-fenomeen geïdentificeerd op latentie-gebaseerde data (leestijden): naarmate LM's toenemen in omvang (aantal parameters) en trainingsdata, worden hun surprisal-schattingen minder voorspellend voor menselijke leestijden. Grotere modellen, die een lagere perplexiteit bereiken en zeldzame tokens beter voorspellen, kennen lagere surprisal-waarden toe die afwijken van menselijke gedragsdata.

Echter, eerdere onderzoeken naar dit fenomeen met behulp van hersenbeeldvormingsdata (fMRI) leverden inconclusieve resultaten op. Een studie door Oh et al. (2022), gebruikmakend van een relatief kleine set LM's, vond geen duidelijke schalingstrend op fMRI-data, wat de mogelijkheid openliet dat inverse scaling specifiek is voor latentie-gebaseerde maten. Bovendien heeft ander onderzoek dat gebruikmaakt van ruwe LM-vectorrepresentaties (in plaats van surprisal) op fMRI-data een positieve schaling aangetoond, wat suggereert dat hersenbeeldvormingsdata anders zou kunnen reageren. Deze studie onderzoekt of de inverse scaling-relatie standhoudt voor fMRI-data wanneer deze wordt geëvalueerd met een uitgebreide set modellen.

Methodologie
De auteurs voerden een uitgebreide evaluatie uit met behulp van surprisal-schattingen van 17 vooraf getrainde, autoregressieve Transformer-gebaseerde LM's uit drie modelfamilies: GPT-2, GPT-Neo en OPT. Deze modellen varieerden aanzienlijk in aantal parameters. De studie maakte gebruik van twee verschillende functionele magnetische resonantie beeldvormingsdatasets (fMRI):

1. Natural Stories fMRI (Shain et al., 2020): Tijdreeks Blood Oxygenation Level-Dependent (BOLD) signalen opgenomen van 78 proefpersonen die luisterden naar natuurlijke Engelse verhalen.
2. Pereira fMRI (Pereira et al., 2018): Per-zin BOLD-signalen geaggregeerd over taalnetwerkregio's van proefpersonen die Engelse passages lazen.

Experimentele procedure:

• Surprisal-berekening: Teksten werden getokeniseerd met model-specifieke byte-pair encoding. Woordniveau-surprisal werd berekend door token-niveau schattingen te aggregeren. Om artefacten door tokenizers aan te pakken waarbij de waarschijnlijkheden van voorafgaande spaties samen groter zijn dan één, incorporeerde de studie whitespace-trailing decoding, waarbij de waarschijnlijkheid van de voorafgaande spatie werd herverdeeld naar het voorgaande woord.
• Signaaluitlijning:
  • Voor Natural Stories fMRI werd de word-level surprisal geconvolveerd met een canonieke hemodynamische responsfunctie (HRF) om uit te lijnen met de continue BOLD-tijdreeks.
  • Voor Pereira fMRI, waar de responsen per zin waren, werd de surprisal-schatting van het laatste woord van de zin gebruikt als voorspeller, aangezien de voorafgaande context volledig is meegenomen in die schatting.
• Regressiemodellering: Lineaire Mixed-Effect (LME) modellen werden gefit om BOLD-signalen te voorspellen.
  • Predictoren omvatten de surprisal-schatting, woordpositie en woordlengte (of zinslengte voor Pereira).
  • Modellen bevatten random effects voor proefpersonen en verhalen/zinnen.
  • Model-fit werd geëvalueerd met behulp van log-likelihood op uitgesloten testsets.

Belangrijkste resultaten
De studie vond een statistisch significante inverse scaling-relatie tussen de modelgrootte en de voorspellende kracht op beide fMRI-datasets:

• Natural Stories fMRI: Naarmate het aantal parameters van de LM's toenam, nam de log-likelihood van de regressiemodellen die BOLD-signalen voorspellen significant af ($p < 0.01$). Dit lost de inconclusieve bevindingen van Oh et al. (2022) op door een bredere reeks modelgroottes te gebruiken.
• Pereira fMRI: Een vergelijkbare significante afname in voorspellende kracht werd waargenomen naarmate de modelgrootte toenam ($p < 0.05$).

De resultaten wijzen erop dat grotere LM's, ondanks hun hogere geschatte waarschijnlijkheid per woord (lagere perplexiteit), een minder goede fit bieden op menselijke neurale data dan kleinere LM's.

Betekenis en Claims
De primaire bijdrage van dit werk is de demonstratie dat het inverse scaling-fenomeen van surprisal-schattingen niet specifiek is voor latentie-gebaseerde maten (zoals leestijden), maar ook van toepassing is op neurale data (fMRI).

• Resolutie van inconclusieve data: De studie verheldert de eerdere ambiguïteit met betrekking tot fMRI-data, door aan te tonen dat de trend waargenomen in gedragsdata generaliseert naar hersenbeeldvorming wanneer een voldoende diverse set modellen wordt geëvalueerd.
• Aard van de trend: De auteurs merken op dat hoewel de inverse relatie bestaat op fMRI-data, deze "niet zo strikt" is als op latentie-gebaseerde data. Zij speculeren dat dit komt door de hogere ruisniveaus die inherent zijn aan fMRI-metingen vergeleken met gedragsmatige latentiegegevens.
• Implicaties voor onderzoek: De bevindingen suggereren dat hersenbeeldvormingsdata in deze context niet substantieel anders gedraagt dan latentie-data. Bijgevolg is de divergentie van grotere LM's van menselijke verwerkingspatronen (waarschijnlijk gedreven door hun verbeterde voorspelling van zeldzame tokens) een algemeen fenomeen over psychometrische maten heen. De auteurs suggereren dat kleinere modellen meer geschikt kunnen zijn voor onderzoekers die de menselijke zinsverwerkingsmechanismen willen begrijpen met behulp van LM's, aangezien grotere modellen mogelijk overfitten op statistische regelmatigheden in trainingsdata die niet overeenkomen met menselijke cognitieve beperkingen.

Beperkingen
De auteurs erkennen dat de modellen en datasets Engels-gecentreerd zijn, en dat de bevindingen mogelijk niet repliceren in andere talen. Daarnaast leunt de studie op gepubliceerde fMRI-datasets, en de inverse scaling op de Pereira-dataset was minder statistisch robuust dan op de Natural Stories-dataset, mogelijk door data-schaarsheid bij het middelen over proefpersonen.