Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects

Probleemstelling

Hoewel Transformer-architecturen de basis vormen van bijna alle state-of-the-art taalmodellen (LLMs) in de computationele linguïstiek, blijft hun cognitieve geschiktheid als modellen voor menselijke zinsverwerking omstreden. Hoewel eerdere studies veelbelovende resultaten lieten zien bij het voorspellen van menselijke leestijden (bijvoorbeeld bij "garden path"-zinnen), waren deze studies beperkt in scope. Ze testten vaak slechts één syntactische constructie (prepositiefrases) en één type model (vaak GPT-2), zonder te controleren of de bevindingen generaliseerbaar zijn naar andere constructies of modelarchitecturen.

Specifiek richt deze studie zich op agreement attraction (overeenkomst-attrectie). Dit is een psycholinguïstisch fenomeen waarbij de verwerking van een werkwoord wordt beïnvloed door een grammaticaal niet-relevante tussenliggende naamwoord (de "distractor"). Bijvoorbeeld: in de zin "The key to the cabinets were rusty" (onjuist, want 'key' is enkelvoud) lezen mensen het werkwoord 'were' sneller dan in "The key to the cabinet were rusty", omdat het meervoudige 'cabinets' het werkwoord onterecht lijkt te "trekken". Menselijke studies tonen aan dat dit effect alleen optreedt bij ongrammaticale zinnen met een enkelvoudig onderwerp. De vraag is of Transformer-modellen dit specifieke, asymmetrische menselijke patroon kunnen repliceren.

Methodologie

De auteurs voerden een systematische evaluatie uit van elf autoregressieve Transformer-modellen van verschillende grootte (124M tot 4B parameters) en architectuur (GPT, GPT-2, Bloom, XGLM, Gemma-3), inclusief zowel monolinguale als meertalige modellen.

Experimenteel Ontwerp:
Er werden twee experimenten uitgevoerd met een $2 \times 2 \times 2$ design, variërend in:

1. Aantal onderwerp: Enkelvoud vs. Meervoud.
2. Grammaticaliteit: Grammaticaal vs. Ongrammaticaal.
3. Aantrekkingskracht (Attraction): Aanwezig vs. Afwezig (distractor heeft een ander aantal dan het onderwerp).

De twee syntactische constructies waren:

• Experiment 1: Prepositieve modificatoren (bijv. "The slogan on the poster(s)...").
• Experiment 2: Object-geëxtraheerde relatieve zinnen (bijv. "The marine(s) who the officer wants...").

Metriek en Analyse:

• Surprisal: De modellen voerden strikt links-na-rechts verwerking uit. De "surprisal" (negatieve log-probabiliteit) van het kritieke werkwoord werd gebruikt als proxy voor menselijke leestijd (gebaseerd op Surprisal Theory).
• Statistiek: Er werden gepaarde t-toetsen en lineaire regressiemodellen uitgevoerd om asymmetrieën te testen die in menselijke data worden waargenomen:
  1. Enkelvoud-Meervoud asymmetrie: Aantrekkingskracht alleen bij enkelvoudige onderwerpen.
  2. Grammaticaal-Ongrammaticaal asymmetrie: Aantrekkingskracht alleen bij ongrammaticale zinnen.

Kernresultaten

1. Experiment 1: Prepositieve Constructies (Consistentie)

• De resultaten voor prepositieve zinnen waren opvallend stabiel over alle modellen heen en correleerden sterk met menselijke data.
• Modellen voorspelden correct dat aantrekkingskracht optreedt bij ongrammaticale zinnen met een enkelvoudig onderwerp (een versnelling in verwerking).
• De meeste modellen lieten geen onrealistische effecten zien, hoewel sommige modellen een onverklaarbare versnelling voorspelden bij ongrammaticale meervoudige onderwerpen (een effect dat zelden in mensen is waargenomen).

2. Experiment 2: Object-geëxtraheerde Relatieve Zinnen (Divergentie)

• Hier brak het beeld volledig. De voorspellingen van de modellen divergeerden sterk van elkaar en van de menselijke data.
• Geen replicatie van menselijke patronen: Geen enkel model slaagde erin het specifieke asymmetrische patroon van mensen te repliceren (d.w.z. aantrekkingskracht alleen bij ongrammaticale enkelvoudige zinnen).
• Spurious Effects: Modellen voorspelden vaak effecten in de verkeerde richting (bijvoorbeeld versnelling bij grammaticale meervoudige zinnen) of toonden willekeurige patronen die niet theoretisch onderbouwd zijn.
• Modelvariatie: Er was geen uniforme "Transformer-gedrag" te zien; modellen binnen dezelfde familie gedroegen zich soms anders, en grotere modellen (zoals Gemma-3) presteerden soms slechter dan kleinere modellen (zoals GPT).

Belangrijkste Bijdragen

1. Uitgebreide Evaluatie: Dit is de eerste studie die agreement attraction systematisch test over een breed scala aan syntactische constructies (prepositief vs. relatieve zinnen) en een diversiteit aan moderne Transformer-families.
2. Ontmaskering van Generalisatie: De studie toont aan dat positieve resultaten in één constructie (prepositieve zinnen) niet mogen worden gegeneraliseerd naar de cognitieve geschiktheid van Transformers als geheel.
3. Methodologische Richtlijn: De auteurs stellen een striktere evaluatiestandaard voor voor cognitieve modellen, die moet bestaan uit:
   • Een compleet setje syntactische configuraties en controlematerialen.
   • Testen over meerdere modelarchitecturen en groottes.
   • Principiële statistische analyse op meerdere niveaus (per model en populatie).

Significantie en Conclusie

De conclusie is dat huidige Transformer-modellen menselijke morfosyntactische verwerking niet volledig kunnen verklaren. Hoewel ze goed presteren in eenvoudigere constructies, falen ze bij complexere structuren zoals object-geëxtraheerde relatieve zinnen, waar ze geen menselijke "interference"-patronen vertonen.

De auteurs suggereren dat dit kan komen doordat:

• De menselijke parser werkt op een ander niveau van "low-level" opslag en ophalen dan neurale netwerken.
• Modellen menselijke foutpatronen mogelijk slechts imiteren omdat deze in de trainingsdata voorkomen, in plaats van dat ze een menselijke inductieve bias hebben.

De studie waarschuwt tegen het gebruik van geïsoleerde syntactische tests om de cognitieve plausibiliteit van LLMs te claimen. Voor een echt begrip van menselijke taalverwerking zijn rigoureuze, uitgebreide experimentele ontwerpen noodzakelijk.