A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models

1. Probleemstelling

Hoewel Large Language Models (LLM's) mensachtig gedrag hebben getoond wanneer hun cognitieve middelen worden beperkt (bijvoorbeeld bij het voorspellen van leestijden), is het nog onduidelijk of deze beperkingen hun strategieën voor zinsbegrip veranderen. Verplaatsen LLM's zich, net als mensen, onder hoge cognitieve belasting naar rationele inferentie (waarbij semantische plausibiliteit prioriteit krijgt boven strikte grammaticale structuur)?

Bestaande methoden voor het beperken van LLM's (zoals het verkorten van de invoerlengte of het verminderen van modelparameters) lijden onder methodologische beperkingen:

• Ze slagen er vaak niet in de dynamische balans tussen opslag van geheugen en verwerking na te bootsen die kenmerkend is voor het menselijk werkgeheugen.
• Ze vergelijken doorgaans verschillende modelconfiguraties in plaats van te observeren hoe een enkel model zijn strategie aanpast onder wisselende omstandigheden.

2. Methodologie

2.1 Het Dual-Task Paradigma

De auteurs stellen een nieuw experimenteel paradigma voor, geïnspireerd op menselijke psycholinguïstische Operation Span-taken. In deze opstelling moeten LLM's gelijktijdig twee taken uitvoeren:

1. Zinsbegrip: Beantwoorden van Ja/Nee-vragen over een zin.
2. Rekenkundige berekening: Oplossen van rekenproblemen die zijn ingevoegd binnen de zin.

De invoerformatie wisselt woorden en rekenproblemen af (bijvoorbeeld: "De 2 cocktail + gemengd 3 = ..."). De modellen worden getest onder drie voorwaarden:

• Enkele Taak: Een zin lezen en een vraag beantwoorden (geen wiskunde).
• Ruizige Enkele Taak: Een zin lezen met ingebouwde wiskunde maar de wiskunde ** negeren** en de vraag beantwoorden.
• Dual-Task: De zin lezen, de rekenproblemen oplossen en vervolgens de begrijpvraag beantwoorden.

2.2 Dataset en Stimuli

• Bron: Een subset van de GELP-dataset (Asami en Sugawara, 2024).
• Variabelen:
  • Plausibiliteit: Zinnen zijn ofwel Plausibel (bijvoorbeeld "De barman mengde de cocktail") of Implausibel (bijvoorbeeld "De cocktail mengde de barman").
  • Constructie: Zes syntactische structuren werden getest (Transitief, Passief, Dativ, Ervarende Subject, Ervarende Object, Benefactief).
  • Rekenkundig: Tien soorten optelproblemen variërend in aantal cijfers (1, 3, 5, 10, 30 cijfers) en aantal optellers (2 of 3).
• Totale Data: 2.560 zin-vraagparen.

2.3 Modellen en Menselijke Deelnemers

• Geëvalueerde LLM's: GPT-4o, o3-mini, o4-mini, GPT-4.1, DeepSeek-V3, Llama-3.3 en Gemma-3.
  • Selectiecriteria: Modellen werden gefilterd om >70% nauwkeurigheid te garanderen op implausibele zinnen in de Enkele Taak en >80% nauwkeurigheid op 1-cijferige rekenproblemen in de Dual-Task.
• Menselijk Experiment: 33 native Engels-sprekers gerekruteerd via Prolific. Zij voerden dezelfde taken uit (beperkt tot 1-cijferige rekenproblemen vanwege de moeilijkheidsgraad), wat een basislijn bood voor menselijke effecten van cognitieve belasting.

2.4 Evaluatiemetrics

De studie maakt gebruik van een verschil-in-verschillen-benadering om het "plausibiliteitseffect" te meten (het nauwkeurigheidsverschil tussen plausibele en implausibele zinnen).

• Hypothese: Als een model onder belasting rationele inferentie hanteert, zou het nauwkeurigheidsverschil tussen plausibele en implausibele zinnen moeten toenemen in de Dual-Task in vergelijking met de Enkele/Ruizige taken. Dit komt omdat het model vaker zal falen op implausibele zinnen (deze verkeerd interpreteren als plausibel) terwijl het hoge nauwkeurigheid behoudt op plausibele zinnen.

3. Belangrijkste Resultaten

3.1 Verschuiving naar Rationele Inferentie

• GPT-4o, o3-mini en o4-mini vertoonden een significante verschuiving naar rationele inferentie onder de Dual-Task-voorwaarde.
  • Deze modellen toonden een groter nauwkeurigheidsverschil tussen plausibele en implausibele zinnen in de Dual-Task in vergelijking met Enkele/Ruizige taken.
  • Specifiek daalde hun nauwkeurigheid op implausibele zinnen aanzienlijk in de Dual-Task, terwijl de nauwkeurigheid op plausibele zinnen hoog bleef. Dit geeft aan dat ze begonnen implausibele zinnen te interpreteren op basis van wereldkennis (bijvoorbeeld "De cocktail mengde de barman" behandelen als "De barman mengde de cocktail") in plaats van op syntactische structuur.
• Andere Modellen (GPT-4.1, DeepSeek-V3, Llama-3.3, Gemma-3): Toonden verminderde nauwkeurigheid in zowel Ruizige als Dual-taken, maar vertoonden geen duidelijke toename in het plausibiliteitsverschil, wat suggereert dat ze leunden op verschillende faalmodi of hun strategieën niet zo sterk verschoven.

3.2 Specifieke Foutpatronen

• Syntactische Kwetsbaarheid: De modellen die het meest vatbaar waren voor fouten door rationele inferentie (GPT-4o, o3-mini, o4-mini), hadden de meeste moeite met Passieve, Datieve en Benefactieve constructies.
  • Redenering: Wanneer functiewoorden (bijvoorbeeld "door", "aan", "voor") worden genegeerd vanwege cognitieve belasting, vormen de overige inhoudswoorden vaak een semantisch plausibele reeks (bijvoorbeeld "barman mengde cocktail"). De modellen vertrouwen dan op oppervlakkige woordvolgorde en wereldkennis in plaats van functiewoorden.
• Toestemmingsbias: Fouten kwamen vaker voor wanneer het juiste antwoord "Nee" was. Modellen neigden naar "Ja" te antwoorden (toestemming), wat de menselijke "ja-zeggende" bias onder cognitieve belasting weerspiegelt.
• Schaalbaarheid van Cognitieve Belasting: Foutpercentages namen toe met de complexiteit van de rekenkunde (bijvoorbeeld 30-cijferige problemen), wat bevestigt dat het effect wordt gedreven door uitputting van middelen.

3.3 Menselijke Vergelijking

Menselijke deelnemers vertoonden hetzelfde patroon: lagere algehele nauwkeurigheid en een significant groter plausibiliteitsverschil in de Dual-Task (0,064 verschil) in vergelijking met Enkele (0,025) en Ruizige (0,035) taken. Dit valideert dat het gedrag van de LLM's menselijke cognitieve beperkingen weerspiegelt.

4. Belangrijkste Bijdragen

1. Nieuw Paradigma: Introductie van een Dual-Task Paradigma dat effectief de balans tussen geheugenslag en verwerking in LLM's beperkt, en menselijk werkgeheugen nauwkeuriger nabootst dan eerdere op lengte of parameters gebaseerde beperkingen.
2. Bewijs van Rationele Inferentie: Aangetoond dat specifieke geavanceerde LLM's (GPT-4o, o3-mini, o4-mini) verschuiven naar rationele inferentie (prioriteit geven aan plausibiliteit boven syntaxis) wanneer cognitieve middelen worden belast, een gedrag dat eerder voornamelijk bij mensen werd waargenomen.
3. Identificatie van Mechanisme: Geïdentificeerd dat modellen onder belasting vertrouwen op oppervlakkige woordreeksen en wereldkennis terwijl ze functiewoorden verwaarlozen, met name in complexe syntactische structuren zoals passieven en datieven.
4. Theoretische Uitbreiding: Uitbreiding van het begrip van mensachtig taalbegrip van "leeskosten" (verwerkingssnelheid) naar "leesstrategieën" (interpretatielogica), wat het standpunt ondersteunt dat middelenallocatie fundamenteel is voor mensachtig begrip.

5. Betekenis en Implicaties

• Cognitieve Modellering: De studie levert sterk bewijs dat LLM's niet alleen statistische patroonmatchers zijn, maar mechanismen gebruiken die analoog zijn aan menselijk werkgeheugen. Wanneer deze middelen onder druk staan, vertonen ze dezelfde "goedgenoeg"-verwerkingsstrategieën als mensen.
• Veiligheid en Betrouwbaarheid: De bevindingen suggereren dat LLM's onder hoge cognitieve belasting (bijvoorbeeld complexe meerstapsredenering) hun syntactische verwerkingscapaciteiten kunnen degraderen, wat leidt tot hallucinaties waarbij ze semantisch plausibele maar feitelijk onjuiste interpretaties afdwingen.
• Toekomstig Onderzoek: Het paradigma biedt een robuust hulpmiddel voor het onderzoeken van de interne mechanismen van LLM's (bijvoorbeeld attentiemechanismen als werkgeheugen) en voor het uitvoeren van strengere mens-LLM-vergelijkingen.

Conclusie

Het artikel concludeert dat taak-geïnduceerde cognitieve belasting, en niet alleen invoerlengte, een kritieke factor is in het beperken van LLM's. Door modellen te dwingen geheugenslag (rekenproblemen oplossen) te balanceren met verwerking (zinnen begrijpen), toont de studie aan dat geavanceerde LLM's mensachtige strategieën voor rationele inferentie adopteren, waarbij ze semantische plausibiliteit prioriteren wanneer hun cognitieve middelen ontoereikend zijn om strikte syntactische analyse te handhaven.