💬 NLP

Language Models Learn Constructional Semantics, Not To Mention Syntax: Investigating LM Understanding of Paired-Focus Constructions

Dit artikel toont aan dat bescheiden omvangrijke open-source taalmodellen effectief de semantiek van zeldzame gepaard-gefocuste constructies kunnen vatten, waarbij dit begrip later in het trainingsproces ontstaat dan syntactische kennis en correleert met winst in specifieke domeinen van wereldkennis.

Oorspronkelijke auteurs: Wesley Scivetti, Ethan Wilcox, Nathan Schneider, Kanishka Misra, Leonie Weissweiler

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wesley Scivetti, Ethan Wilcox, Nathan Schneider, Kanishka Misra, Leonie Weissweiler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Beschouw taal als een gigantisch, complex receptenboek. De meeste recepten zijn standaard: "Meng bloem en water." Maar dan zijn er de zeldzame, chique, specifieke instructies zoals "Laat die fancy garnering maar even zitten, je kunt de basisdeeg niet eens aan." In de taalkunde worden dit PAIRED-FOCUS constructies genoemd (zinnen zoals "laat staan", "laat maar denken aan", "om nog maar te zeggen" en "laat maar").

Dit artikel stelt een simpele vraag: Begrijpen computertaalmodellen (AI) deze chique recepten echt, of zijn ze gewoon woorden aan het memoriseren?

Hier is de uitsplitsing van wat de onderzoekers hebben gevonden, met behulp van enkele alledaagse analogieën.

1. De "Vorm vs. Betekenis" Test

Denk aan een constructie als een specifieke handdruk.

De Vorm (Syntaxis): Weten hoe je de handdruk doet (de specifieke handbeweging, de volgorde van de vingers).
De Betekenis (Semantiek): Weten wat de handdruk impliceert (bijv. "Als ik het makkelijke ding niet kan, kan ik het moeilijke ding sowieso niet").

De onderzoekers bouwden een nieuwe test om te zien of AI-modellen beide konden doen. Ze vroegen niet alleen: "Is deze zin grammaticaal correct?" Ze vroegen: "Begrijpt de AI de logica binnen de zin?"

De Analogie: Stel je een robot voor die precies weet hoe hij de zin moet zeggen: "Ik kan een kiezelsteen niet eens optillen, laat staan een rotsblok."

De Syntaxis-test: Kan de robot de zin uitspreken zonder te struikelen?
De Betekenis-test: Als je de robot vraagt: "Dus, kun je het rotsblok optillen?" zegt hij dan correct "Nee"? Of raakt hij in de war omdat hij alleen de woorden heeft gememoriseerd maar de logica niet begreep?

2. De Resultaten: Grootte Maakt Verschil (Maar Niet Een Klein Beetje)

De onderzoekers testten 36 verschillende AI-modellen, variërend van piepkleine modellen (zoals een zakrekenmachine) tot enorme modellen (zoals een supercomputer).

De Kleine Modellen (Minder dan 400 miljoen parameters): Deze zijn als peuters. Ze zijn erg goed in de handdruk. Ze weten dat de woorden "laat staan" bij elkaar horen en kunnen de zin perfect uitspreken. Maar als het gaat om de betekenis, falen ze. Ze begrijpen de logica niet; ze zijn gewoon aan het gokken.
De Middelgrote Modellen (Rond de 400 miljoen tot 1 miljard parameters): Deze zijn als slimme tieners. Ze beginnen het te snappen. Ze kunnen de handdruk uitvoeren en ze beginnen de logica achter de zin te begrijpen.
De Grote Modellen: Deze zijn als volwassenen. Ze zijn erg goed in zowel de vorm als de betekenis.

De Belangrijkste Bevinding: Je hebt geen "goddelijke" AI nodig om deze zeldzame zinnen te begrijpen. Een "bescheiden" AI (één die niet de grootste of de duurste is) kan de betekenis ook daadwerkelijk vatten, mits deze groot genoeg is.

3. De Leertijdlijn: Eerst de Danspassen, Dan de Muziek

De onderzoekers observeerden hoe deze modellen over tijd leerden, alsovergelijkbaar met het observeren van een student die oefent voor een danswedstrijd.

Stap 1: De Stappen (Syntaxis) komen eerst. De modellen leerden de juiste woordvolgorde en grammaticaregels heel vroeg in hun training. Ze wisten heel snel hoe ze de zin moesten uitspreken.
Stap 2: De Muziek (Betekenis) komt later. Het duurde veel langer voordat de modellen begrepen waarom de zin werkt. Ze moesten veel meer over de wereld leren voordat ze de verbanden konden leggen.

De Analogie: Stel je voor dat je leert autorijden. Eerst leer je waar de pedalen zitten en hoe je het stuur draait (Syntaxis). Dat kun je snel leren. Maar begrijpen wanneer je moet remmen, hoe je de snelheid van naderend verkeer inschat en het "gevoel" van de weg (Semantiek), kost veel meer ervaring en tijd. De AI leerde de "pedalen" lang voordat het het "gevoel" leerde.

4. De Connectie met "Wereldkennis"

De studie vond een sterke link tussen het begrijpen van deze zinnen en weten hoe de echte wereld werkt.

Het Scenario: De AI werd getest op zinnen als: "Ik kon een kleine steen niet tillen, laat staan een enorme steen."
Het Resultaat: De AI begreep dit omdat de AI weet dat stenen gewicht hebben.
De Twist: Wanneer de onderzoekers de AI probeerden te misleiden met zinnen die de natuurwetten braken (bijv. "Ik kon een enorme steen niet tillen, laat staan een kleine steen"), raakten de kleinere AI's in de war. Ze vertrouwden te veel op hun "gezond verstand" over de wereld in plaats van op de strikte logica van de zin. De grotere, slimmere AI's konden de vreemde wereldfeiten echter negeren en zich houden aan de logica van de zin.

5. Het "Menselijke Schaal"-Probleem

De onderzoekers testten ook modellen die getraind waren op "menselijke schaal" aan data (hoeveelheden tekst die een mens in een leven lang zou kunnen lezen).

Het Oordeel: Deze modellen faalden volledig in het begrijpen van de betekenis. Ze konden de woorden wel uitspreken, maar ze begrepen de logica niet.
De Les: Om de diepe logica van zeldzame taalfrases echt te begrijpen, moet een AI veel meer "lezen" dan een mens ooit zou kunnen. Het heeft die enorme blootstelling nodig om de patronen te zien.

Samenvatting

Dit artikel is als een rapportcijfer voor AI over een zeer specifiek, lastig vak.

Kunnen kleine AI's dit? Ja, maar alleen de "middelgrote" modellen. De piepkleine modellen memoriseren alleen de woorden.
Leren ze het allemaal tegelijk? Nee. Ze leren de grammatica (de vorm) eerst, en de betekenis (de logica) veel later.
Moeten ze de wereld kennen? Ja. Het begrijpen van deze zinnen is gekoppeld aan het begrijpen van hoe de wereld werkt (zoals weten dat grote dingen zwaarder zijn dan kleine dingen).

De onderzoekers concluderen dat hoewel AI beter wordt in deze zeldzame zinnen, het nog steeds de "vorm" van de taal leert voordat het de "ziel" van de taal leert.

Titel: Taalmodellen leren constructie-semantiek, laat staan syntaxis: een onderzoek naar het begrip van LMs voor PAIRED-FOCUS-constructies

Probleemstelling
Hoewel grote taalmodellen (LLM's) succes hebben getoond op veel taalkundige taken, blijft de vraag of zij de semantiek van zeldzame linguïstische constructies begrijpen — speciftig de vorm-betekeniskoppelingen die centraal staan in de Construction Grammar — een open vraag. Voorgaand onderzoek wijst erop dat modellen vaak wel de formele eigenschappen (syntaxis) van zeldzame constructies leren, maar dat ze vaak falen in het verwerven van hun genuanceerde semantische betekenissen, vooral wanneer ze zijn getraind op "menselijke schaal" data (bijv. BabyLMs). Bovendien vertrouwen bestaande evaluatiedatasets voor constructie-semantiek vaak op willekeurige contrasten of onnatuurlijke testitems die mogelijk niet effectief de scalaire semantiek of de interactie met wereldkennis kunnen isoleren. Het is onduidelijk of open-source modellen van bescheiden omvang robuust deze constructies kunnen begrijpen, en zo ja, hoe dit leren verloopt ten opzichte van de verwerving van syntaxis en andere domeinen van kennis.

Methodologie
De auteurs introduceren een nieuwe dataset en een evaluatiekader om het begrip van vier specifieke PAIRED-FOCUS-constructies in het Engels te testen: let alone, much less, not to mention en never mind. Deze constructies voegen twee gefocuste elementen samen, waarbij een scalaire relatie wordt gesuggereerd waarbij het tweede element een hogere waarde op een schaal vertegenwoordigt dan het eerste.

Datasetconstructie: In tegen tegenstelling tot eerder werk met willekeurige voorbeelden, genereerden de auteurs 3,5k zinsparen per constructie met behulp van scalaire adjectieven en veelvoorkomende zelfstandige naamwoorden afgeleid van gevestigde schalen (Wilkinson en Tim, 2016). Dit waarborgt een coherente scalaire relatie die geworteld is in algemene wereldkennis.
Semantische Evaluatie: De evaluatie meet de gevoeligheid van een model voor de betekenis van de constructie door de waarschijnlijkheid van een vervolgzin te vergelijken die gevolgd wordt door de scalaire logica van de constructie versus een zin die deze tegenspreekt. Cruciaal is dat de auteurs de controle over de plausibiliteit van wereldkennis waarborgen door de resultaten te vergelijken met een controlevoorwaarde met de eenvoudige conjunctie "or" (of). De metriek ( $\Delta P$ ) isoleert de waarschijnlijkheidsverschuiving die specifelijk toe te schrijven is aan de semantiek van de constructie.
Syntactische Evaluatie: De auteurs pasten bestaande syntactische tests aan (bijv. bewegingsrestricties, gedrag van negative polarity items) om te bepalen of modellen de ongrammaticaliteit van bepaalde manipulaties herkennen die specifiek zijn voor PAIRED-FOCUS-constructies.
Modelomvang: De studie evalueert 36 modellen die variëren in parameteraantal (van 68M tot 13B), architectuur (autoregressief versus gemaskeerd taalmodel) en de omvang van de pretraining-data.
Leerdynamiek: Met behulp van tussenliggende checkpoints van drie hoogpresterende modellen (Pythia-12b, Ettin-encoder-400m, Ettin-decoder-1b) volgen de auteurs de verwerving van vorm en betekenis over de trainingsstappen heen, waarbij ze deze trajecten vergelijken met benchmarks voor syntaxis (BLiMP), conceptuele kennis (COMPS) en wereldkennis (EWoK).

Belangrijkste Resultaten

Modelgrootte en Data: Modellen met minder dan ~400M parameters presteren over het algemeen op of onder het niveau van toeval bij semantische evaluaties, ongeacht de omvang van de trainingsdata. In contrast hiermee bereiken verschillende bescheiden georiënteerde open-source modellen (bijv. Ettin-400m, Pythia-12b) een hoge nauwkeurigheid (>90%) op semantische taken. Echter, modellen getraind op "menselijke schaal" data (BabyLMs) vertonen geen semantisch begrip boven het niveau van toeval.
Dissociatie tussen Syntaxis en Semantiek: Er is een duidelijke dissociatie tussen syntactische en semantische verwerving. Zelfs de kleinste geteste modellen vertonen een robuuste kennis van de vorm (syntaxis) van PAIRED-FOCUS-constructies, waarbij ze vaak bijna perfecte scores behalen. Semantisch begrip emergeert echter aanzienlijk later in het trainingsproces.
Leertrajecten:
- Syntactische kennis vlakt vroeg in de pretraining af, wat de leercurve van de BLiMP-benchmark weerspiegelt.
- Semantisch begrip volgt een later, meer geleidelijk traject, dat de leercurve van de EWoK (wereldkennis) benchmark nauwgezet volgt.
- Prestaties op de PAIRED-FOCUS-semantiek zijn matig gecorreleerd met de prestaties op het domein van fysieke relaties van EWoK, wat suggereert dat er een link is tussen de constructiebetekenis en algemene wereldkennis.
Gevoeligheid voor Plausibiliteit: Grotere modellen (bijv. Pythia-12b) tonen robuustheid tegen implausibele contexten, waarbij ze de scalaire relatie correct afleiden zelfs wanneer deze botst met de wereldkennis. Kleinere modellen zijn meer afhankelijk van wereldkennis-aanwijzingen en worstelen wanneer de scalaire implicatie van de constructie in strijd is met de typische plausibiliteit.
Constructiecorrelatie: De vier geteste PAIRED-FOCUS-constructies zijn sterk gecorreleerd in prestatie, hoewel let alone (de meest frequente) iets eerder wordt geleerd dan de andere.

Betekenis en Claims
Het artikel claimt dat relatief bescheiden georiënteerde open-source modellen (onder de 400M parameters) in staat zijn om niet-triviale semantische kennis van zeldzame constructies te verwerven, wat het idee uitdaagt dat alleen frontier-schaal modellen dergelijke capaciteiten bezitten. De studie benadrukt echter een cruciale beperking: modellen getraind op menselijke schaal data falen in het verwerven van deze semantische kennis, wat twijfel zaait over hun bruikbaarheid als "model systemen" voor constructionistische theorieën die de gezamenlijke verwerving van vorm en betekenis postuleren.

De auteurs stellen dat de geobserveerde dissociatie — waarbij syntaxis vroeg en robuust wordt geleerd, maar semantiek later emergeert en correleert met wereldkennis — suggereert dat tekst-gebaseerde taalmodellen niet natuurlijk de gezamenlijke verwerving van vorm en betekenis modelleren zoals gepostuleerd in de Construction Grammar. In plaats daarvan lijkt semantisch begrip een downstream effect te zijn van het accumuleren van wereldkennis en scalaire redeneercapaciteiten. Het artikel concludeert dat hoewel LMs deze constructies kunnen leren, de leerdynamiek aanzienlijk verschilt van de menselijke verwerving, en dat toekomstig werk multimodale of gesitueerde leeromgevingen moet verkennen om de integratie van vorm en betekenis beter te modelleren.