💬 NLP

Light or Full Verb? A Minimal-Pair Dataset for Probing Phraseological Competence in Language Models

Dit artikel introduceert een minimal-pair dataset om aan te tonen dat taalmodellen het onderscheid kunnen maken tussen het gebruik van woorden zoals 'have' en 'make' als light-verb en als full-verb binnen identieke contexten, waarmee een herbruikbare bron wordt geboden voor het onderzoeken van fraseologische competentie.

Oorspronkelijke auteurs: Francesca Franzon, Nicolas Rosàs Gómez, Leo Wanner

Gepubliceerd 2026-06-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Francesca Franzon, Nicolas Rosàs Gómez, Leo Wanner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een Zwitsers zakmes hebt. Soms gebruik je het hoofdmessens om een touw door te snijden (een volledige, krachtige handeling). Andere keren gebruik je de piepkleine schroevendraaier om slechts een schroefje aan te draaien (een lichte, ondersteunende handeling). Het gereedschap is hetzelfde, maar de taak verandert volledig afhankelijk van wat je aan het doen bent.

In de Engelse taal werken werkwoorden zoals "make," "take," en "have" precies als zo'n Zwitsers zakmes.

Full Verb (Volledig werkwoord): Wanneer je zegt "make a cake" (een taart bakken), doet het woord "make" het zware werk. Het betekent dat je fysiek iets creëert.
Light Verb (Licht werkwoord): Wanneer je zegt "make a decision" (een beslissing nemen), is het woord "make" slechts een hulpje. De echte betekenis komt van het woord "decision". Je bent niet fysiek een beslissing aan het bouwen; je voert slechts de handeling van het beslissen uit.

De Grote Vraag

De onderzoekers van de Universitat Pompeu Fabra wilden weten: Begrijpen AI-taalmodellen (zoals het model waarmee je nu praat) dit verschil daadwerkelijk?

Of onthouden ze gewoon dat "make" en "decision" vaak samen voorkomen, zonder te beseffen dat "make" in die zin anders functioneert dan in "make a cake"?

Het Experiment: Een "Tweeling"-test

Om dit te ontdekken, bouwde het team een speciale dataset. Zie het als een minimal pair test, zoals een "zoek de verschillen"-spelletje voor zinnen.

Ze creëerden duizenden zinnen waarbij alles identiek was — de context, de grammatica, de lengte — behalve het object aan het einde.

Zin A (Licht): "During the afternoon, they made a decision."
Zin B (Volledig): "During the afternoon, they made a cake."

Door de rest van de zin exact hetzelfde te houden, konden ze zien of de AI het woord "decision" anders behandelde dan "cake", zelfs wanneer het woord "made" in beide gevallen aanwezig was.

Wat Ze Vonden

Ze voerden twee hoofdtesten uit op een specifiek AI-model (Gemma-3-270m):

1. De "Verrassing"-test (Surprisal)
Stel je voor dat de AI een zin leest en probeert het volgende woord te voorspellen.

Wanneer de AI "During the afternoon, they made..." zag, was de AI minder verrast door het woord "decision" dan door "cake".
Dit betekent dat de AI "wist" dat "make a decision" een veelvoorkomende, standaard frase is (een Light Verb Construction), dus verwachtte het dit sterker.
In omgekeerde richting, wanneer de zin passief was ("A decision was made..."), was de AI minder verrast door het werkwoord "made" dan wanneer het "A cake was made" zou zijn geweest.
De les: De AI onthoudt niet alleen woorden; het heeft een besef van welke werkwoorden als "hulpjes" fungeren en welke als "makers".

2. De "Breinscant"-test (Embeddings)
De onderzoekers keken in het "brein" van de AI (de interne wiskundige representaties) om te zien hoe de AI de objecten ("decision" versus "cake") visualiseerde.

Ze ontdekten dat de interne kaart van de AI voor "decision" in een light-verb zin duidelijk anders was dan de kaart voor "decision" in een full-verb zin.
Het is alsof de AI twee verschillende mappen heeft voor hetzelfde woord, afhankelijk van of het werkwoord ernaast het zware werk doet of alleen maar helpt.

Waarom Dit Belangrijk Is

Vóór deze studie vroegen de meeste tests alleen: "Is deze zin grammaticaal correct?" (bijv. "The decision was made" versus "The decision was made by the cake").

Dit paper is bijzonder omdat het een moeilijkere vraag stelt: "Kan de AI het verschil zien tussen twee volkomen correcte zinnen waarbij het werkwoord van betekenis verandert?"

Het antwoord is ja. De AI kan onderscheid maken tussen een werkwoord dat als "ondersteunend medewerker" fungeert en een werkwoord dat als "hoofdrolspeler" fungeert, zelfs wanneer de zinstructuur identiek is.

De Kern van het Verhaal

De onderzoekers hebben deze "tweeling-zinnen" dataset als een gratis hulpmiddel beschikbaar gesteld voor andere wetenschappers. Het is alsoj het taalkundigen een nieuwe microscoop geeft om te controleren of toekomstige AI-modellen echt begrijpen hoe taal werkt, of dat ze slechts patronen raden. Ze zijn van plan dit uit te breiden naar meer werkwoorden en andere talen, maar voor nu hebben ze bewezen dat huidige modellen een verrassend scherp gehoor hebben voor het subtiele verschil tussen "making a cake" en "making a decision."

Technische Samenvatting: Light of Full Verb? Een Minimal-Pair Dataset voor het Proben van Phraseologische Competentie in Taalmodellen

Probleemstelling
Veelvoorkomende Engelse werkwoorden (bijv. make, have, take) vertonen een dubbele lexicale-functionele status: ze fungeren ofwel als volledige lexicale predicaten (bijv. make a cake) of als 'light verbs' (ondersteunende werkwoorden) in 'light-verb constructions' (LVC's), waarbij de semantische last wordt gedragen door de nominale basis (bijv. make a decision). Hoewel bestaand computationeel linguïstisch werk LVC's uitgebreid heeft behandeld als een identificatie- of extractieprobleem — het bepalen of een gegeven werkwoord-zelfstandig naamwoord-paar een LVC vormt — is er een gat in het begrip of taalmodellen (LM's) het onderscheid tussen deze twee gebruiken intern representeren. Huidige modellen kunnen LVC's herkennen via distributionele associatie of categoriekenmerken van zelfstandige naamwoorden, zonder de specifieke lexicale-functionele tegenstelling tussen een ondersteunend werkwoordgebruik en een volledig lexicaal gebruik te coderen. Bestaande minimal-pair benchmarks (bijv. BLiMP, SyntaxGym) contrasteren doorgaans grammaticale zinnen met ongrammaticale zinnen; het proberen van LVC-competentie vereist echter het contrasteren van twee grammaticale, natuurlijke zinnen die enkel verschillen in de lexicale-functionele status van hetzelfde oppervlakkige werkwoord.

Methodologie
De auteurs introduceren een grootschalige, gecontroleerde dataset die ontworpen is om dit onderscheid te proberen met behulp van minimale zinnenreeksen.

Dataset Constructie: De dataset beslaat vijf hoogfrequente Engelse werkwoorden (make, take, give, have, receive) die bekend staan om hun voorkomen in LVC's. Voor elk werkwoord hebben de auteurs 20–40 LVC-kandidaten gecureerd (gevalideerd tegen criteria zoals predicatieve nominale bases en canonieke collocatieve relaties) en deze gekoppeld aan volledige werkwoord-tegenhangers met concrete object-zelfstandige naamwoorden.
Experimenteel Ontwerp: De dataset genereert zinnenreeksen waarbij dezelfde context wordt gekoppeld aan verschillende objecten, wat resulteert in de helft LVC-lezingen en de helft volledige werkwoord-lezingen. Deze zijn geconstrueerd in zowel actieve als passieve configuraties (bijv. they made a decision vs. they made a cake; a decision was made vs. a cake was made).
Probing Experimenten: De auteurs evalueerden het Gemma 3 270m model met twee complementaire benaderingen:
1. Surprisal-gebaseerd Probing: Het berekenen van token-niveau surprisal (negatieve log-waarschijnlijkheid) voor kritieke regio's. In actieve zinnen is de kritieke regio het object-zelfstandig naamwoord; in passieve zinnen is het de werkwoord die volgt op de nominale basis. Dit test of het model een hogere waarschijnlijkheid toekent aan het verwachte constructietype gegeven de context.
2. Contrastieve Embedding Analyse: Het extraheren van verborgen toestanden (hidden states) voor de object-zelfstandige naamwoordfrases, het middelen van token-embeddings, en het toepassen van dimensionaliteitsreductie (PCA) en clustering (KMeans) om te bepalen of de interne representaties van het model LVC-objecten scheiden van volledige werkwoord-objecten onder gelijke syntactische en verbale contexten.

Belangrijkste Bijdragen

Een Minimal-Pair Dataset: De release van een herbruikbare, uitbreidbare dataset van minimaal variërende Engelse zinnenreeksen die het lexicale-functionele contrast van 'light' versus 'full' werkwoorden isoleert, terwijl syntactische kaders en contexten constant worden gehouden.
Methodologisch Kader: Een verschuiving van acceptabele/onacceptabele zinscontrasten naar grammaticale/grammaticale contrasten die specifal gericht zijn op de lexicale-functionele status van werkwoorden.
Open Bronnen: De auteurs stellen de dataset, generatiecode en materialen beschikbaar om uitbreidingen naar bredere contexten, aanvullende werkwoorden en andere talen te ondersteunen.

Resultaten

Surprisal Bevindingen: Het model vertoont sensitiviteit voor het LVC-onderscheid. In actieve configuraties ontvangen nominale bases in LVC's (bijv. decision in make a decision) over het algemeen een lagere surprisal dan hun volledige werkwoord-tegenhangers, wat aangeeft dat het model een hogere waarschijnlijkheid toekent aan conventionele light-verb-koppelingen. In passieve configuraties verhogen predicatieve nominale bases de voorspelbaarheid van hun geassocieerde werkwoorden, hoewel er variatie bestaat tussen specifieke werkwoorden (bijv. make vertoont het sterkste effect).
Embedding Bevindingen: Clusteringanalyse van object-niveau verborgen toestanden onthult dat de interne representaties van het model LVC-objecten scheiden van volledige werkwoord-objecten. Deze scheiding is bijzonder duidelijk in latere lagen en bij het analyseren van de verandering in representatie tussen lagen ( $\Delta_l$ ), wat suggereert dat het model objectrepresentaties anders bijwerkt op basis van het constructietype.

Betekenis en Claims
Het artikel claimt dat taalmodellen onderscheid maken tussen light-verb en full-verb gebruik, zelfs in minimale contexten, en dat zij scheidbare patronen vertonen over objecttypen heen. De bevindingen suggereren dat modellen zowel verb-naar-noun als noun-naar-verb verwachtingen in LVC's vastleggen, wat gereflecteerd wordt in zowel token-niveau waarschijnlijkheden als de geometrie van contextuele objectrepresentaties. De auteurs positioneren dit werk als een gecontroleerd probing-instrument om phraseologische competentie te onderzoeken, waarbij zij verder gaan dan eenvoudige identificatietaken om te beoordelen of modellen de onderliggende lexicale-functionele contrasten representeren. Het kader is ontworpen om toekomstige uitbreidingen te ondersteunen, inclusief aanvullende werkwoorden, bredere contexten en cross-linguïstische toepassingen, hoewel de huidige studie beperkt is tot Engels en een specifieke set werkwoorden.