CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models

Probleemstelling

Recente onderzoeken naar taalkundige modellen (LM's) richten zich voornamelijk op het beoordelen van grammaticale acceptabiliteit (bijv. onderscheid tussen grammaticaal correcte en incorrecte zinnen). Echter, dit negeert een cruciaal aspect van taalbegrip: het vermogen om de betekenis te interpreteren die wordt overgedragen door specifieke grammaticale vormen.

In de traditionele taalkunde worden syntaxis en semantiek vaak als gescheiden domeinen behandeld, maar binnen de Construction Grammar (Constructiegrammatica) worden vorm-maak-paren (constructies) gezien als fundamentele eenheden. Bestaande benchmarks missen vaak de mogelijkheid om fijnmazig en systematisch te evalueren of modellen de semantische relaties en participantrollen begrijpen die inherent zijn aan deze constructies. Veel huidige evaluaties (zoals NLI-taken) zijn te afhankelijk van oppervlakkige heuristieken, zijn niet geschikt voor kleine modellen, of testen slechts één specifieke constructie, wat vergelijkingen tussen verschillende constructies bemoeilijkt.

Methodologie: CxMP

De auteurs introduceren CxMP (Constructional Minimal-Pair Benchmark), een dataset ontworpen om te evalueren of taalkundige modellen de semantische relaties kunnen interpreteren die worden geïmpliceerd door specifieke constructies.

Kernkenmerken van CxMP:

1. Constructie-gebaseerd: De dataset omvat negen verschillende constructie-types (o.a. let-alone, caused-motion, ditransitive, resultative, comparative-correlative). Deze variëren van deels vaststaande patronen tot volledig schematische constructies.
2. Minimal-Pair Ontwerp: Elke evaluatie bestaat uit een paar zinnen:
   • Een Constructie-voorbeeld (de zin met de doelconstructie).
   • Een Diagnostische zin die de betekenis van de constructie test.
   • Voor elke diagnostische zin zijn er twee versies: een plausibele (correcte interpretatie) en een onplausibele (incorrecte interpretatie) variant.
3. Gecontroleerde Variatie: Om oppervlakkige heuristieken (zoals woordherhaling of vaste woordvolgorde) te elimineren, worden de rollen van de entiteiten (N1 en N2) systematisch verwisseld (switched versions). Ook worden verschillende entiteitstypen gebruikt (voornamen, mannelijke/vrouwelijke namen, en pseudoworden).
4. Data Generatie: De dataset is automatisch gegenereerd met behulp van een LLM (GPT-5) op basis van sjablonen, gevolgd door menselijke validatie (96,65% accuraatheid bij meerderheidsstemming). De dataset bevat in totaal 43.000 evaluatieparen.

Experimentele Opstelling:
De auteurs evalueren een breed scala aan modellen:

• Ontwikkelingsplausibele kleine modellen: BabyLM Challenge-modellen (10M-100M tokens) en BabyBERTa.
• Middelgrote modellen: Pythia-suite (14M tot 12B parameters) en Open-sci-ref-modellen (1.3B-1.7B).
• Grote LLM's: Llama-3.1 (8B/70B, base en instruct-getuned) en GPT-5 (gesloten bron).
• Vergelijking: Er wordt gekeken naar het effect van modelgrootte, dataschaal, trainingsdoel (MLM vs. CLM) en instructie-tuning.

Belangrijkste Resultaten

1. Syntaxis vs. Semantiek:

   • Modellen leren grammaticale acceptabiliteit (getest met BLiMP) zeer vroeg in het trainingsproces (reeds bij ~50B tokens).
   • Constructiebegrip (CxMP) ontwikkelt zich veel trager en blijft beperkt, zelfs bij grote modellen. Kleine modellen presteren nauwelijks beter dan willekeurig gokken.

2. Invloed van Modelgrootte en Data:

   • Er is een duidelijke positieve correlatie tussen modelgrootte en prestaties op CxMP, maar dit varieert per constructie.
   • Complexe constructies (zoals let-alone en comparative-correlative) vereisen aanzienlijk meer modelcapaciteit en data om goed te worden begrepen.
   • Zelfs de grootste open-source modellen (70B parameters) worstelen nog met bepaalde constructies, terwijl gesloten modellen (GPT-5) over het algemeen beter presteren.

3. Effect van Instructie-Tuning:

   • Instructie-getuned modellen presteren over het algemeen beter dan hun base-versies, vooral bij argument-structuur constructies.
   • Echter, bij niet-standaard constructies (zoals let-alone) kan instructie-tuning de prestaties zelfs verlagen, wat suggereert dat tuning niet alle aspecten van constructiebegrip verbetert.

4. Bias en Heuristieken:

   • Analyse van trainingsverlopen toont aan dat modellen eerst willekeurig gokken, vervolgens afhankelijk worden van oppervlakkige heuristieken (bijv. kiezen van het eerste naamwoord of de dichtstbijzijnde entiteit), en pas later naar nauwkeurige oordelen convergeren.
   • Modellen vertonen sterke bias bij het gebruik van gewone zelfstandige naamwoorden (vaak gekoppeld aan specifieke rollen), maar deze bias neemt af bij het gebruik van pseudoworden of specifieke naamformaten.

5. Pseudoword Experiment:

   • Wanneer inhoudsworden worden vervangen door pseudoworden (om lexicale semantiek uit te sluiten), daalt de prestatie van modellen drastisch.
   • Dit bewijst dat modellen sterk afhankelijk zijn van lexicale associaties en moeite hebben om betekenis puur af te leiden uit de constructieve vorm. Mensen doen dit wel (zoals aangetoond in eerdere psycholinguïstisch onderzoek).

Bijdragen

• Nieuwe Benchmark: CxMP is de eerste benchmark die systematisch en gecontroleerd de semantische interpretatie van constructies in LM's evalueert, gebaseerd op Construction Grammar.
• Methodologische Vooruitgang: Het introduceert een minimal-pair design dat specifiek is ontworpen om de bijdrage van de constructie zelf te isoleren van lexicale bias.
• Inzicht in Leringsverloop: De studie onthult dat het verwerven van semantisch taalbegrip een langzamere, stapsgewijze leercurve volgt dan het verwerven van syntactische regels.
• Identificatie van Gaten: Het toont aan dat er nog aanzienlijke ruimte voor verbetering is in hoe moderne LLM's vorm en betekenis integreren, zelfs bij de grootste beschikbare modellen.

Betekenis

CxMP biedt een fundamenteel nieuw perspectief op het evalueren van taalmodellen. Het laat zien dat het vermogen om grammaticaal correcte zinnen te produceren of te herkennen niet gelijkstaat aan het begrijpen van de onderliggende betekenisstructuren. De bevindingen suggereren dat huidige modellen nog steeds te veel vertrouwen op statistische patronen in de data en lexicale associaties, in plaats van een diepgaand, constructie-gebaseerd taalbegrip te hebben ontwikkeld. Dit biedt een kader voor toekomstig onderzoek naar hoe taalkundige competentie in AI-systemen daadwerkelijk ontstaat en hoe deze kan worden verbeterd.