Measuring Form and Function in Language Models

Technische Samenvatting: Het Meten van Vorm en Functie in Taalmodellen

Probleemstelling
Huidige evaluaties van Large Language Models (LLMs) vertrouwen voornamelijk op classificatietaken (bijvoorbeeld grammaticaalheidsbeoordelingen op minimale paren), die vaak falen in het vastleggen van de functionele en discoursniveau-aspecten van taalkennis. Bovendien ontbreekt er bij deze op classificatie gebaseerde benchmarks een rigoureuze grondwaarheid bij het vergelijken van LLMs met de taalverwerving bij kinderen, aangezien jonge kinderen geen betrouwbare metalinguïstische oordelen kunnen geven. Hoewel het "BabyLM"-initiatief streeft naar het bouwen van data-efficiënte modellen die vergelijkbaar zijn met kinderen, bestaat er een methodologische kloof in hoe de externe gedraging van LLMs rigoureus kan worden vergeleken met de naturalistische productiedata van kinderen. Specifiek blijft het onduidelijk of LLMs een productief grammaticasysteem bezitten of slechts invoerchunks memoriseren, en of ze taal gebruiken voor geschikte communicatieve functies die verder gaan dan zinswelvorming.

Methodologie
De auteurs stellen een raamwerk voor dat kwantitatieve metrieken uit het onderzoek naar kindertaal aanpast om LLMs te evalueren, met een focus op Engelse lidwoorden (the versus a/an), een domein dat door kinderen vroeg en nauwkeurig wordt verworven. De methodologie bestaat uit drie kerncomponenten:

1. Contextuele Alternatiefkeuze (CAC) Prompting:
   In plaats van modellen te vragen zinnen te classificeren, gebruiken de auteurs een promptschema dat is afgeleid van de psycholinguïstische "cloze"-taak. Voor elke lidwoord-bijvoeglijk naamwoord (D×N)-plaats in een uiting van een kind binnen het Manchester Corpus, wordt het model geconfronteerd met de volledige voorgaande discourscontext en wordt het gevraagd het lidwoord te voorspellen. Dit roept een probabilistische verdeling over de keuzes (the versus a) op in plaats van een enkel binair label, waardoor de analyse van de interne verwachtingen van het model mogelijk wordt in identieke contexten als die welke door kinderen worden gebruikt.

2. Formeel Productiviteitsbenchmark (Overlaptest):
   Om onderscheid te maken tussen echte grammaticale productiviteit en rote memorisatie, hanteert het artikel een statistische test gebaseerd op Yang (2013). Deze test berekent de verwachte "overlap" (het aandeel van zelfstandig naamwoordtypes dat zowel met the als met a voorkomt) voor een corpus van een gegeven grootte ($S$) en vocabulaire ($N$), uitgaande van een productieve grammatica waarbij lidwoorden onafhankelijk van zelfstandige naamwoorden combineren. De test incorporateert de Wet van Zipf voor frequenties van zelfstandige naamwoorden en een geaggregeerde "bias" ($b$) die de neiging van specifieke zelfstandige naamwoorden weerspiegelt om één lidwoord te prefereren. Als de empirische overlap van een model niet significant afwijkt van de verwachte overlap die is afgeleid uit deze statistische eigenschappen, wordt het geacht formele productiviteit te vertonen.

3. Discours-functioneel Benchmark (Transitionele Kans van Referentie - TPR):
   Om functionele kennis te beoordelen, meten de auteurs de TPR, gedefinieerd als de kans dat een spreker het lidwoord verandert wanneer het onderwerp-bijvoeglijk naamwoord constant blijft over conversatierondes heen. Deze metriek vangt het geschikte gebruik van definitheid en specificiteit in discours. De TPR van het model wordt berekend door zijn probabilistische keuzes van lidwoorden te vergelijken met de voorgaande uiting van de verzorger in de dialoog. Dit wordt vergeleken met een basislijn die is vastgesteld uit volwassen-tot-volwassen gesprekken en de empirische TPR van kinderen.

Belangrijkste Bijdragen

• Methodologische Innovatie: De introductie van CAC-prompting maakt directe vergelijking mogelijk tussen LLMs en kinderen met behulp van naturalistische productiedata, waarbij de noodzaak wordt omzeild voor onbetrouwbare metalinguïstische oordelen van kinderen.
• Dual-Benchmark Evaluatie: Het artikel vestigt twee onafhankelijke benchmarks—formele productiviteit (syntaxis) en discours-functionele geschiktheid (pragmatiek)—die geen toegang vereisen tot de trainingsdata van het model, waardoor ze toepasbaar zijn op elk taalexemplaar.
• Empirische Analyse: De studie evalueert 45 taalmodellen (inclusief BabyLM-baselines, winnaars en referentiemodellen) over deze benchmarks, en biedt een gedetailleerd beeld van modelprestaties in relatie tot kinderen van 2-3 jaar.

Resultaten
De evaluatie onthult een significante dissociatie tussen verschillende facetten van taalkennis in LLMs:

• Formele Productiviteit: Veel modellen, waaronder die getraind op datam hoeveelheden vergelijkbaar met die beschikbaar voor 2-3 jarigen (ongeveer 10–20 miljoen woorden), slagen de formele overlaptest. Dit suggereert dat ze hebben geleerd om lidwoorden en zelfstandige naamwoorden productief te combineren in plaats van simpelweg collocaties te memoriseren.
• Discoursfunctie: Geen van de modellen getraind op data vergelijkbaar met die van jonge kinderen slaagt de TPR-test. Hun TPR-waarden zijn significant hoger dan menselijke basislijnen, wat aangeeft dat ze lidwoorden stochastisch kiezen zonder rekening te houden met referentiële beperkingen of discourscontext.
• Grote Modellen: Slechts twee modellen getraind op aanzienlijk grotere datasets (100 miljoen en 30 miljard woorden) slaagden beide benchmarks. Een model getraind op 156 miljard woorden slaagde de TPR-test maar faalde de overlaptest.
• Nauwkeurigheid versus Competentie: Verschillende modellen behaalden hoge nauwkeurigheid in maximum-likelihood (MLE) keuzes van lidwoorden (het overeenkomen met kinderen in ongeveer 89% van de gevallen), maar faalden de TPR- en overlaptesten. Dit bevestigt dat hoge classificatienauwkeurigheid niet gelijkstaat aan volwassen-achtige taalkennis of productieve grammatica.

Betekenis en Claims
Het artikel betoogt dat huidige LLMs getraind op ontwikkelingsplausibele data nog niet het volledige spectrum van taalkennis vertonen dat wordt gedemonstreerd door menselijke kinderen op de leeftijd van 2-3 jaar. Specifiek, hoewel modellen formele syntactische productiviteit kunnen leren, worstelen ze met de functionele, discoursniveau-beperkingen van taalgebruik. De auteurs claimen dat optimalisatie voor één aspect van competentie (bijvoorbeeld voorspellingsnauwkeurigheid of formele syntaxis) niet garandeert dat andere aspecten worden verworven (bijvoorbeeld discoursfunctie).

Het werk dient als een methodologische bijdrage, en demonstreert dat onderzoek naar kindertaal noodzakelijke raamwerken biedt voor het evalueren van LLMs als cognitieve modellen. De auteurs suggereren dat vroege verwervingsmijlpalen, zoals het gebruik van lidwoorden, dienen als kritieke controlepunten voor het vakgebied, en benadrukken dat LLMs mogelijk verschillende leertrajecten of data-efficiëntie vereisen om menselijke taalverwerving echt te modelleren. Het artikel concludeert bescheiden, met de vaststelling dat hoewel sommige zeer grote modellen aan de benchmarks voldoen, de oorzaken van succes of falen onduidelijk blijven, en dat verder onderzoek nodig is naar hoe instructietuning en versterkt leren uit menselijke feedback (RLHF) kunnen interageren met deze specifieke taalkundige criteria.