A Scalable Tool for Measuring Manner and Result Verbs in Developmental Language Research

Technische Samenvatting: Een Schaalbaar Hulpmiddel voor het Meten van Manier- en Resultaatwerkwoorden

Probleemstelling
Het onderscheid tussen manierwerkwoorden (die coderen hoe een handeling wordt uitgevoerd, bijv. rennen, krabbelen) en resultaatwerkwoorden (die coderen voor een uitkomst of verandering van toestand, bijv. schoonmaken, breken) is theoretisch significant in onderzoek naar taalontwikkeling. Het helpt variaties in het vroege werkwoordleren en uitkomsten voor kinderen met taalachterstanden te verklaren. Het bestuderen van dit onderscheid op grote schaal wordt echter momenteel gehinderd door een gebrek aan grote, geannoteerde bronnen. Waar grammaticale annotatie (bijv. part-of-speech tagging) volwassen is, blijft fijnmazige semantische categorisering van werkwoorden in context uitdagend voor computationele modellen, wat de mogelijkheid beperkt om werkwoordsemantiek in grote corpora voor taalontwikkeling te analyseren.

Methodologie
Om het tekort aan gouden standaardtrainingsdata aan te pakken, stellen de auteurs een computationele pipeline voor die Large Language Models (LLM's) benut om annotaties te genereren, die vervolgens worden gebruikt om een supervised classifier te trainen.

1. Taalkundig Kader: De aanpak is gebaseerd op gevestigde taalkundige diagnostiek voor manier- en resultaatwerkwoorden, waaronder:
   • Syntactische Diagnostiek: Weglating van het object (manierwerkwoorden verschijnen vaak zonder object; resultaatwerkwoorden vereisen deze doorgaans) en causatief/inchoatief alternatie (resultaatwerkwoorden staan dit toe; manierwerkwoorden over het algemeen niet).
   • Semantische Diagnostiek: Teliciteit (of een handeling een natuurlijk eindpunt heeft) en de aard van de verandering (scalaire versus niet-scalar).
2. LLM-gebaseerde Annotatiepipeline:
   • Data Bron: Zinnen werden gehaald uit het Manually Annotated Sub-Corpus (MASC) en het InterCorp parallelle corpus, bestrekkend 4.492 zinnen en 2.554 unieke werkwoordvoorkomens.
   • Prompt Engineering: Twee verschillende prompts werden ontworpen voor GPT-4o om niet-statische werkwoorden te classificeren:
     • Prompt 1 richtte zich op semantische eigenschappen (scalaire versus niet-scalar veranderingen inherent aan de werkwoordstam).
     • Prompt 2 richtte zich op zinsstructuur (weglating van het object en alternatiepatronen).
   • Sequentielabeling: In plaats van binaire classificatie werd de taak geformuleerd als sequentielabeling (vergelijkbaar met POS-tagging). De LLM's labelden tokens in zinnen, met onderscheid tussen resultaat, manier, statief en andere categorieën. Dit maakte isolatie van niet-statische werkwoorden mogelijk, waardoor misclassificatie van hulpwerkwoorden of modale werkwoorden werd vermeden.
3. Modeltraining:
   • Een RoBERTa-base model (125M parameters) werd fine-tuned op de door LLM's gegenereerde annotaties.
   • De architectuur omvat een Byte Pair Encoding-tokenizer, de RoBERTa-ruggengraat voor contextuele embeddings, mean pooling voor feature-selectie en een classificatiekop met label-smoothing.
   • Het model werd getraind om token-niveau labels te voorspellen voor 17 standaard POS-tags plus twee nieuwe semantische tags: resultaat en manier.

Belangrijkste Bijdragen

• Schaalbaar Kader: De auteurs presenteren het eerste computationele kader voor het identificeren van manier- en resultaatwerkwoorden in zinscontext, waarbij de dekking wordt uitgebreid van 151 eerder geannoteerde VerbNet-classes naar 436 classes.
• Annotatiepipeline: Zij introduceren een methode voor het genereren van trainingsdata met behulp van taalkundig onderbouwde LLM-prompts bij gebrek aan grote gouden standaardbronnen.
• Geverifieerde Classifier: Zij tonen aan dat een op RoBERTa gebaseerde classifier, getraind op deze door LLM's gegenereerde annotaties, manier- en resultaatwerkwoorden betrouwbaar kan onderscheiden.
• Publicatie van Bronnen: De code en het nieuw geannoteerde dataset (bestrekkend 436 VerbNet-classes) zijn publiek beschikbaar gesteld om toekomstig onderzoek te ondersteunen.

Resultaten
Het model werd geëvalueerd op drie vastgehouden gouden standaarddatasets:

1. Een Linguist werkwoordstam-dataset (83 werkwoorden uit eerder werk over lexische semantiek).
2. Een Psycholinguistisch werkwoordstam-dataset (77 werkwoorden uit Horvath et al., 2022).
3. Een Expert-geannoteerd dataset (nieuw gecreëerd door een expert taalkundige om 346 VerbNet-classes te bestrijken).

• Prestaties: Het model getraind op semantische prompts (Model 1) presteerde consequent beter dan het model getraind op syntactische prompts (Model 2).
• Nauwkeurigheid: Over de drie datasets heen bereikte het best presterende model een gemiddelde nauwkeurigheid van tot 89,6%.
  • Op het Linguist-dataset bereikte Model 1 94% nauwkeurigheid.
  • Op het Psycholinguistisch dataset bereikte Model 1 90% nauwkeurigheid.
  • Op het Expert-geannoteerd dataset bereikte Model 1 86% nauwkeurigheid.
• Observaties: De auteurs merken op dat semantische eigenschappen van de werkwoordstam voor deze taak kritischer lijken dan zinsstructuur alleen. Discrepanties in het Psycholinguistisch dataset (bijv. lagere recall voor resultaatwerkwoorden) werden toegeschreven aan potentiële grensgevallen of verschillen in annotatiecriteria tussen ontwikkelingsonderzoek en strikte taalkundige definities.

Betekenis en Aanspraken
De auteurs positioneren dit werk als een schaalbaar meetinstrument in plaats van een klinisch diagnostisch instrument.

• Onderzoekswaarde: Het hulpmiddel stelt onderzoekers in staat fijnmazigere semantische eigenschappen van werkwoordvocabulaires in grote corpora voor taalontwikkeling (bijv. CHILDES) te meten, wat mogelijk verduidelijkt welke aspecten van vroege taal geassocieerd zijn met latere uitkomsten zoals Ontwikkelingsstoornis in Taal (OST).
• Bescheidenheid en Beperkingen: Het artikel erkent expliciet beperkingen, waaronder de afhankelijkheid van LLM's die statistische inconsistenties kunnen introduceren, de uitsluiting van polyseme werkwoorden en gemengde manier/resultaatgevallen (bijv. guillotine, drijven), en het gebrek aan inter-rater betrouwbaarheid door een schaarste aan expert-annotators.
• Toekomstige Richtingen: De auteurs stellen dat verdere validatie vereist is voor grensgevallen en downstream toepassingen in ontwikkeling voordat het hulpmiddel kan worden gebruikt voor diagnostische besluitvorming. Zij zien het huidige systeem als een stap naar rijkere corpusgebaseerde analyses van vroege werkwoordlering, wat de hypothese ondersteunt dat semantische compositie van input informatiever kan zijn dan brede lexische maatstaven.