Differences in Typological Alignment in Language Models' Treatment of Differential Argument Marking

Technische Samenvatting: Verschillen in Typologische Alignering in de Behandeling van Differentiële Argumentmarkering door Taalmodellen

Probleemstelling
Recent onderzoek geeft aan dat taalmodellen (LM's) die zijn getraind op synthetische corpora typologische voorkeuren kunnen vertonen die lijken op interlinguïstische regulariteiten, met name in structurele domeinen zoals woordvolgorde. Het blijft echter onduidelijk of deze neigingen zich uitbreiden tot systemen waar grammaticale correctheid afhankelijk is van semantische factoren in plaats van puur structurele configuraties. Dit artikel onderzoekt deze kloof aan de hand van Differentiële Argumentmarkering (DAM), een linguïstisch fenomeen waarbij argumenten morfologische markering ontvangen op basis van semantische eigenschappen zoals animatie, definitheid en pronominaliteit. Specifiek vragen de auteurs of LM's die zijn getraind met standaard next-token predictiedoelstellingen typologische bias ontwikkelen in DAM die overeenkomt met menselijke talen, en zo ja, of deze bias voortkomt uit dezelfde onderliggende bronnen als menselijke typologische neigingen.

Methodologie
De auteurs hanteren een gecontroleerd paradigma voor synthetische corpora met GPT-2-small-modellen die vanaf nul zijn getraind.

• Corpusconstructie: Uitgaande van een subset van het OpenSubtitles-corpus (Engels) extraheren de auteurs ongeveer 21 miljoen SVO-clausules. Ze annoteren argumenten voor semantische eigenschappen (animatie, definitheid, pronominaliteit) met behulp van op BERT gebaseerde classifiers.
• Regelinjectie: Ze construeren 18 verschillende synthetische corpora door DAM-regels in de Engelse tekst in te voegen. Deze regels worden geparametriseerd langs vier dimensies:
  1. Semantische Trigger: Animatie, Definitheid of Pronominaliteit.
  2. Complexiteit van de Afhankelijkheid: Lokaal (markering hangt af van de eigenschap van één argument) versus Globaal (markering hangt af van de relatieve prominentie van onderwerp en object).
  3. Richting van Markering: Natuurlijk (markering richt zich op semantisch atypische/minder frequente argumenten) versus Inverse (markering richt zich op typische argumenten).
  4. Doel van het Argument: Objectgericht (markering van de patiënt) versus Onderwerpgericht (markering van de agent).
• Evaluatie: Modellen worden geëvalueerd op regelmacht aan de hand van minimale paren. Voor elke conditie worden 1.000 vastgehouden zinnenparen gegenereerd waarbij één zin de ingevoegde DAM-regel volgt en de andere deze schendt. De prestatie wordt gemeten aan de hand van het percentage keren dat het model een lagere negatieve log-waarschijnlijkheid (NLL) toekent aan de grammaticale zin.
• Auxiliaire Analyses: Het onderzoek omvat tests voor de nauwkeurigheid van markerplaatsing, semantische probing (om te waarborgen dat semantische informatie niet verloren gaat) en BLiMP-diagnostische taken (om te waarborgen dat DAM-injectie het algemene grammaticale leren niet verslechtert).

Belangrijkste Resultaten
De experimenten onthullen een dissociatie tussen twee belangrijke typologische dimensies van DAM:

1. Richting van Markering (Sterke Alignering): Modellen reproduceren betrouwbaar de menselijke typologische voorkeur voor natuurlijke markering. Over alle semantische triggers en afhankelijkheidstypen heen leren modellen natuurlijke regels (waarbij overt markering zich richt op atypische argumenten) significant beter dan inverse regels.

   • Gemiddelde beste nauwkeurigheid voor Natuurlijke regels: ~85%.
   • Gemiddelde beste nauwkeurigheid voor Inverse regels: ~68%.
   • Dit voordeel blijft bestaan, zelfs wanneer gecontroleerd wordt voor inputfrequentie, wat suggereert dat het wordt gedreven door leerbaarheidsdynamiek in plaats van louter blootstelling.

2. Voorkeur voor Argument (Zwakke/Geen Alignering): Modellen reproduceren de sterke menselijke typologische voorkeur voor objectgerichte systemen niet. Hoewel objectgerichte regels een licht gemiddeld voordeel toonden ten opzichte van onderwerpgerichte regels (~79% versus ~74%), is dit verschil aanzienlijk kleiner dan het markeringseffect en statistisch minder significant.

   • Lokale regels werden succesvoller geleerd dan globale regels (~77% versus ~59%), wat een bias ten opzichte van informatie-localiteit weerspiegelt.
   • De prestatiekloof tussen natuurlijke en inverse varianten was kleiner voor objectgerichte regels dan voor onderwerpgerichte regels, wat suggereert dat modellen semantische eigenschappen van het onderwerp robuuster coderen.

3. Auxiliaire Bevindingen:

   • Markerplaatsing: Modellen behaalden een nauwkeurigheid die dicht bij het plafond lag bij het correct plaatsen van markers, wat aangeeft dat mislukkingen in regelmacht niet te wijten zijn aan een onvermogen om de marker in de string te lokaliseren.
   • Semantische Probing: Lineaire probes bevestigden dat modellen semantische informatie (animatie, definitheid, pronominaliteit) behouden voor zowel onderwerpen als objecten, waarmee semantische degradatie als oorzaak voor prestatieverschillen wordt uitgesloten.
   • BLiMP: DAM-injectie heeft de capaciteit van de modellen om andere grammaticale fenomenen te leren niet significant belemmerd.

Betekenis en Beweringen
Het artikel betoogt dat de waargenomen dissociatie bewijs levert met betrekking tot de verschillende bronnen van typologische asymmetrieën:

• Markering als Leerbaarheid: De sterke alignering met natuurlijke markering suggereert dat deze typologische neiging kan ontstaan uit distributie-regulariteiten en formele leerbaarheid. Natuurlijke markeringssystemen reduceren voorspellingsonzekerheid (surprisal) door expliciete lokale signalen te bieden voor minder frequente configuraties, wat overeenkomt met de inductieve bias van autoregressieve modellen die zijn geoptimaliseerd voor next-token predictie.
• Voorkeur voor Argument als Discourse-gedreven: Het ontbreken van een sterke objectvoorkeur in modellen suggereert dat deze typologische asymmetrie afhankelijk is van factoren die niet worden vastgelegd door standaard next-token training, zoals discursstructuur, thematische prominentie en communicatieve druk (bijvoorbeeld de neiging dat objecten atypische discursrollen aannemen zoals topicaliteit).
• Conclusie: Verschillende typologische neigingen weerspiegelen verschillende onderliggende drukken. Sommige, zoals de richting van markering, zijn toegankelijk voor LM's via lokaal statistisch leren, terwijl andere, zoals voorkeur voor argument, waarschijnlijk interactieve of diachrone druk vereisen die standaard trainingsdoelstellingen niet simuleren.

Beperkingen
De auteurs wijzen op enkele beperkingen: het gebruik van één kleine architectuur (GPT-2-small), de afhankelijkheid van het Engels (een SVO-taal waar casemarkering minder kritiek is dan in talen met flexibele woordvolgorde), en de vereenvoudigde operationalisering van DAM-triggers (waarbij deze worden behandeld als onafhankelijke binaire kenmerken in plaats van interactieve, discoursgevoelige eigenschappen). Bovendien was de frequentie van gemarkeerde versus ongemarkeerde instanties niet volledig experimenteel gecontroleerd, hoewel de auteurs betogen dat frequentie alleen de waargenomen asymmetrieën niet verklaart.