Manipulating language models' training data to study syntactic constraint learning: the case of English passivization

Deze studie toont aan dat taalmodellen, door het manipuleren van hun trainingsdata, leren dat de passiviseerbaarheid van werkwoorden in het Engels zowel door frequentie (verankering) als door semantiek (aangedaanheid) wordt bepaald, wat aantoont dat dergelijke uitzonderingen op algemene grammaticale patronen uit linguïstische input kunnen worden afgeleid.

De kern

Stel je voor dat taal een enorme, levende stad is. In deze stad gelden er regels, zoals: "Als je een auto rijdt, moet je een rijbewijs hebben." Maar net als in het echte leven zijn er uitzonderingen. Soms mag je met een auto rijden zonder rijbewijs (een politiewagen), en soms mag je met een fiets geen rijbewijs tonen (dat is raar).

De vraag die deze wetenschappers stellen, is: Hoe leren mensen (en computers) deze uitzonderingen?

In het Engels is er een grammaticale regel die heet "passief". Je kunt zinnen veranderen van "De man at de appel" (actief) naar "De appel werd gegeten door de man" (passief). Voor de meeste werkwoorden werkt dit prima. Maar voor sommige werkwoorden, zoals lasten (duren), werkt het niet. Je zegt "De vergadering duurde een uur", maar je kunt niet zeggen: "Een uur werd geduurd door de vergadering." Dat klinkt als onzin.

De vraag is: Hoe weet een kind (of een computer) dat duur niet in het passief mag, terwijl eten dat wel mag? Ze hebben nooit een volwassene horen zeggen: "Nee, dat mag niet!" Ze moeten het zelf afleiden uit wat ze horen.

De auteurs van dit paper gebruiken kunstmatige intelligentie (AI) als een proefkonijn om dit geheim te ontrafelen. Ze hebben twee theorieën getest:

1. De "Herhalingstheorie" (Entrenchment)

De analogie: Stel je voor dat je een nieuwe danspas leert. Als je die pas 100 keer ziet dansen in de "standaard" stijl, maar nooit in de "omgekeerde" stijl, ga je er vanzelf van uit dat de omgekeerde stijl niet bestaat.

• Het idee: Kinderen (en AI) tellen gewoon. Als ze een werkwoord vaak horen in de actieve vorm ("De vergadering duurde...") en bijna nooit in de passieve vorm, denken ze: "Ah, dit werkwoord mag niet passief."
• Het experiment: De onderzoekers namen een enorme hoeveelheid tekst (zoals een heel boek) en verwijderden daaruit alle zinnen waarin bepaalde werkwoorden in het passief voorkwamen. Ze lieten de AI deze "gezuiverde" tekst leren.
• Het resultaat: De AI begon deze werkwoorden echt als "verboden" in het passief te zien. Dus, herhaling helpt! Als je iets vaak ziet en nooit andersom, leer je dat het andersom niet mag.

2. De "Betekenis-theorie" (Affectedness)

De analogie: Denk aan een bakker die een taart maakt. De taart verandert van toestand (van deeg naar taart). Dat is een "veranderende" actie. Maar denk aan een muur die "staat". Die muur verandert niet echt; hij is gewoon daar.

• Het idee: Werkwoorden die een verandering teweegbrengen (de taart wordt gebakken, de appel wordt gegeten) werken goed in het passief. Werkwoorden die alleen een toestand beschrijven (de vergadering duurt, de auto kost geld) werken niet goed in het passief, omdat er niets "gebeurt" of "verandert" aan het onderwerp.
• Het experiment: De onderzoekers bedachten een trucje. Ze namen een werkwoord dat normaal gesproken niet in het passief mag (zoals duur), en ze "vermomden" het. Ze plaatsten het in zinnen die normaal gesproken bij werkwoorden horen die wél veranderen (zoals "De machine duurde de machine kapot" – een rare zin, maar ze veranderden de context). Ze gaven de AI dus de signaal dat dit werkwoord iets veranderde.
• Het resultaat: De AI begon dit werkwoord plotseling wel acceptabel te vinden in het passief! De AI leerde: "Oh, als het woord iets verandert, dan mag het in het passief." Dus, betekenis helpt ook!

De Grote Ontdekking: Het is een teamwerk

De meest interessante ontdekking is dat deze twee theorieën allebei waar zijn, maar ze werken onafhankelijk van elkaar.

• De "Twee-Poots" Analogie: Stel je voor dat het leren van taal twee poten heeft.
  • Poot 1 is Aantallen (Hoe vaak heb ik het gezien?).
  • Poot 2 is Betekenis (Verandert er iets?).
    Als je alleen op Poot 1 leunt, mis je de nuance. Als je alleen op Poot 2 leunt, mis je de statistiek. De AI (en waarschijnlijk mensen) gebruiken beide poten om te beslissen of een zin goed klinkt of niet.

Waarom is dit belangrijk?

Vroeger dachten wetenschappers dat we misschien "ingebouwde" regels in ons hoofd hebben (alsof we geboren worden met een handleiding voor taal). Dit paper suggereert dat we dat misschien niet nodig hebben. We kunnen alles leren door simpelweg naar de wereld te kijken, te tellen wat we horen, en te kijken of er iets verandert.

De onderzoekers gebruiken AI als een tijdmachine. Ze kunnen de "kindertijd" van een computer manipuleren op een manier die bij echte mensen onmogelijk is (bijvoorbeeld: "Laat dit kind nooit horen dat 'duur' in het passief wordt gebruikt"). Hierdoor kunnen ze bewijzen wat er precies nodig is om taal te leren.

Kort samengevat:
Taal is niet alleen een lijstje regels die we uit ons hoofd moeten leren. Het is een slimme combinatie van statistiek (wat zie ik vaak?) en logica (wat betekent dit?). En dankzij deze slimme computers weten we nu dat beide factoren essentieel zijn om te begrijpen waarom sommige zinnen klinken als muziek en andere als een gebroken radio.

Technische samenvatting

Probleemstelling

Natuurlijke talen bevatten grammaticale regels die vaak uitzonderingen kennen. Een centraal vraagstuk in de taalverwerving is hoe lerenden deze uitzonderingen op algemene patronen leren, gezien ze zelden directe negatieve feedback (correcties) ontvangen. Dit staat bekend als het "Baker's Paradox": hoe onderscheiden lerenden vormen die niet voorkomen omdat ze ongrammaticaal zijn, van vormen die simpelweg door toeval niet zijn waargenomen?

Het artikel focust op het specifieke geval van passivering in het Engels. Hoewel passivering over het algemeen productief is (bijv. "The cup was dropped"), zijn er werkwoorden die niet kunnen worden gepassiveerd (bijv. "*One hour was lasted by the meeting"). De auteurs onderzoeken welke bronnen van indirecte bewijslast lerenden gebruiken om deze beperkingen te leren. Twee hoofdhypothesen worden getest:

1. De Verankeringshypothese (Entrenchment Hypothesis): Lerenden gebruiken de statistische verdeling van werkwoorden. Als een werkwoord frequent voorkomt in de actieve vorm maar zelden of nooit in de passieve vorm, concluderen lerenden dat de passieve vorm ongrammaticaal is.
2. De Aangedaanheidshypothese (Affectedness Hypothesis): Passivering is afhankelijk van de semantiek van het werkwoord. Een werkwoord kan alleen worden gepassiveerd als het onderwerp (het thema) door de actie wordt "aangedaan" (een verandering van staat, locatie of bestaan ondergaat).

Methodologie

De auteurs gebruiken neurale netwerk-taalmodellen als theorieën voor taalverwerving. Dit biedt een unieke mogelijkheid om volledige controle uit te oefenen over de input die de "lerende" ontvangt, wat bij menselijke proefpersonen onmogelijk is.

Experimenteel Ontwerp:

• Model Architectuur: Ze trainden Transformer-modellen (gebaseerd op GPT-2 Small, 117M parameters) op een corpus van ongeveer 100 miljoen woorden (een schaal die vergelijkbaar is met de taalinput die een kind krijgt tot de adolescentie).
• Experiment 1 (Validatie):
  • 1A: Verzameling van acceptabiliteitsbeoordelingen van menselijke moedertaalsprekers voor actieve en passieve zinnen met 28 werkwoorden (18 kritische, niet-pasiveerbare werkwoorden; 10 controlegroepen).
  • 1B: Vergelijking van deze menselijke oordelen met die van het getrainde taalmodel om te zien of het model menselijke patronen nabootst.
• Experiment 2 (Causale Interventies):
  • 2A (Verankering): Het corpus werd gemodificeerd om de Active-to-Passive ratio (A/P-ratio) van specifieke werkwoorden te manipuleren. Werkwoorden die normaal gesproken goed passiveren, werden geforceerd om een hoge A/P-ratio te krijgen (veel actieve, weinig passieve zinnen) door passieve zinnen uit het corpus te verwijderen.
  • 2B (Aangedaanheid): Het corpus werd gemodificeerd om de semantische context te veranderen. Werkwoorden die normaal niet passiveren (lage aangedaanheid) werden vervangen in actieve zinnen door werkwoorden die wel passiveren (hoge aangedaanheid), zodat de "niet-pasiveerbare" werkwoorden nu in contexten voorkwamen met patiënten die wel werden "aangedaan".
• Experiment 3 (Interactie):
  • Een nieuw werkwoord werd geïntroduceerd dat uitsluitend in actieve zinnen voorkwam. De auteurs varieerden de frequentie van dit werkwoord en de semantische context (hoge vs. lage aangedaanheid) om te testen of deze factoren onafhankelijk of interactief werken.

Belangrijkste Bijdragen

1. Methodologische Innovatie: Het artikel demonstreert een robuuste methode om taalmodellen te gebruiken voor causale inferentie in taalverwerving door het trainingscorpus doelbewust te manipuleren (interventie-experimenten).
2. Operationalisatie van Hypothesen: Het biedt een kwantitatief kader om de bijdrage van frequentie (verankering) en semantiek (aangedaanheid) te scheiden, wat in menselijke studies moeilijk te doen is door de hoge correlatie tussen deze factoren in natuurlijke taal.
3. Benchmarking: Het creëert een gedetailleerde dataset van menselijke oordelen over gradaties in passiveerbaarheid, die dient als benchmark voor computergestuurde modellen.

Resultaten

• Mens-Model Overeenkomst: De taalmodellen tonen een sterke correlatie ($r = 0.9$) met menselijke oordelen over de acceptabiliteit van passieve zinnen. Dit suggereert dat taalmodellen, ondanks hun beperkte input, indirecte bewijslast kunnen gebruiken om uitzonderingen te leren. Simpele trigram-modellen presteerden aanzienlijk slechter, wat aangeeft dat transformer-architecturen meer dan alleen oppervlakkige frequenties nodig hebben.
• Verankering (Experiment 2A): Het verhogen van de A/P-ratio (meer actieve, minder passieve voorbeelden) leidde tot een significant toename in de "passive drop" (het verschil in acceptabiliteit tussen actief en passief) voor de gemanipuleerde werkwoorden. Dit ondersteunt de verankeringshypothese, maar het effect was niet volledig; de werkwoorden werden niet even onaanvaardbaar als de oorspronkelijke uitzonderingen.
• Aangedaanheid (Experiment 2B): Het veranderen van de semantische context (werkwoorden in zinnen plaatsen met "aangedane" argumenten) had een significant effect op de passiveerbaarheid. Werkwoorden werden als meer passiveerbaar beoordeeld wanneer ze in contexten met hoge aangedaanheid voorkwamen. Het effect was echter werkwoord-afhankelijk.
• Interactie (Experiment 3): Bij het introduceren van een nieuw werkwoord bleek dat zowel frequentie als aangedaanheid onafhankelijke bijdragen leverden aan de passiveerbaarheid. Er werd geen significante interactie gevonden tussen de twee factoren. Frequentie had een groter effect dan aangedaanheid, maar beide waren nodig om menselijke oordelen volledig te verklaren.

Significantie en Conclusie

De studie concludeert dat zowel verankering (frequentie) als semantiek (aangedaanheid) onafhankelijke en causale bronnen van indirecte bewijslast zijn voor het leren van syntactische beperkingen. Geen enkele factor alleen verklaart de volledige variatie in menselijke oordelen; de input bevat dus meerdere signalen.

De implicaties zijn tweeledig:

1. Voor taalmodellen: Het toont aan dat transformer-modellen, zelfs met menselijke hoeveelheden data, complexe syntactische uitzonderingen kunnen leren door statistische patronen en semantische context te combineren.
2. Voor taalverwervingstheorie: Het biedt een "bestaansbewijs" dat menselijke lerenden deze patronen theoretisch kunnen leren via indirecte bewijslast zonder expliciete correctie. Echter, de auteurs waarschuwen dat de leermechanismen van neurale netwerken (gebaseerd op next-word prediction) fundamenteel kunnen verschillen van die van mensen, die ook sociale interactie en sensorimotorische ervaring gebruiken.

De paper benadrukt de waarde van het manipuleren van trainingsdata als een krachtige methode om hypothesen over taalverwerving te testen die in menselijk onderzoek niet toepasbaar zijn.