Language Models Generalize to Human-like Word Order Preferences

Stel je voor dat je een robot probeert te leren een nieuwe taal te spreken, maar je besluit een grapje met hem te spelen. Je geeft de robot een enorme bibliotheek vol boeken, maar je scheurt zorgvuldig elke pagina eruit die een zin bevat met meer dan één beschrijving voor een zelfstandig naamwoord. Zo leert de robot dat je "de rode bal" of "de grote bal" kunt zeggen, maar hij ziet nooit "de grote rode bal" of "de rode grote bal". Hij heeft geen direct bewijs van hoe je meerdere beschrijvingen bij elkaar stapelt. Als je de robot dan vraagt om de volgorde van een nieuwe zin als "de grote rode bal" te raden, zal hij dan maar lukraak gokken? Of zal hij op de een of andere manier de verborgen logica van taal ontdekken en de juiste volgorde kiezen, net zoals een menselijk kind dat zou doen?

Dit is het soort puzzel dat in het hart van de taalkunde en kunstmatige intelligentie ligt. Wetenschappers vragen zich al lang af of mensen worden geboren met een speciale "taalchip" in hun hersenen die hen vertelt hoe ze woorden moeten ordenen, of dat we simpelweg alles leren door patronen te opmerken in wat we horen. Om dit te testen, gebruiken onderzoekers iets dat "Artificial Language Learning" (kunstmatig taalonderwijs) wordt genoemd. Het is als een gecontroleerd experiment waarbij ze mensen of machines een piepkleine, verzonnen taal met ontbrekende stukjes leren om te zien hoe ze de gaten invullen. Als een leerling een specifiek patroon kiest dat hij nog nooit heeft gezien, suggereert dit dat hij een ingebouwde bias heeft of een slimme manier van raden gebruikt op basis van de structuur van de wereld, en niet alleen op basis van de frequentie van woorden. Dit artikel duikt in dat mysterie met behulp van moderne AI-taalmodellen als onze proefkonijnen.

---

Het Grote Woordvolgorde-mysterie

In dit onderzoek besloten onderzoekers Amanda Popadich en Shane Steinert-Threlkeld te kijken of computerprogramma's, bekend als taalmodellen, hetzelfde magische trucje kunnen uitvoeren als menselijke leerlingen. Ze wilden weten: Kan een machine de "regels" leren van hoe je bijvoeglijke naamwoorden en getallen stapelt zonder ooit een enkel voorbeeld van een gestapelde frase te hebben gezien?

De specifieke regel waar ze naar op zoek waren, wordt scope-homomorfie genoemd. Dat is een chique manier om te zeggen dat de volgorde van woorden in een frase moet overeenkomen met de volgorde van hun betekenis. Denk aan Russische matroesjka-poppen. Als je een "grote rode bal" hebt, beschrijft het woord "rood" de bal direct, en "groot" beschrijft de "rode bal". In het Engels plaatsen we de grotere, buitenste beschrijving ("groot") van nature eerst, en de specifieke, binnenste beschrijving ("rood") dichter bij het zelfstandig naamwoord. De onderzoekers wilden zien of hun AI-modellen van nature de voorkeur zouden geven aan deze "matroesjka-volgorde", zelfs als ze getraind waren op een dieet van alleen frases met één beschrijving.

Het Experiment: Een Taaldieet

Om dit te testen, creëerde het team een zeer strikte trainingsomgeving. Ze namen een groot deel van het internet (specifiek de 2023 Wikipedia-dump) en filterden dit. Ze gebruikten een computerprogramma om elke zin te vinden met een zelfstandig naamwoord dat twee of meer modifiers had (zoals "die twee pluizige honden") en braken deze af. Ze vervingen "die twee pluizige honden" door aparte voorbeelden zoals "die honden", "twee honden" en "pluizige honden".

Het resultaat was een dieet van "poverty of the stimulus" (armoede van de stimulus). De modellen kregen 100 miljoen woorden gevoerd, maar zagen nooit een enkel voorbeeld van een zelfstandig naamwoord met twee modifiers. Ze leerden de afzonderlijke ingrediënten, maar zagen nooit de uiteindelijke taart. Vervolgens testten de onderzoekers de modellen door hen te laten kiezen tussen twee versies van een zin: de versie die de "matroesjka-logica" volgde (scope-homomorfisch) en de versie die dat niet deed.

Ze testten drie verschillende groottes van AI-modellen: een kleine (52 miljoen parameters), een medium (110 miljoen) en een grote (350 miljoen).

De Resultaten: De AI Begrijpt het

De bevindingen waren verrassend consistent. Ondanks dat de modellen tijdens hun training nooit een frase met meerdere modifiers hadden gezien, gaven alle drie de modellen consequent de voorkeur aan de "matroesjka-volgorde".

Toen de onderzoekers de modellen vroegen om te kiezen tussen "die twee honden" (de logische volgorde) en "twee die honden" (de door elkaar gehusselde volgorde), kozen de modellen overweldigend voor de logische variant.

• Het kleine model had het in ongeveer 76% van de gevallen goed.
• Het medium model had het in ongeveer 73% van de gevallen goed.
• Het grote model had het in ongeveer 70% van de gevallen goed.

Dit suggereert dat de modellen de trainingsdata niet alleen hebben uit het hoofd geleerd, maar een regel hebben gegeneraliseerd. Ze ontdekten dat wanneer je meerdere beschrijvingen hebt, er een specifieke, logische manier is om ze te rangschikken, zelfs zonder dat ze het antwoord expliciet zijn getoond. Interessant genoeg veranderde de grootte van het model de resultaten niet veel; de kleine, medium en grote modellen vertoonden allemaal deze bias, wat suggereert dat het een robuust kenmerk is van hoe deze systemen van taal leren.

De Twist: Het Gaat Niet Alleen Om Woordcombinaties

De onderzoekers stelden vervolgens een vervolgvraag: Hoe hebben de modellen dit ontdekt? Een populaire theorie is dat leerlingen simpelweg kijken naar hoe vaak woorden bij elkaar voorkomen. Bijvoorbeeld: misschien staat "rood" meestal vlak naast "bal", dus moet het altijd dichter bij het zelfstandig naamwoord staan dan "groot". Dit wordt gemeten met iets dat Pointwise Mutual Information (PMI) wordt genoemd, wat in feite een score is van hoe sterk twee woorden met elkaar geassocieerd zijn.

Het team controleerde de wiskunde. Ze berekenden de associatiescores voor de woorden in hun trainingsdata. Ze kwamen erachter dat, ja, bijvoeglijke naamwoorden sterk geassocieerd zijn met zelfstandige naamwoorden, en getallen en aanwijzende voornaamwoorden (zoals "die") minder zo zijn. Als de modellen alleen deze associatiescores zouden volgen, zouden ze in staat moeten zijn geweest om de woordvolgorde perfect te voorspellen.

Maar hier kwam de twist: de associatiescores slaagden er niet in om de keuzes van de modellen te voorspellen.

Toen de onderzoekers de werkelijke keuzes van de modellen vergeleken met wat de wiskunde voorspelde, was de correlatie bijna nul. De modellen kozen de juiste volgorde, maar ze deden dat niet omdat ze telden hoe vaak woorden samen voorkwamen. Dit suggereert dat de modellen iets diepers oppikken — misschien wel een structureel begrip van hoe taal werkt — dat verder gaat dan eenvoudige statistieken van woordparen.

Wat Dit Betekent

Dit onderzoek laat zien dat taalmodellen menselijke linguïstische generalisaties kunnen herstellen uit "gearmeerde" input. Net zoals een menselijk kind dat de juiste woordvolgorde kan raden in een nieuwe taal zonder alle mogelijke combinaties te zien, vonden deze AI-modellen een patroon dat niet expliciet in hun trainingsdata zat.

De auteurs waarschuwen echter dat dit niet bewijst dat AI precies op dezelfde manier leert als mensen. De modellen zijn geen bewuste kinderen; het zijn complexe statistische motoren. Maar het feit dat ze deze bias ontwikkelden zonder dat ze het werd verteld, suggereert dat je niet noodzakelijkerwijs een vooraf geprogrammeerde "taalchip" nodig hebt om deze regels te leren. Soms kunnen de regels van taal natuurlijk voortkomen uit de ervaring van het leren, zelfs wanneer het bewijs incompleet is.

De onderzoekers merkten ook een klein verschil op tussen de AI en mensen: terwijl mensen meestal de sterkste voorkeur tonen voor de ordening van aanwijzende voornaamwoorden en bijvoeglijke naamwoorden (zoals "die grote hond"), toonden de AI-modellen de sterkste voorkeur voor aanwijzende voornaamwoorden en getallen (zoals "die twee honden"). Dit geeft aan dat hoewel het algemene vermogen om te generaliseren aanwezig is, de specifieke nuances van de bias kunnen afhangen van de details van de trainingsdata.

Uiteindelijk geeft dit artikel ons een handig nieuw instrument om taal te begrijpen. Door AI-modellen te voeden met een dieet van ontbrekende informatie, kunnen we zien wat ze uit zichzelf "raden", wat ons helpt te begrijpen of de regels van taal hard-wired zijn of geleerd worden uit de patronen van de wereld.