💻 computer science

Black Big Boxes: Tracing Adjective Order Preferences in Large Language Models

Dit artikel onderzoekt hoe grote taalmodellen Engelse voorkeuren voor de volgorde van bijvoeglijke naamwoorden verwerven, waarbij wordt vastgesteld dat hoewel hun voorspellingen grotendeels de frequenties in de trainingsdata weerspiegelen, ze ook een robuuste generalisatie vertonen naar ongeziene combinaties en effectief contextuele aanwijzingen benutten die verder gaan dan eenvoudige memorisatie.

Oorspronkelijke auteurs: Jaap Jumelet, Lisa Bylinina, Willem Zuidema, Jakub Szymanik

Gepubliceerd 2026-02-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaap Jumelet, Lisa Bylinina, Willem Zuidema, Jakub Szymanik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert Engels te spreken. Je wilt weten of de robot daadwerkelijk de regels leert van hoe je woorden bij elkaar zet, of dat hij gewoon een soort superkrachtige papegaai is die elke zin die hij ooit heeft gehoord, heeft uit het hoofd geleerd.

Dit artikel onderzoekt die vraag door te kijken naar bijvoeglijke naamwoordenvolgorde — de manier waarop wij van nature beschrijvende woorden vóór een zelfstandig naamwoord stapelen. Bijvoorbeeld, we zeggen "een grote rode doos" (a big red box), en niet "een rode grote doos" (a red big box). Als je ze omdraait, klinkt het een beetje vreemd, ook al is het niet strikt "fout".

Hier is wat de onderzoekers ontdekten, uitgelegd via eenvoudige analogieën:

1. De robot is (grotendeels) een "Statistische Papegaai"

De onderzoekers trainden een groot taalmodel (een type AI) en testten het vervolgens op duizenden paren bijvoeglijke naamwoorden. Ze vroegen: Verkiest de robot "grote rode" boven "rode grote"?

De bevinding: De robot is hier ongelooflijk goed in. Sterker nog, zijn voorkeuren worden bijna volledig verklaard door hoe vaak hij deze woorden samen heeft gezien in zijn trainingsdata.

De analogie: Stel je een chef-kok voor die 10.000 maaltijden heeft gekookt. Als hij in al zijn recepten altijd zout vóór peper gebruikt, zal hij dat instinctief ook doen in een nieuw gerecht. De robot begrijpt niet noodzakelijkerwijs waarom zout voor peper komt, hij weet alleen dat "zout-peper" een zeer gebruikelijk patroon is in de boeken die hij heeft gelezen.
Het bewijs: De onderzoekers vonden een directe lijn tussen de frequentie van woordparen in de trainingsdata en de keuzes van de robot. Als de data zegt dat "corporate social" veel voorkomt, kiest de robot dat. Als "social corporate" zeldzaam is, vermijdt de robot het.

2. De robot kan nieuwe combinaties "raden"

Hier komt de wending. Als de robot slechts een papegaai was die een lijstje uit het hoofd leerde, zou hij moeten falen wanneer hij een combinatie van woorden ziet die hij nog nooit heeft gezien.

De bevinding: De robot doet het eigenlijk verrassend goed met gloednieuwe paren bijvoeglijke naamwoorden die hij niet heeft uit het hoofd geleerd.

De analogie: Stel je voor dat de chef nog nooit een "pittig zoete" (spicy sweet) gerecht heeft gemaakt. Maar omdat hij weet hoe "pittig" en "zoet" zich in andere gerechten meestal gedragen, kan hij de juiste volgorde raden voor een nieuw recept.
Het bewijs: Zelfs toen de robot werd geconfronteerd met paren bijvoeglijke naamwoorden die nul keer in zijn trainingsdata voorkwamen, koos hij nog steeds in ongeveer 85% van de gevallen de natuurlijke volgorde. Dit suggereert dat de robot een onderliggend "gevoel" voor woordvolgorde heeft geleerd, en niet slechts een lijst met onthouden zinnen.

3. Context is de "Magische Zaklamp"

De onderzoekers testten de robot ook met en zonder de rest van de zin (de context).

De bevinding: De robot wordt veel slimmer als je hem de volledige zin geeft.

De analogie: Stel je voor dat je iemand hoort zeggen: "Pak de houten grote doos" (wooden large box). Zonder context klinkt dit fout. Maar als de zin is: "Pak de houten grote doos, niet de plastic een," dan maakt het plotseling perfecte zin. Het woord "plastic" creëert een contrast dat de volgorde dwingt om om te draaien.
Het bewijs: De robot gebruikt aanwijzingen uit het eerdere deel van de zin om de volgorde te bepalen. De onderzoekers gebruikten een "zaklamptechniek" (een methode genaamd feature attribution) om te zien naar welke woorden de robot keek. Ze vonden twee soorten aanwijzingen:
1. Lokale aanwijzingen: Woorden direct naast de bijvoeglijke naamwoorden (zoals "de" of "een") die een hint geven over de volgorde.
2. Semantische aanwijzingen: Woorden ver terug in de zin die een thema bepalen (zoals het contrasteren van "houten" met "plastic").

4. Hoe de robot zijn kennis "groeit"

De onderzoekers keken hoe de robot stap voor stap leerde tijdens zijn training. Ze ontdekten drie duidelijke fasen:

Het Onbeschreven Blad: Aan het begin heeft de robot geen enkel idee van de volgorde van woorden.
De Snelcursus: Zeer snel (in slechts een fractie van de totale trainingstijd) leert hij de basispatronen van hoe woorden gewoonlijk naast elkaar staan.
De Verfijning: Nadat de basis staat, begint hij te leren hoe de omliggende zin de regels verandert.

De Kernboodschap

Dit artikel beweert niet dat de robot een menselijke taalkundige is. In plaats daarvan laat het zien dat de robot een hybride leerling is:

Hij vertrouwt zwaar op statistiek (het onthouden van wat hij heeft gezien).
Maar hij heeft ook een generaliserend vermogen (slimme gokken maken over dingen die hij nog niet heeft gezien).
En hij gebruikt context (het omliggende verhaal) om zijn keuzes te verfijnen.

De auteurs concluderen dat, hoewel we niet kunnen zeggen dat de robot taal "begrijpt" zoals een mens dat doet, hij erin is geslaagd een complexe interne kaart te bouwen van hoe Engelse woorden bij elkaar passen, gedreven door een mix van memorisatie en patroonherkenning.

Technische Samenvatting: Black Big Boxes: Het traceren van voorkeuren voor bijvoeglijke naamwoordvolgorde in Large Language Models

Probleemstelling

De volgorde van bijvoeglijke naamwoorden in naamwoordgroepen (bijv. large wooden box vs. wooden large box) vertegenwoordigt een complex linguïstisch fenomeen dat wordt gekenmerkt door gegradeerde, contextgevoelige voorkeuren in plaats van binaire grammaticale beperkingen. Hoewel dit uitgebreid is bestudeerd in de theoretische taalkunde, blijven de mechanismen die deze voorkeuren aansturen moeilijk te vatten vanwege hun afhankelijkheid van meerdere interagerende factoren (semantiek, pragmatiek, informatie-theoretica) en het feit dat zelfs de beste multi-factor modellen slechts ~71% van de menselijke voorkeuren verklaren.

Dit artikel onderzoekt hoe Large Language Models (LLM's) deze "zachte" woordvolorde voorkeuren verwerven en benutten. De centrale onderzoeksvraag is in welke mate het gedrag van LLM's met betrekking tot de volgorde van bijvoeglijke naamwoorden wordt gedreven door distributioneel leren (het memoriseren van oppervlakte co-occurrente patronen) versus de opkomst van generaliseerbaar, contextgevoelig linguïstisch gedrag. Specifiek vragen de auteurs:

In welke mate worden de voorkeuren voor de volgorde van bijvoeglijke naamwoorden (AOP's) in LLM's gedreven door de frequenties in de trainingsdata?
Generaliseren modellen naar ongeziene combinaties van bijvoeglijke naamwoorden buiten directe memorisatie om?
Hoe beïnvloedt de zinscontext deze voorkeuren, en welke specifieke aanwijzingen sturen deze aan?

Methodologie

De auteurs maken gebruik van een systematische empirische analyse met behulp van de Pythia suite van taalmodellen (variërend van 70M tot 12B parameters), die allemaal zijn getraind op het The Pile corpus. De studie maakt gebruik van tussenliggende trainingscheckpoints om de leerdynamiek op een fijnmazig niveau te analyseren.

Data en Metrieken

Evaluatie Corpus (CAP): De studie gebruikt het Corpus of Adjective Pairs (CAP), afgeleid van de BabyLM 100M corpus. Het bevat 9.396 zinnen met dubbele bijvoeglijke naamwoorden die een zelfstandig naamwoord modificeren, samen met hun "omgewisselde" tegenhangers.
Metrieken:
- AOP-∆: Het verschil in log-waarschijnlijkheid tussen de natuurlijke volgorde ( $A_1A_2N$ ) en de omgewisselde volgorde ( $A_2A_1N$ ), berekend zowel in isolatie als met context.
- AOP-%: Het percentage items waarbij het model de natuurlijke volgorde verkiest (AOP-∆ > 0).
Distributionele Analyse: De auteurs maken gebruik van Infini-gram om exacte n-gram statistieken (uni-, bi- en trigrammen) uit The Pile op te halen, wat een directe vergelijking mogelijk maakt tussen modelvoorspellingen en de frequenties in de trainingsdata.
Generalisatietest: Om memorisatie versus generalisatie te beoordelen, analyseren de auteurs de prestaties van het model op bijvoeglijke naamwoordparen die 0 keer (ongezien) zijn voorgekomen versus paren die 1 tot 10+ keer tijdens de training zijn voorgekomen, gebruikmakend van tussenliggende checkpoints.
Contextuele Analyse:
- Willekeurige Contexten: Het vergelijken van AOP-∆ met de werkelijke zinscontext tegenover een verwachting over willekeurige contexten om "contextuele winst" te kwantificeren.
- Feature Attribution: Het gebruik van Integrated Gradients om specifieke tokens in de context te identificeren die het meest bijdragen aan de voorkeur van het model voor een specifieke volgorde van bijvoeglijke naamwoorden. Deze worden in kaart gebracht naar Part-of-Speech (POS) tags om globale patronen te identificeren.

Belangrijkste Bijdragen en Resultaten

1. Verwervingsdynamiek en Modelgrootte

Prestaties: LM's vertonen sterke en consistente voorkeuren voor natuurlijk voorkomende volgordes van bijvoeglijke naamwoorden. De contextuele AOP-% neemt toe met de modelgrootte, van 85,0% (70M) naar 91,7% (12B).
Leerfasen: Analyse van tussenliggende checkpoints onthult drie duidelijke fasen van verwerving:
1. Initialisatie: AOP-oordelen zijn nog niet gevormd.
2. Verwerving: Snelle vorming van AOP-oordelen; gevoeligheid voor de volgorde van bijvoeglijke naamwoorden ontstaat vroeg (rond 1,5% van de totale training).
3. Consolidatie: Oordelen stabiliseren en de rol van context wordt versterkt.
Token-niveau Lokalisatie: Het grootste waarschijnlijkheidsverschil tussen de natuurlijke en de omgewisselde volgorde vindt plaats bij het tweede bijvoeglijke naamwoord-token. Echter, context beïnvloedt de waarschijnlijkheid van het eerste bijvoeglijke naamwoord onmiddellijk, wat suggereert dat context de voorkeuren vormt vanaf het begin van de frase.

2. De Rol van Trainingsdata Statistieken

Correlatie met Frequenties: Er is een sterke correlatie tussen de model AOP-∆ en bigramfrequenties in de trainingsdata. Simpele bigram-statistieken verklaren een groot deel van het gedrag van het model (86,8% voorspellende nauwkeurigheid voor bigram-aantallen).
Limieten van Memorisatie: Hoewel bigram-statistieken zeer voorspellend zijn, verklaren ze niet volledig de prestaties van het model. Trigram-statistieken (bijvoeglijk naamwoord-bijvoeglijk naamwoord-zelfstandig naamwoord) laten een lagere voorspellende nauwkeurigheid zien (76,7%), en modellen presteren nog steeds goed op items waar de specifieke trigram zeldzaam of ongezien is in de trainingsdata.

3. Generalisatie voorbij Memorisatie

Zero-Shot Prestaties: Ondanks de sterke invloed van distributionele statistieken, vertonen modellen een robuuste generalisatie. Op bijvoeglijke naamwoordparen die nooit tijdens de training zijn gezien (0 voorkomens), behalen modellen nog steeds hoge AOP-% scores (bereiken ~85% in sommige splitsingen).
Interpretatie: Dit geeft aan dat het gedrag van het model niet uitsluitend kan worden teruggebracht tot het memoriseren van geobserveerde volgordes; modellen generaliseren naar ongeziene combinaties, waarschijnlijk door gebruik te maken van geleerde patronen uit andere volgordes van bijvoeglijke naamwoorden.

4. De Rol van Context

Contextuele Winst: Het toevoegen van zinscontext verbetert de AOP-voorspellingen aanzienlijk. In 67,6% van de gevallen verhoogt context de AOP-∆ score.
Semantisch vs. Willekeurig: Ware context verbetert de voorspellingen in 65,1% van de gevallen, terwijl willekeurige context de voorspellingen slechts in 39,6% van de gevallen verbetert, wat bevestigt dat de semantische inhoud van de context de drijfveer is, en niet alleen de aanwezigheid van een linguïstisch signaal.
Bronnen van Invloed: Feature attribution identificeert twee primaire bronnen van contextuele invloed:
1. Lokale Collocatie Cues: Determinatieve woorden, bijwoorden en voorzetsels die direct voorafgaan aan de bijvoeglijke naamwoordfrase fungeren als sterke drijfveren (bijv. een determinatief dat frequent samen voorkomt met een specifiek type bijvoeglijk naamwoord).
2. Eerdere Semantische Cues: Bijvoeglijke naamwoorden en zelfstandige naamwoorden die eerder in de zin verschijnen, beïnvloeden de volgorde op basis van semantische gelijkenis. De best scorende context-bijvoeglijke naamwoorden vertonen een hogere cosinus-gelijkenis met het eerste bijvoeglijke naamwoord in de frase dan met het tweede.

Betekenis en Claims

Het artikel positioneert LM's niet als verklarende theorieën van de menselijke volgorde van bijvoeglijke naamwoorden, maar als empirische instrumenten om de bronnen van informatie te onderzoeken die de voorkeuren voor woordvolgorde beïnvloeden.

Voorbij Oppervlaktestatistieken: De studie demonstreert dat hoewel LM's zwaar leunen op de frequenties van de trainingsdata (distributioneel leren), ze ook generalisatievermogens vertonen die verder gaan dan eenvoudige memorisatie van co-occurrences.
Contextgevoeligheid: Het onderzoek benadrukt dat LM's rijke zinscontext benutten om gegradeerde voorkeuren op te lossen, een kenmerk dat vaak ontbreekt in traditionele theoretische beschouwingen van de volgorde van bijvoeglijke naamwoorden die zich richten op bijvoeglijke naamwoorden in isolatie.
Methodologische Bijdrage: Door gedragsanalyse te combineren met feature attribution, identificeren de auteurs specifieke contextuele cues (lokale collocatie en verre semantiek) die de volgorde van bijvoeglijke naamwoorden moduleren. Deze bevindingen suggereren nieuwe wegen voor empirisch onderzoek naar menselijke taalverwerking, met name met betrekking tot de rol van context in "zachte" linguïstische beperkingen.
Beperkingen: De auteurs erkennen dat hun bevindingen specifiek zijn voor het Engels en geen volledige verklaring vormen voor het menselijke linguïstische gedrag. Ze merken op dat de afweging tussen memorisatie en generalisatie bij mensen een open empirische vraag blijft die verdere data vereist.

Samenvattend biedt het artikel een gedragsmatige karakterisering van hoe LM's voorkeuren voor de volgorde van bijvoeglijke naamwoorden verwerven, door deze te herleiden tot een combinatie van trainingsdata-statistieken, generalisatiemechanismen en specifieke contextuele cues, waarmee een kader wordt geboden voor het bestuderen van woordvolgorde in taalmodellen.