A Unified Assessment of the Poverty of the Stimulus Argument for Neural Language Models
Dit artikel introduceert \poshbench, een verenigde benchmark die aantoont dat hoewel neurale taalmodellen structuurafhankelijke generalisaties kunnen verwerven uit beperkte data zonder aangeboren syntactische biases, ze minder efficiënt blijven dan kinderen en aanvullende cognitief gemotiveerde inductieve biases vereisen om menselijk leervermogen volledig te evenaren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Decennialang heeft een centraal raadsel de studie naar hoe mensen taal leren achtervolgd. Kinderen, ondanks dat ze worden omringd door een chaotische en vaak onvolledige stroom van spraak, slagen erin om tegen de tijd dat ze vijf jaar oud zijn de complexe, onzichtbare regels van grammatica te beheersen. Ze leren dat sommige zinnen onmogelijk zijn, ook al hebben ze nooit een volwassene hebben horen zeggen: "Dat is fout," of een lijst met verboden zinnen gezien. Deze kloof tussen de beperkte, rommelige data die kinderen ontvangen en de verfijnde kennis die zij verwerven, staat bekend als de "armoede van de stimulus" (poverty of the stimulus). De traditionele verklaring, die generaties lang door linguïsten werd verdedigd, is dat mensen worden geboren met een speciale, aangeboren blauwdruk voor grammatica—een ingebouwde gids die het brein vertelt welke regels mogelijk zijn en welke niet. Zonder deze biologische voorsprong, zo stelt het argument, is de input simpelweg te armoedig om een kind te leren hoe het moet spreken.
In de afgelopen jaren heeft kunstmatige intelligentie een nieuwe manier geboden om dit idee te testen. Wetenschappers hebben computerprogramma's gebouwd die neurale netwerken worden genoemd, die leren door enorme hoeveelheden tekst te lezen. Deze machines zijn opmerkelijk goed geworden in het voorspellen van het volgende woord in een zin, waarbij ze vaak menselijke grammatica nabootsen zonder expliciet de regels te hebben geleerd. Dit succes heeft een debat ontketend: als een machine complexe grammatica kan leren door enkel te lezen, dan is de "armoede" van de stimulus misschien een illusie, en is de input eigenlijk rijk genoeg voor elke krachtige leerling om het uit te vogelen. Er bleef echter een kritiek gebrek in deze vergelijking: de computers worden gevoed met miljarden woorden, terwijl een menselijk kind slechts een fractie van die hoeveelheid hoort. Om de vraag te beslechten, moesten onderzoekers zien of een machine dezelfde moeilijke regels kon leren als een kind, maar met slechts dezelfde beperkte hoeveelheid data.
Een team van onderzoekers van de Georgetown University en de Universiteit van Groningen zette zich in om dit te beantwoorden door een nieuwe testomgeving genaamd POSH-BENCH te creëren. Ze richtten zich op vier specifieke grammaticale puzzels die lang als het sterkste bewijs voor aangeboren kennis zijn beschouwd. Deze omvatten hoe kinderen leren vragen te vormen door de belangrijkste hulpwerkwoorden te verplaatsen in plaats van het eerste werkwoord dat ze horen, hoe ze weten dat bepaalde zinsstructuren de beweging van woorden blokkeren, hoe ze begrijpen naar wie een voornaamwoord verwijst in een complexe zin, en de subtiele regels die bepalen wanneer de frase "want to" kan krimpen tot "wanna". De onderzoekers bouwden een enorme bibliotheek van tekst die ontworpen is om het linguïstische milieu van een kind na te bootsen, variërend van 10 miljoen tot 50 miljoen woorden. Dit is ongeveer de hoeveelheid taal waaraan een kind wordt blootgesteld tegen de leeftijd van vijf jaar, een schaal die miljoenen malen kleiner is dan wat moderne computermodellen gewoonlijk consumeren.
Het team trainde drie verschillende soorten computermodellen op deze kind-omvangrijke data. Eén type was een standaard neuraal netwerk, het soort dat veel moderne AI-tools aandrijft. Een ander was een ouder type netwerk, en het derde was een eenvoudig statistisch model dat alleen kijkt naar de onmiddellijke geschiedenis van woorden. Om het "armoede"-argument nog verder te testen, creëerden ze een versie van de trainingsdata waarin ze doelbewust elke enkele instantie van de specifieke grammaticale regels die ze testten, hadden verwijderd. Dit simuleerde een kind dat nooit een direct voorbeeld van de regel hoort, waardoor de leerling volledig moet vertrouwen op indirecte aanwijzingen uit de rest van de taal.
De resultaten waren verrassend en genuanceerd. De onderzoekers ontdekten dat de geavanceerde neurale netwerken inderdaad deze moeilijke grammaticale regels konden leren van de beperkte, kind-omvangrijke data, zelfs wanneer de directe voorbeelden ontbraken. Ze presteerden aanzienlijk beter dan de willekeurige kans, wat suggereert dat de input niet zo armoedig is als voorheen gedacht en dat krachtige leermachines diepe structurele patronen kunnen extraheren zonder een vooraf geprogrammeerde grammatica-gids nodig te hebben. De geschiedenis eindigde echter niet daar. Hoewel de machines de regels konden leren, deden ze dat veel minder efficiënt dan menselijke kinderen. Naarmate de hoeveelheid data toenam, verbeterden de machines, maar ze haalden de snelheid en nauwkeurigheid van een zesjarige nooit in. De kloof tussen de leercurve van de machine en die van een kind bleef hardnekkig groot, wat erop wijst dat hoewel de input leerbaar kan zijn, er iets anders is dat mensen helpt om zo snel te leren.
De onderzoekers testten vervolgens of het toevoegen van specifieke "biases"—mentale afkortingen geïnspireerd door hoe menselijke hersenen werken—de machines kon helpen om deze kloof te dichten. Ze probeerden de modellen een voorsprong te geven door ze te trainen op formele logische puzzels, door hen te dwingen aandacht te besteden aan zinsstructuur zoals een mens dat zou doen, en door hun geheugen te beperken om het ontwikkelende werkgeheugen van een kind na te bootsen. Deze veranderingen verbeterden de algemene taalvaardigheid van de modellen, waardoor ze robuuster en nauwkeuriger werden op algemene tests. Toch hielpen deze biases de modellen, cruciaal genoeg, niet consistent bij het leren van de specifieke, moeilijke regels die de kern vormen van het argument over de armoede van de stimulus. De biases die hielpen bij algemene grammatica, losten de specifieke puzzels die kinderen zo gemakkelijk beheersen, niet noodzakelijkerwijs op.
De studie concludeert dat het debat niet wordt beslecht door een simpel "ja" of "nee". De bevindingen suggereren dat de input die kinderen ontvangen inderdaad voldoende is voor een krachtige leerling om complexe grammatica te verwerven, wat het idee uitdaagt dat aangeboren regels de enige mogelijke weg zijn. Echter, het feit dat machines nog steeds moeite hebben om de menselijke efficiëntie te evenaren, suggereert dat menselijk leren meer inhoudt dan alleen statistische patroonherkenning. Het impliceert dat kinderen beschikken over leermechanismen of beperkingen die verder gaan dan de structurele biases die in deze studie zijn getest. Het menselijk brein leert niet alleen van de data die het ontvangt; het leert van die data op een manier die uniek efficiënt is, een kwaliteit die de huidige kunstmatige intelligentie nog niet volledig heeft gereproduceerd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.