Children, but not language models, show accelerating returns in word learning
Dit artikel onthult dat terwijl kinderen versnellende rendementen vertonen bij het leren van woorden door met elke nieuwe eenheid linguïstische ervaring steeds efficiënter te worden, taalmodellen — zelfs die getraind op kindgerichte spraak — slechts constante proportionele rendementen laten zien die consistent zijn met schaalwetten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De menselijke taal begint met een trage, struikelende start. In het eerste levensjaar leert een kind misschien slechts een handvol woorden, vaak slechts namen voor vertrouwde mensen of objecten. Dan gebeurt er iets opmerkelijks. Het tempo van het leren verandert drastisch. Binnen enkele korte jaren heeft datzelfde kind honderden woorden verworven, waarbij de overgang van eenvoudige labels naar complexe zinnen plaatsvindt met een snelheid die bijna magisch lijkt. Decennialang hebben wetenschappers geprobeerd de mechanica van deze explosie te begrijpen. Ze vermoedden al lang dat het geheim lag in de manier waarop kinderen de stroom woorden verwerken die ze dagelijks horen. Het heersende idee was dat leren een gestaag, lineair proces is: hoe meer een kind hoort, hoe meer het leert, tegen een constante snelheid. Als dit waar zou zijn, zou de woordenschat van een kind groeien als water dat met een constante druppel een emmer vult.
In de afgelopen jaren zijn krachtige computerprogramma's, bekend als taalmodellen, opgekomen als een nieuwe manier om dit proces te bestudelen. Deze systemen worden getraind op enorme hoeveelheden tekst en leren het volgende woord in een zin te voorspellen. Omdat ze getraind kunnen worden op specifieke hoeveelheden data, kunnen onderzoekers hen gebruiken om theorieën over hoe leren werkt te testen. Er is echter een verwarrende kloof ontstaan. Om zelfs een basisniveau van taalvaardigheid te bereiken, hebben deze computermodellen biljoenen woorden aan trainingsdata nodig. In contrast hiermee leert een menselijk kind zijn eerste duizenden woorden na slechts enkele miljoenen woorden te hebben gehoord. Dit enorme verschil in de benodigde hoeveelheid data suggereert dat kinderen en machines op fundamenteel verschillende manieren leren, maar tot nu toe had niemand een heldere wiskundige beschrijving van hoe dat verschil zich precies over de tijd manifesteert.
Een onderzoeker zette zich in om dit verschil direct te meten. De focus lag op de groei van de woordenschat, waarbij werd bijgehouden hoe kinderen specifieke woorden in de loop van de tijd leren en dit patroon werd vergeleken met hoe computermodellen dezelfde woorden leren. De onderzoeker verzamelde gegevens van duizenden kinderen, gebruikmakend van gedetailleerde verslagen waarin ouders rapporteerden welke woorden hun kinderen op verschillende leeftijden konden zeggen. Er werden ook computermodellen getraind op opnames van spraak die specifief gericht was op kinderen, om ervoor te zorgen dat de computer dezelfde soort input kreeg als een peuter zou horen. Door deze twee groepen zij aan zij te analyseren, ontdekte de onderzoeker dat de standaardvisie op leren als een gestage accumulatie niet correct was voor mensen.
De studie toonde aan dat kinderen niet leren met een constante snelheid. In plaats daarvan versnelt hun vermogen om te leren. In het begin moet een kind een woord misschien honderden keren horen voordat het het uitspreekt. Maar naarmate ze ouder worden en hun woordenschat uitbreidt, hebben ze veel minder blootstelling nodig om een nieuw woord te leren. Een peuter kan het woord "boek" duizenden keren horen voordat hij het uitspreekt, terwijl een kleuter het woord "ibex" misschien slechts een paar keer hoort in een dierentuin en het de volgende dag herhaalt. De onderzoeker ontdekte dat deze versnelling een echt, meetbaar fenomeen is. Naarmate kinderen ouder worden, wordt elk nieuw stukje linguïstische ervaring waardevoller. Ze leren meer van elk extra uur gesprek dan van het uur daarvoor. De computermodellen, zelfs de modellen die getraind waren op kindgerichte spraak, vertoonden een dergelijke versnelling niet. Ze leerden met een gestage, onveranderlijke snelheid en hadden evenveel data nodig om een nieuw woord te leren, ongeacht hoeveel ze al wisten.
Dit verschil verklaart waarom kinderen vloeiend kunnen spreken met zo weinig data vergeleken met machines. De computermodellen werken volgens een principe van constante rendementen: elk nieuw woord dat ze leren, kost evenveel trainingsdata. Kinderen behalen echter toenemende rendementen op hun investering. De onderzoeker testte of deze versnelling simpelweg het gevolg was van het feit dat ouders hun manier van spreken aan hun kinderen aanpassen naarmate zij ouder worden, of of het een interne verandering was in het leervermogen van het kind. De gegevens suggereerden dat het dat laatste was. De hersenen van de kinderen leken steeds beter te worden in het extraheren van betekenis uit de geluiden die ze hoorden, misschien omdat ze leerden de woorden die ze al kenden te gebruiken om nieuwe woorden te begrijpen.
De bevindingen dagen het idee uit dat taalverwerving slechts een kwestie is van het verzamelen van bewijslast in de loop van de tijd. In plaats daarvan is het proces dynamisch. De onderzoeker toonde aan dat een model waarbij de "waarde" van elk nieuw woord toeneemt met de leeftijd, perfect past bij de praktijkgegevens van kinderen, terwijl een model waarbij de waarde gelijk blijft, dat niet doet. Deze versnelling is niet zomaar een klein detail; het is een fundamenteel verschil tussen menselijk en machinaal leren. Hoewel de computermodellen de woorden uiteindelijk leerden, deden ze dat met een starheid die menselijke kinderen niet bezitten. De studie suggereert dat het geheim van de menselijke taal niet alleen ligt in de hoeveelheid data die we ontvangen, maar in de manier waarop ons vermogen om die data te gebruiken verbetert terwijl we groeien. Dit inzicht biedt een nieuwe richting voor het begrijpen van de menselijke cognitie en voor het bouwen van kunstmatige systemen die wellicht op een dag net zo efficiënt kunnen leren als een kind.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.