Stel je voor dat je een robot leert om een puzzel op te lossen. In de wereld van kunstmatige intelligentie worden deze robots "Large Language Models" (LLM's) genoemd. Ze zijn als super enthousiaste studenten die bijna elk boek in de bibliotheek hebben gelezen. Ze staan bekend om hun vermogen om verhalen te schrijven, code te debuggen en zelfs wiskundeproblemen op te lossen die lijken te behoren tot een middelbare schoolboek. Maar hier is de crux: alleen omdat een student een 'A' kan halen op een oefentoets, betekent dat niet dat hij de regels van het spel echt begrijpt. Als je de toets maar een klein beetje verandert — misschien door één extra getal toe te voegen of de woorden te herschikken — kan de student plotseling in paniek raken en op vreemde, onvoorspelbare manieren falen. Wetenschappers noemen dit "brosheid" (brittleness). Het is als een kaartenhuis dat er perfect uitziet, totdat er een zacht briesje doorheen waait.

Om te begrijpen waarom dit gebeurt, kijken onderzoekers naar hoe deze modellen nieuwe vaardigheden "leren". Meestal hopen we dat ze leren zoals mensen: stap voor stap, waarbij ze een sterke fundering bouwen voordat ze naar het volgende niveau gaan. Bijvoorbeeld, bij het leren optellen van getallen, leert een mens om te beginnen aan het einde (de eenheden), eventuele "overdrachten" af te handelen (waar een getal te groot wordt voor één plek), en dan door te gaan naar de tientallen, honderden, enzovoort. Dit is een logische, hiërarchische manier van denken. Maar wat als de robot de regels in een totaal andere volgorde leert? Wat als hij de grote, enge getallen eerst leert en de kleine later, of probeert alles tegelijkertijd te leren? Dit artikel duikt in dat mysterie, waarbij eenvoudige wiskundepuzzels worden gebruikt om te observeren hoe deze digitale breinen hun vaardigheden daadwerkelijk ontwikkelen, wat onthult dat ze mogelijk een kortere weg nemen die lijkt op leren, maar niet echt hetzelfde is als menselijk begrip.

---

De Versplinterde Puzzel: Hoe AI Wiskunde Achterstevoren Leert

In dit onderzoek besloten onderzoekers aan de University of Wisconsin–Madison te stoppen met gissen en te beginnen met kijken. Ze trainden kleine, eenvoudige AI-modellen (getypeerd als transformers) op synthetische rekenkundige taken — in feite lieten ze ze herhaaldelijk optellen en vermenigvuldigen van getallen. Maar in plaats van alleen aan het einde te controleren of ze het juiste antwoord hadden, bekeken ze het leerproces in slow motion, cijfer voor cijfer. Ze wilden zien hoe de modellen de regels ontdekten.

Wat ze vonden, was een beetje alsof je een kind ziet proberen een paar schoenen aan te trekken door te beginnen met de veters en dan pas uit te zoeken waar de tenen moeten komen. De onderzoekers ontdekten dat deze AI-modellen niet op dezelfde manier wiskunde leren als mensen. In plaats van te beginnen aan de onderkant (de eenhedenplaats) en zich naar boven toe te werken, leerden de modellen vaak eerst de hoogste cijfers.

Stel je voor dat je vier grote getallen bij elkaar optelt. Een mens zou naar de eenhedenkolom kijken, ze bij elkaar optellen, de overdracht naar de tientallenkolom geven, enzovoort. De AI leek echter in het begin de eenhedenkolom volledig te negeren. Het richtte zich op de duizendtallen en honderdtallen, leerde die cijfers perfect, terwijl de eenhedenplaats een puinhoop bleef. Het was alsof het model probeerde de totale grootte van de stapel te raden voordat het überhaupt wist hoeveel losse items er in de stapel zaten. De onderzoekers noemen dit fenomeen "geshattered compositionality" (versplinterde compositionaliteit). Het betekent dat het model probeert een kaartenhuis te bouwen, maar het stapelt het dak op de grond en hoopt dat het fundament later wel zal volgen.

De "Correlatie" Kortere Weg

Waarom zou een superintelligente AI zoiets onzinnigs doen? Het artikel suggereert dat het antwoord ligt in hoe de AI naar zijn trainingsdata kijkt. Mensen leren wiskunde door het begrijpen van oorzaak en gevolg: "Als ik deze twee eenheden bij elkaar optel, krijg ik een tien, dus ik moet een één overdragen." De AI lijkt echter een spelletief van "statistische matching" te spelen. Het kijkt naar de data en vraagt: "Welke getallen komen meestal samen voor?"

De onderzoekers ontdekten dat de hoogste cijfers in het antwoord vaak sterk verbonden zijn met de hoogste cijfers in de invoergetallen, ongeacht wat er in de lagere cijfers gebeurt. Het is een sterk, gemakkelijk te herkennen patroon. De AI houdt zich vast aan dit gemakkelijke patroon omdat het het meest voor de hand liggende signaal in de data is. Het is als een detective die de auto van een verdachte ziet en er direct vanuit gaat dat hij schuldig is omdat hij een rode auto heeft, waarbij alle andere aanwijzingen worden genegeerd. De AI leert eerst de "rode auto"-regel (de hoge cijfers) omdat dit de makkelijkste correlatie is om te vinden. Pas later, wanneer het de hoge cijfers onder de knie heeft, probeert het de rommelige, ingewikkelde regels voor de lagere cijfers te begrijpen.

Om dit te bewijzen, voerden de onderzoekers een "sabotage"-experiment uit. Ze namen de trainingsdata en veranderden de cijfers op de duizendtallenplaats willekeurig. Plotseling kon de AI de lagere cijfers helemaal niet meer leren. Het zat vast. Dit bewees dat de AI de wiskunderegels niet in een logische volgorde leerde; het vertrouwde op de hoge cijfers om de rest van de puzzel te ontgrendelen. Zonder de hoge cijfers stortte het hele leerproces in.

De Chaos van Parallel Leren

Het probleem wordt nog complexer wanneer de AI probeert meerdere vaardigheden tegelijkertijd te leren. Bij taken zoals het sorteren of vergelijken van getallen, probeert de AI verschillende regels parallel te leren. Het is alsof een student probeert tegelijkertijd te leren fietsen, te jongleren en piano te spelen. Soms komen deze vaardigheden met elkaar in conflict.

De onderzoekers ontdekten dat wanneer de AI deze vaardigheden gelijktijdig leert, er "mengfouten" ontstaan. Stel je voor dat je een lijst met namen sorteert. Een mens controleert eerst de lengte van de naam, dan de eerste letter, dan de tweede letter. De AI kan echter in de war raken. Het kan de eerste letter van de ene naam nemen en de laatste letter van een andere, en deze aan elkaar plakken tot een nieuw, betekenisloos woord. Het artikel noemt dit "mixing errors". Het is alsof de AI een chef-kok is die heeft geleerd om uien apart te snijden en wortelen apart te snijden, maar wanneer er een salade van gemaakt moet worden, per ongeluk de ui in de wortelkom gooit en de wortel in de uienkom, waardoor er een vreemde, onverteerbare mix ontstaat.

Dit parallelle leren creëert een fragiel systeem. Als je de AI vraagt een probleem op te lossen dat net iets anders is dan wat hij in de training zag — zoals het toevoegen van één extra getal aan de lijst — valt hij vaak uit elkaar. De vaardigheden die hij parallel heeft geleerd, beginnen met elkaar te vechten, en het model produceert antwoorden die slechts een rommelige mix van de inputs zijn.

Maakt Groter of Slimmer het Beter?

Je zou kunnen denken: "Oké, misschien zijn de kleine modellen gewoon in de war. Hoe zit het met de gigantische, superkrachtige AI-modellen die we in het nieuws zien? Of wat als we ze een 'kladblok' (scratchpad) geven om hun gedachten op te schrijven, zoals een mens dat zou doen?"

De onderzoekers testten dit ook. Ze trainden veel grotere modellen (tot 100 miljoen parameters) en verfijnden zelfs een massaal voorgetraind model (Pythia-1B) op deze wiskundige taken. Ze probeerden ook de modellen een "kladblok" te geven waar ze de stappen van de wiskundige som konden opschrijven voordat ze het definitieve antwoord gaven.

Het resultaat? Niets veranderde.

Zelfs de gigantische modellen leerden de cijfers in de verkeerde volgorde. Zelfs de modellen met een kladblok gaven nog steeds prioriteit aan de hoge cijfers en hadden moeite met de lage cijfers. De kladblokken hielpen de modellen om sneller het juiste antwoord te vinden, maar ze losten de onderliggende leerstijl niet op. De modellen volgden nog steeds de "correlatie-kortere weg" in plaats van de ware, stapsgewijze logica van wiskunde te leren. Dit suggereert dat het simpelweg groter maken van de AI of het geven van meer hulpmiddelen niet automatisch zorgt ervoor dat het als een mens denkt. De "geshattered compositionality" lijkt een fundamentele eigenschap te zijn van hoe deze modellen van data leren, en niet slechts een foutje in een specifiek klein model.

De Conclusie

Dit artikel schetst een beeld van AI die ongelooflijk bekwaam is, maar fundamenteel anders dan wij. Het kan problemen oplossen die lijken op menselijke wiskunde, maar het doet dit met een andere set interne regels. Het volgt geen logisch, stapsgewijs algoritme; het volgt een kaart van statistische patronen. Wanneer die patronen perfect zijn, blinkt de AI uit. Maar wanneer die patronen zelfs maar een klein beetje verschuiven — wanneer het probleem net iets anders is of de data rommelig is — zorgt de "geshattered" leerstijl van de AI voor struikelblokken.

De onderzoekers zeggen niet dat AI kapot of nutteloos is. Ze zeggen dat we moeten begrijpen hoe het leert om het beter te kunnen vertrouwen. Als we willen dat AI betrouwbaar is in de echte wereld, waar problemen zelden perfect zijn en data altijd in beweging is, moeten we ontdekken hoe we het kunnen leren om zijn vaardigheden op te bouwen in een stabiele, mensachtige hiërarchie, in plaats van het te laten leren in een chaotische, parallelle race. Tot die tijd moeten we voorzichtig zijn wanneer we deze digitale studenten vragen een probleem op te lossen dat net even anders is dan de problemen waarop ze geoefend hebben.