Stel je voor dat je een robot leert om elke videogame die bestaat te spelen. In de oude dagen dachten wetenschappers dat de enige manier om dit te doen het bouwen van één enkel, superintelligent brein in de kop van de robot was. Ze voerden hem een level, lieten hem leren, en voerden hem dan het volgende level. Maar hier zit de crux: elke keer dat de robot een nieuw spel leerde, leek hij te vergeten hoe hij de oude kon spelen. Het was alsof je een nieuw hoofdstuk in een dagboek probeerde te schrijven, maar de inkt van de vorige pagina's bleef vegen en verdwijnen. Dit probleem, bekend als "catastrofaal vergeten" (catastrophic forgetting), was de grote hoofdpijn voor een veld genaamd Continual Learning (voortdurend leren).

Lange tijd leek de oplossing simpel: pas gewoon het interne brein van de robot (zijn "parameters") aan om het nieuwe spel aan te passen zonder de oude te wissen. Maar nu bevinden we ons in het tijdperk van enorme, superkrachtige AI-modellen die kunnen chatten, code kunnen schrijven en complexe puzzels kunnen oplossen. Deze modellen zijn zo groot en complex dat de oude "pas gewoon het brein aan"-aanpak niet meer werkt. We hebben een nieuwe manier van denken nodig. In plaats van alleen te vragen hoe de robot het brein moet updaten, moeten we vragen: Wanneer moet de robot leren? Waar moet hij zijn kennis bewaren? En Hoe moet hij zichzelf updaten?

Dit artikel, getiteld "Continual Learning in Transition," is als een kaart voor dit nieuwe gebied. De auteurs stellen dat we wegbewegen van het idee dat het brein van een robot de enige plek is waar leren plaatsvindt. Ze suggereren dat voor AI om echt een algemene intelligentie te worden—iets dat zich kan aanpassen aan een veranderende wereld zoals een mens—we naar het hele systeem moeten kijken. Het gaat niet alleen om het brein; het gaat om de notitieblok van de robot, zijn gereedschapskist en zijn regelboek. Het artikel onderzoekt een enorme hoeveelheid nieuw onderzoek om aan te tonen dat leren geen eenmalige gebeurtenis is die plaatsvindt voordat de robot aan het werk gaat. In plaats daarvan is leren een voortdurende reis die plaatsvindt vóór, tijdens en zelfs na de inzet van de robot, waarbij niet alleen zijn brein wordt gebruikt, maar ook zijn externe geheugen en hulpmiddelen.

De Drie Grote Vragen: Wanneer, Waar en Hoe

De auteurs stellen een nieuwe manier voor om al deze verschillende methoden te bekijken aan de hand van drie eenvoudige vragen. Denk aan het organiseren van een enorme bibliotheek over hoe robots leren.

1. Wanneer: De Tijdlijn van het Leren
In de oude dagen vond leren plaats in één groot blok: je trainde het model, stuurde het daarna uit om te werken, en dat was het. Het model was bevroren.

• Het Nieuwe Zicht: Leren is nu een marathon, geen sprint. Het vindt plaats in drie duidelijke fasen:
  • Pre-training (Pre-training): De robot leert van een enorme stroom gegevens, zoals het lezen van het hele internet voordat hij zelfs maar aan een specifieke taak begint.
  • Post-training (Post-training): Na de initiële training wordt de robot verfijnd. Hij leert instructies op te volgen, beleefd te zijn of specifieke puzzels op te lossen. Dit is als een gespecialiseerd trainingskamp.
  • Inference-time (Het "Nu"): Dit is de grote verandering. De robot leert terwijl hij werkt. Als hij een nieuwe situatie tegenkomt of feedback krijgt, kan hij zichzelf on the fly updaten. Het is als een student die niet alleen studeert vóór het examen, maar ook tijdens het maken van de toets blijft leren en zijn antwoorden blijft aanpassen.

2. Waar: De Opslag van Kennis
Traditioneel werd alle kennis opgeslagen in het brein van de robot (zijn interne parameters). Als je een nieuw feit wilde toevoegen, moest je het brein herschrijven.

• Het Nieuwe Zicht: Het brein is niet langer de enige opslageenheid. De auteurs introduceren het concept van de "Harness" (het tuig), wat alles is buiten het brein dat de robot gebruikt.
  • Geheugen (Memory): Stel je een notitieblok voor dat de robot bij zich draagt. Hij kan feiten, gesprekken of ervaringen hier opschrijven zonder zijn brein te veranderen. Hij kan dit notitieblok later lezen om dingen te onthouden.
  • Vaardigheden (Skills): Denk aan deze als gereedschappen in een gereedschapskist. In plaats van een nieuwe vaardigheid hard te coderen in het brein, kan de robot een nieuw hulpmiddel oppakken (zoals een code-generator of een rekenmachine) en dit gebruiken. Hij kan zelfs gaandeweg nieuwe hulpmiddelen bouwen.
  • Protocollen (Protocols): Dit zijn de regelboeken of scripts die de robot volgt. In plaats van dat het brein van de robot de regels van een spel hard-codeert, kunnen de regels op een stuk papier worden geschreven dat de robot kan lezen en bijwerken.
  • De Verschuiving: Het artikel suggere l dat capaciteit zich verspreidt. Het zit niet meer alleen in het brein; het is verdeeld over het brein, het notitieblok, de gereedschapskist en het regelboek.

3. Hoe: De Methode van Updaten
Hoe leert de robot eigenlijk?

• De Oude Manier (Off-Policy): De robot leert van een statische dataset, zoals een tekstboek geschreven door iemand anders. Hij kijkt naar oude voorbeelden en probeert deze te matchen. Dit leidt vaak tot vergeten omdat de nieuwe data kan botsen met de oude data.
• De Nieuwe Manier (On-Policy): De robot leert van zijn eigen acties. Hij probeert iets, ziet wat er gebeurt, en leert van die specifieke ervaring. Het is als leren fietsen door daadwerkelijk te fietsen en te vallen, in plaats van alleen een handleiding te lezen. Dit hels de robot consistent te blijven en minder te vergeten.
• Voorbij Gradiënten (Beyond Gradients): Er zijn ook methoden die niet de standaard "wiskundige" manier van leren (backpropagation) gebruiken.
  • Model Merging (Model Samenvoeging): Stel je voor dat je twee verschillende getrainde breinen neemt en deze wiskundig combineert tot één superbrein zonder opnieuw te trainen.
  • Prompt Evolution (Prompt Evolutie): In plaats van het brein te veranderen, verander je de instructies (prompts) die je het geeft. De robot leert door de manier waarop je tegen hem praat te laten evolueren.
  • Zeroth-Order: Dit is een chique manier om te zeggen dat de robot leert door te gokken en te controleren, zonder dat hij de exacte wiskundige helling van zijn fouten hoeft te berekenen.

Waarom Dit Belangrijk Is: Het Grote Plaatje

De auteurs suggereren dat we op een kantelpunt staan. We dachten vroeger dat het oplossen van "catastrofaal vergeten" alleen maar een kwestie was van een betere wiskundige truc om het brein aan te passen. Maar nu stellen ze dat de oplossing veel groter is. Het gaat om systeemniveau-adaptatie.

Ze wijzen erop dat het simpelweg groter maken van het "notitieblok" (geheugen) van de robot of het geven van meer "hulpmiddelen" (vaardigheden) niet genoeg is als de robot deze niet zelf kan beheren. Op dit moment moeten mensen deze notitieblokken en hulpmiddelen vaak handmatig bijwerken. Het artikel suggereert dat voor AI om "Artificial General Intelligence" (AGI) te bereiken—een niveau waarop het zich echt kan aanpassen zoals een mens—de robot in staat moet zijn om zijn eigen geheugen, vaardigheden en regels automatisch te beheren.

Het artikel benadrukt ook enkele uitdagingen. Als een robot bijvoorbeeld te veel vertrouwt op zijn "notitieblok" (context window), kan hij dingen vergeten zodra het notitieblok te vol raakt. Als hij te veel vertrouwt op zijn "brein", kan hij nieuwe dingen vergeten wanneer hij oude dingen leert. De ideale toekomst is een systeem waarin de robot weet wanneer hij iets in zijn notitieblok moet schrijven, wanneer hij een nieuw hulpmiddel moet bouwen en wanneer hij zijn brein permanent moet bijwerken.

Wat Nu Volgt?

De auteurs zijn voorzichtig maar optimistisch. Ze beweren niet dat we alles hebben opgelost. Sterker nog, ze wijzen erop dat veel van deze nieuwe methoden zich nog in een vroeg stadium bevinden. We hebben nog geen perfect systeem dat kennis naadloos kan verplaatsen tussen het brein, het notitieblok en de hulpmiddelen.

Ze suggereren dat de toekomstige AI-research niet alleen moet gaan over het groter maken van het brein. In plaats daarvan moeten we uitzoeken hoe we al deze verschillende onderdelen kunnen coördineren. Het is als het bouwen van een stad: je bouwt niet alleen een groter huis (het brein); je moet ook wegen, bibliotheken en elektriciteitscentrales bouwen (de harness) en uitzoeken hoe ze allemaal samenwerken.

Kortom, dit artikel vertelt ons dat het tijdperk van "één brein, één update" voorbij is. De toekomst van leren is een dynamische, gelaagde dans waarbij de AI continu leert, gebruikmakend van elk deel van zijn systeem, van zijn interne neuronen tot zijn externe hulpmiddelen, om zich aan te passen aan een wereld die nooit stopt met veranderen. Het is een verschuiving van het proberen te repareren van een defect geheugen naar het bouwen van een levend, ademend systeem dat meegroeit met elke ervaring.