Forgetting, plasticity, and co-observation: a third facet of continual learning
Dit artikel betoogt dat, naast de bekende uitdagingen van catastrofale vergetelheid en het verlies van plasticiteit, het onvermogen om trainingsdata simultaan te co-observeren een afzonderlijke en kritieke factor is die de prestaties van continual learning beperkt, wat suggereert dat mechanismen zoals memory replay slagen door deze voordelen van co-observatie opnieuw te introduceren in plaats van enkel het vergeten te mitigeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Diepe neurale netwerken zijn de krachtige motoren achter moderne kunstmatige intelligentie, in staat om gezichten te herkennen, talen te vertalen en ziekten te diagnosticeren. Deze systemen worden doorgaans getraind in één enkele, massieve sessie waarbij ze al hun data in één keer zien, waardoor ze patronen kunnen vinden die verschillende stukken informatie met elkaar verbinden. In de echte wereld komt data echter vaak binnen als een constante stroom over een bepaalde tijd, zoals een rivier die nooit stopt met stromen. Om deze systemen nuttig te houden, moeten ze leren van deze nieuwe informatie zodra deze arriveert, zonder de oude data opnieuw te kunnen bekijken. Dit proces staat bekend als continu leren (continual learning). Jarenlang geloofden wetenschappers dat het belangrijkste obstakel om dit werkend te krijgen een probleem was genaamd catastrofale vergetelheid (catastrophic forgetting), waarbij een model iets nieuws leert maar per ongeluk wat het eerder wist uitwist. De heersende opvatting was dat als we het model simpelweg konden stoppen met vergeten en flexibel genoeg konden houden om nieuwe dingen te leren, het net zo goed zou presteren als wanneer het alle data tegelijkertijd had gezien vanaf het begin.
Een team onderzoekers van de KU Leuven en de Rijksuniversiteit Groningen heeft deze langgevestigde aanname uitgedaagd. Ze ontdekten dat zelfs als een model niets vergeet en perfect flexibel blijft, het nog steeds moeite heeft om hetzelfde niveau van intelligentie te bereiken als een model dat op alle data tegelijkertijd is getraind. Hun werk, gepresenteerd op de 5de Conference on Lifelong Learning Agents, identificeert een derde, verborgen factor die bepaalt hoe goed deze systemen leren: het verlies van co-observatie (co-observation). Deze term beschrijft het eenvoudige feit dat wanneer data in afzonderlijke brokken over een bepaalde tijd wordt geleerd, het model de kans mist om verschillende stukken informatie simultaan te zien. De onderzoekers ontdekten dat dit ontbrekende verband voorkomt dat het model een meest robuust begrip van de wereld opbouwt, een beperking die bestaat ongeacht hoe goed het vergeten wordt beheerst.
Om te begrijpen waarom dit ertoe doet, stel je voor dat je een complexe puzzel probeert te leggen. Als je alle stukjes in één keer krijgt, kun je gemakkelijk zien hoe de randen van het ene deel verbonden zijn met het centrum van een ander deel, waardoor je het grotere plaatje kunt zien en de stukjes efficiënt in elkaar kunt passen. Dit is hoe standaard kunstmatige intelligentie gewoonlijk wordt getraind. In contrast hiermee is continu leren als het stuk voor stuk krijgen van puzzelstukjes, zonder de kans om terug te kijken naar de stukjes die je al hebt gelegd. Je past het huidige stukje misschien perfect in de beschikbare ruimte, maar zonder de omliggende stukjes te zien, mis je misschien een cruciale verbinding die je geholpen zou hebben het hele beeld te begrijpen. De onderzoekers stellen dat dit onvermogen om in één keer het "hele plaatje" te zien een fundamentele kloof in prestaties creëert die niet simpelweg kan worden opgelost door het verleden te onthouden.
Het team ontwierp een reeks experimenten om te bewijzen dat deze kloof echt en onderscheidbaar is van het probleem van vergeten. Ze gebruikten een methode waarmee ze de twee problemen konden isoleren. Eerst creëerden ze een scenario waarin een model leerde van data in vier afzonderlijke batches, wat de realiteit van de informatiestroom nabootst. Om te garanderen dat een eventuele daling in prestaties niet alleen kwam door het vergeten van eerdere lessen, gebruikten ze een speciale techniek genaamd een ensemble. Dit hield in dat er na elke leerstap een kopie van het 'brein' van het model werd opgeslagen en dat al die kopieën samen werden gevoegd. Dit gecombineerde model onthield effectief alles perfect, waardoor het probleem van vergeten volledig werd geëlimineerd. Ze vergeleken dit model met "perfect geheugen" vervolgens met een standaardmodel dat alle data tegelijkertijd zag.
De resultaten waren duidelijk en consistent. Zelfs met een perfect geheugen presteerde het model dat in afzonderlijke brokken leerde slechter dan het model dat alles tegelijkertijd zag. Dit bleef waar, of het model nu leerde om afbeeldingen te herkennen op een gesuperviseerde manier, waarbij het de juiste antwoorden kreeg, of op een zelfgesuperviseerde manier, waarbij het zelf patronen moest ontdekken. De onderzoekers testten dit op standaard beelddatasets, waaronder CIFAR-100 en ImageNet-100, met verschillende soorten neurale netwerkarchitecturen. In elk geval presteerde het model dat sequentieel leerde, zelfs met perfect behoud, niet op hetzelfde niveau van generalisatie als het model dat gezamenlijk werd getraind. Dit bewees dat het probleem niet een falen van het geheugen was, maar een falen van de synthese van informatie over verschillende perioden heen.
De studie onderzocht ook hoe huidige oplossingen voor continu leren met dit probleem omgaan. Een populaire methode is 'experience replay', waarbij het model een paar oude voorbeelden samen met nieuwe wordt getoond om het geheugen te ondersteunen. De onderzoekers vonden dat deze methode werkt, maar niet alleen omdat het vergeten tegengaat. In plaats daarvan werkt het omdat het op kunstmatige wijze de conditie van co-observatie herstelt. Door oude en nieuwe data samen te tonen, zelfs in kleine batches, krijgt het model de kans om de verbindingen tussen hen te zien, wat helpt bij het opbouwen van betere representaties. Een andere veelvoorkomende techniek, bekend als 'knowledge distillation', die probeert het nieuwe model het oude te laten nabootsen, bleek weliswaar effectief in het voorkomen van vergeten, maar slaagde er niet in de prestatiekloof te dichten. Dit suggereert dat het louter bewaren van oude kennis niet genoeg is; het model heeft het actieve voordeel nodig van het samen zien van data om echt te kunnen leren.
Deze bevindingen suggereren dat het vakgebied van kunstmatige intelligentie zijn aanpak van lifelong learning moet heroverwegen. Jarenlang lag de focus bijna uitsluitend op het voorkomen van het verlies van oude kennis. Hoewel dat belangrijk blijft, stellen de onderzoekers dat we ook de structurele achterstand moeten aanpakken die voortvloeit uit het leren in isolatie. Het prestatieplafond voor sequentieel leren ligt lager dan voorheen gedacht, niet omdat het model vergeet, maar omdat het de context mist die voortkomt uit simultane observatie. Dit inzicht verandert hoe we vooruitgang in dit veld evalueren. Het impliceert dat toekomstige algoritmen meer moeten doen dan alleen het verleden beschermen; ze moeten manieren vinden om actief verbindingen tussen nieuwe en oude informatie te synthetiseren, bijvoorbeeld door betere manieren te ontwerpen om data te herhalen (replay) of door leeropdrachten zo te structureren dat ze kruis-distributioneel denken stimuleren.
De implicaties strekken zich uit voorbij alleen beeldherkenning. De onderzoekers merken op dat dit fenomeen waarschijnlijk ook invloed heeft op grote taalmodellen en andere complexe systemen die leren van enorme stromen data. Als een model een nieuw concept leert zonder het in de context te zien van wat het al weet, zal het mogelijk nooit de volledige relatie tussen die twee begrijpen. De studie beweert niet dat dit het enige probleem is bij continu leren, noch suggereert het dat vergeten geen groot probleem meer is. In veel praktische toepassingen blijft vergeten het meest directe en schadelijke probleem. Echter, door co-observatie te identificeren als een duidelijke en fundamentele beperking, hebben de onderzoekers een helderder overzicht gegeven van de uitdagingen die voor ons liggen. Ze laten zien dat om werkelijk intelligente systemen te bouwen die gedurende hun hele leven leren, we niet alleen het probleem van het geheugen moeten oplossen, maar ook het probleem van het perspectief.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.