Metaplasticity as adaptive gradient preconditioning for incremental learning

Het menselijk brein bezit het opmerkelijke vermogen om continu te leren. Een kind kan leren een hond te herkennen, daarna leren fietsen en vervolgens een nieuwe taal leren, zonder daarbij te vergeten hoe een hond te identificeren. Deze naadloze stroom van nieuwe kennis overschrijft oude herinneringen niet. In contrast hiermee worstelen kunstmatige intelligentiesystemen, die gebouwd zijn op wiskundige modellen geïnspireerd door het brein, diepgaand met precies deze taak. Wanneer deze computerprogramma's een nieuwe taak leren, lijden ze vaak aan "catastrofale vergetelheid", een fenomeen waarbij het nieuwe leren de oude kennis gewelddadig uitwist. Het systeem wordt instabiel, niet in staat om het verleden vast te houden terwijl het het heden probeert te vatten. Wetenschappers zoeken al lang naar een oplossing voor dit "stabiliteit-plasticiteit-dilemma", waarbij ze proberen een manier te vinden waarop machines flexibel genoeg zijn om nieuwe dingen te leren, maar stabiel genoeg om te behouden wat ze al weten.

Decennialang hebben onderzoekers geprobeerd de oplossing van het brein na te bootsen door extra regels toe te voegen of oude gegevens op te slaan om later te herzien. Deze benaderingen vereisen echter vaak dat de computer precies weet wanneer één taak eindigt en een andere begint, of ze eisen enorme hoeveelheden geheugen om oude voorbeelden op te slaan. Deze vereisten voelen kunstmatig aan en weerspiegelen niet hoe biologische intelligentie werkelijk werkt. Een nieuwe studie van onderzoekers aan de Universiteit van Sydney stelt een ander pad voor. In plaats van de computer te dwingen oude gegevens te onthouden of te stoppen om de belangrijkheid te berekenen nadat een taak is voltooid, suggereren zij dat het systeem zijn eigen leersnelheid in realtime moet aanpassen, moment voor moment, precies zoals een levende synaps dat doet. Ze noemen deze benadering SynGAP, een methode die het leerproces niet behandelt als een reeks afzonderlijke stappen, maar als een continue, stromende rivier waarbij de stroming de oevers op natuurlijke wijze vormgeeft.

De kern van het idee put uit een biologisch concept dat bekend staat als metaplasticiteit. In het brein is een synaps niet slechts een eenvoudige schakelaar die aan of uit gaat; het heeft een geschiedenis. De staat van een synaps verandert op basis van hoe vaak deze in het verleden is gebruikt, waardoor het ofwel waarschijnlijker of minder waarschijnlijk wordt dat deze opnieuw verandert. Dit is de "plasticiteit van plasticiteit". Als een verbinding gedurende een lange tijd is versterkt, maakt het brein het moeilijker om die verbinding te wijzigen, waardoor die herinnering wordt beschermd. Als een verbinding nieuw of ongebruikt is, blijft deze flexibel. De onderzoekers realiseerden zich dat kunstmatige neurale netwerken kunnen profiteren van ditzelfde principe. In plaats van te wachten tot een taak voltooid is om te beslissen welke delen van het netwerk belangrijk zijn, stelt hun methode het netwerk in staat om constant zijn eigen geschiedenis te monitoren. Het houdt een voortschrijdend gemiddelde bij van hoeveel elk deel van het netwerk heeft bijgedragen aan het verleden leren, waardoor het effectief een geheugen van belangrijkheid creëert dat wordt bijgewerkt met elk nieuw stukje data.

Om dit in de praktijk te brengen, ontwikkelde het team een systeem dat fungeert als een dynamische klep voor het leerproces. Wanneer de computer probeert iets nieuws te leren, berekent het de standaard aanpassingen die nodig zijn om de prestaties te verbeteren. Echter, voordat deze aanpassingen worden toegepast, gaan ze door een filter. Dit filter controleert de geschiedenis van elke verbinding. Als een verbinding cruciaal is geweest voor eerdere taken, vertraagt het filter de verandering voorzichtig, waardoor voorkomt dat het nieuwe leren de oude kennis vernietigt. Als de verbinding niet cruciaal is, laat het filter de verandering vrij gebeuren. Cruciaal is dat dit gebeurt zonder dat de computer hoeft te weten welke taak hij momenteel uitvoert, en zonder dat er een grote bibliotheek aan oude voorbeelden hoeft te worden opgeslagen om naar terug te kijken. Het systeem stroomt simpelweg vooruit, waarbij het zijn eigen gevoeligheid aanpast op basis van wat het al heeft geleerd.

De onderzoekers testten deze aanpak op twee uitdagende benchmarks waarbij een computer achter elkaar verschillende categorieën afbeeldingen moet leren herkennen. In één test moest het systeem 100 verschillende klassen afbeeldingen leren, verdeeld in tien groepen. Standaard leermethoden, die simpelweg proberen fouten te minimaliseren terwijl ze bezig zijn, vergaten de eerste groepen bijna volledig en behielden minder dan 10% nauwkeurigheid op de oude taken. Methoden die probeerden oude data te bewaren of extra straffen toe te voegen aan het leerproces presteerden beter, maar hadden nog steeds moeite en vergaten vaak meer dan de helft van wat ze hadden geleerd. De nieuwe SynGAP-methode behaalde echter een aanzienlijk hoger succesniveau. Het behield een gemiddelde nauwkeurigheid van bijna 27% op de oude taken, wat meer dan vier keer beter is dan de standaard regularisatiemethode en bijna 10% beter dan de methode die vertrouwt op het opslaan van oude data. Het verminderde ook de mate van vergetelheid met meer dan 10% vergeleken met die gevestigde technieken.

In een tweede test, die een continue stroom van objectherkenning betrof, waren de resultaten even sterk. De nieuwe methode bereikte een nauwkeurigheid van ongeveer 68%, waarmee het de beste standaard leermiddelen met ongeveer 10 procentpunten versloeg. Misschien wel het belangrijkste is dat het systeem niet rigide werd. Sommige methoden die oude herinneringen te goed beschermen, maken het voor de computer onmogelijk om iets nieuws te leren. De onderzoekers ontdekten dat hun aanpak een delicaat evenwicht vond: het beschermde het verleden zonder de toekomst te bevriezen. Het systeem bleef flexibel genoeg om zich aan te passen aan nieuwe informatie, terwijl de kernstructuur van de oude kennis intact bleef.

Het succes van deze aanpak ligt in de manier waarop het de aard van de leerupdate verandert. Traditionele methoden proberen het probleem vaak op te lossen door een straf toe te voegen aan het uiteindelijke doel, wat in essentie de computer vertelt: "Beweeg niet te ver van waar je was." Dit kan het leerpad verstoren en conflicten creëren naarmate het aantal taken groeit. De nieuwe methode daarentegen wijzigt de leerstap zelf. Het fungeert als een geometrische gids, die de computer wegstuurt van richtingen die oude herinneringen zouden vernietigen, terwijl het de computer vrij laat bewegen in richtingen die niet interfereren. Dit gebeurt continu, gedreven door de stroom van data zelf, in plaats van door externe signalen of opgeslagen herinneringen. De onderzoekers hebben aangetoond dat ze door dit biologische proces wiskundig te formaliseren, een systeem kunnen creëren dat zowel robuust als efficiënt is en zeer weinig extra geheugen vereist om te functioneren.

Hoewel het systeem zeer effectief is, merken de onderzoekers op dat het geen perfecte oplossing is voor elk mogelijk scenario. Het leunt momenteel op een vereenvoudigd beeld van de interne geometrie van het netwerk, wat goed werkt voor veel gevallen, maar verfijning kan vereisen voor extreem complexe problemen. Het vereist ook nog steeds een kleine hoeveelheid opgeslagen data om te functioneren, hoewel veel minder dan eerdere methoden. Ondanks deze beperkingen biedt het werk een belangrijke stap voorwaarts. Het laat zien dat door nauwkeurig te kijken naar hoe biologische systemen de spanning tussen stabiliteit en verandering beheren, en door die principes te vertalen naar een continu, realtime proces, we kunstmatige intelligentie kunnen bouwen die meer leert als een levende geest. De studie suggereert dat de sleutel tot het voorkomen van catastrofale vergetelheid niet ligt in het stoppen van het leren of het verzamelen van het verleden, maar in het laten vormen van de toekomst door de geschiedenis van het leren.