Stel je een robotarm voor die leert om een reeks taken achter elkaar uit te voeren. In de echte wereld zijn deze taken zelden geïsoleerd; ze lijken vaak erg op elkaar, maar vereisen soms verschillende, zelfs tegenovergestelde bewegingen. Een robot moet bijvoorbeeld een pot openen door deze met de klok mee te draaien, en later moet hij leren een andere pot te openen door deze tegen de klok in te draaien. De uitdaging voor kunstmatige intelligentie is dat wanneer de robot de nieuwe vaardigheid leert, hij vaak de herinnering aan de oude overschrijft, een fenomeen dat wetenschappers catastrofale vergetelheid noemen. Om dit te voorkomen, gebruiken onderzoekers doorgaans een methode genaamd 'experience replay', waarbij de robot oefent met een mix van oude en nieuwe gegevens, vergelijkbaar met een student die oude aantekeningen doorneemt terwijl hij voor een nieuw examen studeert. Jarenlang was de standaardaanpak om deze oude aantekeningen willekeurig te kiezen, uitgaande van de veronderstelling dat elke steekproef uit het verleden even nuttig is.

Echter, een nieuwe studie van onderzoekers van Stanford University en het Toyota Research Institute suggereert dat niet alle herinneringen gelijk zijn. Ze ontdekten dat er binnen de enorme geschiedenis van de ervaringen van een robot een kleine, cruciale subset aan gegevens bestaat die fungeert als een vitale anker, die de kennis van de robot over eerdere taken op zijn plaats houdt. De onderzoekers noemen deze specifieke herinneringen "Memory Anchors" (geheugenankers). Hun werk toont aan dat als de trainingsdata van een robot zelfs maar een klein fractie van deze ankers mist, de robot zijn oude vaardigheden veel sneller vergeet. Omgekeerd, als de trainingsdata doelbewust wordt verrijkt met deze specifieke herinneringen, kan de robot nieuwe, conflicterende taken leren zonder de oude te verliezen. Deze bevinding verschuift de focus van simpelweg meer data verzamelen naar het zorgvuldig selecteren van de belangrijkste momenten uit het verleden om de groeiende intelligentie van de robot te beschermen.

De onderzoekers begonnen met de observatie dat zelfs wanneer robots 'experience replay' gebruiken, hun prestaties verrassend gevoelig zijn voor de vraag welke oude data ze precies kiezen voor de oefening. In hun experimenten ontdekten ze dat sommige willekeurige selecties van oude data de robot in staat stelden zijn vaardigheden perfect te behouden, terwijl andere willekeurige selecties ervoor zorgden dat de robot diezelfde vaardigheden bijna volledig vergat. Deze inconsistentie wees op een verborgen patroon: bepaalde taken waren veel moeilijker om sequentieel te leren omdat ze een visuele gelijkenis deelden met eerdere taken, maar een compleet andere fysieke actie vereisten. Bijvoorbeeld, een robot kan een kom en een pot zien die er hetzelfde uitzien, maar de een vereist tillen terwijl de ander draaien vereist. Wanneer de robot de nieuwe taak leert, kan zijn interne begrip van het uiterlijk van het object samenvallen met dezelfde mentale categorie als de oude taak, wat leidt tot verwarring over welke actie ondernomen moet worden.

Om dit op te lossen, ontwikkelde het team een methode om deze kritieke momenten te identificeren en te isoleren. Ze zochten naar de specifieke punten in de nieuwe taak waar het huidige begrip van de robot over de situatie het meest heftig botste met wat hij eerder had geleerd. Ze vonden de momenten waarop de ogen van de robot iets vertrouwds zagen, maar zijn brein wist dat hij iets anders moest doen. Vanuit deze momenten van conflict grepen ze terug in het verleden van de robot en haalden ze de specifieke oude ervaringen naar voren die het meest leken op de verwarrende nieuwe situatie. Deze opgehaalde herinneringen zijn de Memory Anchors. Ze dienen als een referentiepunt dat de robot eraan herinnert dat hoewel het object er hetzelfde uitziet, de vereiste actie anders is, wat effectief voorkomt dat het nieuwe leren het oude uitwist.

Het team testte dit idee door deze ankers doelbewust uit de trainingsdata van de robot te verwijderen. De resultaten waren schokkend: toen ze slechts tien procent van de beste ankers uitsloten, nam de vergetelheid van eerdere taken van de robot met meer dan vierënhalf keer toe. Dit bewees dat een zeer klein aantal specifieke herinneringen het zware werk deed om de geschiedenis van de robot te bewaren. In een tweede reeks tests deden ze het tegenovergestelde: ze namen een standaard trainingsbuffer en vulden deze aan met extra Memory Anchors. Deze eenvoudige aanpassing verminderde het vergeten van moeilijke, conflicterende taken met een zestigendrie procent. De robot was in staat om een sequentie van taken te leren die anders tot falen zou hebben geleid, waarbij hij het vermogen behield om de eerste taak uit te voeren, zelfs nadat hij de derde taak onder de knie had gekregen.

Om te waarborgen dat dit niet slechts een simulatie was, namen de onderzoekers hun methode mee naar een echte robotarm in een laboratorium. Ze stelden een reeks taken op waarbij identiek uitziende potten betrokken waren die verschillende openingsstrategieën vereisten: de een vereiste een draai tegen de klok in, een andere een draai met de klok mee, en een derde een directe liftbeweging. Zonder hun speciale methode zou de robot de eerste taak leren, om vervolgens de tweede taak te leren en de eerste volledig te vergeten, of zou hij de tweede taak niet kunnen leren omdat hij te bang was de eerste te verpesten. Wanneer ze de Memory Anchor-strategie toepasten, slaagde de robot erin om alle drie de taken in sequentie uit te voeren. Hij behaalde een succespercentage dat 1,7 keer hoger was dan dat van een robot die getraind werd met een standaard, willekeurige mix van oude data. De robot leerde de subtiele verschillen tussen de potten te onderscheiden en de juiste beweging voor elk object uit te voeren, wat bewees dat de ankers hielpen om de balans te vinden tussen het leren van nieuwe dingen en het onthouden van de oude.

De studie onderzocht ook hoe dit werkt met verschillende soorten 'robotbreinen', inclusief grote, vooraf getrainde modellen die al behoorlijk slim zijn. Zelfs voor deze geavanceerde systemen, die over het algemeen beter zijn in onthouden, maakte de aanwezigheid van Memory Anchors een significant verschil wanneer de trainingsdata beperkt was. De onderzoekers ontdekten dat deze modellen ook last hadden van vergetelheid wanneer de cruciale ankers ontbraken, en dat ze verbeterden wanneer de ankers werden toegevoegd. Dit suggereert dat het principe fundamenteel is voor hoe machines leren van ervaring, ongeacht de complexiteit van de software. De sleutel is niet alleen het hebben van data, maar het hebben van de juiste data op het juiste moment om als een stabilisator te fungeren tegen de chaos van nieuw leren.

Dit onderzoek biedt een nieuwe manier om na te denken over hoe machines slimmer kunnen worden over tijd zonder hun verleden te verliezen. Het suggereert dat de weg naar een robot die continu kan leren in de echte wereld niet alleen ligt in het voeden met meer informatie, maar in het leren van de robot om de specifieke momenten te herkennen en te waarderen waarop zijn verleden en heden botsen. Door deze Memory Anchors te identificeren, kunnen ingenieurs systemen bouwen die robuuster zijn en in staat zijn om de rommelige, overlappende realiteit van de fysieke wereld aan te kunnen. Het werk zet het vakgebied vooruit door te laten zien dat in de reis van continu leren de kwaliteit van het geheugen veel belangrijker is dan de kwantiteit, en dat een paar goed gekozen momenten uit het verleden de toekomst van de intelligentie van een robot kunnen veiligstellen.