Technische Samenvatting: Catastrofaal Vergeten in Continual Reinforcement Learning

Probleemstelling

Continual learning, het vermogen van een systeem om taken sequentieel te leren terwijl kennis van voorgaande taken behouden blijft, blijft een belangrijke onopgeloste uitdaging in machine learning. Een primaire barrière voor deze capaciteit is catastrofaal vergeten (catastrophic forgetting), waarbij een model eerder verworven kennis verliest bij het leren van nieuwe informatie. Hoewel er uitgebreid onderzoek bestaat naar het beperken van vergeten in supervised learning en neurale netwerken, blijft de specifieke relatie tussen taakgelijkenis (task similarity) en de ernst van vergeten in Reinforcement Learning (RL) ondergekwantificeerd.

Deze studie onderzoekt in welke mate de gelijkenis van een nieuwe taak de prestatievermindering op een eerder geleerde taak beïnvloedt binnen een continual RL-setting. Het onderzoek beoogt te bepalen of er een kwantificeerbare relatie bestaat tussen de mate van taakverschil en de omvang van catastrofaal vergeten, specifiek in interpreteerbare, tabulaire RL-agenten.

Methodologie

Experimenteel Framework

De studie maakt gebruik van tabulaire Q-learning op graafgebaseerde taken. Het doel voor de agent is om het aantal stappen te minimaliseren dat nodig is om een specifieke doeltoestand te bereiken. Het gebruik van tabulaire methoden waarborgt interpreteerbaarheid, terwijl de graafgebaseerde omgeving nauwkeurige controle over de taakstructuur mogelijk maakt.

Taakgeneratie

Taken worden gegenereerd met behulp van Voronoi-diagrammen afgeleid van een set locaties (punten) in een 2D-vlak.

• Structuur: De knopen van de graaf komen overeen met de hoekpunten van het Voronoi-diagram, en de randen (edges) vertegenwoordigen de verbindingen tussen aangrenzende regio's.
• Controle over Gelijkenis: Om een sequentie van gerelateerde taken te genereren, worden de interne locaties van het Voronoi-diagram geperturbeerd. Een basisset locaties ($x_0$) en een nieuwe set ($x_1$) worden gesampled uit een Gaussische distributie. Een nieuwe taakconfiguratie ($x_\alpha$) wordt gecreëerd via lineaire interpolatie:
  $$x_\alpha = \cos\left(\frac{\pi}{2}\alpha\right)x_0 + \sin\left(\frac{\pi}{2}\alpha\right)x_1$$
  waarbij $\alpha \in [0, 1]$ de mate van perturbatie controleert. $\alpha=0$ vertegenwoordigt de basistaak, en $\alpha=1$ vertegenwoordigt de volledig geperturbeerde taak.
• Consistentie: Om de agent in staat te stellen taken te vergelijken, wordt een rotatiesysteem geïmplementeerd. Dit wijst acties toe (achteruit, links, rechts) op basis van de relatieve klokzinnige ordening van buren rond een knoop, in plaats van absolute coördinaten. Dit stelt de agent in staat om de topologische structuur van de graaf te interpreteren, onafhankelijk van ruimtelijke vervorming.

Meten van Taakgelijkenis

De studie definieert taakgelijkenis op basis van het topologische structurele verschil tussen grafen, aangezien de agent optimaliseert voor het aantal stappen in plaats van de geometrische afstand.

• Metrieken: Vanwege de computationele onhandelbaarheid van de Graph Edit Distance (NP-hard), maakt de studie gebruik van een combinatie van twee computationeel haalbare metrieken:
  1. Wasserstein Afstand ($W_2$): Meet het verschil in de ruimtelijke distributie van de oppervlaktes van de Voronoi-cellen.
  2. Hausdorff Afstand ($\delta_H$): Meet de maximale afstand tussen de verzamelingen hoekpunten van de twee grafen.
• Gecombineerde Metriek: De uiteindelijke gelijkenismaat $\Delta(G_1, G_2)$ is het gemiddelde van de genormaliseerde Wasserstein- en Hausdorff-afstanden.

Evaluatieprotocol

1. Fase 1 (Basisleren): Een agent wordt getraind op een basisgraaf ($G_0$) tot convergentie. Prestaties worden gemeten aan de hand van het aantal stappen om het doel te bereiken.
2. Fase 2 (Nieuwe Taak Leren): Dezelfde agent wordt getraind op een nieuwe graaf ($G_\alpha$) met een andere topologie maar dezelfde definitie van de doeltoestand.
3. Fase 3 (Meten van Vergeten): De agent wordt opnieuw getest op de oorspronkelijke basisgraaf ($G_0$).
4. Kwantificatie: Vergeten wordt gekwantificeerd als de toename in het aantal stappen dat nodig is om de basistaak op te lossen na training op de nieuwe taak, vergeleken met de prestaties vóór de training op de nieuwe taak.

Belangrijkste Resultaten

De studie voerde honderd experimentele proeven uit over variërende niveaus van taakcomplexiteit en gelijkenis ($\alpha$).

• Complexe Dynamiek: De resultaten onthullen een complexe dynamiek tussen taakgelijkenis en vergeten, met significante fluctuaties in de ernst van het vergeten waargenomen bij verschillende graden van taakgelijkenis en taakcomplexiteit.
• Variabiliteit: De gegevens vertoonden een hoge mate van variabiliteit in de uitkomsten van het vergeten, vergezeld door een ongelijkmatige verdeling van de taakgelijkenis-maten.
• Statistische Significantie: Cruciaal is dat de studie geen bewijs van statistische significantie vond dat taakgelijkenis, onafhankelijk daarvan, een effect heeft op vergeten in continual reinforcement learning. De relatie tussen deze variabelen blijft onduidelijk, en geen specifiek patroon (lineair, monotoon, of anderszins) werd bevestigd.
• Interafhankelijkheid: De observaties suggereren een interafhankelijkheid van vergeten op zowel de gelijkenis als de complexiteit van taken, maar de specifieke aard van deze relatie werd niet opgelost.

Betekenis en Claims

Het artikel positioneert zichzelf als een exploratieve investigatie in een gat in de literatuur: de kwantificering van hoe taakverschillen specifiek leiden tot catastrofaal vergeten in RL.

• Bescheiden Claims: De auteur stelt expliciet dat hun observaties suggereren dat er een interafhankelijkheid is van vergeten op zowel gelijkenis als complexiteit, maar zij claimen niet een definitief causaal mechanisme of een specifieke functionele relatie te hebben bewezen.
• Negatief Resultaat als Bijdrage: Een primaire bijdrage is de bevinding dat, binnen de beperkingen van deze specifieke tabulaire, graafgebaseerde setting, taakgelijkenis alleen niet lijkt een statistisch significante voorspeller te zijn van de ernst van het vergeten. Dit daagt de aanname uit dat gelijkenis een directe proxy is voor het risico op vergeten in alle RL-contexten.
• Toekomstige Richtingen: Het artikel concludeert dat verder onderzoek gerechtvaardigd is om de potentiële interactie tussen taakgelijkenis en catastrofaal vergeten uitgebreid te begrijpen, waarbij wordt opgemerkt dat de huidige resultaten de noodzaak benadrukken voor robuustere experimentele ontwerpen of alternatieve metrieken om de geobserveerde variabiliteit op te lossen.

De studie stelt geen nieuwe mitigatie-algoritmen of specifieke toepassingen voor, maar biedt eerder een fundamentele analyse van de probleemruimte met behulp van interpreteerbare modellen om structurele variabelen te isoleren.