Beyond Single-Model Optimization: Preserving Plasticity in Continual Reinforcement Learning

Probleemstelling

Het paper adresseert het fundamentele stabiliteit-plasticiteit-dilemma in continu versterkingsleren (Continual Reinforcement Learning - CRL). Bestaande methoden kampen vaak met twee faalmodi:

1. Catastrophical Forgetting: De prestaties op eerder geleerde taken deterioreren wanneer nieuwe taken worden geleerd.
2. Verlies van Plasticiteit: Zelfs als een agent de oude taken behoudt, verliest het vermogen om nieuwe taken snel te leren of zich aan te passen na interferentie.

De auteurs stellen dat de meeste bestaande CRL-methoden vastzitten in een single-model paradigma. Ze proberen één evoluerend parameter-vector (één beleid) te behouden via regularisatie, replay of architecturale uitbreiding. Het probleem hiermee is dat een geconvergeerd beleid vaak een "scherp" en gespecialiseerd punt in de parameter-ruimte is. Hoewel dit punt op dat moment competent kan zijn, is het vaak instabiel onder distributieveranderingen en biedt het geen goede startpositie voor toekomstige aanpassing. Het behoud van één oplossing ondermijnt dus de capaciteit voor toekomstige plasticiteit.

Methodologie: TELAPA

De auteurs introduceren TELAPA (Transfer-Enabled Latent-Aligned Policy Archives), een raamwerk dat verschuift van het behoud van een enkel beleid naar het behoud van vaardigheidsbuurten (skill neighborhoods).

Kerncomponenten:

1. Per-taken Archief van Beleidswijken:

   • In plaats van één beleid per taak te bewaren, traint TELAPA een basisbeleid met PPO en vult daarna een archief aan met diverse "elite" beleidjes rondom dit basisbeleid.
   • Dit gebeurt via MAP-Elites in de parameter-ruimte, waarbij mutaties worden geëvalueerd en opgeslagen als ze competent zijn.
   • Het resultaat is een archief ($A_{T_k}$) van competent maar behavioraal diverse beleidjes voor elke taak.

2. Gedeelde Latente Ruimte (Latent-Aligned):

   • Om deze archieven over tijd en taken vergelijkbaar te houden, worden beleidjes afgebeeld in een gedeelde latente gedragsruimte via een geleerde traject-embedder.
   • Nabije punten in deze ruimte vertegenwoordigen behavioraal vergelijkbare oplossingen.

3. Retrieval en Selectie:

   • Wanneer een nieuwe taak ($T_{k+1}$) arriveert, wordt een kandidaat-pool samengesteld uit de vereniging van alle eerdere archieven.
   • Er wordt een few-shot selectie uitgevoerd: kandidaten worden kort getest op de nieuwe taak. De selectie is conservatief; men kiest niet per se het beleid met de hoogste initiële score, maar het beleid waarvan de "basin" (het gebied van competentie) het meest herbruikbaar lijkt voor snelle aanpassing.

4. Behoud van de Latente Ruimte onder Drift (Cruciaal):

   • Een groot probleem in CRL is representation drift: de embedder verandert naarmate nieuwe taken worden geleerd, waardoor de coördinaten van oude archieven veranderen en de nabijheidsrelaties verloren gaan.
   • TELAPA lost dit op met drie mechanismen:
     • Anchor Sets: Een set van referentie-episodes die vastgehouden wordt.
     • Replay-Based Alignment: Een "teacher-student" training waarbij de live embedder (student) wordt getraind om de embeddings van de anchor-episodes (via een bevroren teacher) stabiel te houden, terwijl hij zich aanpast aan nieuwe taken.
     • Periodic Re-embedding: Oude archieven worden periodiek opnieuw ingebed in de huidige latente ruimte om consistentie te garanderen.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Het paper pleit ervoor dat het object van behoud in CRL niet een enkel punt-oplossing is, maar een lokaal manifold van behavioraal diverse beleidjes.
2. Architectuur: De introductie van TELAPA, die QD-methoden (Quality-Diversity) combineert met continu leren en een mechanisme voor het stabiliseren van de latente ruimte tegen drift.
3. Analyse van Transfer: De auteurs tonen aan dat het "bron-optimale" beleid (het beste beleid op de oorspronkelijke taak) vaak niet het "transfer-optimale" beleid is. Zelfs binnen een lokaal competent gebied kunnen naburige beleidjes significant verschillen in hun nut voor toekomstige taken.
4. Stapstenen-structuur: Het bewijs dat TELAPA langere "stapstenen-lijnen" (stepping-stone lineages) behoudt over taken heen, waardoor complexe hergebruik mogelijk wordt dat verder gaat dan directe taak-naar-taak overdracht.

Resultaten

De methode is geëvalueerd in een MiniGrid-omgeving met een curriculum van 5 taken (A t/m E) en herbezoeken (A' t/m E').

• Prestaties: TELAPA presteert significant beter dan state-of-the-art baselines (zoals EWC, Finetuning, Shrink-and-Perturb, en Scratch-Reuse) op de belangrijkste metrieken:
  • Mean Success Rate (SR): Hoogste (0.706 vs ~0.588 voor Finetune).
  • Time-To-Threshold (TTT): Snelste herstel na interferentie (3.35M stappen vs 6.55M voor Finetune).
  • Coverage: Behoudt competentie op een groter deel van de taken (0.50 vs 0.37).
• Ablatie-studies:
  • TELAPA-Static: Een versie zonder online her-embedden presteert slechter, wat aantoont dat het stabiliseren van de latente ruimte essentieel is.
  • Single-Model vs. Neighborhood: Zelfs als een enkel beleid wordt bewaard (zoals bij Scratch-Reuse), presteert TELAPA beter omdat het meerdere alternatieven bewaart.
  • Curriculum Robuustheid: De voordelen van TELAPA houden stand zelfs bij ongunstige taakvolgorde (reverse curriculum of geschaalde volgorde), wat aantoont dat het niet afhankelijk is van een speciaal ontworpen leerpad.
• Inzicht: De analyse toont aan dat het "collapsen" van een diverse buurt naar één representatief beleid (zoals single-model methoden doen) een verlies van potentieel transfer-optimaal beleid betekent.

Significantie

Dit paper biedt een fundamenteel nieuw perspectief op continu leren. Het stelt dat plasticiteit niet alleen wordt behouden door gewichten te beschermen, maar door een gestructureerde bibliotheek van vaardigheden te onderhouden die onderling verbonden zijn in een stabiele latent space.

De bevindingen suggereren dat voor levenslange agenten het niet volstaat om "het beste antwoord" te onthouden; men moet een diversiteit aan competente benaderingen bewaren die als springplanken kunnen dienen voor toekomstige, onbekende taken. Dit biedt een route weg van het "single-model" denken naar meer robuuste en adaptieve AI-systemen die beter omgaan met niet-stationaire omgevingen.