Curriculum reinforcement learning with measurable task representation learning

Technische Samenvatting: Curriculum Versterkend Leren met Meetbare Taakrepresentatieleren

Probleemstelling
Curriculum Versterkend Leren (CRL) streeft naar versnelling van het leren op uitdagende doeltaakken door agenten te trainen op een reeks taken met toenemende moeilijkheidsgraad. Waar vroege CRL-methode zich richtten op het sequentiëren van vooraf gedefinieerde taken, is recent onderzoek verschoven naar automatische curriculumgeneratie. Een dominante paradigma in dit veld omvat taakdistributie-interpolatie, waarbij nieuwe tussenliggende taken worden gegenereerd door interpolatie tussen een initiële taakdistributie en een doeltaakdistributie met behulp van afstandsmaten zoals KL-divergentie of Wasserstein-afstand.

Echter, deze op interpolatie gebaseerde aanpak rust op de aanname dat taakgelijkenis kan worden gemeten via Euclidische afstand in de context- (taak)ruimte. Deze aanname faalt in complexe omgevingen, met name die met niet-Euclidische geometrische structuren (bijvoorbeeld labyrinten met muren). In dergelijke contexten kan een rechte lijn-interpolatie in de parameterruimte taken genereren die fysiek onuitvoerbaar zijn (bijvoorbeeld het plaatsen van een doel achter een muur) of die geen zinvolle voortgang in moeilijkheidsgraad vertegenwoordigen, waardoor de capaciteit van de agent om kennis effectief over te dragen wordt gehinderd. Bovendien worstelen bestaande methoden vaak om zinvolle gelijkenismaten te definiëren in complexe, hoogdimensionale of omgevingen met schaarse beloningen zonder externe beloningssignalen die specifiek zijn ontworpen voor curriculumgeneratie.

Methodologie: ACRL
De auteurs stellen ACRL (Automatic Curriculum with Representation Learning) voor, een raamwerk dat curricula genereert door het leren van een meetbare taakrepresentatie in een latente ruimte. Het kerninzicht is dat taakgelijkenis moet worden gedefinieerd door het gedrag van de agent (toestandsovergangen en beloningen) in plaats van ruwe omgevingsparameters.

De methodologie bestaat uit drie hoofdcomponenten:

1. Taakrepresentatieleren via VAE:
   De auteurs maken gebruik van een Variational Autoencoder (VAE) om taakcontexten af te beelden op een latente ruimte.

   • Encoder: Neemt trajecten (reeksen van toestanden, acties, beloningen en volgende toestanden) verzameld uit een specifieke taakcontext $c$ en encodeert deze in een latente embedding $z$. Om permutatie-invariantie te waarborgen, wordt de trajectembedding berekend als het product van embeddings voor individuele overgangen.
   • Decoders: De VAE bevat een overgangsdecoder ($p_\theta(s'|z)$) en een beloningsdecoder ($p_\theta(r|z)$) om de volgende toestand en beloning te reconstrueren, zodat de latente ruimte de dynamiek en beloningsstructuur van de taak vastlegt.
   • Taakdecoder: Een aanvullende decoder ($p_c^\theta(z)$) beeldt de latente embedding terug af op de contextruimte, waardoor het genereren van nieuwe taakparameters vanuit latente punten mogelijk wordt.
   • Trainingsbeperking: Om zinvolle representaties te waarborgen, wordt de VAE uitsluitend getraind op trajecten waarbij de agent een rendement boven een specifieke drempel $\delta$ behaalt, waardoor willekeurige of mislukte pogingen worden gefilterd.

2. Automatische Curriculumgeneratie:
   Zodra taakrepresentaties zijn geleerd, wordt het curriculum bijgewerkt met twee strategieën gebaseerd op de leervoortgang van de agent:

   • Latente Ruimte Predictie (LSP): Wordt gebruikt wanneer de agent een bepaalde prestatie op de doeltaak heeft bereikt. De methode interpolert tussen de latente embeddings van huidige succesvolle taken en de embedding van de doeltaak in de latente ruimte. Deze geïnterpoleerde punten worden gedecodeerd terug naar de contextruimte om nieuwe, progressief moeilijkere taken te genereren die de onderliggende geometrische beperkingen van de omgeving respecteren.
   • Exploratiegrens Update (EBU): Wordt gebruikt in vroege stadia of wanneer de prestatie op de doeltaak laag is. De methode identificeert de "exploratiegrens" – taken die het dichtst bij het doel liggen en die de agent momenteel kan oplossen – en steekt nieuwe taken in de buurt van deze grens met toegevoegde Gaussische ruis om exploratie te stimuleren.

3. Steekproefstrategie:
   Het raamwerk onderhoudt een taakbuffer en gebruikt een steekproefverhouding $\lambda$ om een evenwicht te vinden tussen steekproeven uit de geleerde curriculumdistributie (om voortgang te benutten) en een uniforme distributie over de contextruimte (om exploratie te waarborgen en modale ineenstorting te voorkomen).

Belangrijkste Bijdragen

1. ACRL Raamwerk: Het voorstellen van een geautomatiseerd curriculum RL-raamwerk dat tussentijdse taakdistributies genereert tussen bron- en doeltaakken zonder externe beloningen voor curriculumgeneratie te vereisen. Het maakt gebruik van taakrepresentatieleren om contexten af te beelden op een latente ruimte, waardoor een soepelere en zinvollere maatstaf voor taakgelijkenis wordt gewaarborgd.
2. Meetbare Taakgelijkenis: Een nieuwe methode voor taakrepresentatieleren die de contextruimte afbeeldt op een latente ruimte met behulp van een VAE. Deze aanpak maakt gelijkenismeting mogelijk in niet-Euclidische metriekruimten door toestandsovergangen en beloningen te coderen, waardoor de beperkingen van directe Euclidische interpolatie worden overwonnen.
3. Empirische Superieure: Demonstraties die aantonen dat ACRL superieure leerefficiëntie en asymptotische prestaties bereikt op uitdagende navigatietaken met complexe geometrische structuren in vergelijking met state-of-the-art baselines, waaronder op interpolatie gebaseerde methoden (CURROT) en generatieve benaderingen (Goal GAN, ALP-GMM).

Experimentele Resultaten
De auteurs hebben ACRL geëvalueerd op twee domeinen:

• MiniGrid (Discrete Actieruimte): Een reeks labyrintnavigatietaken met variërende moeilijkheidsgraad (Makkelijk, Gemiddeld, Moeilijk) met sleutels, deuren en lava. In deze omgevingen faalt Euclidische afstand omdat muren directe paden blokkeren.

  • Prestatie: ACRL presteerde beter dan baselines (Standaard, Willekeurig, ALP-GMM, Goal GAN, VDS, PLR, CURROT) wat betreft tijd tot drempel en stabiliteit.
  • Curriculumvisualisatie: De gegenereerde taakdistributies navigeerden succesvol rond obstakels, bewegend van de beginpositie naar het doel via uitvoerbare paden. In tegenstelling hiermee genereerde CURROT tussenliggende taken die agenten vaak tegen muren leidden, waardoor geen geldig leerpad werd geboden.
  • Representatieanalyse: Multidimensionale Schaling (MDS) van de latente ruimte onthulde dat de geleerde embeddings effectief de niet-Euclidische structuur van de taken vastlegden, waarbij vergelijkbare taken (wat betreft moeilijkheidsgraad en geometrie) samen werden geclusterd.

• U-Maze (Continue Actieruimte): Een continue controleomgeving waarin de agent een U-vormige barrière moet navigeren.

  • Prestatie: ACRL toonde een betere steekproefficiëntie dan baselines. Hoewel Goal GAN goede asymptotische prestaties bereikte, leed het aan tijd tot drempel door gebrek aan doelgerichtheid. Andere baselines faalden omdat ze taken genereerden in onbereikbare gebieden.
  • Ablatiestudies: De studie bevestigde dat de combinatie van LSP en EBU cruciaal is. Het verwijderen van een van beide componenten of het instellen van de steekproefverhouding $\lambda$ te hoog (reductie van exploratie) of te laag (degradatie tot uniforme steekproefneming) verminderde de prestaties aanzienlijk. Het opnemen van zowel belonings- als overgangsdecoders bleek ook essentieel voor stabiel representatieleren.

Betekenis en Claims
Het artikel claimt dat ACRL een fundamentele beperking in automatische curriculumgeneratie aanpakt: het onvermogen van Euclidische afstandsmaten om taakgelijkenis in complexe, niet-Euclidische omgevingen vast te leggen. Door een latente representatie te leren gebaseerd op de daadwerkelijke interactie van de agent (trajecten), kan de methode curricula genereren die de geometrische en dynamische beperkingen van de omgeving respecteren.

De auteurs benadrukken dat hun aanpak:

• Geen externe beloningen vereist voor curriculumgeneratie.
• Compatibel is met elk bestaand RL-algoritme (bijvoorbeeld PPO, SAC).
• Zowel discrete als continue contextruimten verwerkt.
• Een robuustere en efficiënter leerpad biedt voor agenten die taken met lange horizon en schaarse beloningen aanpakken.

Het artikel concludeert bescheiden, met erkenning van een beperking: de methode gaat momenteel uit van een parametrische contextruimte (numerieke parameters) en kan niet direct omgaan met niet-parametrische definities zoals symbolische of taalgebaseerde contexten, hoewel dit wordt aangemerkt als een potentiële richting voor toekomstig werk met semantische encoders.