Technische Samenvatting: Taakbewuste Virtuele Training (TAVT)

Probleemstelling

Meta-Versterkingslering (Meta-RL) heeft tot doel beleidsplannen te trainen die zich snel kunnen aanpassen aan onbekende taken die zijn bemonsterd uit een taakverdeling. Hoewel contextgebaseerde methoden (bijv. PEARL, VariBad) gebruikmaken van geleerde taaklatenten om taken te onderscheiden, kampen ze vaak met problemen bij Out-of-Distribution (OOD) taken, met name wanneer de test-taakverdeling aanzienlijk afwijkt van de trainingsverdeling of wanneer de statische overgangsdynamiek varieert.

Bestaande benaderingen die proberen de OOD-generalisatie te verbeteren, zoals Latent Dynamics Mixture (LDM), construeren "Virtuele Taken" (VT's) door lineaire interpolatie van taaklatenten. De auteurs identificeren echter twee kritieke beperkingen in deze bestaande methoden:

1. Onnauwkeurige Taakkenmerking: Gegenereerde VT's slagen er vaak niet in de ware kenmerken van de onderliggende taken vast te leggen.
2. Beperkte Reikwijdte in Omgevingen met Variërende Staten: Methoden zoals LDM richten zich voornamelijk op het genereren van beloningsstalen, wat ontoereikend is voor omgevingen waar statische overgangen (dynamiek) veranderen op basis van de taak (bijv. variërende massa van de agent). Dit leidt tot overschattingen in de Q-functie bij het gebruik van gegenereerde stalen.

Methodologie: Taakbewuste Virtuele Training (TAVT)

De auteurs stellen Task-Aware Virtual Training (TAVT) voor, een nieuw algoritme dat is ontworpen om VT's te genereren die taakkenmerken nauwkeurig weerspiegelen voor zowel trainings- als OOD-scenario's. De methodologie integreert representatieleren op basis van metrieken, taakbehoudende staalgeneratie en stateregularisatie.

1. Representatie van Taken op Basis van Metrieken

Om ervoor te zorgen dat taaklatenten taakverschillen nauwkeurig vastleggen, maakt TAVT gebruik van de Bisimulatiemetriek (Ferns et al., 2011). In tegenstelling tot standaard reconstructieverliezen, kwantificeert deze metriek taakgelijkenis op basis van de beloningsfunctie ($R_T$) en de statische overgangsdynamiek ($P_T$).

• Definitie: De afstand tussen twee taken $T_i$ en $T_j$ wordt gedefinieerd als het verwachte verschil in beloningen plus de 2-Wasserstein-afstand tussen hun overgangsverdelingen.
• On-Off Latent Learning: Om het trainen te stabiliseren, introduceert TAVT een "aan-uit" latentestructuur. Het maakt gebruik van off-policy taaklatenten ($z_{off}$) die zijn afgeleid uit een replay-buffer om de Bisimulatie-afstand te handhaven, terwijl on-policy latenten ($z_{on}$) worden afgestemd op $z_{off}$. Dit voorkomt instabiliteit veroorzaakt door beperkte on-policy contexten.
• Verliesfunctie: De encoder-decoder-verliesfunctie omvat een Bisimulatieverlies (het afstemmen van latent-afstanden op taakmetrische afstanden), een reconstructieverlies en een on-off latentverlies.

2. Taakbehoudende Staalgeneratie

Standaard VT-construktie genereert vaak contexten die aanzienlijk afwijken van de beoogde taaklatent, wat leidt tot slechte generalisatie. TAVT adresseert dit via:

• Taakbehoudend Verlies: Een verliescomponent die het verschil minimaliseert tussen de beoogde virtuele taaklatent ($z_\alpha$) en de latent die is afgeleid uit de gegenereerde virtuele context ($\hat{z}_\alpha$).
• WGAN-integratie: Om de distributie-kloof tussen echte en gegenereerde contexten te overbruggen, maakt TAVt gebruik van een Wasserstein Generative Adversarial Network (WGAN). De taakdecoder fungeert als generator en leert stalen (beloningen en volgende staten) te produceren die sterk lijken op echte taakcontexten, terwijl de specifieke taaklatentinformatie behouden blijft.

3. Stateregularisatie

In omgevingen met variërende statische dynamiek (bijv. veranderende massa van de agent) kunnen gegenereerde volgende staten ($\hat{s}'$) aanzienlijke fouten introduceren, wat leidt tot overschatting van de Q-functie.

• Oplossing: TAVT introduceert een stateregularisatietechniek. De volgende staat in een virtuele context wordt vervangen door een mengsel van de gegenereerde staat en de echte staat uit de trainingsbuffer:
  $$\hat{s}'_{reg} = \epsilon_{reg}\hat{s}' + (1 - \epsilon_{reg})s'$$
  waarbij $\epsilon_{reg}$ een regularisatiecoëfficiënt is. Dit mitigeert overschattingbias terwijl er nog steeds gebruik wordt gemaakt van de dynamiek van de virtuele taak.

4. Exploratiebeleid

In tegenstelling tot PEARL, dat exploreert met behulp van een priorverdeling $N(0, I)$, hanteert TAVT een exploratiebeleid $\pi_{exp}$ dat gebruikmaakt van VT-taaklatenten ($z_\alpha$). Door de interpolatiecoëfficiënt $\alpha$ te variëren, verkent de agent een bredere reeks taken, inclusief OOD-regio's, wat betere taakinferentie faciliteert.

Belangrijkste Bijdragen

1. Nieuw VT-kader: TAVT is de eerste methode die representatieleren op basis van metrieken combineert met generatieve staalbehoud, specifiek voor OOD Meta-RL.
2. Taakbehoudend Mechanisme: De introductie van een taakbehoudend verlies en WGAN-gebaseerde generatie zorgt ervoor dat virtuele contexten nauwkeurige taakinformatie behouden, waardoor de "drift" die wordt waargenomen bij eerdere interpolatiemethoden wordt aangepakt.
3. Omgaan met Variërende Dynamiek: Door volledige dynamiek (beloningen en volgende staten) te genereren en stateregularisatie toe te passen, behandelt TAVT effectief omgevingen waar overgangsdynamiek verandert, een beperking van eerdere reward-only VT-methoden.
4. Gestabiliseerde Representatie: De on-off latentleerstructuur en de Bisimulatiemetriek bieden stabielere en nauwkeurigere taakrepresentaties in vergelijking met bestaande contextgebaseerde methoden.

Experimentele Resultaten

De auteurs hebben TAVT geëvalueerd op MuJoCo (6 omgevingen) en MetaWorld ML1 (6 omgevingen), en het vergeleken met state-of-the-art on-policy (MAML, RL2, VariBad) en off-policy (PEARL, CCM, MIER, Amago, LDM) methoden.

• OOD-Generalisatie: TAVT presteerde aanzienlijk beter dan alle baselines in OOD-scenario's. In omgevingen zoals Cheetah-Vel-OOD, Ant-Goal-OOD en Walker-Mass-OOD bereikte TAVT prestaties die dicht bij de "oracle"-bovengrens lagen (getraind op alle taken).
• Omgevingen met Variërende Staten: In Walker-Mass-OOD en Hopper-Mass-OOD, waar dynamiek varieert, faalde LDM om zich aan te passen, terwijl TAVT uitblonk vanwege het vermogen om voorspellingen van volgende staten te genereren en te regulariseren.
• Taakrepresentatie: t-SNE-visualisaties toonden aan dat TAVT's taaklatenten lineair aligneren met taakkenmerken (bijv. snelheid, massa, richting) voor zowel trainings- als OOD-taken, terwijl andere methoden OOD-representaties verspreidden of faalden in het aligneren ervan met taakgeometrie.
• Ablatiestudies: Het verwijderen van een component (Virtuele Taken, Taakbehoudend Verlies, On-Off Verlies of Stateregularisatie) resulteerde in aanzienlijke prestatiedegradatie, wat de noodzaak van elke module bevestigt.
• Berekeningskosten: TAVT vereist ongeveer 18% meer trainingstijd dan de PEARL-baseline vanwege de extra componenten (WGAN, metriekleren), maar de auteurs betogen dat dit een praktische afweging is gezien de aanzienlijke winst in generalisatie.

Betekenis en Claims

Het artikel claimt dat TAVT de fundamentele beperking van bestaande Meta-RL-methoden in het hanteren van OOD-taken, met name die met variërende dynamiek, aanpakt. Door taakkenmerken nauwkeurig vast te leggen via metrieke gebaseerd leren en de betrouwbaarheid van virtuele stalen te waarborgen door taakbehoudende generatie en regularisatie, stelt TAVT beleidsplannen in staat om effectief te generaliseren naar onbekende taken.

De auteurs positioneren TAVT als een robuuste oplossing voor real-world toepassingen waar testcondities kunnen afwijken van trainingsverdelingen. Ze erkennen echter bescheiden beperkingen:

• De methode veronderstelt een parametrische taakverdeling (bijv. continue veranderingen in snelheid of massa) en dekt momenteel geen niet-parametrische verdelingen waarbij taaksemantiek volledig verschilt (bijv. verschillende objectmanipulatietaken in ML10/ML45).
• De aanpak is afhankelijk van verschillende hyperparameters, hoewel de auteurs opmerken dat ablatiestudies praktische richtlijnen bieden voor het afstemmen.

Het werk concludeert dat TAVT eerdere beperkingen in taakrepresentatie en staalgeneratie overwint, en een aanzienlijke stap voorwaarts biedt in robuuste Meta-RL voor out-of-distribution scenario's.