Technische Samenvatting: Consistente Zero-Shot Imitatie met Contrastieve Doelinferentie

Probleemstelling

Het artikel behandelt Zero-Shot Imitation Learning (IL), een setting waarin een agent menselijk expertgedrag moet reproduceren op basis van een enkele demonstratie zonder extra interactie met de omgeving, gradiëntupdates of toegang tot beloningsfuncties tijdens de testfase. Huidige benaderingen vertrouwen vaak op het direct nabootsen van demonstraties (Behavioral Cloning) of het afleiden van beloningsfuncties via Inverse Reinforcement Learning (IRL). Echter, Behavioral Cloning lijdt onder distributieverschuiving (distributional shift), en standaard IRL-methoden hebben vaak moeite met de ondergespecificeerde aard van beloningsinferentie, met name wanneer ze geen rekening houden met de relatieve moeilijkheid van het bereiken van verschillende toestanden (de partitiefunctie).

De auteurs stellen een raamwerk voor waarbij agenten puur door middel van zelfgesuperviseerde interactie (geen demonstraties, geen beloningen, geen menselijke data) worden voorgetraind om een fundamentele kennisbasis te ontwikkelen. De kernuitdaging is het mogelijk maken voor deze agenten om de intentie van een demonstrator af te leiden uit een enkele traject en een beleid (policy) uit te voeren om die intentie te bereiken zonder verdere training.

Methodologie: Contrastieve Inverse Reinforcement Learning (CIRL)

Het voorgestelde raamwerk, Contrastive Inverse Reinforcement Learning (CIRL), herformuleert het multi-task IRL-probleem als een doel-inferentieprobleem (goal-inference problem). Het werkt op basis van de observatie dat veel taken kunnen worden samengevat door een enkel doeltoestand (goal state). De methode bestaat uit drie primaire componenten die tijdens de voortraining worden geïntegreerd:

1. Maximum Entropy Contrastive Reinforcement Learning (MaxEnt CRL):

   • De agent leert een doel-geconditioneerd beleid via een zelfgesuperviseerde doelstelling.
   • Het breidt Contrastive Reinforcement Learning (CRL) uit naar de Maximum Entropy (MaxEnt) setting. In plaats van alleen gedisconteerde toekomstige beloningen te leren, optimaliseert de agent voor de som van gedisconteerde toekomstige beloningen en entropie.
   • De critic-functie $f_{\phi,\psi}(s, a, g)$ schat de gedisconteerde toestandstoestandsbezetting (state occupancy measure) met behulp van Noise Contrastive Estimation (NCE), waarbij onderscheid wordt gemaakt tussen de huidige state-action-goal tuple en negatieve samples.
   • De actor maximaliseert een entropie-geregulariseerde doelstelling en leert een zachte Q-functie $\tilde{Q}_g(s, a)$.

2. Automatische Doelvoorstel (GoalKDE):

   • Om exploratie te stimuleren zonder externe beloningen, gebruikt de agent GoalKDE, een mechanisme voor automatische doel-sampling.
   • Het past een Gaussian Kernel Density Estimator (KDE) toe op de toestanden die in de replay buffer zijn bezocht.
   • De agent samplet doelen uit toestanden met de laagste waarschijnlijkheid onder de KDE (onder-bezochte toestanden), wat de agent aanmoedigt om de toestandsruimte autonoom te verkennen.

3. Variational Goal Inference:

   • Op testtijd, gegeven een demonstratietraject $\tau$, moet de agent de expert-doelstelling $\hat{g}$ afleiden.
   • De auteurs bewijzen dat onder MaxEnt IRL met doel-geconditioneerde beloningen, het afleiden van de beloning gelijk staat aan het afleiden van het latente doel.
   • Ze gebruiken een mean-field variational model $q_\xi(g|\tau) = \prod_{t=0}^T q_\xi(g|s_t, a_t)$ om de posterieure verdeling van het doel te benaderen. Dit geamortiseerde inferentiemodel wordt getraind om de waarschijnlijkheid van het doel gegeven het traject te maximaliseren, wat effectief leert de intentie uit de demonstratie te "lezen".

Belangrijke Theoretische Bijdragen

Het artikel biedt een theoretisch bewijs van de consistentie van de CIRL-methode:

• Consistente Doelinferentie: De auteurs bewijzen dat CIRL de intentie van de demonstrator consistent herstelt door rekening te houden met de relatieve moeilijkheid van het bereiken van verschillende toestanden (de partitiefunctie $Z_g$).
• Inconsistentie van Voorgaand Werk: Ze demonstreren dat structureel vergelijkbare methoden, zoals Forward-Backward (FB) representaties, inconsistent zijn. FB-methoden leiden beloningen af op basis van toestandstoestandsbezoekfrequenties zonder rekening te houden met de partitiefunctie. De auteurs leveren een tegenvoorbeeld (een 2-toestands MDP) waaruit blijkt dat FB een demonstrator-beleid onjuist kan identificeren omdat het er niet in slaagt onderscheid te maken tussen een toestand die vaak wordt bezocht vanwege de gemakkelijke toegankelijkheid versus een toestand die het werkelijke, moeilijk te bereiken doel is.

Experimentele Resultaten

De auteurs evalueren CIRL op de JaxGCRL en de Unsupervised Reinforcement Learning Benchmark (URLB) omgevingen, inclusief Reacher, Pusher, Ant en PointMaze taken.

• Prestaties vs. Baselines: CIRL presteert consequent beter dan eerdere zero-shot imitatie-methoden, waaronder:
  • 1-Nearest Neighbor (1-NN): Een naïeve baseline die de actie van de dichtstbijzijnde toestand in het expert-traject kopieert.
  • Forward-Backward (FB) Representaties: Een state-of-the-art methode voor zero-shot RL en imitatie.
  • HILP: Een latent variabele benadering voor ongesuperviseerde voortraining.
• Ablatie-studies:
  • Voortraining: CIRL met zelfgesuperviseerde voortraining presteert aanzienlijk beter dan methoden zonder dit proces.
  • Doelinferentie: De mean-field benadering voor doelinferentie presteert universeel beter dan modellen die het volledige traject als input gebruiken, wat zorgt voor betere computationele efficiëntie en prestaties.
  • Exploratie: Hoewel GoalKDE bijna perfecte imitatie-scores bereikt in sommige omgevingen (bijv. Reacher), wordt de kloof tussen GoalKDE en een "oracle" doel-sampler groter in hogere dimensies (bijv. Ant, PointMaze), wat wijst op ruimte voor verbetering in exploratiestrategieën voor complexe toestandsruimten.
• Generalisatie: CIRL imiteert succesvol beleidsregels die zijn getraind op standaard beloningsmaximaliserende taken (niet-doel-geconditioneerd) door doelen af te leiden die gerelateerd zijn aan de 3D-positie en snelheid van de agent, wat aantoont dat de doel-ruimte hypothese complexe beloningsstructuren kan vatten.

Betekenis en Claims

Het artikel claimt dat doelen dienen als een compacte en expressieve samenvatting van gedrag. Door de hypotheseruimte van beloningsfuncties te reduceren tot doel-geconditioneerde beloningen, tonen de auteurs aan dat:

1. Efficiëntie: Imitatie wordt efficiënter wanneer gedrag wordt geprojecteerd op de beperkte ruimte van doel-geconditioneerde beloningsfuncties.
2. Theoretische Onderbouwing: De methode is theoretisch consistent en identificeert de intentie correct waar andere methoden falen door de partitiefunctie te negeren.
3. Zelfgesuperviseerde Fundering: Het is mogelijk om een fundamentele basis voor interactieve agenten te bouwen door middel van puur zelfgesuperviseerde exploratie (doelen voorstellen, proberen deze te bereiken, en leren van de uitkomst) zonder enige menselijke demonstraties of beloningssignalen tijdens de voortraining.

De auteurs concluderen dat deze "verbeeld-en-oefen"-lus (imagine-and-practice loop) agenten in staat stelt om overdraagbare beleidsregels te leren over diverse taakdistributies, wat de herwaardering van doelen als een fundamenteel mechanisme voor zero-shot imitatie ondersteunt.