Technische Samenvatting: Generaliseren en Leiden: Beloningen Decomponeren voor Few-Shot Inverse Reinforcement Learning

1. Probleemformulering: Few-Shot IRL met Multi-Task Demonstraties (FM-IRL)

Het artikel behandelt een kritieke flessenhals in Inverse Reinforcement Learning (IRL): het onvermogen van traditionele methoden om te generaliseren wanneer zij geconfronteerd worden met substantiële intra-taak variaties (bijv. verschillende objectvormen, plaatsingen of initiële robotposities) bij slechts een beperkt aantal demonstraties voor een specifiek doel-taak.

Hoewel eerder werk zich heeft gericht op Imitation Learning (IL) of Meta-IRL, kampen deze benaderingen met significante beperkingen in praktische settings:

• Imitation Learning (IL): Methoden zoals Behavior Cloning (BC) worstelen met het generaliseren buiten de specifieke staatverdeling van de beschikbare få demonstraties en kunnen niet verbeteren door middel van online beleidsoptimalisatie zonder een beloningsfunctie.
• Meta-IRL: Deze methoden vereisen doorgaans toegang tot een multi-task trainingsomgeving om een beloningsfunctie of contextvariabele te meta-trainen, een aanname die vaak onpraktisch is in de echte robotica waar het recreëren van diverse omgevingen moeilijk is.

De auteurs introduceren een nieuw probleemscenario: Few-Shot IRL met Multi-Task Demonstraties (FM-IRL). In deze setting moet een agent een nieuwe doel-taak met significante variaties leren met behulp van:

1. Een klein aantal doel-taak demonstraties ($D_{target}$).
2. Een grote dataset van heterogene maar gerelateerde taakdemonstraties ($D_{multi}$).
3. Online interactie met de doel-taak omgeving ($D_{\pi}$).

Cruciaal is dat de agent geen toegang heeft tot de multi-task trainingsomgevingen, enkel tot de demonstratiegegevens uit deze omgevingen. Het doel is om de expert-distributie van de nieuwe taak te herstellen en corrigerende sturing te bieden wanneer de agent hiervan afwijkt.

2. Methodologie: Multitask Discriminator Proximity-Guided IRL (MPG)

Om FM-IRL op te lossen, stellen de auteurs MPG voor, een framework dat de beloningsfunctie decomponeert in twee complementaire componenten: een generaliseerbare discriminator voor expert-herkenning en een nabijheidsfunctie voor herstelsturing.

2.1 Multi-Task Discriminator (Generalisatie)

De eerste component is een demonstratie-geconditioneerde discriminator, $d_\phi(\tau, (s, a))$, ontworpen om gedeelde structurele kennis over gerelateerde taken heen te transfereren.

• Architectuur: Het maakt gebruik van twee aparte encoders om een demonstratie-traject $\tau$ en een staat-actie paar $(s, a)$ te verwerken. De embeddings worden geconcateneerd en door volledig verbonden lagen gestuurd om de waarschijnlijkheid te outputten dat $(s, a)$ consistent is met het expert-gedrag voor de taak die door $\tau$ wordt beschreven.
• Trainingsdoel: De discriminator wordt getraind met een binaire classificatieverlies op alle beschikbare demonstraties ($D_{target} \cup D_{multi}$). Positieve paren bestaan uit staat-actie tuples uit dezelfde taak als de demonstratie; negatieve paren bestaan uit tuples uit verschillende taken. Daarnaast worden samples van de online policy behandeld als negatieve paren (adversarial objective) om overfitting op expert-data te voorkomen.
• Functie: Deze component leert expert-gedrag in de doel-taak te identificeren door gebruik te maken van de gedeelde structuur die in de multi-task dataset aanwezig is, waardoor het de expert-distributie effectief generaliseert ondanks variaties.

2.2 Proximity Function (Sturing)

De tweede component, $p_\theta(s)$, biedt dichte, informatieve beloningen in niet-expert staten om de agent terug naar de expert-distributie te leiden.

• Concept: Het schat de temporele afstand (minimaal aantal stappen) van een staat $s$ naar de expert-staatverdeling.
• Leervoer: Geïnspireerd door quasimetric learning, wordt de functie geoptimaliseerd om de nabijheidswaarde van policy-states te maximaliseren (ze weg te duwen van de expert-distributie in termen van waarde, maar effectief afstand te meten) terwijl temporele consistentie wordt afgedwongen.
• Restricties: Het leren wordt beperkt door de driehoeksongelijkheid: $p_\theta(s_t) \leq p_\theta(s_{t+1}) + \zeta$, waarbij $\zeta$ de kosten van een enkele tijdstap zijn. Expert-staten zijn verankerd aan een nabijheid van 0.
• Integratie: Om de expert-distributie van de doel-taak te verrijken, worden policy-states opnieuw gelabeld als "expert" als de vertrouwen van de multi-task discriminator een drempel overschrijdt ($d(s, a) > c_{thresh}$).

2.3 Gecombineerde Beloningsfunctie

De uiteindelijke beloningsfunctie $\tilde{R}$ combineert deze twee signalen:
$$\tilde{R}(s_t, a_t, s_{t+1}) = \underbrace{d(s_t, a_t)}_{\text{Expert Gedrag Signaal}} + \lambda \underbrace{[p(s_t) - p(s_{t+1})]}_{\text{Nabijheid Verbetering}}$$
De discriminator levert een spaars signaal voor expert-consistente gedragingen, terwijl de nabijheidsterm een dicht gradiënt biedt voor het reduceren van de afstand tot de expert-distributie. Deze gecombineerde beloning wordt gebruikt om de policy te optimaliseren via Reinforcement Learning (PPO).

3. Belangrijkste Bijdragen

1. Probleemstelling: Het artikel formaliseert de FM-IRL setting, waarbij de ondergespecificeerdheid van taken met natuurlijke variaties wordt aangepakt waarbij multi-task omgevingen niet beschikbaar zijn, maar multi-task demonstraties wel toegankelijk zijn.
2. Algoritme (MPG): De voorstel van een beloningsdecompositie-framework dat synergetisch een multi-task discriminator (voor generalisatie over taakvariaties) en een nabijheidsfunctie (voor corrigerende sturing in ongeziene staten) combineert.
3. Empirische Validatie: De methode wordt geëvalueerd op diverse navigatie- en manipulatietaken (Maze2D, Block Stacking, en FactorWorld) onder significante variaties.

4. Experimentele Resultaten

De auteurs evalueerden MPG tegen negen baselines, waaronder traditionele IRL (GAIL, MT-AIRL, PEMIRL), Imitation Learning (BC, SQIL, Transformer-BC) en andere discriminator/nabijheid-gebaseerde methoden (DVD, GoalPro).

• Prestaties: MPG behaalde het hoogste gemiddelde succespercentage op 8 van de 9 taken.
• Vergelijking: Het presteerde gemiddeld 24,7 procentpunt beter dan de sterkste per-taak baseline in succespercentage.
• Ablatie-studies:
  • Het individueel verwijderen van de discriminator of de nabijheidsfunctie verslechterde de prestaties, wat de noodzaak van beide componenten bevestigt.
  • Het verwijderen van de multi-task dataset ("No Multi-task Data") resulteerde in prestaties die vergelijkbaar waren met de "Proximity Only" ablatie, wat de afhankelijkheid van de discriminator van multi-task data voor generalisatie benadrukt.
  • De methode bleef robuust bij variërende aantallen doel-demonstraties (5 tot 25) en multi-task taken (2 tot 8), hoewel de prestaties verzadigden na een gematigd niveau van diversiteit.
• Data-efficiëntie: MPG presteerde goed, zelfs met overvloedige demonstraties (200), hoewel het voordeel ten opzichte van baselines het meest uitgesproken was in het few-shot regime.

5. Betekenis en Claims

Het artikel claimt dat MPG effectief de kloof overbrugt tussen beperkt toezicht en de behoefte aan robuust beleidsleren in real-world scenario's die gekenmerkt worden door natuurlijke variaties. Door de beloning te deconstrueren in een generaliseerbare expert-identificator en een nabijheid-gebaseerde gids, stelt de methode agenten in staat om nieuwe taken met minimale supervisie te "observeren, oefenen en beheersen", wat menselijke leerstrategieën weerspiegelt.

De auteurs benadrukken dat hun aanpak niet de onpraktische aanname vereist van toegang tot multi-task trainingsomgevingen, maar in plaats daarvan vertrouwt op gemakkelijk toegankelijke demonstratie-datasets. De resultaten suggereren dat het benutten van heterogene multi-task demonstraties een levensvatbare en krachtige strategie is om de sample-inefficiëntie en de falende generalisatie van traditionele few-shot IRL en IL methoden te overwinnen.

Door de auteurs opgemerkte beperkingen:

• De methode vereist een gestructureerde multi-task demonstratie-dataset uit hetzelfde domein en van dezelfde agent.
• Hoewel efficiënt in demonstraties, blijft de online trainingsfase zeer data-hongerig (sample-hungry).
• De beloningsfunctie wordt online getraind en kan niet direct worden hergebruikt om een nieuwe policy vanaf nul te trainen zonder hertraining.