Distributional Inverse Reinforcement Learning

Probleemstelling

Traditionele Inverse Reinforcement Learning (IRL) methoden, zoals Maximum Entropy IRL (MaxEntIRL), gaan ervan uit dat de beloningfunctie van een expert deterministisch is. Ze proberen slechts een punt-schatting van de beloning te vinden die de verwachte (gemiddelde) terugkeer van het expertbeleid maximaliseert.

Dit leidt tot twee fundamentele beperkingen in real-world scenario's:

1. Stochastische beloningen: In veel toepassingen (zoals robotica met onzekere contacten of neurowetenschappen met dopamine-signaalvariatie) is de beloning per se een stochastische variabele. Het modelleren hiervan als een vast getal verwaarloost cruciale informatie over variabiliteit en risico.
2. Risico-gevoeligheid: Door alleen te focussen op de verwachte terugkeer, kunnen methoden geen risico-aversie of risicovoorkeur van de expert leren. Twee beleidsstrategieën kunnen dezelfde verwachte opbrengst hebben maar volledig verschillende risicoprofielen, wat door traditionele IRL niet wordt onderscheiden.

Bestaande Bayesiaanse IRL (BIRL) methoden proberen wel onzekerheid over parameters te modelleren, maar blijven vastzitten aan het maximaliseren van de verwachte opbrengst en modelleren niet de volledige verdeling van de terugkeer.

Methodologie: DistIRL

De auteurs introduceren DistIRL, een raamwerk dat zowel de verdeling van de beloning als de verdeling van de totale terugkeer (return) expliciet modelleert. De kern van de methode bestaat uit drie componenten:

1. Eerste-orde Stochastische Dominantie (FSD) voor Beloningsleren

In plaats van te zoeken naar een beloning die de verwachte opbrengst matcht, minimaliseert DistIRL de schendingen van First-Order Stochastic Dominance (FSD).

• Doel: De terugkeerverdeling van het expertbeleid ($Z_E$) moet stochastisch domineren over die van het agentbeleid ($Z_\pi$). Dit betekent dat voor elke drempelwaarde $z$, de kans dat de expert een lagere opbrengst behaalt, kleiner is dan of gelijk is aan die van de agent.
• Objectief: De auteurs definiëren een energie-functie die de integraal meet van het positieve verschil tussen de cumulatieve verdelingsfuncties (CDF):
  $$L_{FSD} = \int_{-\infty}^{\infty} [F_{Z_E}(z) - F_{Z_\pi}(z)]_+ dz$$
  Een lage waarde betekent dat de expertverdeling "beter" is dan de agentverdeling.
• Implementatie: De beloningsverdeling $q_\phi(r|s,a)$ wordt geleerd door deze FSD-schending te minimaliseren, vaak benaderd via kwantielen (quantiles) en Monte Carlo sampling.

2. Risico-bewust Beleidleren via Distortion Risk Measures (DRM)

Het direct optimaliseren van FSD is computationeel lastig vanwege de indicatorfuncties. De auteurs koppelen dit aan Distortion Risk Measures (DRM).

• Door een geschikte vervormingsfunctie (distortion function) $\xi$ te kiezen, kan men een scalaire risicomaatstaf $M_\xi$ definiëren die de gehele verdeling samenvat.
• Het beleid wordt geüpdatet om deze DRM te maximaliseren, in plaats van alleen de verwachte opbrengst. Dit zorgt ervoor dat het agentbeleid risico-gevoelig gedrag leert (bijv. risicomijdend als de expert dat is).
• Theoretisch wordt aangetoond dat als men optimaliseert voor alle mogelijke distortion functies, dit equivalent is aan het voldoen aan de FSD-voorwaarde. In de praktijk wordt een specifieke, geschikte DRM gekozen.

3. Variational Inference en Variabele Beloning

• De beloning wordt gemodelleerd als een conditionele verdeling $q_\phi(r|s,a)$ (bijv. een scheve normale verdeling of kwantiel-netwerk).
• Het algoritme gebruikt Variational Inference om de posterior van de beloningsverdeling te benaderen, waarbij de ELBO (Evidence Lower Bound) wordt gemaximaliseerd. Dit combineert de FSD-verliezen met een regularisatie ten opzichte van een prior.

Belangrijkste Bijdragen

1. Leren van Beloningsverdelingen: Het is het eerste werk dat op een principieel manier de volledige verdeling van de beloningsfunctie leert in offline IRL, in plaats van alleen een punt-schatting of parameter-onzekerheid.
2. Risico-bewust Imitatieleren: Het raamwerk integreert risico-maatstaven direct in het beleidsoptimalisatieproces, waardoor het gedrag van experts met specifieke risicopreferenties (zoals risicomijdend gedrag) nauwkeuriger kan worden nagebootst.
3. Theoretische Convergentie: De auteurs bewijzen dat het algoritme convergeert met een iteratiecomplexiteit van $O(\epsilon^{-2})$ naar een stationair punt, onder redelijke regulariteitsaannames.
4. Empirische Validatie: Succesvolle toepassing op synthetische data, complexe robotcontrole-taken (MuJoCo) en, voor het eerst in IRL, op neurobiologische data (dopamine-fluctuaties bij muizen).

Resultaten

De methode is getest op drie verschillende domeinen:

1. Gridworld:

   • In een omgeving met stochastische beloningen slaagde DistIRL erin om zowel het gemiddelde als de variantie van de beloning correct te herstellen.
   • Vergelijking met BIRL toonde aan dat BIRL wel het gemiddelde kon schatten, maar faalde in het vastleggen van de variantie en soms onrealistische hoge schattingen gaf. DistIRL kon het risicomijdende gedrag van de expert (het vermijden van onzekere beloningen) correct reproduceren.

2. Neurowetenschap (Muizen-gedrag):

   • De methode werd toegepast op data van muizen die spontaan gedrag vertonen, waarbij dopamine-fluctuaties als proxy voor beloning dienen.
   • Dopamine-signaals vertonen vaak een scheve (skewed) verdeling. DistIRL met een scheve normale verdeling (Skew-Normal) herstelde de vorm van de dopamine-verdeling veel nauwkeuriger dan deterministische modellen of BIRL.
   • Er was een sterke correlatie tussen de herstelde beloningsverdeling en de gemeten dopamine-fluctuaties, wat suggereert dat interne motivatie-toestanden uit gedrag kunnen worden afgeleid.

3. MuJoCo Control (D4RL):

   • Op risicovolle taken (zoals HalfCheetah met straffen voor hoge snelheid) presteerde DistIRL significant beter dan state-of-the-art offline IRL baselines (zoals ValueDICE en Offline ML-IRL).
   • De methode slaagde erin om expert-beleid te leren dat risico-aversie toont, terwijl traditionele methoden faalden omdat ze uitgingen van risiconeutrale verwachte opbrengsten.
   • Zelfs in deterministische settings presteerde DistIRL competitief, wat de generalisatiekracht van het raamwerk onderstreept.

Betekenis en Impact

DistIRL markeert een verschuiving in het veld van IRL van het leren van "wat" een expert doet (gemiddelde beloning) naar het begrijpen van "hoe" en "waarom" ze het doen onder onzekerheid.

• Voor Robotica: Het maakt het mogelijk om robots veiliger te maken door beloningsverdelingen te leren die onzekerheid in de omgeving expliciet modelleren, wat leidt tot robuustere beleidsstrategieën.
• Voor Neurowetenschappen: Het biedt een krachtig instrument om neurale signalen (zoals dopamine) te decoderen uit gedrag, wat inzicht geeft in hoe organismen risico waarnemen en verwerken.
• Algemeen: Het raamwerk lost het probleem op dat bestaande methoden onvoldoende informatie uit expertdemonstraties halen door hogere-orde momenten (variantie, scheefheid) te negeren. Het stelt onderzoekers in staat om complexe, risicogevoelige menselijke of dierlijke gedragingen nauwkeuriger te imiteren.