Technisch Overzicht: Fundamenten van Inverse Reinforcement Learning en Dynamische Discrete Keuzemodellen

1. Probleemdefinitie

Het artikel behandelt het Inverse Reinforcement Learning (IRL) probleem in de offline setting: gegeven een vaste dataset van staat-actie-volgende-toestand paren gegenereerd door een expertbeleid $\pi^*$, kunnen we de beloningsfunctie $r$ terugvinden die de expert optimaliseerde?

Dit probleem bevindt zich op het snijvlak van twee verschillende literatuurstromen:

1. Structurele Econometrie (Dynamic Discrete Choice - DDC): Modellen waarbij agenten nut maximaliseren plus idiosyncratische Gumbel-verdeelde schokken.
2. Machine Learning (Entropy-Regularized IRL): Modellen waarbij agenten de verwachte return maximaliseren plus een entropiebonus (Maximum Entropy IRL).

De kernuitdaging is identificatie: zonder extra structuur is de beloningsfunctie niet uniek herstelbaar uit gedrag alleen, vanwege potentiaal-gebaseerde vorming-invariantie (Ng et al., 1999). Bovendien worden bestaande methoden geconfronteerd met een "trilemma" van afruilingen waarbij schaalbaarheid, de noodzaak voor transitiemodel-schatting en stabiliteit (de "deadly triad") betrokken zijn.

2. Methodologische Fundamenten

2.1 Equivalentie van DDC en MaxEnt-IRL

Het artikel stelt eerst een rigoureuze equivalentie vast tussen de twee gemeenschappen.

• DDC Formulering: Agenten kiezen acties om $r(s,a) + \epsilon_{t,a}$ te maximaliseren, waarbij $\epsilon$ een Type-1 Extreme Value (Gumbel) verdeling volgt.
• MaxEnt-IRL Formulering: Agenten maximaliseren de verwachte return plus een entropieterm $\lambda H(\pi)$.
• Resultaat: Onder een gemiddelde-nul normalisatie voor de Gumbel-schokken ($\delta = -\gamma_E$) en het instellen van de entropiecoëfficiënt $\lambda=1$, leveren beide formuleringen exact hetzelfde softmax-beleid en de zachte Bellman-vergelijking:
  $$Q^*(s, a) = r(s, a) + \beta \mathbb{E}_{s' \sim P} \left[ \log \sum_{a'} \exp(Q^*(s', a')) \right]$$
  $$\pi^*(a|s) = \frac{\exp(Q^*(s, a))}{\sum_{a'} \exp(Q^*(s, a'))}$$
  Dit bewijst dat de probabilistische modellen statistisch ononderscheidbaar zijn uit offline observaties.

2.2 Identificatielimieten

Het artikel analyseert wat er hersteld kan worden uit gedrag alleen:

• Niet-identificeerbaarheid: Zonder verdere aannames is $r$ alleen identificeerbaar tot een staat-afhankelijke potentiaalfunctie $\Phi(s)$. Specifiek induceren $r$ en $\tilde{r}(s,a) = r(s,a) + \Phi(s) - \beta \mathbb{E}[\Phi(s')]$ hetzelfde optimale beleid.
• De Anchor-Action Aanname (Magnac & Thesmar, 2002): Om dit op te lossen, neemt het artikel de klassieke econometrische aanname over dat er voor elke staat $s$ een bekende "anker"-actie $a_s$ bestaat met een bekende beloning $r(s, a_s) = 0$ (of bekende constante). Deze aanname fixeert de potentiaal en maakt de unieke identificatie van $Q^*$ en $r$ op de support van de expert mogelijk.

3. Overzicht van Bestaande Benaderingen en Hun Beperkingen

Het artikel onderzoekt klassieke en moderne methoden en benadrukt hun specifieke faalmodi:

3.1 Klassieke DDC-methoden

• Rust's Nested Fixed-Point (NFXP): Lost de Bellman-vergelijking op in een inner loop terwijl de likelihood wordt gemaximaliseerd in een outer loop.
  • Limiet: Lijdt onder de vloek van dimensionaliteit in de toestandsruimte $S$ en vereist expliciete kennis of schatting van de transitiematrix $P$.
• Hotz-Miller / Conditional Choice Probabilities (CCP): Inverteert de softmax om $Q$-verschillen te vinden en lost een lineaire fixed-point vergelijking op voor de waardefunctie.
  • Limiet: Vereist het schatten van de transitiematrix $P$ (statistische vloek van dimensionaliteit) en lijdt onder foutpropagatie in forward simulatie.
• Temporal-Difference (TD) Benaderingen (Adusumilli & Eckardt, 2019):
  • Lineaire Semi-Gradient TD: Vermijdt expliciete $P$ maar lijdt onder de deadly triad (functie-approximatie + bootstrapping + off-policy data), wat leidt tot divergentie.
  • Approximate Value Iteration (AVI): Stabieler maar convergeert naar een geprojecteerd fixed point, wat kan verschillen van de ware $Q^*$ als de ware waardefunctie niet realiseerbaar is in de functieklasse.
  • Opmerking: "Target networks" (gangbaar in deep RL) stabiliseren het traject maar veranderen de bestemming niet; ze convergeren nog steeds naar het geprojecteerde fixed point, niet naar de ware waarde.

3.2 Moderne IRL-methoden

• Adversarial IRL (AIRL): Gebruikt een discriminator om beloning te scheiden van de shaping potentiaal.
  • Limiet: Identificeert de zachte advantage $A^*(s,a) = \log \pi^*(a|s)$, niet de beloning direct. Het herstel van de beloning vereist restrictieve aannames (deterministische dynamiek, staat-alleen beloningen, decomponeerbare transitiestructuren) die in de praktijk vaak geschonden worden.
• Occupancy Matching (GAIL): Minimaliseert de divergentie tussen de expert en de policy occupancy measures.
  • Limiet: Het is een imitatie-algoritme, geen beloningsherstel-algoritme. Het dwingt geen pointwise Bellman-consistentie af, waardoor extractie van de beloning onmogelijk is zonder verdere aannames.
• IQ-Learn: Parametriseert $Q$ direct en definieert een beloning via de Bellman-vergelijking.
  • Limiet: Het doel is invariant onder staat-alleen verschuivingen; het identificeert geen unieke beloning zonder een externe normalisatie (zoals de anker-actie).
• Offline ML-IRL (Zeng et al., 2023): Een neurale re-skinning van Hotz-Miller met conservatieve straffen.
  • Limiet: Erft de noodzaak voor transitiemodel-schatting en geneste optimalisatie-loops.

4. Voorgestelde Methode: Het ERM-Framework (GLADIUS)

Het artikel stelt een verenigd Empirical Risk Minimization (ERM) framework voor dat de identificatiekracht van DDC combineert met de schaalbaarheid van moderne ML, waarbij de valkuilen van beide worden vermeden.

4.1 Kerninzicht

In plaats van $r$ te parametriseren en een geneste forward probleem op te lossen, parametriseert de methode $Q$ direct. De identificatievoorwaarden worden vertaald naar twee verliesfuncties:

1. Negative Log-Likelihood (NLL): Dwingt af dat de softmax van $Q$ overeenkomt met het expertbeleid $\pi^*$. Dit identificeert de verschillen binnen een staat van $Q$.
2. Anchor Bellman Loss: Dwingt de Bellman-vergelijking af alleen bij de anker-actie $a_s$ waar de beloning $r(s, a_s)$ bekend is. Dit fixeert het niveau van $Q$ per staat.

4.2 De Double-Sampling Bias en Correctie

Een naïeve empirische Bellman-loss met squared TD-errors is vertekend door het double-sampling probleem (de variantie van de volgende staat verdwijnt niet met meer data).

• Correctie: Het artikel leidt een minimax-formulering af die de conditionele variantie-term aftrekt.
  $$\min_Q \max_\zeta \mathbb{E} \left[ \text{NLL} + \mathbb{1}_{a=a_s} \left( (\text{Sampled Bellman})^2 - \beta^2 (V_Q(s') - \zeta(s,a))^2 \right) \right]$$
  Hier fungeert $\zeta(s,a)$ als een hulpfunctie die de conditionele gemiddelde $\mathbb{E}[V_Q(s') | s, a]$ leert. Deze correctie elimineert de noodzaak om de transitiematrix $P$ expliciet te schatten.

4.3 Algoritme: GLADIUS

Het GLADIUS-algoritme (Gradient-based Learning with Ascent–Descent for Inverse Utility learning from Samples) wisselt af tussen:

1. Regressiestap (Ascent/Descent): Update $\zeta$ om de squared error tegenover $V_Q(s')$ te minimaliseren.
2. Optimalisatiestap (Descent): Update $Q$ om de NLL plus de bias-gecorrigeerde anchor Bellman-residue te minimaliseren.

4.4 Convergentiegaranties

Het artikel stelt convergentie vast onder Polyak-Lojasiewicz (PL) geometrie-aannames in plaats van convexiteit.

• Aannames: Realiseerbaarheid van $Q^*$ en $\zeta^*$ in de functieklassen, en de conditionering van de empirische output Jacobiaan (vergelijkbaar met Neural Tangent Kernel condities).
• Resultaat: Het algoritme convergeert naar het globale minimum van de empirische risk met een snelheid van $O(1/T)$ voor optimalisatie en $O(1/\sqrt{N})$ voor statistische fout.

5. Belangrijkste Bijdragen en Betekenis

1. Unificatie: Bewijst de formele equivalentie tussen de DDC en MaxEnt-IRL formuleringen, waarmee de kloof tussen econometrie en machine learning wordt overbrugd.
2. Helderheid in Identificatie: Verduidelijkt dat moderne adversariële methoden (AIRL) de beloningsidentificatie niet inherent oplossen zonder sterke, vaak onrealistische, structurele aannames. Het bevestigt de anchor-action aanname als de robuuste weg naar het identificeren van staat-actie beloningen.
3. Transitie-vrije Schatting: Introduceert een bias-gecorrigeerde minimax-doelstelling die $Q^*$ en $r$ herstelt zonder de transitiematrix $P$ expliciet te schatten, waarmee de statistische vloek van dimensionaliteit wordt overwonnen die inherent is aan CCP en NFXP.
4. Stabiliteit: Vermijdt de divergentie van de "deadly triad" van off-policy TD-methoden door het probleem te formuleren als een directe, bias-gecorrigeerde empirical risk minimization over $Q$.
5. Algoritmische Oplossing: Presenteert GLADIUS, een gradiënt-gebaseerde, one-shot estimator die de geneste optimalisatie-loops van klassieke DDC-methoden vermijdt terwijl het theoretische convergentiegaranties behoudt onder standaard over-parametrisatie aannames.

Het artikel concludeert dat deze ERM-benadering een principiële, schaalbare en statistisch consistente route biedt voor offline IRL/DDC, waarbij de identificatierigore van structurele econometrie wordt gecombineerd met de computationele efficiëntie van moderne gradiënt-gebaseerde learning.