Résumé Technique : Fondements de l'Apprentissage par Renforcement Inverse et des Modèles de Choix Discrets Dynamiques

1. Définition du Problème

Le document traite du problème de l'Apprentissage par Renforcement Inverse (IRL) dans un cadre hors ligne (offline) : étant donné un ensemble de données fixes de tuples état-action-état suivant générés par une politique experte $\pi^*$, peut-on récupérer la fonction de récompense $r$ que l'expert optimisait ?

Ce problème se situe à l'intersection de deux littératures distinctes :

1. Économétrie Structurelle (Choix Discret Dynamique - DDC) : Modélise des agents maximisant l'utilité plus des chocs idiosyncrasiques distribués selon une loi de Gumbel.
2. Apprentissage Automatique (IRL à Entropie Maximale) : Modélise des agents maximisant le rendement attendu plus un bonus d'entropie (Maximum Entropy IRL).

Le défi central est l'identification : sans structure supplémentaire, la fonction de récompense n'est pas récupérable de manière unique à partir du seul comportement en raison de l'invariance par le façonnage basé sur le potentiel (potential-based shaping invariance) (Ng et al., 1999). De plus, les méthodes existantes font face à un « trilemme » de compromis impliquant la scalabilité, la nécessité d'estimer le noyau de transition et la stabilité (la « triade mortelle »).

2. Fondements Méthodologiques

2.1 Équivalence entre DDC et MaxEnt-IRL

Le document établit d'abord une équivalence rigoureuse entre les deux communautés.

• Formulation DDC : Les agents choisissent des actions pour maximiser $r(s,a) + \epsilon_{t,a}$, où $\epsilon$ suit une distribution de Type-1 Extreme Value (Gumbel).
• Formulation MaxEnt-IRL : Les agents maximisent le rendement attendu plus un terme d'entropie $\lambda H(\pi)$.
• Résultat : Sous une normalisation de moyenne nulle pour les chocs de Gumbel ($\delta = -\gamma_E$) et en fixant le coefficient d'entropie $\lambda=1$, les deux formulations produisent exactement la même politique softmax et la même équation de Bellman douce (soft Bellman equation) :
  $$Q^*(s, a) = r(s, a) + \beta \mathbb{E}_{s' \sim P} \left[ \log \sum_{a'} \exp(Q^*(s', a')) \right]$$
  $$\pi^*(a|s) = \frac{\exp(Q^*(s, a))}{\sum_{a'} \exp(Q^*(s, a'))}$$
  Ceci prouve que les modèles probabilistes sont statistiquement indiscernables des observations hors ligne.

2.2 Limites d'Identification

Le document analyse ce qui peut être récupéré à partir du seul comportement :

• Non-identification : Sans hypothèses supplémentaires, $r$ n'est identifiable qu'à un potentiel dépendant de l'état $\Phi(s)$. Plus précisément, $r$ et $\tilde{r}(s,a) = r(s,a) + \Phi(s) - \beta \mathbb{E}[\Phi(s')]$ induisent la même politique optimale.
• L'Hypothèse de l'Action-Ancre (Magnac & Thesmar, 2002) : Pour résoudre cela, le document adopte l'hypothèse économétrique classique selon laquelle, pour chaque état $s$, il existe une « action ancre » $a_s$ connue avec une récompense $r(s, a_s) = 0$ (ou une constante connue). Cette hypothèse fixe le potentiel et permet l'identification unique de $Q^*$ et $r$ sur le support de l'expert.

3. Revue des Approches Existantes et de Leurs Limites

Le document passe en revue les méthodes classiques et modernes, soulignant leurs modes de défaillance spécifiques :

3.1 Méthodes DDC Classiques

• Nested Fixed-Point (NFXP) de Rust : Résout l'équation de Bellman dans une boucle interne tout en maximisant la vraisemblance dans une boucle externe.
  • Limite : Souffre de la malédiction de la dimensionnalité dans l'espace des états $S$ et nécessite la connaissance explicite ou l'estimation du noyau de transition $P$.
• Hotz-Miller / Probabilités de Choix Conditionnelles (CCP) : Inverse la fonction softmax pour trouver les différences de $Q$ et résout une équation de point fixe linéaire pour la fonction de valeur.
  • Limite : Nécessite l'estimation du noyau de transition $P$ (malédiction statistique de la dimensionnalité) et souffre de la propagation d'erreurs lors de la simulation directe (forward simulation).
• Approches par Différence Temporelle (TD) (Adusumilli & Eckardt, 2019) :
  • Semi-gradient TD linéaire : Évite l'utilisation explicite de $P$ mais souffre de la triade mortelle (approximation de fonction + bootstrapping + données hors-politique), menant à la divergence.
  • Approximate Value Iteration (AVI) : Plus stable mais converge vers un point fixe projeté, qui peut différer du vrai $Q^*$ si la véritable fonction de valeur n'est pas réalisable dans la classe de fonctions.
  • Note : Les « réseaux cibles » (target networks, courants en Deep RL) stabilisent la trajectoire mais ne changent pas la destination ; ils convergent toujours vers le point fixe projeté, et non vers la vraie valeur.

3.2 Méthodes IRL Modernes

• Adversarial IRL (AIRL) : Utilise un discriminateur pour séparer la récompense du potentiel de façonnage.
  • Limite : Identifie l'avantage doux $A^*(s,a) = \log \pi^*(a|s)$, et non la récompense directement. La récupération de la récompense nécessite des hypothèses restrictives (dynamiques déterministes, récompenses dépendant uniquement de l'état, graphes de transition décomposables) qui sont souvent violées en pratique.
• Correspondance d'Occupation (GAIL) : Minimise la divergence entre les mesures d'occupation de l'expert et de la politique.
  • Limite : C'est un algorithme d'imitation, pas un algorithme de récupération de récompense. Il n'impose pas de cohérence de Bellman ponctuelle, rendant l'extraction de la récompense impossible sans hypothèses supplémentaires.
• IQ-Learn : Paramètre directement $Q$ et définit une récompense via l'équation de Bellman.
  • Limite : L'objectif est invariant sous les décalages de type état-seul (state-only shifts) ; il n'identifie pas une récompense unique sans une normalisation externe (comme l'action ancre).
• ML-IRL Hors Ligne (Zeng et al., 2023) : Un ré-habillage neuronal (re-skinning) de Hotz-Miller avec des pénalités de conservatisme.
  • Limite : Hérite de la nécessité d'estimer le noyau de transition et des boucles d'optimisation imbriquées.

4. Méthode Proposée : Le Cadre ERM (GLADIUS)

Le document propose un cadre unifié de Minimisation du Risque Empirique (ERM) qui synthétise le pouvoir d'identification du DDC avec la scalabilité de l'apprentissage automatique moderne, évitant ainsi les pièges des deux.

4.1 Intuition Centrale

Au lieu de paramétrer $r$ et de résoudre un problème direct imbriqué, la méthode paramètre directement $Q$. Les conditions d'identification sont traduites en deux fonctions de perte :

1. Log-Vraisemblance Négative (NLL) : Impose que la softmax de $Q$ corresponde à la politique de l'expert $\pi^*$. Cela identifie les différences de $Q$ au sein d'un même état.
2. Perte de Bellman de l'Ancre : Impose l'équation de Bellman uniquement à l'action ancre $a_s$ où la récompense $r(s, a_s)$ est connue. Cela fixe le niveau de $Q$ par état.

4.2 Le Biais de Double Échantillonnage et sa Correction

Une perte de Bellman empirique naïve utilisant des erreurs TD au carré est biaisée en raison du problème de double échantillonnage (la variance de l'état suivant ne disparaît pas avec davantage de données).

• Correction : Le document dérive une formulation minimax qui soustrait le terme de variance conditionnelle.
  $$\min_Q \max_\zeta \mathbb{E} \left[ \text{NLL} + \mathbb{1}_{a=a_s} \left( (\text{Sampled Bellman})^2 - \beta^2 (V_Q(s') - \zeta(s,a))^2 \right) \right]$$
  Ici, $\zeta(s,a)$ agit comme une fonction auxiliaire apprenant la moyenne conditionnelle $\mathbb{E}[V_Q(s') | s, a]$. Cette correction élimine le besoin d'estimer explicitement le noyau de transition $P$.

4.3 Algorithme : GLADIUS

L'algorithme GLADIUS (Gradient-based Learning with Ascent–Descent for Inverse Utility learning from Samples) alterne entre :

1. Étape de Régression (Ascension/Descente) : Mise à jour de $\zeta$ pour minimiser l'erreur au carré par rapport à $V_Q(s')$.
2. Étape d'Optimisation (Descente) : Mise à jour de $Q$ pour minimiser la NLL plus le résidu de Bellman de l'ancre corrigé du biais.

4.4 Garanties de Convergence

Le document établit la convergence sous des hypothèses de géométrie de Polyak-Lojasiewicz (PL) plutôt que de convexité.

• Hypothèses : Réalisabilité de $Q^*$ et $\zeta^*$ dans les classes de fonctions, et conditionnement du Jacobien de sortie empirique (similaire aux conditions du Noyau Tangent Neural).
• Résultat : L'algorithme converge vers le minimum global du risque empirique avec un taux de $O(1/T)$ pour l'optimisation et $O(1/\sqrt{N})$ pour l'erreur statistique.

5. Contributions Clés et Signification

1. Unification : Prouve l'équivalence formelle entre les formulations DDC et MaxEnt-IRL, comblant le fossé entre l'économétrie et l'apprentissage automatique.
2. Clarté de l'Identification : Précise que les méthodes adverses modernes (AIRL) ne résolvent pas intrinsèquement le problème d'identification de la récompense sans hypothèses structurelles fortes et souvent irréalistes. Elle réaffirme l'hypothèse de l'action-ancre comme la voie robuste pour identifier les récompenses état-action.
3. Estimation sans Transition : Introduit un objectif minimax corrigé du biais qui récupère $Q^*$ et $r$ sans estimer le noyau de transition $P$, surmontant ainsi la malédiction statistique de la dimensionnalité inhérente à CCP et NFXP.
4. Stabilité : Évite la divergence de la « triade morte » des méthodes TD hors-politique en formulant le problème comme une minimisation directe du risque empirique corrigé du biais sur $Q$.
5. Solution Algorithmique : Présente GLADIUS, un estimateur basé sur le gradient et en une seule étape (one-shot) qui évite les boucles d'optimisation imbriquées des méthodes DDC classiques tout en maintenant des garanties de convergence théorique sous des hypothèses de sur-paramétrage standard.

Le document conclut que cette approche ERM offre une voie principled, scalable et statistiquement cohérente pour l'IRL/DDC hors ligne, combinant la rigueur d'identification de l'économétrie structurelle avec l'efficacité computationnelle de l'apprentissage moderne basé sur le gradient.