Probabilistic Recurrent Intention Switching Model

Résumé technique : Modèle de commutation d'intention récurrente probabiliste (PRISM)

Énoncé du problème
L'apprentissage par renforcement inverse (IRL) standard suppose qu'une unique fonction de récompense stationnaire détermine le comportement d'un agent. Cependant, les agents réels — biologiques (par exemple, des souris naviguant dans des labyrinthes) et artificiels (par exemple, des robots téléopérés) — changent fréquemment entre des objectifs ou des stratégies distincts au cours d'un seul épisode. Les approches existantes d'IRL multi-intentions peinent à modéliser efficacement ces commutations :

• DIRL (Dynamic IRL) suppose une variation continue et lisse de la récompense, ce qui contredit les preuves de commutation de stratégies discrètes et nécessite une inférence coûteuse en calcul ($T$ résolutions de Bellman).
• HIQL (Hierarchical Inverse Q-Learning) modélise les transitions d'intention comme une chaîne de Markov sans mémoire, échouant à capturer les commutations dépendantes de l'histoire, pilotées par des facteurs tels que la fatigue ou la satiété. Son inférence s'adapte mal ($O(nK^2)$) en raison de l'algorithme de Baum–Welch.
• SWIRL intègre l'histoire via une augmentation d'état, mais cela provoque une explosion exponentielle de l'espace d'états ($|S|^L$), limitant les longueurs d'histoire pratiques.

Par conséquent, aucune méthode existante ne s'adapte naturellement à de grands environnements non markoviens tout en récupérant des intentions discrètes interprétables.

Méthodologie : PRISM
Les auteurs proposent le Modèle de commutation d'intention récurrente probabiliste (PRISM), un cadre qui remplace les modèles de transition fixes et l'augmentation manuelle d'état par un réseau de neurones récurrent (RNN) léger.

1. Architecture du modèle :

   • MDP à intention cachée (HI-MDP) : L'environnement est modélisé comme un MDP avec un espace d'intention latent $Z = \{1, \dots, K\}$.
   • Gating récurrent : Une fonction paramétrique $f_\theta$ (un RNN, un LSTM ou un Transformer) mappe l'historique des observations $\phi_{1:t}$ vers une distribution de probabilité souple sur les intentions à chaque pas de temps. Cela permet au modèle de capturer des mécanismes de commutation complexes dépendant de l'histoire sans augmentation explicite d'état.
   • Récompenses par intention : Chaque intention $k$ est associée à une fonction de récompense spécifique $r_k$. La politique de l'expert sous l'intention $k$ est supposée être une politique optimale de Boltzmann dérivée de $r_k$.

2. Inférence et optimisation :

   • Décomposition EM : Les auteurs prouvent que l'objectif d'espérance-maximisation (EM) pour PRISM se décompose exactement en sous-problèmes indépendants, ne nécessitant aucune approximation variationnelle.
     • Étape E : Calcule la responsabilité a posteriori $P(z_t=k | \xi, \psi, \Theta)$ pour chaque pas de temps. En raison de la factorisation de l'a posteriori, cette étape s'adapte linéairement en $O(nK)$ par trajectoire, une amélioration significative par rapport au coût $O(nK^2)$ des méthodes basées sur les chaînes de Markov.
     • Étape M :
       • Mise à jour de la récompense : Chaque fonction de récompense $r_k$ est mise à jour indépendamment en résolvant un problème d'itération inverse de la valeur d'action (IAVI) pondérée sous forme fermée.
       • Mise à jour du réseau : Les paramètres du réseau de gating $\theta$ sont mis à jour par descente de gradient pour maximiser la vraisemblance des intentions assignées, régularisés par $\ell_1$ (pour encourager une commutation sparse) et la divergence KL (pour encourager des transitions lisses).

3. Objectif d'entraînement :
   La fonction de perte combine la log-vraisemblance négative des assignations d'intention avec des pénalités de lissage temporel pour éviter les commutations erratiques tout en préservant la capacité de commuter lorsque nécessaire.

Contributions clés

1. Cadre PRISM : Une nouvelle méthode d'IRL multi-intentions utilisant un réseau récurrent pour modéliser la dynamique des intentions, permettant un apprentissage de bout en bout des commutations dépendant de l'histoire sans augmentation manuelle d'état.
2. Garanties théoriques : Une preuve que l'objectif EM se décompose exactement en sous-problèmes de récompense par intention indépendants, solvables sous forme fermée via IAVI.
3. Efficacité computationnelle : Une étape E en $O(nK)$ obtenue grâce à la factorisation de l'a posteriori, évitant la complexité quadratique des algorithmes avant-arrière utilisés dans les approches basées sur les chaînes de Markov.
4. Première application robotique à grande échelle : L'application de l'IRL multi-intentions à l'ensemble de données de manipulation robotique BridgeData V2, démontrant la capacité de la méthode à généraliser au-delà des neurosciences.
5. Interprétabilité : La récupération d'intentions nommables et temporellement cohérentes et de cartes de récompense à partir de démonstrations non étiquetées dans trois domaines distincts.

Résultats expérimentaux
PRISM a été évalué sur trois ensembles de données de complexité croissante :

1. Frustration Gridworld (Validation non markovienne) :

   • Configuration : Un environnement contrôlé où un agent change de stratégie basé sur un « compteur de frustration » caché (un état strictement non markovien).
   • Résultat : PRISM a obtenu la log-vraisemblance de test la plus élevée et la plus faible différence de valeur attendue par rapport à HIQL, IAVI et MaxEnt IRL. Crucialement, PRISM a suivi avec succès l'accumulation de frustration et a changé d'intention de manière nette, tandis que HIQL (sans mémoire) a échoué à capturer la nature cumulative de la commutation.

2. Labyrinthe de souris (Données biologiques) :

   • Configuration : Données réelles de souris en restriction hydrique naviguant dans un labyrinthe de 127 nœuds.
   • Résultat : PRISM a surpassé SWIRL et d'autres références en log-vraisemblance de test. Il a récupéré trois intentions distinctes et interprétables : recherche d'eau, retour au nid et exploration. Les cartes de récompense récupérées et les limites de segmentation s'alignaient avec les drives biologiques connus et les événements comportementaux (par exemple, les visites aux ports d'eau).

3. BridgeData V2 (Manipulation robotique) :

   • Configuration : Un ensemble de données à grande échelle de tâches de manipulation robotique téléopérées par l'homme avec des observations visuelles de haute dimension.
   • Résultat : Sans aucune supervision ni connaissance préalable des intentions, PRISM a découvert quatre phases de manipulation temporellement cohérentes : Approche/Départ, Prise, Transport et Inactivité. La méthode a atteint une log-vraisemblance hors échantillon plus élevée que les références, démontrant que la commutation d'intention discrète est une propriété générale du comportement orienté vers un but chez les agents biologiques et artificiels.

Signification et affirmations
L'article affirme que PRISM fournit une solution évolutive et théoriquement fondée pour récupérer des objectifs latents dans le comportement séquentiel. En prouvant que l'objectif EM se décompose exactement, les auteurs montrent que des commutations complexes dépendant de l'histoire peuvent être modélisées sans sacrifier la tractabilité computationnelle de la récupération de récompense sous forme fermée.

La signification réside dans la démonstration que :

• La commutation d'objectifs discrète est prévalente chez les agents biologiques et artificiels.
• Les commutations dépendant de l'histoire (dynamiques non markoviennes) peuvent être apprises de bout en bout sans ingénierie de caractéristiques manuelle ni augmentation d'état.
• Les cartes de récompense récupérées offrent une lentille structurée et interprétable pour comprendre les objectifs latents derrière des démonstrations complexes, allant au-delà de la simple imitation de politique pour comprendre pourquoi un agent agit à des moments spécifiques.

Les auteurs reconnaissent des limitations, notamment la dépendance actuelle aux MDP discrets (nécessitant une discrétisation pour les données visuelles) et le fonctionnement hors ligne. Ils suggèrent que des travaux futurs pourraient explorer des extensions sans modèle (remplaçant IAVI par un apprentissage inverse de Q sans modèle) et des extensions en ligne pour la surveillance d'intention en temps réel.