Résumé Technique : Conditionnement Vicariant Intrinsèque pour l'Apprentissage par Renforcement Profond

Énoncé du Problème

L'apprentissage par renforcement (RL) a considérablement progressé grâce au façonnage de récompenses et aux méthodes d'apprentissage par démonstration (LfD). Cependant, ces approches partagent une limitation critique : elles nécessitent généralement l'accès aux représentations internes d'un démonstrateur expert, aux trajectoires au niveau des actions, ou à la connaissance de sa fonction de récompense. Cette dépendance devient problématique dans des environnements caractérisés par des récompenses extrinsèques rares et des conditions terminales catastrophiques (par exemple, la mort de l'agent) qui ne fournissent aucun signal de rétroaction. Dans de tels scénarios « vie unique », les agents biologiques apprennent à éviter le danger et à poursuivre des états désirables en observant les autres sans expérience directe, un processus connu sous le nom de conditionnement vicariant. Les méthodes actuelles de RL peinent à émuler cette capacité sans exiger la politique ou la fonction de récompense du démonstrateur, contraignant les agents à s'appuyer sur une auto-exploration coûteuse ou sur des ensembles de données étendus.

Méthodologie

Les auteurs proposent le Conditionnement Vicariant (VC) comme mécanisme de récompense intrinsèque permettant à un agent d'apprendre à partir de quelques démonstrations observées, sans accès à la politique ($\pi_d$) ni à la fonction de récompense ($r_d$) du démonstrateur. La méthode s'appuie sur le modèle en quatre étapes de l'apprentissage par observation de Bandura : Attention, Rétention, Reproduction et Renforcement.

1. Formulation du Problème

L'environnement est modélisé comme un Processus de Décision Markovien Partiellement Observable (POMDP). L'agent reçoit une récompense composite $\bar{r}(o_t) = r_{ext}(o_t) + \alpha \cdot r_{vic}(o_t)$, où $r_{ext}$ est la récompense environnementale rare et $r_{vic}$ est la récompense vicariante intrinsèque.
L'agent observe une trajectoire de démonstrateur $\tau = (o^d_1, \dots, o^d_T, v_\tau)$, où $v_\tau \in \mathbb{R}$ est une valeur communiquée indiquant la valence (positive pour l'approche, négative pour l'évitement) et l'intensité du résultat. Crucialement, l'agent ne voit ni les actions ni les états internes du démonstrateur.

2. Les Quatre Étapes de l'Implémentation

Les auteurs implémentent ces étapes en utilisant une architecture de Réseau de Neurones à Mémoire Augmentée de Type Siamese (MANN).

• Attention : Un Encodeur de Contrôleur (CE) partagé, implémenté comme un réseau de mémoire à long et court terme (LSTM) de type Siamese, mappe les séquences d'observations (provenant à la fois du démonstrateur et de l'agent) vers des embeddings de dimension fixe ($e_\tau$ et $e_t$). Cela garantit que des séquences comportementalement similaires produisent des embeddings comparables, indépendamment de leur origine (démonstrateur ou agent).
• Rétention : L'agent stocke les embeddings du démonstrateur ainsi qu'une valeur communiquée. La valeur vicariante $V^{vic}$ est calculée par un décompte rétroactif à partir de l'utilité du résultat, modulée par un coefficient de confiance $k$. Ces embeddings et valeurs sont écrits dans une matrice de mémoire externe $M_t$ utilisant un adressage basé sur le contenu (accès au moins récemment utilisé). Le MANN est entraîné via une perte d'entropie croisée pour classifier la valence (positive/négative) des trajectoires stockées.
• Reproduction : L'agent génère une récompense intrinsèque en comparant son embedding de comportement actuel ($e_t$) avec la mémoire stockée. Un Noyau de Généralisation calcule la similarité (similarité cosinus) entre l'état actuel et les mémoires stockées. Une couche de classification émet des scores de confiance ($p_t$) pour chaque classe de comportement. La récompense intrinsèque $r_{vic}$ est agrégée à partir de ces scores, filtrée par un seuil d'inhibition ($\theta_{thr}$) pour empêcher les correspondances à faible confiance de déclencher des récompenses.
  • Conditionnement Négatif : Si l'état de l'agent ressemble à une trajectoire de stockage « évitement », il reçoit une récompense intrinsèque négative.
  • Conditionnement Positif : Si l'état de l'agent ressemble à une trajectoire de stockage « approche », il reçoit une récompense intrinsèque positive.
• Renforcement : La récompense intrinsèque est combinée à la récompense extrinsèque. L'agent optimise la politique pour maximiser le retour attendu de ce signal composite. La récompense extrinsèque finit par dominer si des contradictions surgissent, garantissant que la politique reste optimale pour l'environnement spécifique.

Contributions Clés

1. Formulation Générale : L'article fournit un cadre formel de RL pour le conditionnement vicariant, cartographiant explicitement les étapes biologiques d'attention, de rétention, de reproduction et de renforcement vers des composants de réseaux de neurones.
2. Architecture Siamese à Mémoire Augmentée : Les auteurs conçoivent un MANN Siamese permettant un apprentissage à few-shot. En partageant l'encodeur entre le démonstrateur et l'agent, le système garantit que des comportements similaires produisent des embeddings similaires, permettant à l'agent de reconnaître et de réagir à ses propres expériences à partir de quelques démonstrations stockées.
3. Mécanismes Spécifiques à la Valence : La méthode introduit des mécanismes distincts pour le conditionnement négatif (évitement) et positif (approche), permettant à l'agent d'apprendre à la fois ce qu'il faut éviter et ce qu'il faut poursuivre, uniquement sur la base de valeurs de résultats communiquées.

Résultats Expérimentaux

L'approche a été évaluée dans deux environnements : MiniWorld Sidewalk (testant le conditionnement négatif/évitement) et Box2D CarRacing (testant le conditionnement positif/approche et le conditionnement composite).

• MiniWorld Sidewalk : Dans un environnement avec une condition terminale non descriptive (la mort ne donne aucune récompense), le PPO standard a atteint environ 117 étapes. La méthode VC avec un seuil optimal ($\theta_{thr} = 0.60$) a nettement surpassé la ligne de base, atteignant 142,16 étapes (récompense composite) et 139,96 étapes (intrinsèque uniquement). Les résultats ont démontré que le VC a découragé avec succès l'agent des états dangereux (limites du trottoir) sans exiger de signaux de récompense explicites pour la mort.
• CarRacing :
  • VC Positif : L'agent a appris à rester dans la voie centrale (comportement démontré), atteignant presque trois fois la durée de l'épisode du PPO de base (88,45 étapes contre 33,27 étapes). Bien que cela ait résulté en une récompense extrinsèque plus faible (en raison d'une conduite conservatrice par rapport à la visite agressive des tuiles), la récompense composite a été significativement plus élevée.
  • VC Négatif : Lorsqu'appliqué à une tâche d'approche (éviter la limite de la piste), le conditionnement négatif a performé moins bien que la ligne de base, confirmant la sensibilité de la méthode à la valence ; les signaux d'évitement sont préjudiciables lorsque la tâche nécessite une approche.
  • VC Composite : La combinaison de signaux positifs et négatifs a montré des résultats mitigés, avec une forte variance à des seuils stricts, suggérant la nécessité d'un étalonnage minutieux des signaux de valence.

Importance et Revendications

Les auteurs affirment que ce travail comble le fossé entre les capacités d'apprentissage biologiques et les limitations actuelles du RL. En permettant aux agents d'apprendre à partir de quelques démonstrations observées sans accès aux politiques, aux grands ensembles de données ou aux fonctions de récompense, le conditionnement vicariant offre une alternative cognitivement plausible pour l'apprentissage en vie unique et l'apprentissage continu.

L'article souligne que ce paradigme est particulièrement adapté aux environnements réels vastes, partiellement observables et dangereux, où un échec catastrophique ne peut pas être appris par essais et erreurs directs. La méthode émule avec succès le processus biologique par lequel un agent apprend à partir des résultats communiqués des autres, lui permettant d'éviter les conditions terminales catastrophiques et de poursuivre des états désirables avec un minimum de données. Les auteurs reconnaissent des limitations, telles que l'incapacité à distinguer des comportements indiscernables dans l'espace des caractéristiques et l'absence d'extinction de la mémoire (une fois stockée, une valeur vicariante persiste), mais soutiennent que l'étape de renforcement permet éventuellement aux récompenses extrinsèques de surpasser le conditionnement intrinsèque si nécessaire.