🤖 machine learning

Consistent Zero-Shot Imitation with Contrastive Goal Inference

Cet article introduit le Contrastive Inverse Reinforcement Learning (CIRL), un cadre de pré-entraînement auto-supervisé qui convertit l'apprentissage par renforcement inverse multi-tâches en un problème d'inférence d'objectif traitable afin de permettre aux agents de reproduire systématiquement le comportement d'un expert dans des scénarios d'imitation zero-shot sans récompenses ni mises à jour au moment du test.

Auteurs originaux : Kathryn Wantlin, Chongyi Zheng, Benjamin Eysenbach

Publié 2026-06-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kathryn Wantlin, Chongyi Zheng, Benjamin Eysenbach

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à accomplir une nouvelle tâche, comme empiler des blocs ou traverser une pièce. Habituellement, vous devez soit montrer au robot exactement quoi faire étape par étape (imitation), soit lui donner un ensemble strict de règles et de points pour les choses bien faites (récompenses). Mais et si vous vouliez qu'un robot apprenne par lui-même, sans que vous ne lui montriez quoi que ce soit ni ne lui donniez un barème, puis qu'en regardant simplement une seule vidéo d'un humain accomplissant la tâche, le robot comprenne comment la réaliser parfaitement ?

C'est le défi que cet article aborde. Les auteurs, de l'Université de Princeton, présentent une nouvelle méthode appelée CIRL (Apprentissage par Renforcement Inverse Contrastif). Voici comment cela fonctionne, décomposé en concepts simples et en analogies.

L'idée maîtresse : Les « objectifs » sont le langage secret

L'intuition centrale de l'article est que presque toute tâche complexe peut être résumée par un seul état d'objectif (goal state).

L'analogie : Pensez à une émission de cuisine. Vous n'avez pas besoin de mémoriser chaque coup de couteau, chaque mélange ou chaque retournement que fait le chef. Vous avez juste besoin de connaître le plat final (l'objectif). Si vous savez que l'objectif est « une omelette parfaite », vous pouvez comprendre les étapes pour y parvenir.
Le problème : La plupart des IA essaient de deviner la « recette » (la fonction de récompense) directement, ce qui revient à essayer de deviner les pensées exactes du chef. C'est désordonné et souvent erroné.
La solution CIRL : Au lieu de deviner la recette, le CIRL devine le plat final (l'objectif). Une fois que le robot connaît l'objectif, il utilise une compétence pré-entraînée pour atteindre cet objectif.

Comment le CIRL apprend (La phase du « terrain de jeu »)

Avant même de voir un humain, le robot passe par une phase de « pré-entraînement » où il apprend entièrement par lui-même, sans aide humaine, sans récompenses et sans démonstrations.

L'explorateur curieux (GoalKDE) :
Imaginez un enfant dans un immense terrain de jeu. Pour apprendre à se déplacer, l'enfant ne déambule pas de manière aléatoire ; il cherche spécifiquement des endroits qu'il n'a pas encore visités. Le CIRL possède un mécanisme appelé GoalKDE qui agit comme cet enfant. Il observe tous les endroits où le robot est déjà allé et dit : « Tu es passé par ici un million de fois, mais tu n'as jamais été là-bas ». Il choisit un nouvel endroit inexploré comme « objectif » et ordonne au robot d'essayer d'atteindre cet endroit. Cela force le robot à explorer tout l'environnement et à apprendre comment se déplacer dans toutes les directions.
L'entraîneur du « Et si ? » (Apprentissage par renforcement contrastif) :
Pendant que le robot explore, il apprend une sorte de carte spéciale. Au lieu d'apprendre « cette action me donne 10 points », il apprend une notion de distance. Il apprend : « Si je suis ici et que je veux aller vers cet objectif, à quel point est-ce difficile ? ». Il apprend à distinguer les états « faciles à atteindre » des états « difficiles à atteindre ». C'est crucial car cela l'aide à comprendre que certains objectifs sont naturellement plus difficiles à atteindre que d'autres.
La banque de mémoire :
Le robot enregistre tous ces « trajets » vers différents objectifs dans une banque de mémoire. Il apprend une politique générale : « Voici comment je me déplace pour atteindre n'importe quel objectif qui pourrait m'être donné ».

Le test : L'imitation en « un seul coup » (One-Shot)

Maintenant, le véritable test commence. Vous montrez au robot une vidéo unique d'un expert accomplissant une tâche (par exemple, un humain marchant vers une chaise spécifique). Le robot n'a jamais vu cette tâche auparavant et ne peut pas demander d'aide.

Le détective (Inférence de l'objectif) :
Le robot regarde la vidéo et se demande : « Quel était l'objectif de l'expert ? ». Il utilise un modèle statistique (un modèle « champ moyen », qui est un raccourci intelligent) pour deviner l'objectif.

L'astuce intelligente : L'article prouve que regarder simplement où l'expert a fini sa course ne suffit pas. Le robot doit également considérer la difficulté pour arriver là. Si l'expert a emprunté un chemin très difficile pour atteindre un point, c'est un signal fort que ce point était l'objectif voulu. S'il a pris un chemin facile, il était peut-être juste en train de déambuler. Le CIRL tient compte de cette difficulté, ce qui en fait un bien meilleur détective que les méthodes précédentes.

L'exécution :
Une fois que le robot a deviné l'objectif (par exemple, « L'expert voulait s'asseoir sur cette chaise »), il active ses « compétences de terrain de jeu » pré-entraînées pour atteindre ce point spécifique. Il n'a pas besoin de réapprendre à marcher ; il applique simplement ses compétences existantes à la nouvelle cible.

Pourquoi est-ce meilleur que les anciennes méthodes ?

L'article compare le CIRL à d'autres méthodes (comme les représentations « Forward-Backward » ou FB).

La faille des anciennes méthodes : Imaginez une carte qui dit : « L'endroit le plus visité est l'endroit le plus important ». Si un robot entre dans une pièce et reste coincé parce que la porte est bloquée, il visitera cette pièce souvent. Les anciennes méthodes pourraient penser : « Oh, il devait vouloir rester dans cette pièce bloquée ! ».
L'avantage du CIRL : Le CIRL sait que cette pièce bloquée était difficile à atteindre et difficile à maintenir. Il réalise : « Il ne voulait pas être là ; il était juste coincé ». En tenant compte de la difficulté d'atteindre un état, le CIRL déduit correctement l'objectif réel, même si l'expert a eu du mal à y parvenir.

Les résultats

Les auteurs ont testé cela sur diverses tâches robotiques, allant du mouvement d'un bras robotique à la poussée d'objets et à la marche.

Le résultat : Le CIRL a systématiquement battu les autres méthodes « zero-shot » (méthodes qui tentent d'apprendre à partir d'un seul exemple sans réentraînement).
La preuve : Ils ont prouvé mathématiquement que leur méthode est « cohérente », ce qui signifie qu'elle trouvera de manière fiable l'objectif correct, alors que d'autres méthodes similaires peuvent être trompées par la difficulté de la tâche.

Résumé

En bref, le CIRL est une façon d'apprendre à un robot à être un explorateur autosuffisant. Il passe du temps à jouer dans un bac à sable, apprenant à atteindre n'importe quel coin de la pièce par lui-même. Ensuite, lorsqu'il voit un humain faire quelque chose une seule fois, il ne cherche pas à copier les mouvements exacts de l'humain. Au lieu de cela, il cherche à comprendre où l'humain essayait d'aller, et utilise ses compétences de bac à sable pour y arriver. Cela fonctionne parce qu'il comprend que le fait de visiter souvent un endroit ne signifie pas que c'était l'objectif — parfois, l'objectif est l'endroit qui était le plus difficile à atteindre.

Résumé Technique : Imitation Zero-Shot Consistante par Inférence de But Contrastive

Énoncé du Problème

Le papier traite de l'Apprentissage par Imitation (IL) Zero-Shot, un cadre où un agent doit reproduire le comportement d'un expert à partir d'une seule démonstration sans interaction supplémentaire avec l'environnement, sans mise à jour de gradient, ni accès à des fonctions de récompense au moment du test. Les approches actuelles reposent souvent sur la reproduction directe des démonstrations (Behavioral Cloning) ou sur l'inférence de fonctions de récompense via l'Apprentissage par Renforcement Inverse (IRL). Cependant, le Behavioral Cloning souffre du décalage de distribution (distributional shift), et les méthodes standards d'IRL peinent souvent face à la nature sous-spécifiée de l'inférence de récompense, particulièrement lorsqu'elles ne parviennent pas à prendre en compte la difficulté relative d'atteindre différents états (la fonction de partition).

Les auteurs proposent un cadre où les agents sont pré-entraînés uniquement par interaction auto-supervisée (pas de démonstrations, pas de récompenses, pas de données humaines) pour développer un socle de connaissances. Le défi central est de permettre à ces agents d'inférer l'intention d'un démonstrateur à partir d'une trajectoire unique et d'exécuter une politique pour atteindre cette intention sans entraînement supplémentaire.

Méthodologie : Apprentissage par Renforcement Inverse Contrastif (CIRL)

Le cadre proposé, le Contrastive Inverse Reinforcement Learning (CIRL), reformule le problème de l'IRL multi-tâche comme un problème d'inférence de but. Il repose sur l'observation que de nombreuses tâches peuvent être résumées par un état de but unique. La méthode se compose de trois composantes primaires intégrées lors du pré-entraînement :

Apprentissage par Renforcement Contrastif à Entropie Maximale (MaxEnt CRL) :
- L'agent apprend une politique conditionnée par un but en utilisant un objectif auto-supervisé.
- Il étend le Contrastive Reinforcement Learning (CRL) au cadre de l'Entropie Maximale (MaxEnt). Au lieu de simplement apprendre des récompenses futures actualisées, l'agent optimise la somme des récompenses futures actualisées et de l'entropie.
- La fonction de critique $f_{\phi,\psi}(s, a, g)$ estime la mesure d'occupation d'état actualisée en utilisant l'Estimation de Contraste de Bruit (NCE), en distinguant le tuple état-action-but actuel des échantillons négatifs.
- L'acteur maximise un objectif régularisé par l'entropie, apprenant une fonction Q douce $\tilde{Q}_g(s, a)$ .
Proposition Automatique de But (GoalKDE) :
- Pour stimuler l'exploration sans récompenses externes, l'agent utilise GoalKDE, un mécanisme d'échantillonnage de but automatique.
- Il ajuste un Estimateur de Noyau à Densité de Gauss (KDE) sur les états visités dans le tampon de relecture (replay buffer).
- L'agent échantillonne des buts à partir des états ayant la plus faible probabilité sous le KDE (états sous-visités), encourageant l'agent à explorer l'espace des états de manière autonome.
Inférence de But Variationnelle :
- Au moment du test, étant donné une trajectoire de démonstration $\tau$ , l'agent doit inférer le but de l'expert $\hat{g}$ .
- Les auteurs prouvent que sous l'égide de la MaxEnt IRL avec des récompenses conditionnées par le but, inférer la récompense équivaut à inférer le but latent.
- Ils emploient un modèle variationnel de champ moyen $q_\xi(g|\tau) = \prod_{t=0}^T q_\xi(g|s_t, a_t)$ pour approximer la distribution postérieure du but. Ce modèle d'inférence amortie est entraîné pour maximiser la vraisemblance du but étant donné la trajectoire, apprenant ainsi efficacement à "lire" l'intention de la démonstration.

Contributions Théoriques Clés

Le papier fournit une preuve théorique de la consistance de la méthode CIRL :

Inférence de But Consistante : Les auteurs prouvent que CIRL récupère de manière consistante l'intention du démonstrateur en tenant compte de la difficulté relative d'atteindre différents états (la fonction de partition $Z_g$ ).
Inconsistance des Travaux Précédents : Ils démontrent que des méthodes structurellement similaires, telles que les représentations Forward-Backward (FB), sont inconsistantes. Les méthodes FB infèrent les récompenses basées sur les comptages de visites d'états sans considérer la fonction de partition. Les auteurs fournissent un contre-exemple (un MDP à 2 états) montrant que la FB peut identifier incorrectement la politique d'un démonstrateur car elle ne parvient pas à distinguer un état fréquemment visité en raison de sa facilité d'accès d'un état qui est le véritable but difficile à atteindre.

Résultats Expérimentaux

Les auteurs évaluent CIRL sur les environnements JaxGCRL et Unsupervised Reinforcement Learning Benchmark (URLB), incluant les tâches Reacher, Pusher, Ant et PointMaze.

Performance vs Baselines : CIRL surpasse systématiquement les méthodes d'imitation zero-shot précédentes, notamment :
- 1-Nearest Neighbor (1-NN) : Une baseline naïve qui copie l'action de l'état le plus proche dans la trajectoire de l'expert.
- Représentations Forward-Backward (FB) : Une méthode de pointe pour le RL et l'imitation zero-shot.
- HILP : Une approche par variables latentes pour le pré-entraînement non supervisé.
Études d'Ablation :
- Pré-entraînement : CIRL avec pré-entraînement auto-supervisé surpasse significativement les méthodes sans celui-ci.
- Inférence de But : L'approximation de champ moyen pour l'inférence de but surpasse universellement les modèles utilisant la trajectoire complète comme entrée, offrant une meilleure efficacité computationnelle et de performance.
- Exploration : Bien que GoalKDE atteigne des scores d'imitation quasi parfaits dans certains environnements (ex: Reacher), l'écart entre GoalKDE et un échantillonneur de but "oracle" s'élargit dans les espaces de plus haute dimension (ex: Ant, PointMaze), suggérant une marge d'amélioration pour les stratégies d'exploration dans les espaces d'états complexes.
Généralisation : CIRL imite avec succès des politiques entraînées sur des tâches standards de maximisation de récompense (non conditionnées par le but) en important des buts liés à la position 3D et à la vélocité de l'agent, démontrant que l'hypothèse de l'espace des buts peut capturer des structures de récompense complexes.

Signification et Revendications

Le papier affirme que les buts servent de résumé compact et expressif du comportement. En réduisant l'espace d'hypothèse des fonctions de récompense aux récompenses conditionnées par le but, les auteurs montrent que :

Efficacité : L'imitation devient plus efficace lorsqu'on projette le comportement sur l'espace restreint des fonctions de récompense conditionnées par le but.
Rigueur Théorique : La méthode est théoriquement consistante, identifiant correctement l'intention là où d'autres méthodes échouent en raison de l'omission de la fonction de partition.
Fondation Auto-supervisée : Il est possible de construire un socle pour des agents interactifs via une exploration purement auto-supervisée (proposer des buts, tenter de les atteindre, et apprendre du résultat) sans aucune démonstration humaine ou signal de récompense durant le pré-entraînement.

Les auteurs concluent que cette boucle "imaginer et pratiquer" permet aux agents d'apprendre des politiques transférables à travers diverses distributions de tâches, soutenant une réévaluation des buts comme mécanisme fondamental pour l'imitation zero-shot.