🤖 machine learning

Teacher-Student Representational Alignment for Reinforcement Learning-Driven Imitation Learning

Ce papier propose un nouvel algorithme qui atténue l'écart d'imitation dans l'apprentissage par imitation piloté par l'apprentissage par renforcement basé sur les états en entraînant un espace d'incorporation partagé via un apprentissage contrastif auto-supervisé pour garantir que les politiques enseignantes ne reposent que sur des informations observables, permettant ainsi des politiques étudiantes performantes sans nécessiter de réglage fin par apprentissage par renforcement après l'entraînement.

Auteurs originaux : Meraj Mammadov, Pedro Zuidberg Dos Martires, Johannes Andreas Stork

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Meraj Mammadov, Pedro Zuidberg Dos Martires, Johannes Andreas Stork

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot de naviguer dans un labyrinthe. Vous avez deux robots : un Professeur et un Élève.

Le Professeur est un robot super-intelligent doté de « vision aux rayons X ». Il peut voir l'ensemble du labyrinthe, l'emplacement de chaque mur et l'endroit exact où le trésor est caché. Grâce à ce super-pouvoir, il apprend le chemin le plus rapide et le plus efficace vers le trésor. Il pourrait avancer en ligne droite, sans jamais tourner la tête, car il sait exactement où se trouvent les obstacles.

L'Élève, en revanche, est un robot ordinaire. Il ne possède qu'une petite lampe torche devant lui. Il ne peut voir que les trois cases directement devant lui. Il ne connaît pas l'emplacement des murs avant de percuter, et il ne sait pas où se trouve le trésor avant de tourner la tête et de l'apercevoir.

Le Problème : Le « Fossé de l'Imitation »

Dans l'enseignement traditionnel, vous entraîneriez d'abord le Professeur, puis vous tenteriez d'enseigner à l'Élève à copier les mouvements du Professeur.

Mais voici le hic : le Professeur suit un chemin qui repose sur sa vision aux rayons X. Si le Professeur avance en ligne droite sans tourner, l'Élève, qui ne peut pas voir les murs à l'avance, avancera en ligne droite et percera. L'Élève ne peut pas copier le Professeur car ce dernier utilise des « informations secrètes » que l'Élève ne possède pas.

Habituellement, pour résoudre ce problème, les chercheurs devaient réentraîner l'Élève en utilisant beaucoup d'essais et d'erreurs (Apprentissage par Renforcement) après la leçon initiale. C'est lent, coûteux et frustrant.

La Solution : Une Vue « Floue » Partagée

Cet article propose une nouvelle méthode astucieuse pour les entraîner afin que l'Élève puisse copier le Professeur parfaitement dès le premier jour.

Au lieu de laisser le Professeur utiliser sa vision aux rayons X, les chercheurs obligent le Professeur et l'Élève à regarder le monde à travers une lentille floue partagée.

La Lentille Partagée (L'Espace d'Embedding) : Imaginez placer un filtre spécial sur les yeux des deux robots. Ce filtre élimine les détails « privés » (comme la vue aux rayons X du Professeur sur le trésor) et ne conserve que les détails « communs » (comme la forme du sol et les murs qu'ils peuvent tous deux voir).
L'Astuce d'Entraînement : Le Professeur est entraîné à résoudre le labyrinthe en utilisant uniquement cette vue floue et partagée. Il ne peut plus se fier à sa vision aux rayons X. Pour gagner, il doit apprendre un chemin qui fonctionne même s'il ne peut pas voir l'ensemble du tableau.
Le Résultat : Parce que le Professeur est contraint d'apprendre un chemin qui fonctionne avec une vision limitée, l'Élève peut maintenant copier ces mouvements parfaitement. Le Professeur ne triche plus ; il joue selon les règles de l'Élève.

Comment Ils Ont Fait (La Magie de l'« Auto-supervision »)

Les chercheurs ont utilisé une technique appelée Apprentissage Contrastif. Imaginez cela comme un jeu de « Trouvez la Différence » joué à l'envers.

Ils montrent au système une image de la vue du Professeur et l'image correspondante de la vue de l'Élève au même instant précis.
Le système reçoit l'instruction : « Ces deux images concernent le même moment dans le temps ; faites en sorte qu'elles paraissent très similaires dans votre cerveau. »
Ensuite, il leur montre une image d'un moment différent et dit : « C'est différent ; faites en sorte que cela paraisse très différent. »
En jouant à ce jeu, le système apprend à ignorer les « secrets » privés (comme l'emplacement exact du trésor) et à se concentrer uniquement sur la réalité partagée (la structure du labyrinthe).

Ils ont également ajouté deux filets de sécurité :

Alignement : S'assurer que les « vues floues » du Professeur et de l'Élève correspondent parfaitement afin que l'Élève ne soit pas confus.
Stabilité : S'assurer que la « vue floue » ne change pas radicalement d'une seconde à l'autre, afin que le Professeur ne soit pas étourdi et ne fasse pas de mouvements erratiques.

Les Résultats

Les chercheurs ont testé cela dans deux mondes semblables à des jeux vidéo :

CollectHealth : Un robot collectant des objets dans une pièce. Le Professeur savait exactement où se trouvaient les objets ; l'Élève devait regarder autour de lui pour les trouver.
TunnelVision : Un monde en grille où le Professeur pouvait voir toute la carte, mais où l'Élève ne pouvait voir que quelques pas en avant.

Le Résultat :

Ancienne Méthode : L'Élève copiait le Professeur mais percutait souvent car le Professeur utilisait des informations secrètes.
Nouvelle Méthode : Le Professeur a appris un chemin que l'Élève pouvait suivre parfaitement. L'Élève a réussi presque 100 % du temps, et le « fossé » entre la compétence du Professeur et celle de l'Élève a disparu.

Pourquoi Cela Compte

Le plus grand avantage est qu'ils n'ont pas eu à modifier l'objectif ou le système de récompense du Professeur. Ils n'ont pas eu à dire au Professeur : « Ne va pas tout droit, tourne à gauche ! » Au lieu de cela, ils ont simplement changé comment le Professeur voyait le monde. Cela a contraint le Professeur à apprendre naturellement un comportement que l'Élève pouvait imiter, économisant du temps et rendant l'ensemble du processus beaucoup plus fluide.

Résumé Technique : Alignement Représentationnel Enseignant-Élève pour l'Apprentissage par Imitation Piloté par l'Apprentissage par Renforcement

Énoncé du Problème

L'Apprentissage par Imitation (IL) est fréquemment employé pour surmonter la complexité d'échantillonnage et la « malédiction de la dimensionnalité » associées à l'Apprentissage par Renforcement (RL) dans des espaces d'observation de haute dimension, tels que ceux rencontrés en robotique. Un paradigme courant consiste à entraîner un « enseignant » basé sur le RL sur des représentations d'état analytiques de faible dimension, puis à distiller ce comportement dans une politique « élève » opérant sur des observations de haute dimension (par exemple, des images).

Cependant, un défi majeur survient lorsque l'enseignant et l'élève sont entraînés de manière isolée. L'enseignant repose souvent sur des « informations privilégiées » (variables d'état disponibles pour l'enseignant mais non déductibles des observations de l'élève, telles que les coordonnées exactes de l'objectif ou des emplacements d'objets cachés). Cela crée un écart d'imitation irréductible : l'enseignant apprend une politique optimale pour sa vue privilégiée mais impossible à imiter pour l'élève car les informations nécessaires manquent dans l'entrée de l'élève.

Traditionnellement, cet écart est comblé en ajoutant une phase d'affinage par RL à l'élève après l'IL. Cependant, cela réintroduit la haute complexité d'échantillonnage et l'instabilité de l'entraînement du RL. Alternativement, certaines méthodes modifient la fonction de récompense de l'enseignant ou son espace d'actions pour forcer l'imitabilité, mais ces approches nécessitent souvent un lourd travail d'ingénierie des caractéristiques, introduisent des hyperparamètres difficiles à régler ou dégradent les performances de l'enseignant sur la tâche.

Méthodologie

Les auteurs proposent un algorithme novateur, agnostique de la tâche, qui apprend un espace d'embedding partagé pour combler l'écart d'imitation par construction. Au lieu de modifier les récompenses ou d'affiner l'élève a posteriori, la méthode garantit que l'enseignant apprend une politique intrinsèquement imitable par l'élève.

Architecture Principale

L'approche utilise un cadre d'apprentissage de représentations multi-vues où l'enseignant et l'élève observent le même état d'environnement sous-jacent $s_t$ à travers des modalités différentes ( $o_T$ et $o_S$ ). Ces observations sont modélisées comme contenant :

Composantes communes ( $c_t$ ) : Informations partagées par les deux agents (par exemple, les positions relatives des obstacles).
Composantes privées ( $p_T, p_S$ ) : Informations spécifiques à l'agent (par exemple, les coordonnées exactes de l'objectif pour l'enseignant).

L'objectif est d'apprendre un encodeur qui mappe à la fois $o_T$ et $o_S$ dans un espace latent ne contenant que $c_t$ , masquant efficacement les informations privées à l'enseignant durant son entraînement par RL.

Phases d'Entraînement

Le système fonctionne par phases alternées impliquant deux modules :

Apprentissage de Représentation Contrastive (Module d'Embedding) :
- Objectif : Apprendre une mappe des observations de l'enseignant et de l'élève vers un espace latent commun.
- Mécanisme : Utilise une perte de contraste InfoNCE. Les paires d'observations $(o_T, o_S)$ provenant du même pas de temps sont traitées comme des paires positives, tandis que les observations non appariées dans le lot servent de négatifs.
- Perte d'Alignement ( $L_{alignment}$ ) : Maximise explicitement la similarité entre les embeddings appariés pour garantir que le réseau de politique perçoive des représentations cohérentes pour les deux agents.
- Perte de Stabilité ( $L_{stability}$ ) : Empêche les déviations importantes dans l'espace latent durant l'entraînement en pénalisant les déplacements des logits bruts du réseau de politique par rapport aux états précédents. Ceci est crucial car les politiques RL sont sensibles aux petits déplacements d'embedding.
- Isolement des Gradients : Crucialement, les gradients provenant de la politique RL (Phase 2) ne sont pas rétropropagés à travers les réseaux d'encodeur. Cela empêche la politique de « tricher » en apprenant à extraire des informations privées des observations brutes de l'enseignant pour maximiser les récompenses.
Apprentissage par Renforcement (Module de Politique) :
- La politique de l'enseignant ( $\pi_T$ ) est entraînée en utilisant l'Optimisation Proximale de la Politique (PPO) pour maximiser la récompense de la tâche.
- Cependant, la politique opère uniquement sur les embeddings latents appris, et non sur les observations brutes.
- Parce que les embeddings manquent d'informations privées, l'enseignant est contraint de maximiser la récompense en exploitant uniquement les informations partagées disponibles pour l'élève.

Distinctions Clés par rapport aux Travaux Antérieurs

Contrairement à SITT [8], qui pénalise l'enseignant pour visiter des états non imitables via un terme de divergence KL dans la récompense, cette méthode ne modifie pas la fonction de récompense ni n'introduit de coefficients de compromis ( $\alpha$ ).
Contrairement aux méthodes nécessitant une connaissance du domaine pour sélectionner des paires contrastives, cette approche est entièrement agnostique de la tâche et repose sur l'alignement temporel des trajectoires enseignant-élève.

Résultats Expérimentaux

La méthode a été évaluée dans deux environnements de simulation conçus pour mettre en évidence l'écart d'imitation :

CollectHealth : Une tâche de navigation 3D où l'enseignant connaît les emplacements exacts des boîtes, tandis que l'élève a un champ de vision (FOV) limité et doit se réorienter pour trouver les cibles.
TunnelVision : Une tâche de navigation dans un monde en grille où l'enseignant voit toutes les cellules environnantes, tandis que l'élève ne voit que trois cellules dans sa direction avant.

Métriques de Performance

L'étude a comparé la méthode proposée contre :

Clonage de Comportement (BC) : IL standard utilisant un enseignant entraîné de manière isolée.
SITT : La référence de l'état de l'art qui pénalise les comportements non imitables de l'enseignant.

Principales Constatations :

Réduction de l'Écart d'Imitation : La méthode proposée a atteint un écart d'imitation quasi nul ( $\Delta \approx 0.00$ à $0.01$) dans les deux environnements, surpassant significativement le BC (écart $\approx 0.53-0.81$ ) et SITT (écart $\approx 0.19-0.43$ ).
Performance de l'Élève : Les politiques élèves distillées ont atteint des taux de succès de 1.00 (TunnelVision) et 0.98 (CollectHealth), égalant ou dépassant les performances de l'enseignant sans nécessiter d'affinage par RL.
Performance de l'Enseignant : Contrairement à SITT, qui a souffert d'une baisse de performance de l'enseignant due à la modification de la récompense, la méthode proposée a maintenu des performances élevées de l'enseignant (1.00 et 0.99) car la fonction de récompense originale est restée intacte.
Études d'Ablation :
- Le retrait de la perte d'alignement a causé une baisse notable de la performance de l'élève, en particulier dans CollectHealth, confirmant la nécessité d'une similarité d'embedding explicite.
- Le retrait de la perte de stabilité a causé une baisse significative dans TunnelVision (un environnement à haute sensibilité), démontrant que des embeddings stables sont critiques pour prévenir l'effondrement de la politique dans des contextes sensibles.

Importance et Contributions

L'article revendique les contributions suivantes :

Méthode Novatrice Agnostique de la Tâche : Elle introduit une approche plug-and-play pour combler l'écart d'imitation en apprenant une représentation latente partagée, éliminant le besoin de modifications de la fonction de récompense ou d'ingénierie complexe de caractéristiques.
Construction de l'Imitabilité : En restreignant l'enseignant à opérer sur un espace d'embedding partagé via l'apprentissage contrastif, la méthode garantit que l'enseignant apprend des comportements intrinsèquement reproductibles par l'élève, évitant l'écart irréductible causé par les informations privilégiées.
Performance Empirique Supérieure : L'approche surpasse constamment des références solides (BC et SITT) en termes de taux de succès de l'élève et de réduction de l'écart d'imitation tout en préservant les performances optimales de l'enseignant sur la tâche.
Mécanismes de Stabilité : L'introduction de pertes explicites d'alignement et de stabilité adresse la sensibilité des politiques RL aux déplacements de représentation, permettant un entraînement robuste sans affinage a posteriori.

Les auteurs concluent que cette méthode offre une solution robuste pour distiller des politiques de haute dimension à partir d'enseignants privilégiés, la rendant adaptée à l'intégration dans des cadres IL existants sans altérer la structure fondamentale de récompense de la tâche.