Latent Wasserstein Adversarial Imitation Learning

Ce papier présente LWAIL, une nouvelle méthode d'apprentissage par imitation adversaire qui utilise un espace latent dynamique appris via une fonction de valeur conditionnée à l'intention pour permettre à un agent d'atteindre des performances expertes en n'utilisant que quelques épisodes d'expert sans accès aux actions.

L'essentiel

🎓 Le Titre : LWAIL (L'Apprentissage par Imitation "Wasserstein Latent")

Imaginez que vous voulez apprendre à conduire une voiture de course. La méthode classique consiste à avoir un instructeur qui vous dit exactement quoi faire à chaque instant (tourner le volant à gauche, freiner, accélérer). Mais souvent, dans la vraie vie (comme pour un robot), vous n'avez pas l'instructeur qui parle. Vous avez juste une vidéo de l'instructeur qui conduit, et vous voyez où il va, mais pas comment il tourne le volant.

C'est le problème de l'Apprentissage par Imitation à partir d'Observations (LfO) : on a les états (la position de la voiture), mais pas les actions (le mouvement du volant).

Le papier propose une nouvelle méthode, LWAIL, pour apprendre à copier un expert en regardant seulement où il va, et ce, avec très peu d'exemples (parfois juste une seule vidéo !).

---

🚧 Le Problème : La "Carte" est fausse

Pour apprendre à imiter, l'IA doit comparer sa propre trajectoire à celle de l'expert. Elle se demande : "Est-ce que je suis proche de l'expert ?"

Le problème, c'est que les méthodes actuelles utilisent une règle de mesure très simple : la distance Euclidienne (la ligne droite à vol d'oiseau).

L'analogie du labyrinthe :
Imaginez que vous êtes dans un grand labyrinthe.

• L'Expert est au point C (la sortie).
• Vous êtes au point B.
• Il y a un autre point A qui est géométriquement plus loin de C que B.

Si vous utilisez une règle "à vol d'oiseau" (Euclidienne), l'IA dira : "Oh, B est plus proche de C que A, donc je suis presque arrivé !"
Mais en réalité, B est bloqué par un mur. Pour aller de B à C, il faut faire un long détour. A, bien que plus loin géométriquement, est sur la bonne route.

La "règle" actuelle de l'IA est trompeuse. Elle ne comprend pas la dynamique (les murs, les virages, la physique). Elle pense que tout est plat et ouvert, alors que le monde est complexe.

---

💡 La Solution : La "Boussole Intelligente" (LWAIL)

Les auteurs de ce papier disent : "Arrêtons de mesurer la distance avec une règle à vol d'oiseau. Créons une nouvelle carte qui comprend les murs et les chemins."

Pour cela, ils utilisent une astuce en deux étapes :

1. L'Entraînement Préliminaire (La phase de "Boussole")

Avant même de commencer à apprendre la tâche, l'IA regarde un petit tas de données aléatoires (des vidéos de quelqu'un qui se promène n'importe où, sans but précis).

• Elle utilise un outil appelé ICVF (Fonction de Valeur Conditionnée par l'Intention).
• L'analogie : Imaginez que l'IA joue à un jeu vidéo en mode "créatif" pendant 10 minutes. Elle apprend à se repérer dans le monde. Elle comprend intuitivement : "Si je suis ici et que je veux aller là-bas, je dois contourner cet obstacle, même si la ligne droite traverse le mur."
• À la fin de cette phase, l'IA a créé un espace latent (une nouvelle carte mentale). Dans cette carte, la distance entre deux points n'est plus la distance physique, mais la difficulté réelle pour y arriver.

2. L'Imitation (La phase de "Conduite")

Maintenant, l'IA commence à imiter l'expert, mais elle utilise cette nouvelle carte.

• Au lieu de dire "Je suis à 5 mètres de l'expert", elle dit "Je suis à 2 'pas d'effort' de l'expert".
• Grâce à cette boussole intelligente, l'IA comprend très vite ce qu'elle doit faire pour rejoindre l'expert, même si elle n'a vu qu'un seul exemple de la trajectoire de l'expert.

---

🏆 Pourquoi c'est génial ?

1. Moins de données : Habituellement, il faut des heures de vidéo d'experts pour entraîner un robot. Avec LWAIL, une seule vidéo (ou même une partie de vidéo) suffit souvent pour atteindre un niveau expert.
2. Robustesse : Si vous mettez le robot dans une situation un peu différente (un peu de bruit, un début de trajectoire différent), il s'en sort mieux car il a compris la structure du monde, pas juste la position des points.
3. Efficacité : Ils ont testé cela sur des robots virtuels (comme des sauteurs, des léopards, des fourmis) et ils battent les meilleures méthodes actuelles.

📝 En résumé

Imaginez que vous apprenez à faire du ski.

• Les anciennes méthodes : Vous regardez le champion. Vous mesurez la distance entre vous et lui avec un mètre-ruban. Si vous êtes à 10 mètres, vous pensez être proche. Mais si vous êtes coincé dans un ravin, cette mesure ne vous aide pas.
• La méthode LWAIL : Avant de skier, vous avez passé un moment à explorer la montagne au hasard. Vous avez appris où sont les ravin, les pentes raides et les chemins plats. Maintenant, quand vous regardez le champion, vous ne mesurez pas la distance en mètres, mais en "combien de temps il me faudra pour le rejoindre en suivant la pente".

C'est cette compréhension profonde de la dynamique (grâce à l'espace latent appris) qui permet à l'IA d'apprendre si vite et si bien avec si peu d'exemples.

Résumé technique

1. Problématique

L'Apprentissage par Imitation (IL) permet à un agent d'imiter un expert en apprenant à partir de démonstrations. Cependant, les méthodes traditionnelles souffrent de deux limitations majeures :

1. Besoin de données massives et d'actions : Elles requièrent souvent de grandes quantités de démonstrations de haute qualité incluant les états et les actions de l'expert, ce qui est coûteux et difficile à obtenir dans le monde réel (ex: robotique).
2. Limites de l'Apprentissage par Observation (LfO) : Pour pallier l'absence d'actions, on utilise l'apprentissage à partir des seules observations (états). Les méthodes adverses (AIL) basées sur la divergence $f$ (comme KL, JS) nécessitent que les distributions de l'agent et de l'expert aient le même support, ce qui est théoriquement contraignant et numériquement instable avec des données non expertes.

Les méthodes utilisant la distance de Wasserstein (qui ne nécessite pas de support commun) semblent prometteuses, mais elles reposent souvent sur une métrique de distance euclidienne dans l'espace des états bruts. Cette approche est inadéquate car elle ignore la dynamique de l'environnement (ex: deux états peuvent être proches en coordonnées euclidiennes mais impossibles à relier par la dynamique du système).

2. Méthodologie : LWAIL

Les auteurs proposent LWAIL, un cadre d'apprentissage adversaire en deux étapes qui remplace la métrique euclidienne par une métrique apprise dans un espace latent "conscient de la dynamique".

A. Pré-entraînement : Espace Latent Dynamique (ICVF)

Avant l'apprentissage de la politique, une phase de pré-entraînement est effectuée :

• Données : Utilisation d'un petit ensemble de données d'états uniquement (peut être de très mauvaise qualité, ex: transitions aléatoires).
• Algorithme : Entraînement d'une Fonction de Valeur Conditionnée par l'Intention (ICVF). L'ICVF apprend à prédire la probabilité d'atteindre un état futur $s^+$ (intention) depuis un état actuel $s$.
• Représentation : La fonction de valeur est factorisée pour extraire une représentation d'état $\phi(s)$. Cet espace latent capture la structure de réachabilité et la dynamique de l'environnement, contrairement à l'espace brut.

B. Apprentissage par Imitation (Stage d'Imitation)

Une fois l'embedding $\phi$ figé, l'apprentissage adversaire commence :

• Objectif : Minimiser la distance de Wasserstein ($W_1$) entre la distribution des paires d'états de l'expert ($d^E_{ss}$) et celle de l'agent ($d^\pi_{ss}$).
• Métrique : Au lieu d'utiliser la distance euclidienne $\|s - s'\|$, le coût est calculé dans l'espace latent : $c(s, s') = \|\phi(s) - \phi(s')\|_2$.
• Formulation Adversaire : Utilisation de la dualité de Kantorovich-Rubinstein (KR). Un discriminateur $f$ est entraîné pour maximiser la différence entre les scores des paires expertes et non expertes dans l'espace latent, tout en respectant une contrainte de Lipschitz.
• Apprentissage de la Politique : La politique de l'agent est optimisée via un algorithme RL hors politique (TD3) en utilisant une récompense pseudo-générée par le discriminateur : $r(s, s') = \sigma(-f(\phi(s), \phi(s')))$.

3. Contributions Clés

1. Métrique Dynamique Apprise : Première méthode à utiliser l'embedding ICVF pour définir une métrique de base (ground metric) pour la distance de Wasserstein, résolvant le problème de l'incapacité de la distance euclidienne à capturer la dynamique de l'environnement.
2. Efficacité avec Données Limitées : La méthode atteint des performances de niveau expert avec une seule trajectoire d'expert (états uniquement), éliminant le besoin d'actions d'expert et de grandes quantités de données.
3. Robustesse aux Données de Faible Qualité : Le pré-entraînement ICVF fonctionne efficacement même avec des données aléatoires (bruitées) pour construire la métrique, rendant le système très économe en données.
4. Théorie et Preuve : Les auteurs démontrent théoriquement (Théorème 3.1) que dans un MDP quasi-déterministe, l'occupation des paires d'états est une combinaison linéaire de l'embedding ICVF, justifiant l'alignement entre la structure d'optimisation de Wasserstein et la dynamique de transition.

4. Résultats Expérimentaux

Les expériences ont été menées sur les environnements MuJoCo (Hopper, HalfCheetah, Walker2D, Ant) et Maze2D (benchmark D4RL).

• Performance Globale : LWAIL surpasse systématiquement les méthodes de base (GAIL, AIRL, WDAIL, IQ-Learn, OPOLO, etc.) et atteint des scores normalisés proches de 100 (niveau expert) sur la plupart des tâches, souvent avec une seule trajectoire d'expert.
• Robustesse au Bruit : Dans les tâches de navigation (Maze2d) avec des états initiaux perturbés (bruit gaussien), LWAIL avec ICVF maintient ses performances, tandis que la version sans embedding (distance euclidienne) échoue catastrophiquement.
• Comparaison Métrique : Les visualisations t-SNE montrent que l'espace latent ICVF regroupe les états de manière cohérente avec la dynamique (états connectés par la trajectoire sont proches), contrairement à l'espace brut.
• Ablations :
  • La méthode fonctionne bien même avec très peu de données aléatoires pour le pré-entraînement (10k transitions).
  • Elle est robuste aux trajectoires d'expert incomplètes (sous-échantillonnées).
  • L'utilisation de TD3 comme algorithme RL en aval s'avère supérieure à PPO ou DDPG dans ce cadre.

5. Signification et Impact

Ce travail apporte une avancée significative dans le domaine de l'apprentissage par imitation, en particulier pour les scénarios où les données d'expert sont rares et où les actions ne sont pas disponibles (LfO).

• Démocratisation du RL : En réduisant le besoin de données d'expert coûteuses et en permettant l'utilisation de données aléatoires pour comprendre la dynamique, LWAIL rend l'apprentissage par imitation plus accessible pour des applications robotiques complexes.
• Résolution d'un problème fondamental : Il corrige une limitation théorique et pratique des méthodes basées sur la dualité de Wasserstein (KR), en démontrant que la qualité de la métrique sous-jacente est aussi cruciale que l'algorithme d'optimisation lui-même.
• Nouvelle Direction : L'approche suggère que l'apprentissage de représentations dynamiques (via ICVF) avant l'apprentissage de la politique est une stratégie efficace pour aligner les distributions d'états dans des espaces complexes.

En résumé, LWAIL combine l'efficacité de la distance de Wasserstein avec la puissance des représentations apprises (ICVF) pour réaliser un apprentissage par imitation hautement efficace, robuste et ne nécessitant que des observations d'états.