Résumé technique : Apprentissage par imitation sans tirage par cartographie de topologie latente (ZALT)

Définition du problème

L'article aborde le défi de la composition de comportements sans tirage dans l'apprentissage par imitation conditionné par un objectif à long horizon. Dans ce cadre, un agent reçoit un jeu de données fixe et hors ligne de démonstrations d'experts couvrant uniquement un sous-ensemble des tâches possibles de départ–arrivée. L'objectif est que l'agent résolve des combinaisons de départ–arrivée inédites sans interaction supplémentaire avec l'environnement ni optimisation de la politique.

La difficulté fondamentale réside dans l'accumulation d'erreurs sur les trajectoires longues. Les méthodes existantes, telles que le clonage comportemental ou l'imitation basée sur un modèle, échouent souvent dans ce régime car de petites erreurs de politique, de modèle ou de décalage de distribution s'accumulent sur des centaines d'étapes d'actions primitives lorsque l'agent tente de composer des comportements en dehors de la distribution de départ–arrivée démontrée. L'article postule que, bien qu'un jeu de données fixe puisse manquer de trajectoires complètes pour de nouvelles tâches, il contient probablement les segments comportementaux locaux nécessaires ; le défi consiste à apprendre à recombiner ces segments de manière fiable.

Méthodologie : ZALT

Les auteurs proposent des Agents sans tirage à partir de topologies latentes (ZALT), une méthode qui convertit un ensemble fixe de démonstrations en une structure de haut niveau composable pour la planification. L'approche se compose de quatre étapes principales :

1. Découverte de hubs latents

ZALT construit d'abord une topologie comportementale en identifiant des « états hubs » au sein des données de démonstration. Ces hubs agissent comme des jonctions réutilisables où les trajectoires convergent ou divergent.

• Espace latent : Pour gérer des observations de haute dimension, ZALT utilise un modèle encodeur–dynamique–décodeur de bas niveau pour mapper les états dans un espace latent aligné sur la dynamique. Cet espace est entraîné pour prédire les états futurs basés sur les actions, garantissant que les états comportementalement similaires (plutôt que simplement visuellement similaires) sont regroupés ensemble.
• Identification des hubs : Les hubs sont définis comme des clusters latents où :
  • Convergences : Plusieurs trajectoires antérieures distinctes entrent dans le même cluster.
  • Divergences : Un seul cluster mène à plusieurs trajectoires futures distinctes.
  • Départs/Terminaisons : Les états initiaux et terminaux sont également traités comme des hubs.
• Signification : En identifiant ces hubs, ZALT compresse les horizons longs d'actions primitives en séquences plus courtes de transitions abstraites, isolant les erreurs aux liens entre les hubs plutôt qu'à l'ensemble de la trajectoire.

2. Apprentissage d'un modèle de dynamique de hubs de haut niveau

Une fois la topologie (graphe de hubs et d'arêtes) établie, ZALT apprend un modèle de dynamique de haut niveau ($M^{high}$) qui prédit le hub suivant étant donné la séquence de hubs visités jusqu'à présent ($h_{0:m}$).

• Conscience du contexte : Contrairement à une simple traversée de graphe, ce modèle utilise un GRU pour capturer des informations dépendantes du chemin. Par exemple, atteindre un hub de couloir peut mener à des résultats différents selon que l'agent a précédemment collecté une clé spécifique.
• Masquage : Le modèle est entraîné avec un masquage topologique ; les transitions non supportées par une arête de démonstration quelconque se voient attribuer une probabilité nulle, empêchant le planificateur d'essayer des comportements non supportés.

3. Apprentissage de politiques de hub à hub

Pour chaque arête de la topologie (transition du hub $h_i$ au hub $h_j$), ZALT entraîne une politique spécifique de bas niveau ($\pi_{h_i}$) conditionnée par l'embedding du hub cible.

• Clonage comportemental : Ces politiques sont entraînées par clonage comportemental sur les segments d'actions primitives des démonstrations qui relient les hubs source et cible spécifiques.
• Robustesse : Pour gérer les variations de timing et les erreurs de détection des limites, l'entraînement inclut une perturbation stochastique des limites (troncature ou extension des segments) et du bruit d'observation.

4. Inférence sans tirage

Au moment du test, étant donné une nouvelle paire de départ–arrivée :

1. Mappage : L'observation de départ est encodée et associée à un hub de départ ($h_s$) ; l'objectif est associé à un ensemble de hubs de réussite terminaux ($H_g$).
2. Recherche : Un algorithme de recherche (utilisant un coût de transition goulot d'étranglement) explore la topologie comportementale pour trouver l'itinéraire le plus plausible de $h_s$ vers n'importe quel $h_g \in H_g$. La recherche s'appuie sur le modèle de dynamique de haut niveau pour évaluer la plausibilité du chemin en fonction de l'historique.
3. Exécution : Le plan abstrait résultant (une séquence de hubs) est exécuté en enchaînant les politiques apprises de hub à hub correspondantes.

Contributions clés

• Cartographie de topologie latente : L'introduction d'une méthode pour identifier et utiliser explicitement des états hubs latents (convergences/divergences) comme jonctions réutilisables pour la composition de comportements.
• Compression d'horizon : Un mécanisme qui réduit la planification à long horizon de centaines de décisions primitives à une courte séquence de transitions de hubs abstraites, réduisant considérablement l'opportunité d'accumulation d'erreurs.
• Dynamiques dépendantes du chemin : Un modèle de haut niveau qui conditionne les prédictions futures sur la séquence de hubs visités, plutôt que sur l'état actuel uniquement, permettant à l'agent de raisonner sur le contexte (par exemple, l'état de l'inventaire) implicitement encodé dans l'historique du chemin.
• Composition sans tirage : Un cadre permettant de résoudre des tâches avec des paires de départ–arrivée jamais vues lors de l'entraînement, à condition que les segments comportementaux locaux nécessaires existent dans le jeu de données de démonstration.

Résultats expérimentaux

Les auteurs évaluent ZALT dans un environnement de labyrinthe 3D complexe (style MiniWorld/CARL) nécessitant une manipulation ordonnée d'objets (clés, portes verrouillées, diamants et un tonneau). La tâche consiste à naviguer vers des clés spécifiques, déverrouiller des portes, collecter des objets et les déposer dans un ordre spécifique.

• Jeu de données : 18 démonstrations réussies et 120 démonstrations échouées couvrant uniquement 18 des 36 paires de départ–arrivée possibles.
• Performance sans tirage : ZALT atteint un taux de réussite de 55 % sur les 18 paires de départ–arrivée inédites.
• Comparaison avec les références :
  • DQN+BC : 6 % de réussite (la référence la plus forte).
  • CQL, IQL, Option-Critic : 0 % de réussite.
  • Tâches vues : ZALT atteint 72,2 % de réussite sur les tâches vues, contre 11 % pour la référence la plus forte, indiquant que l'environnement est difficile même pour l'apprentissage par imitation standard.
• Efficacité : Les plans ZALT réussis compressent environ 244–281 pas de temps primitifs en environ 33 transitions de niveau de hub (longueur moyenne d'arête ~7,9 actions).
• Études d'ablation :
  • La suppression du modèle de dynamique de haut niveau (remplacé par une recherche en largeur BFS) entraîne 0 % de réussite, prouvant que la connectivité topologique brute est insuffisante sans prédiction dépendante du chemin.
  • La suppression de la mémoire GRU de l'encodeur de bas niveau entraîne 0 % de réussite, prouvant que la découverte de hubs nécessite un contexte comportemental (par exemple, clés collectées) au-delà de l'observation visuelle immédiate.
• Adaptation en ligne : Après 500 épisodes d'interaction en ligne, les références n'ont pas réussi à retrouver leurs performances, suggérant que la difficulté provient de l'horizon long et des récompenses clairsemées plutôt que d'un manque de pratique.

Signification et affirmations

L'article affirme que ZALT démontre que la topologie comportementale explicite est un composant critique pour la généralisation sans tirage dans l'apprentissage par imitation à long horizon. Les auteurs soutiennent que, tandis que les méthodes standard peinent lorsque l'itinéraire complet de départ–arrivée est hors distribution, ZALT réussit en exploitant les « pièces comportementales locales » présentes dans les données.

La signification réside dans la capacité à résoudre des tâches complexes et compositionnelles sans exiger un ensemble complet de démonstrations pour chaque variation de tâche possible. En compressant l'horizon de planification et en modélisant explicitement la connectivité des segments comportementaux réutilisables, ZALT surmonte le problème d'accumulation d'erreurs qui affecte les politiques à long horizon. Les auteurs concluent que cette approche offre une direction prometteuse pour entraîner des agents dans des environnements interactifs où la collecte de trajectoires d'experts pour chaque combinaison de tâche possible est irréalisable.

L'article reste modeste quant à son périmètre, notant que la méthode suppose l'existence d'une connectivité comportementale réutilisable dans les démonstrations et que la qualité des hubs dépend de la représentation latente apprise. Des travaux futurs sont suggérés pour explorer les forces qui poussent la formation de hubs et pour adapter le cadre à des contextes d'apprentissage en ligne ou hybrides.