🤖 AI

Offline Discovery of Interpretable Skills from Multi-Task Trajectories

Cet article présente LOKI, un cadre d'apprentissage hors ligne en trois étapes qui découvre des compétences interprétables et réutilisables à partir de démonstrations multi-tâches sans récompenses explicites, permettant la construction de politiques hiérarchiques qui atteignent des taux de réussite élevés sur des bancs d'essai complexes et peuvent composer les compétences apprises pour résoudre de nouvelles tâches.

Auteurs originaux : Chongyu Zhu, Mithun Vanniasinghe, Jiayu Chen, Chi-Guhn Lee

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chongyu Zhu, Mithun Vanniasinghe, Jiayu Chen, Chi-Guhn Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre à un robot à cuisiner un repas complexe, comme un dîner complet. Vous n'avez pas le temps d'écrire un manuel ligne par ligne pour chaque mouvement (comme « déplacer le bras de 5 cm vers la gauche, puis pivoter le poignet de 15 degrés »). À la place, vous montrez au robot une vidéo d'un chef humain en train de réaliser l'ensemble du travail.

Le problème est que la vidéo n'est qu'un long flux continu de mouvements. Le robot ne sait pas où une action se termine et la suivante commence. Il ne sait pas que « couper les légumes » est une compétence distincte et que « allumer la cuisinière » en est une autre. Il ne voit qu'un flou de mouvements.

Ce document présente une nouvelle méthode appelée LOKI (Learning Offline Key-skills via Imitation) pour résoudre ce problème. Considérez LOKK comme un monteur intelligent qui regarde des heures de vidéos de cuisine brutes et les découpe automatiquement en « clips » ou « compétences » parfaits, réutilisables, que le robot pourra apprendre et combiner plus tard.

Voici comment fonctionne LOKI, décomposé en trois étapes simples :

Étape 1 : Le monteur de la « vue d'ensemble » (Segmentation Macro)

D'abord, LOKI examine toute la vidéo et tente de trouver les chapitres principaux.

L'analogie : Imaginez que vous avez un long film, mais que vous ne savez pas où les scènes changent. LOKI utilise un outil spécial (appelé EVQ-VAE) qui agit comme un « détective de tâches ».
Comment ça marche : Il connaît l'objectif général de la vidéo (ex : « Préparer le dîner »). Il cherche les moments où le robot fait quelque chose d'unique à cette tâche spécifique (comme ouvrir un micro-ondes spécifique) plutôt que quelque chose de générique qui arrive dans beaucoup de tâches (comme déplacer un bras d'un point A à un point B).
Le résultat : Il découpe la longue vidéo en gros blocs appelés Compétences Générales. C'est comme dire : « D'accord, toute cette section concerne le micro-ondes, et cette section suivante concerne la cuisinière. »

Étape 2 : Le monteur de « précision » (Segmentation Micro)

Maintenant, LOKI prend ces gros blocs et regarde de plus près.

L'analogie : Même au sein de la section « Micro-ondes », le robot peut faire trois choses différentes : marcher vers le micro-ondes, saisir la poignée et tourner le cadran. La première étape était trop large ; il doit trouver le moment exact où une action s'arrête et la suivante commence.
Comment ça marche : LOKI utilise une astuce de « reconstruction ». Il essaie de prédire ce que le robot fera ensuite en fonction de ce qu'il vient de faire. Si le robot fait soudainement quelque chose d'inattendu ou si la prédiction échoue, LOKI sait : « Ah ! Le robot vient de changer de compétence ! » Il utilise ensuite un processus de regroupement (clustering) pour nettoyer les découpes, en éliminant les limites désordonnées ou inutiles.
Le résultat : Il crée des Compétences Indépendantes. Ce sont les mouvements atomiques et réutilisables, comme « Tourner le bouton » ou « Ouvrir la porte », qui sont cohérents à travers différentes tâches.

Étape 3 : Le « Réalisateur » (Politique Hiérarchique)

Enfin, LOKI enseigne au robot comment utiliser ces clips.

L'analogie : Imaginez un réalisateur de cinéma. Le réalisateur ne dit pas à l'acteur comment cligner des yeux ou respirer ; il dit simplement : « Maintenant, fais le clip "Tourner le bouton" ».
Comment ça marche :
1. L'Acteur de bas niveau : Le robot apprend à exécuter chaque « clip » spécifique parfaitement.
2. Le Signal d'arrêt : LOKI enseigne au robot un signal spécial (une « fonction de terminaison ») qui dit : « Tu as fini avec ce clip ; arrête-toi maintenant ». Cela empêche le robot de tourner le bouton indéfiniment.
3. Le Script : Le robot reçoit un script simple (une séquence d'identifiants de compétences) à suivre. Il doit juste savoir : « Fais le Clip A, puis le Clip B, puis le Clip C ».

Pourquoi est-ce une avancée majeure ?

Pas besoin d'étiquetage manuel : Habituellement, pour enseigner à un robot, les humains doivent étiqueter manuellement chaque étape (« Maintenant, il ouvre le frigo »). LOKI comprend cela presque automatiquement, n'ayant besoin que d'un indice infime sur l'objectif global.
C'est compréhensible pour les humains : Les compétences découvertes par LOKI ne sont pas des motifs mathématiques aléatoires ; elles s'alignent sur la façon dont les humains pensent. Si vous regardez le « cerveau » du robot, vous pouvez voir qu'il regroupe « ouvrir un placard » et « ouvrir un micro-ondes » parce qu'ils semblent similaires, tout comme un humain le ferait.
Mixer et Combiner : Parce que les compétences sont décomposées si proprement, le robot peut prendre une compétence apprise pour une tâche (comme « tourner un interrupteur de lumière ») et l'utiliser dans une tâche totalement nouvelle et inédite.

En résumé : LOKI prend des vidéos désordonnées et non étiquetées de robots accomplissant des tâches complexes, les découpe automatiquement en « compétences » logiques et compréhensibles par l'humain, et enseigne au robot comment enchaîner ces compétences pour accomplir le travail. Il transforme un flux chaotique de données en un manuel d'instructions propre et organisé.

Résumé technique : Découverte hors ligne de compétences interprétables à partir de trajectoires multi-tâches (LOKI)

Énoncé du problème

L'apprentissage par imitation hiérarchique (HIL) offre un paradigme prometteur pour l'acquisition de comportements robotiques complexes en décomposant des tâches à long horizon en sous-tâches gérables. Cependant, un goulot d'étranglement critique demeure dans la découverte de compétences réutilisables et sémantiquement significatives à partir de données de trajectoires hors ligne et multi-tâches qui manquent de récompenses explicites ou d'annotations de sous-tâches. Les méthodes existantes sont confrontées à trois défis principaux :

Ambiguïté des frontières de compétences : Segmenter précisément des trajectoires continues en compétences discrètes sans supervision explicite est difficile.
Manque de réutilisabilité et d'interprétabilité : Les compétences apprises échouent souvent à s'aligner sur les conceptualisations humaines ou à se transférer d'une tâche à l'autre.
Scalabilité : De nombreuses approches sont adaptées à des contextes de tâche unique ou nécessitent une ingénierie spécifique à la tâche très poussée, ce qui limite leur utilité dans des environnements multi-tâches diversifiés.

Le papier propose LOKI (Learning Offline Key-skills via Imitation), un cadre conçu pour combler ces lacunes en découvrant des compétences robustes et interprétables directement à partir de démonstrations hors ligne brutes et non annotées.

Méthodologie : Le cadre LOKI

LOKI est un cadre d'apprentissage de bout en bout en trois étapes qui transforme les trajectoires multi-tâches brutes en une politique hiérarchique exécutable.

Étape 1 : Macro-segmentation via un VQ-VAE forcé (EVQ-VAE)

La première étape effectue une segmentation grossière et sensible à la tâche pour distinguer les Compétences Générales (GS).

Architecture : Les auteurs introduisent un Autoencodeur Variationnel Quantifié Vectoriellement Forcé (EVQ-VAE). Contrairement aux VQ-VAE standards, cette architecture exploite des étiquettes de tâche faibles ( $c$ ) pour imposer une quantification conditionnelle à la tâche.
Fonctions de perte : Le modèle minimise une perte composite incluant des pertes de reconstruction conditionnelle à la tâche, de codebook et d'engagement. Crucialement, il introduit une perte de divergence ( $L_{divergence}$ ) pour maximiser la distance euclidienne entre les vecteurs du codebook, empêchant l'effondrement et encourageant des représentations distinctes.
Détection des frontières : Les frontières de compétences sont identifiées via l'entropie de l'espace latent.
- Les compétences extrinsèques (spécifiques à la tâche) entraînent une faible entropie car les plongements s'alignent étroitement avec un vecteur de codebook spécifique à la tâche.
- Les compétences intrinsèques (indépendantes de la tâche) entraînent une entropie élevée car les plongements sont équidistants de plusieurs vecteurs.
- Les points de changement sont détectés à l'aide de l'algorithme Pelt sur le signal d'entropie, séparant les comportements intrinsèques et extrinsèques.

Étape 2 : Micro-segmentation faiblement supervisée

Cette étape affine les macro-segments en Compétences Indépendantes (IS) fines et indépendantes du contexte.

Modélisation séquentielle : Un VAE séquentiel traite des fenêtres glissantes de longueur fixe des macro-segments. Le modèle est entraîné pour reconstruire les actions et les états tout en régularisant l'espace latent par rapport à un a priori conditionné uniquement par l'état initial et l'étiquette de la tâche (garantissant que le code de compétence ne "triche" pas en observant les états futurs).
Affinement des frontières :
1. Détection de pics d'erreur : Les frontières potentielles sont identifiées par la détection de pics soudains dans l'erreur de reconstruction (indiquant un écart par rapport à la dynamique actuelle de la compétence).
2. Clustering itératif : Un algorithme de K-Means est appliqué pour segmenter les plongements. Les segments consécutifs assignés au même cluster sont fusionnés, supprimant ainsi les frontières redondantes.
Alignement des compétences par tâche : Le cadre distingue les compétences réutilisables (intrinsèques) des compétences uniques (extrinsèques). Les segments intrinsèques sont regroupés en un ensemble partagé de primitives, tandis que les compétences extrinsèques reçoivent des identifiants uniques. Enfin, toutes les trajectoires d'une tâche spécifique sont alignées de force sur une séquence de compétences canonique basée sur la fréquence et la similitude, assurant une cohérence structurelle.

Étape 3 : Construction de la politique hiérarchique

En utilisant les frontières de compétences affinées, le cadre construit une politique exécutable :

Fonction de terminaison ( $\beta$ ) : Un Perceptron Multicouche est entraîné comme classificateur binaire pour prédire la terminaison d'une compétence sur la base de l'état actuel, remplaçant les horizons temporels fixes par des commutations basées sur l'état.
Politique de bas niveau : Un contrôleur conditionné par la compétence ( $\pi(a_t|s_t, k)$ ) est entraîné via du clonage de comportement conditionnel pour exécuter des compétences atomiques spécifiques.
Politique de haut niveau : Au lieu d'apprendre un méta-contrôleur dynamique, le système utilise les séquences de compétences canoniques dérivées de l'étape 2 comme des programmes de tâches déterministes.

Contributions clés

Cadre LOKI : Un nouveau cadre en trois étapes, faiblement supervisé, pour la découverte de compétences hors ligne et l'imitation hiérarchique à partir de données multi-tâches à long horizon.
EVQ-VAE : Une nouvelle architecture qui utilise des étiquettes de tâche faibles pour imposer une quantification conditionnelle à la tâche, permettant la séparation des compétences intrinsèques et extrinsèques.
Méthode de micro-segmentation : Une approche faiblement supervisée combinant l'analyse de l'erreur de reconstruction et le clustering itératif pour distinguer des compétences granulaires et conservatrices.
Validation empirique : Démonstration que les compétences découvertes sont sémantiquement significatives, cohérentes et composables, permettant de résoudre de nouvelles tâches.

Résultats expérimentaux

Les expériences ont été menées sur le benchmark D4RL Kitchen, utilisant le jeu de données kitchen-mixed-v0 contenant des trajectoires pour sept sous-tâches (ex: micro-ondes, bouilloire, interrupteur de lumière) combinées en tâches complexes à plusieurs étapes.

Macro-segmentation : L'EVQ-VAE a identifié avec succès les frontières entre les compétences intrinsèques et extrinsèques, comme le prouvent les états distincts de faible entropie (extrinsèques) et de haute entropie (intrinsèques) dans l'espace latent.
Micro-segmentation : Le processus d'affinement itératif a efficacement supprimé les frontières bruitées et imposé des structures de segmentation cohérentes à travers les trajectoires d'une même tâche.
Interprétabilité : La visualisation PCA de l'espace latent a révélé que les compétences ayant des mouvements robotiques similaires (ex: "Micro-ondes" et "Placard à charnière") se regroupaient de manière adjacente, confirmant l'alignement sémantique avec l'intuition humaine.
Précision de la terminaison : La fonction de terminaison apprise a atteint une précision de 93,7 % dans une fenêtre de $\pm4$ pas de temps par rapport aux frontières réelles.
Comparaison de performance :
- Les variantes de LOKI (LOKI-O utilisant des identifiants one-hot et LOKI-E utilisant des plongements continus) ont significativement surpassé les bases hiérarchiques DADS et OPAL en termes d'erreur quadratique moyenne (MSE) de la politique de bas niveau.
- LOKI-E a obtenu la meilleure performance parmi les méthodes proposées (MSE moyenne : 7,76), grâce à la richesse de l'information des plongements continus par rapport aux identifiants discrets.
- Bien que la base "Expert" (BC plat) ait atteint un MSE plus faible, LOKI a démontré une modularité et une interprétabilité supérieures, qui sont critiques pour le contrôle hiérarchique.

Signification et affirmations

Le papier affirme que LOKI fournit une méthode pratique et robuste pour extraire des compétences structurées et interprétables à partir de données brutes hors ligne sans nécessations de récompenses denses ou d'annotations manuelles de sous-tâches. En alignant les compétences découvertes avec l'intuition humaine et en permettant leur composition pour résoudre de nouvelles tâches, ce travail lève un obstacle fondamental à l'échelle de l'apprentissage par imitation dans des environnements robotiques multi-tâches complexes. Les auteurs positionnent cela comme une étape significative vers un apprentissage robotique plus scalable et généralisable à partir de démonstrations, offrant une alternative viable aux méthodes dépendantes d'interactions en ligne massives ou de jeux de données annotés volumineux.