💻 computer science

Learning New Tasks via Reusable Skills: Skill-Compositional Experts for Embodied Continual Learning

Ce document propose SCE, un cadre d'experts à composition de compétences (Skill-Compositional Experts) qui atténue l'oubli catastrophique dans l'apprentissage continu incarné en décomposant les tâches en compétences réutilisables via une mise en correspondance de compétences compositionnelle (Compositional Skill Grounding) et en coordonnant leur exécution et leurs transitions par des experts de double exécution et de transition (Dual Execution-and-Transition Experts).

Auteurs originaux : Shuaike Zhang, Shaokun Wang, Haoyu Tang, Jianlong Wu, Liqiang Nie

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuaike Zhang, Shaokun Wang, Haoyu Tang, Jianlong Wu, Liqiang Nie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à faire les tâches ménagères de la maison. D'abord, vous lui apprenez à ouvrir un tiroir. Ensuite, vous lui apprenez à ramasser un bol. Enfin, vous lui apprenez à mettre ce bol dans le tiroir.

Dans le monde de la robotique, cela s'appelle l'Apprentissage Continu Incarné (Embodied Continual Learning). Le robot doit apprendre de nouvelles tâches sans oublier comment faire les anciennes.

Le Problème : Le Robot qui « Dérive »

L'article explique que la plupart des robots ont un sérieux problème de mémoire. Lorsque vous leur apprenez un nouveau tour, leur « cerveau » interne (plus précisément, la façon dont ils traitent les données visuelles et linguistiques) commence à se modifier ou à « dériver » pour s'adapter à la nouvelle tâche.

Imaginez cela comme un musicien qui apprend une nouvelle chanson. S'il pratique trop cette nouvelle chanson, il pourrait commencer à jouer les anciennes chansons légèrement de travers, en y mélangeant le nouveau rythme. Chez un robot, c'est dangereux car il ne se contente pas de jouer une chanson ; il déplace des bras physiques. Si la carte interne du robot dérive, une petite erreur dans une étape peut s'amplifier au fur et à mesure qu'il tente de terminer une tâche, finissant par provoquer un échec complet. C'est ce qu'on appelle l'oubli catastrophique (catastrophic forgetting).

La Solution : L'approche de la « Boîte de Lego » (SCE)

Les auteurs proposent un nouveau cadre appelé SCE (Skill-Compositional Experts). Au lieu d'apprendre au robot à voir chaque nouvelle tâche comme une instruction totalement nouvelle et gigantesque, ils lui apprennent à tout décomposer en petits morceaux réutilisables : des briques de Lego (des compétences).

Voici comment fonctionne le SCE, en utilisant deux outils principaux :

1. L'« Organisateur de Compétences » (CSG)

Imaginez que vous avez une boîte d'instructions. Le module de Compositional Skill Grounding (CSG) est comme un bibliothécaire intelligent. Il regarde une longue vidéo d'un robot effectuant une tâche complexe (comme « mettre le bol dans le tiroir ») et la découpe en petits morceaux réutilisables :

Morceau A : « Saisir le bol. »
Morceau B : « Lever le bol. »
Morceau C : « Ouvrir le tiroir. »
*Morceau D : « Placer le bol. »

Il enregistre ces morceaux dans une Base de Compétences (une bibliothèque numérique). Désormais, lorsqu'un robot doit apprendre une nouvelle tâche, il ne repart pas de zéro. Il prend simplement les briques existantes « Saisir » et « Placer » de la bibliothèque et les assemble dans un nouvel ordre.

2. Le « Cerveau à Double Expert » (DETE)

Une fois que le robot possède sa bibliothèque de briques Lego, il lui faut un cerveau pour décider comment les utiliser. Il s'agit du module Dual Execution-and-Transition Experts (DETE). Il possède deux assistants spécialisés travaillant ensemble :

L'« Exécutant » (Expert d'Exécution) : Cet assistant est excellent pour accomplir une compétence spécifique à la perfection. Si le robot doit « Saisir le bol », cet expert prend le relais et s'assure que le robot saisit le bol exactement comme la première fois. Cela empêche le robot d'« oublier » comment saisir.
Le « Passeur » (Expert de Transition) : Cet assistant est le maître des transitions. Il sait comment passer de manière fluide de « Saisir » à « Lever ». Il gère la partie intermédiaire complexe où une compétence se termine et une autre commence.

Ces deux experts travaillent ensemble. L'« Exécutant » maintient la stabilité des compétences individuelles, tandis que le « Passeur » s'assure que le robot ne trébuche pas lors du passage d'une action à une autre.

Pourquoi cela importe

L'article a testé cela sur une simulation informatique (en utilisant le benchmark LIBERO) et sur un véritable bras robotique physique.

Dans la simulation : La nouvelle méthode (SCE) était bien meilleure pour se souvenir des tâches anciennes tout en apprenant de nouvelles tâches par rapport aux autres méthodes. Elle a beaucoup moins oublié.
Dans le monde réel : Lorsqu'ils l'ont testée sur un véritable bras robotique, elle fonctionnait encore mieux. Le robot pouvait accomplir avec succès une séquence de tâches apprises au fil du temps, alors que les autres méthodes faisaient échouer les anciennes tâches après l'apprentissage des nouvelles.

La Vision Globale

L'article affirme qu'en traitant les tâches robotiques comme des combinaisons de compétences réutilisables (comme construire avec des Lego) plutôt que comme un bloc de mémoire géant et immuable, les robots peuvent apprendre continuellement sans perdre la tête. L'« Exécutant » maintient les compétences aiguisées, et le « Passeur » assure la fluidité du mouvement, empêchant la carte interne du robot de dériver hors de sa trajectoire.

En résumé : Le SCE apprend aux robots à être comme des chefs cuisiniers qui possèdent un ensemble de techniques de base parfaites (couper, frire, bouillir). Au lieu de mémoriser une recette entière de zéro à chaque fois, ils mélangent et associent simplement ces techniques parfaites pour créer de nouveaux plats, garantissant qu'ils n'oublient jamais comment couper un oignon.

Résumé Technique : Experts à Composition de Compétences pour l'Apprentissage Continu Incorporé

Définition du Problème

Le document traite de l'Apprentissage Continu Incorporé (ECL - Embodied Continual Learning), un cadre dans lequel les robots doivent acquérir séquentiellement de nouvelles tâches de manipulation tout en conservant les comportements précédemment appris sous contrôle en boucle fermée. Contrairement à l'apprentissage continu (CL) conventionnel où les données sont statiques, l'ECL implique des environnements dynamiques où les observations évoluent en fonction des actions du robot.

Le défi central identifié est l'oubli catastrophique, qui est exacerbé dans l'ECL par la dérive de caractéristiques (feature drift). À mesure que les modèles de Vision-Langage-Action (VLA) apprennent de nouvelles tâches, leurs représentations de caractéristiques dérivent de celles associées aux tâches précédentes. Sous contrôle en boucle fermée, cette dérive n'est pas simplement une baisse de performance statique ; elle se propage à travers la prise de décision séquentielle, provoquant une accumulation d'erreurs et entraînant la dégradation des comportements appris précédemment. Les méthodes existantes traitent souvent les tâches comme des unités isolées ou se concentrent sur la découverte de compétences sans organiser explicitement les compétences pour une composition cohérente, ce qui conduit à une réutilisation incohérente et à une dérive amplifiée.

Méthodologie : Le Cadre SCE

Les auteurs proposent SCE (Skill-Compositional Experts), un cadre conçu pour permettre l'apprentissage continu de tâches par la composition de compétences réutilisables. L'architecture se compose de deux composantes primaires intégrées à un modèle VLA pré-entraîné :

1. Ancrage de Compétences Compositionnelles (CSG - Compositional Skill Grounding)

Le CSG est responsable de la décomposition des démonstrations de tâches en compétences réutilisables et de leur organisation dans une Base de Compétences. Il opère en deux phases :

Décomposition de Tâche Sensible à l'État : En utilisant la dynamique de l'état du robot (spécifiquement les changements d'état de la pince et les changements de tendance de mouvement de l'effecteur terminal), le CSG partitionne les démonstrations brutes de tâches en segments temporellement cohérents.
Induction de Compétences Ancrée par VLM : Un Modèle de Vision-Langage (VLM) ancre ces segments par rapport à la base de compétences actuelle. Si un segment correspond à une compétence existante, il lui est assigné cette compétence ; sinon, une nouvelle compétence réutilisable est induite et ajoutée à la base. Ce processus génère des annotations de compétences ( $s$ ) pour les données d'entraînement, permettant au modèle d'apprendre un espace de compétences structuré.

2. Experts de Double Exécution et de Transition (DETE - Dual Execution-and-Transition Experts)

Le DETE augmente le décodeur d'action du VLA avec deux branches d'experts complémentaires pour soutenir la composition de compétences :

Branche d'Expert d'Exécution : Se concentre sur la modélisation des motifs d'action spécifiques à la compétence. Elle utilise un routeur pour sélectionner l'expert le plus pertinent parmi un ensemble basé sur la distribution actuelle de la compétence, assurant une exécution stable des compétences individuelles. Ce confinement des mises à jour à des experts spécifiques réduit l'interférence avec les compétences non liées.
Branche d'Expert de Transition : Se concentre sur la modélisation des motifs de transition entre compétences. Étant donné que les changements de compétence surviennent souvent sur des intervalles temporels plutôt qu'instantanément, cette branche capture les dépendances entre les compétences précédentes et suivantes. Elle utilise un routeur sensible à la transition qui incorpore la distribution des compétences pour modéliser l'ambiguïté lors du changement de compétence.
Fusion Adaptative : Un module de Fusion Adaptative combine dynamiquement les sorties des branches d'Exécution et de Transition. Il calcule un coefficient d'équilibre ( $\alpha$ ) basé sur la caractéristique de routage sensible à la transition. Lorsque la distribution des compétences est concentrée sur une seule compétence, le modèle privilégie l'exécution ; près des frontières de compétences, il déplace le poids vers la branche de transition pour assurer un comportement cohérent.

Le modèle est optimisé à l'aide d'une fonction de perte combinée : la perte de "flow-matching" originale pour la génération d'actions et une perte d'entropie croisée auxiliaire pour superviser la distribution des compétences.

Principales Contributions

Cadre SCE : La proposition d'un cadre d'experts à composition de compétences qui permet l'apprentissage continu par la composition de compétences réutilisables, répondant aux défis spécifiques de la dérive de caractéristiques en ECL en boucle fermée.
Modules CSG et DETE :
- CSG : Un mécanisme pour décomposer les démonstrations en compétences réutilisables et maintenir une base de compétences structurée.
- DETE : Une architecture à double expert qui sépare l'exécution spécifique à la compétence des transitions entre compétences, permettant une exécution stable et des changements cohérents.
Validation Empirique : Des expériences approfondies démontrant que SCE atténue efficacement la dérive de caractéristiques et améliore la rétention par rapport aux bases de référence de pointe.

Résultats Expérimentaux

Les auteurs ont évalué SCE sur des benchmarks de simulation et du monde réel :

Simulation (Benchmarks LIBERO) :
- Sur LIBERO-Goal, SCE a atteint un Taux de Succès Final (SR) de 83,4 % et un Nouvel Oubli de Tâche (NBT) de 4,3 %, surpassant nettement les bases comme Task-MoE (64,8 % SR, 15,8 % NBT).
- Sur LIBERO-Long, SCE a atteint un SR Final de 73,4 % avec un NBT de 0,5 %, démontrant une stabilité supérieure sur de longs horizons.
- Les métriques utilisées incluent le Transfert Vers l'Avant (FWT), le NBT, l'Aire Sous la Courbe (AUC) et le SR Final.
Manipulation dans le Monde Réel :
- Des expériences sur un robot Mercury B1 à 7 degrés de liberté avec trois tâches séquentielles (Box-to-Board, Board-to-Bowl, Box-to-Bowl) ont montré que SCE atteignait un SR Final de 83,3 % et un NBT de 0,0 %, surpassant la base de référence Task-MoE (56,7 % SR, 10,0 % NBT).
Analyse de la Dérive de Caractéristiques :
- L'analyse a révélé que, tandis que l'entraînement séquentiel standard causait une dérive significative des caractéristiques d'action (jusqu'à 6,9 fois plus grande que les caractéristiques VLM), SCE réduisait substantiellement cette dérive.
- Les déploiements avec ancres partagées ont démontré que SCE maintenait un écart de l'état du simulateur beaucoup plus faible par rapport aux comportements de référence sous contrôle en boucle fermée comparativement aux bases de référence.
Études d'Ablation :
- Le retrait de CSG a entraîné une chute du SR Final de 83,4 % à 70,0 %, soulignant la nécessité d'une organisation explicite des compétences.
- Le retrait de l'une ou l'autre des branches d'experts (Exécution ou Transition) a dégradé les performances, confirmant que l'exécution spécifique à la compétence et la modélisation de la transition entre compétences sont complémentaires et nécessaires.

Signification et Revendications

L'article affirme que SCE fournit une solution robuste au compromis stabilité-plasticité dans l'apprentissage continu incarné. En structurant les connaissances sous forme de compétences réutilisables et en modélisant explicitement les transitions entre elles, la méthode empêche l'accumulation de la dérive de caractéristiques qui dégrade typiquement les performances en boucle fermée. Les auteurs soutiennent que leur approche permet aux robots de conserver plus efficacement les comportements appris précédemment, ce qui en fait une étape viable vers une adaptabilité à long terme dans le déploiement robotique réel. Le travail suggère que les directions futures pourraient impliquer l'extension de cette approche compositionnelle à des répertoires de compétences plus vastes et plus ouverts.