🤖 machine learning

A context-adaptive policy framework for robust and reactive robotic manipulation via uncertainty-aware imitation learning

Cet article propose un cadre de politique adaptatif au contexte qui intègre l'apprentissage par imitation paramétré par des tâches à un mélange d'experts sensible à l'incertitude afin de générer des stratégies de manipulation robotique robustes et réactives, capables de s'adapter aux changements des conditions environnementales.

Auteurs originaux : Tim R. Winter, Leonard Klüpfel, Ashok M. Sundaram, Werner Friedl, Maximo A. Roa, Freek Stulp, João Silvério

Publié 2026-07-29

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tim R. Winter, Leonard Klüpfel, Ashok M. Sundaram, Werner Friedl, Maximo A. Roa, Freek Stulp, João Silvério

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à cuisiner un soufflé délicat ou à plier une serviette mouillée. Vous ne pouvez pas simplement lui donner un ensemble rigide d'instructions comme « bouge le bras vers la gauche, puis vers le bas », car le monde est désordonné. Si la serviette glisse, ou si le soufflé vacille, un robot suivant un script strict échouera ou cassera des choses. C'est le cœur de la manipulation robotique : amener les machines à se déplacer de manière fluide et sûre dans un monde qui change constamment. Pendant des années, les scientifiques ont tenté de résoudre ce problème en utilisant l'Apprentissage par Imitation, une méthode où les robots apprennent en observant les humains, tout comme un enfant apprend à faire du vélo en copiant un parent. Cependant, la plupart de ces robots sont comme des étudiants qui ne font que mémoriser le chemin exact qu'ils ont vu ; si on les pousse légèrement hors de leur trajectoire, ils paniquent et s'écrasent. Ils manquent de ce « bon sens » qui leur permettrait de réaliser : « Hé, je suis dans une situation bizarre ; je devrais probablement être particulièrement prudent. »

La grande question dans ce domaine est la suivante : comment enseigner à un robot à être à la fois réactif (capable de changer d'avis instantanément quand le monde change) et robuste (capable de gérer les erreurs sans s'écraser), surtout lorsque la tâche implique des choses délicates comme de la nourriture molle ou des forces variables ? Ce document s'attaque à ce problème en construissant un nouveau type de « cerveau » pour les robots. Au lieu de s'appuyer sur un ensemble unique et rigide de règles, les auteurs proposent un système qui agit comme une équipe d'experts, où chaque expert en sait un peu plus sur la situation, et ils votent sur ce qu'il faut faire ensuite. Crucialement, cette équipe sait quand elle est confuse et peut demander de l'aide, garantissant que le robot reste en sécurité même lorsqu'il rencontre quelque chose qu'il n'a jamais vu auparavant.

L'« Équipe d'Experts » du Robot

Rencontrez le nouveau cerveau robotique proposé par Tim Winter et son équipe du Centre Aérospatial Allemand. Imaginez un robot essayant de ramasser un morceau de poisson dans un plateau. Si le poisson est glissant, ou si la main du robot le tient selon un angle étrange, la tâche change instantanément. Les robots de l'ancienne école pourraient simplement continuer à bouger exactement de la même manière qu'on leur a enseigné, même si cela mène à un accident. Ce nouveau cadre utilise cependant une astuce ingénieuse appelée Mélange d'Experts (Mixture of Experts - MoE).

Imaginez que vous conduisiez une voiture dans un brouillard épais. Vous avez trois différents « copilotes » dans votre tête :

L'Imitateur : Ce copilote vous a regardé conduire parfaitement par une journée ensoleillée et dit : « Fais exactement ce que je t'ai vu faire ! »
Le Filet de Sécurité : Ce copilote est une boule de nerfs. Il regarde la carte et dit : « Attends, nous sommes loin de la route que nous connaissons ! Revenons vers le chemin familier pour ne pas nous perdre. »
Le Poursuiveur d'Objectifs : Ce copilote est concentré sur la ligne d'arrivée. Il dit : « Nous sommes proches de la destination ; guidons doucement la voiture pour un arrêt fluide juste là. »

Par le passé, les robots n'avaient généralement que le premier copilote (L'Imitateur). Si le robot se perdait, l'Imitateur continuait de deviner, ce qui entraînait souvent des mouvements sauvages et dangereux. Ce document présente un système où ces trois copilotes travaent ensemble. Ils ne se contentent pas de crier les uns sur les autres ; ils mélangent leurs conseils en fonction de leur niveau de confiance.

Comment fonctionne le « Compteur de Confiance »

Le ingrédient secret ici est la Conscience de l'Incertitude. Le robot utilise un outil mathématique appelé Régression par Processus Gaussien (GPR) pour agir comme un « compteur de confiance ». Voyez cela comme une carte thermique de la connaissance du robot.

Zones chaudes (Faible Incertitude) : Zones où le robot a vu de nombreuses démonstrations. Ici, l'« Imitateur » est très confiant et prend la direction.
Zones froides (Forte Incertitude) : Zones où le robot n'est jamais allé. Ici, l'« Imitateur » est confus. Le système détecte cette confusion et remet automatiquement le volant au « Filet de Sécurité », qui guide doucement le robot vers les chemins sûrs et familiers qu'il connaît.

C'est un changement majeur. Au lieu de simplement mémoriser un chemin, le robot comprend où il se situe dans sa connaissance. S'il entre dans l'inconnu, il ne panique pas ; il sait instinctivement qu'il doit jouer la prudence et revenir vers le territoire connu.

Le « Contexte » : Écouter le Monde

Ce qui rend ce cadre vraiment spécial, c'est qu'il écoute le contexte. La plupart des robots ne regardent que leur propre corps (où se trouve leur bras). Mais ce robot regarde aussi le monde autour de lui.

Force : Si vous saisissez un œuf fragile, le robot ressent la pression. Si l'œuf est mou, le robot sait qu'il doit être plus doux.
Forme : Si le robot tient un poisson long et mou, il sait que le poisson pourrait pendre différemment d'un bloc rigide.
Phase : Le robot est-il en train de commencer à saisir, ou est-il sur le point de poser l'objet ?

Les auteurs ont testé cela en apprenant à un véritable bras robotique (un KUKA LWR à 7 degrés de liberté) à accomplir trois tâches complexes :

Saisie Conditionnée par la Force : Ramasser une balle où le robot devait ajuster sa prise en fonction de la force de pression exercée.
Nourriture Déformable : Poser un filet de poisson mou sur un plateau. Selon la façon dont le poisson était tenu (pendent à gauche ou à droite), le robot devait changer son approche.
Saisie Centrée sur l'Objet : Ramasser différents objets (comme une bouteille de moutarde ou une boîte de crackers) sur un tapis roulant en mouvement.

Les Résultats : Plus Intelligent, Plus Sûr et Plus Rapide

Les résultats ont été impressionnants. Lorsque les chercheurs ont testé leur nouveau « Équipe d'Experts » contre les anciennes méthodes, la différence était flagrante.

Anciennes Méthodes : Lorsque le robot partait d'une position légèrement différente de celle de l'entraînement, les anciens robots « uniquement Imitateurs » échouaient presque 100 % du temps. Ils déviaient de leur trajectoire, s'écrasaient contre des objets ou tournaient simplement en rond indéfiniment. Dans un test avec un tapis roulant en mouvement, les anciennes méthodes ont causé 39 collisions et n'ont pas réussi à terminer la tâche.
Le Nouveau Cadre : Le nouveau système a atteint un taux de réussite de 100 % dans les tests d'écriture simulés et près de 100 % dans les tâches de saisie en conditions réelles. Crucialement, il y a eu zéro collision dans les expériences de saisie de force et de nourriture déformable.

Le document montre qu'en ajoutant les copilotes « Filet de Sécurité » et « Poursuiveur d'Objectifs », le robot devient incroyablement résilient. Même si le robot est poussé hors de sa trajectoire ou si l'objet bouge de manière inattendue, le système détecte l'incertitude, change de stratégie et ramène le robot vers un chemin sûr et réussi.

Pourquoi cela compte

Il ne s'agit pas seulement de faire en sorte que les robots dessinent mieux les lettres (bien qu'ils l'aient fait aussi, avec un succès de 100 % sur le jeu de données d'écriture LASA). Il s'agit de créer des robots qui peuvent réellement travailler dans nos foyers et nos usines désordonnés et imprévisibles. Qu'il s'agisse d'un robot chef manipulant une tomate glissante ou d'un bras d'usine assemblant des pièces sur un tapis roulant rapide, la capacité de s'adapter aux conditions changeantes sans s'écraser est le Saint Graal de la robotique.

Les auteurs suggèrent que cette approche permet aux robots d'apprendre à partir de très peu d'exemples (quelques démonstrations seulement) tout en étant assez sûrs pour opérer dans le monde réel. Ils admettent que le système n'est pas encore parfait ; si le robot s'éloigne trop de ce qu'il connaît, il peut encore éprouver des difficultés, et il a besoin d'aide pour éviter les obstacles dans des environnements complexes. Mais pour l'instant, ils ont construit un cerveau robotique qui sait quand il est confiant et quand il doit être prudent, transformant une machine rigide en un partenaire réactif et adaptable.

Résumé technique : Cadre de politique adaptative au contexte pour une manipulation robotique robuste et réactive

Énoncé du problème

Générer des stratégies de manipulation robustes et réactives capables de s'adapter aux changements d'informations contextuelles demeure un défi majeur en robotique. Bien que l'apprentissage par démonstration (Learning from Demonstration - LfD) soit apparu comme une solution efficace pour générer des politiques réactives, particulièrement via des approches basées sur les systèmes dynamiques (Dynamical Systems - DS), les méthodes de pointe font souvent face à un compromis. La plupart des approches basées sur les DS se concentrent sur la résolution des limites de robustesse mais négligent la modulation des politiques en réponse au contexte environnemental. Par conséquent, elles manquent de flexibilité concernant la paramétrisation par des variables dépendantes de la tâche (ex. : forces de contact, descripteurs de forme d'objets) et peinent face à la généralisation hors distribution (Out-of-Distribution - OOD), entraînant des comportements imprévisibles ou des déviations de trajectoire face à des perturbations ou des conditions initiales non vues.

Méthodologie

Les auteurs proposent un cadre de politique adaptative au contexte qui combine une manipulation robuste, réactive et paramétrée par la tâche en utilisant une formulation de mélange d'experts (Mixture of Experts - MoE). Le cadre opère au sein d'une boucle de contrôle à deux couches : une boucle interne gère la dynamique de bas niveau du robot, tandis qu'une boucle externe interroge une politique adaptative au contexte pour générer les vitesses souhaitées de l'effecteur terminal.

Le cœur de l'approche est un MoE qui synthétise trois politiques d'experts distinctes, distribuées selon une loi gaussienne, pondérées par des coefficients de mélange calculés dynamiquement :

Politique LfD (Expert fondé sur les données) :
- Base : La régression par processus gaussien (Gaussian Process Regression - GPR) est utilisée pour apprendre une politique conditionnée par l'état du robot (position et orientation) et des paramètres de tâche de faible dimension ( $\mathbf{c}$ ).
- Fonction : Imite les mouvements démontrés.
- Limite : Les politiques purement fondées sur les données présentent souvent de faux attracteurs et échouent à se généraliser au-delà de la distribution d'entraînement.
Politique de stabilisation (Expert sensible à l'incertitude) :
- Mécanisme : Exploite l'incertitude épistémique (variance prédictive) en forme close fournie par la GPR.
- Fonction : Guide le robot vers des régions de faible incertitude épistémique (c'est-à-dire près des trajectoires démontrées) en générant des actions le long du gradient de la variance prédictive.
- Innovation : Contrairement aux travaux antérieurs, cette politique incorpore explicitement l'orientation dans l'espace d'état et utilise un noyau combiné pour la position et l'orientation afin de diriger le robot simultanément en translation et en rotation.
Politique d'attracteur de but (Expert de convergence) :
- Mécanisme : Une politique basée sur un noyau qui identifie la pose de but démontrée présentant l'activation de noyau la plus élevée par rapport à l'état actuel.
- Fonction : Dirige le robot vers le but en suivant le gradient de l'activation du noyau, garantissant une convergence empirique vers l'état cible, ce que la GPR seule ne garantit pas.

Coefficients de mélange :
Le cadre emploie des coefficients de mélange dépendants de l'état ( $\pi$ ) plutôt que des poids constants :

$\pi_{gap}$ (Attracteur de but) : Augmente à mesure que le robot approche de la pose cible.
$\pi_{sp}$ (Stabilisation) : Augmente avec l'incertitude prédictive (distance par rapport aux données) mais est réduit à l'approche du but pour donner la priorité à l'attracteur.
$\pi_{lfd}$ (LfD) : S'active de manière fluide à proximité des démonstrations où l'incertitude est faible et le but éloigné.

L'action de contrôle finale est la somme pondérée des moyennes de ces trois experts.

Contributions clés

Le papier identifie trois contributions primaires :

Intégration explicite des paramètres de tâche : Contrairement aux travaux précédents qui considèrent uniquement l'état du robot, ce cadre incorpore explicitement des paramètres de tâche génériques de faible dimension (ex. : forces de contact, descripteurs de forme d'objet, variables de phase) dans la politique apprise, permettant l'adaptation aux changements environnementaux.
Formulation MoE sensible à l'incertitude : Le problème est formulé comme un MoE avec des coefficients de mélange variables et sensibles à l'incertitude. Cela contraste avec les approches antérieures qui supposent des coefficients constants, permettant au système de prioriser dynamiquement la sécurité (politique de stabilisation) ou la convergence (attracteur de but) en fonction de l'incertitude de l'état actuel et de la proximité du but.
Politiques de stabilisation et de convergence améliorées : Les auteurs étendent les politiques de stabilisation existantes pour inclure l'orientation comme partie de l'état et introduisent une nouvelle politique d'attracteur de but basée sur un noyau. Les résultats expérimentaux démontrent que ces deux extensions sont nécessaires pour accroître la robustesse et assurer la convergence.

Résultats expérimentaux

Le cadre a été évalué sur le jeu de données de calligraphie LASA et sur trois scénarios du monde réel à l'aide d'un robot KUKA LWR à 7 degrés de liberté (DoF) :

Jeu de données de calligraphie LASA :
- Le cadre proposé a atteint un taux de réussite de 100 % dans la reproduction de trajectoires à partir de conditions initiales aléatoires, surpassant la GPR autonome, les politiques de diffusion (Diffusion Policies) et les SEDS (Stable Elastic Dynamical Systems) en termes de vitesse de convergence et de fidélité de trajectoire.
- Il a démontré une robustesse OOD supérieure par rapport aux modèles de référence, qui échouaient fréquemment ou dérivaient.
Saisie conditionnée par la force :
- Le robot a saisi et transporté une sphère tout en réagissant à des forces de contact variables.
- Le système a fait preuve de réactivité en saisissant à nouveau un objet qui avait été lâché manuellement, adaptant sa trajectoire en fonction des changements de paramètres de force.
- Résultat : Taux de réussite de 100 % avec 0 collision, alors que la suppression de la politique de stabilisation ou de l'attracteur de but entraînait des échecs significatifs ou des collisions.
Manipulation d'aliments déformables :
- Le robot a adapté ses stratégies de placement pour un filet de poisson en fonction de sa configuration de saisie (capturée via le chevauchement de la boîte englobante).
- Résultat : Taux de réussite de 95 % avec 0 collision, gérant avec succès des objets déformables où la stratégie dépendait de la forme de l'objet dans la pince.
Saisie centrée sur l'objet (Extension du système) :
- Le cadre a été étendu pour saisir trois objets différents de la collection YCB provenant d'un tapis roulant statique et mobile.
- Le système a géré les variations de pose de l'objet, de pose initiale du robot et de vitesse du tapis roulant (jusqu'à 0,03 m/s).
- Résultat : Taux de réussite élevés (jusqu'à 100 %) à travers des conditions dynamiques, démontrant la capacité de changer de politique selon les phases de la tâche (saisie, placement, repos).

Études d'ablation :

La suppression de la composante d'orientation de la politique de stabilisation a provoqué l'échec du robot lors de la récupération d'orientations hors distribution.
La suppression de la politique de stabilisation ou de l'attracteur de but a entraîné soit une dérive loin des démonstrations, soit un échec de convergence vers le but.

Signification et affirmations

Les auteurs affirment que ce travail comble une lacune dans la littérature en fournissant une approche unifiée qui combine adaptation en temps réel, robustesse OOD et modulation par des paramètres externes arbitraires.

Robustesse : Le cadre maintient des performances robustes même face à des perturbations, des conditions initiales différentes ou des décalages de distribution, atteignant des taux de réussite élevés avec zéro collision dans des tâches du monde réel.
Efficacité des données : En exploitant la GPR et la structure MoE, l'approche nécessite moins de démonstrations que les méthodes basées sur la diffusion tout en atteignant des performances comparables ou supérieures dans des régimes de faibles données.
Réactivité : La formulation basée sur les DS permet au robot de réagir aux changements d'informations contextuelles (ex. : changements de force, déformation d'objet) en temps réel sans replanification.
Modularité : La structure modulaire du MoE permet l'ajout ou le retrait ad hoc de politiques, améliorant l'explicabilité et l'interprétabilité.

L'article conclut que, bien que la méthode soit spécifiquement conçue pour des scénarios de faible dimension et de faibles données, elle offre une solution pratique et efficace pour la manipulation d'objets réactive, incluant des objets mous ou déformables, sans nécessiter de planification complexe de type feedforward. Des travaux futurs sont suggérés pour explorer des représentations LfD alternatives (ex. : politiques de diffusion) capables de gérer des entrées de plus grande dimension tout en tirant parti de la robustesse du cadre proposé.