💻 computer science

VE2VF: Vision-Enabled to Vision-Free Distillation via Real-world Reinforcement Learning for Robust Contact-Rich Manipulation

Cet article présente VE2VF, un cadre d'apprentissage par renforcement avec humain dans la boucle qui distille les connaissances d'un enseignant doté de capacités visuelles vers une politique étudiante robuste et sans vision, entraînée entièrement dans le monde réel, et qui atteint des taux de réussite élevés et une forte généralisation sur des tâches de manipulation riches en contacts sans recourir à la randomisation de domaine ni à l'augmentation de données.

Auteurs originaux : Victor Kowalski, Chengxi Li, Dongheui Lee

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Victor Kowalski, Chengxi Li, Dongheui Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez enseigner à un robot l'assemblage de pièces délicates, comme brancher un câble USB sur un port ou visser un engrenage en place. C'est une tâche délicate car elle implique une manipulation « riche en contacts » — ce qui signifie que le robot doit se frayer un chemin à travers des espaces exigus, en gérant les frottements, les heurts et la nécessité d'un alignement parfait.

L'article présente une nouvelle méthode appelée VE2VF (Vision-Enabled to Vision-Free, soit « De l'œil à l'aveugle ») pour enseigner aux robots comment accomplir cela. Voici l'histoire de son fonctionnement, en utilisant des analogies simples.

Le Problème : Le Robot Qui Compte Trop sur la Vue

Traditionnellement, pour enseigner ces compétences à un robot, on pourrait lui montrer une vidéo ou lui permettre de « voir » la tâche. C'est comme enseigner à un élève à conduire en le faisant regarder par le pare-brise. Cela fonctionne très bien en classe (ou en simulation), mais il y a un défaut : l'élève mémorise le paysage.

Si vous enseignez à un robot en utilisant des caméras, il pourrait apprendre : « Quand je vois un mur bleu à gauche, je tourne à droite. » Mais si vous déplacez le robot dans une pièce avec un mur rouge, ou si l'éclairage change, le robot se confond et percute. Il a trop adapté son apprentissage à l'apparence de la pièce plutôt qu'à la compréhension de la physique de la tâche.

La Solution : Le Système de Coaching « Maître-Élève »

Les auteurs proposent un système de coaching en deux étapes pour résoudre ce problème. Imaginez un chef cuisinier maître enseignant à un apprenti.

Étape 1 : Le Maître Visuel (Le Chef Cuisinier)
D'abord, ils entraînent un robot « Maître » en utilisant l'Apprentissage par Renforcement avec Intervention Humaine (Human-in-the-Loop Reinforcement Learning).

Comment cela fonctionne : Un humain observe le robot. Si le robot est sur le point de faire une erreur, l'homme reprend le contrôle (comme un moniteur de conduite qui appuie sur le frein) et le guide vers le succès.
Les Outils du Maître : Ce maître possède des yeux (des caméras) et des sensations (des capteurs mesurant la position, la vitesse et la force).
Le Résultat : Grâce à ses yeux, le maître apprend très vite. Il peut voir la cible, ajuster sa prise et déterminer les angles délicats. Il devient expert de la tâche en environ 40 minutes de pratique réelle.

Étape 2 : L'Élève Sans Vue (L'Apprenti)
Voici maintenant le tour de magie. Ils veulent un robot capable d'accomplir le travail sans dépendre de la vue, car la vue peut être trompée par les changements d'éclairage ou de nouveaux décors.

La Distillation : Ils prennent la « connaissance » du Maître expert et la versent dans un robot « Élève ».
La Contrainte : Le robot Élève n'a pas de caméras. Il ne possède que des capteurs qui ressentent la position du robot, sa vitesse et la force avec laquelle il pousse (comme un expert bandé).
La Leçon : L'Élève ne fait pas que deviner ; il copie les décisions du Maître. Il apprend : « Quand je ressens cette pression spécifique et cet angle spécifique, je dois bouger mon bras ainsi », car c'est ce que le Maître a fait.

Pourquoi C'est une Grande Nouvelle

Habituellement, lorsque vous retirez la vision d'un robot, il devient moins compétent. Mais parce que cet Élève a appris d'un Maître qui voyait la solution, l'Élève hérite de l'« intuition » de la tâche sans la distraction du paysage visuel.

L'Analogie : Imaginez un pianiste virtuose (le Maître) qui peut jouer une chanson parfaitement en regardant la partition. Il enseigne ensuite à un élève bandé (l'Élève) en lui faisant sentir les touches et le rythme. L'élève apprend la mémoire musculaire et le ressenti de la chanson, et non pas seulement les notes visuelles. Si vous déplacez le piano dans une autre pièce avec un éclairage différent, l'élève bandé peut toujours jouer parfaitement car il a appris le ressenti, et non l'apparence.

Les Résultats : Rapide, Robuste et Adaptable

L'équipe a testé cela sur un panneau d'assemblage standard (la référence NIST) avec diverses tâches délicates comme l'insertion d'engrenages, de chevilles et de câbles.

Vitesse : Tout le processus a pris environ 50 minutes de temps réel de robot.
Taux de Succès : Le robot final a atteint un taux de réussite de 95 % sur de nombreuses tâches différentes.
Robustesse : Lorsqu'ils ont perturbé l'environnement (changé l'éclairage, ajouté du désordre visuel ou déplacé légèrement la cible), les robots « Visuels » ont échoué lamentablement. L'élève « Sans Vue », en revanche, a continué à fonctionner car il n'était pas distrait par les changements.
La Récupération après « Glissement » : Dans un test, le robot a manqué le port USB et a glissé. Le robot sans vue ne s'est pas paniqué ; il a utilisé son « ressenti » pour détecter le glissement, s'ajuster et réessayer jusqu'au succès. C'est un comportement qu'il a appris du Maître mais qu'il a conservé dans son propre corps « aveugle ».

Le Bonus du « Réglage Fin »

Si le robot rencontre une toute nouvelle tâche qu'il n'a jamais vue (comme un type spécifique de connecteur), le système peut effectuer un rapide « cours de remise à niveau ».

Ils entraînent un nouveau Maître pour cette tâche spécifique (en utilisant la vision).
Ils distillent rapidement cette nouvelle connaissance dans l'Élève.
Cela leur a permis d'atteindre 100 % de réussite sur la tâche la plus difficile en seulement quelques minutes supplémentaires.

Résumé

L'article présente une méthode pour entraîner des robots à devenir des experts capables de se frayer un chemin à travers des tâches complexes par le toucher. En utilisant un maître « voyant » pour apprendre rapidement, puis en enseignant à un élève « aveugle » à se fier au toucher et à la force, ils ont créé un robot qui est rapide à entraîner, ne se confond pas avec les changements de la pièce, et est incroyablement compétent dans l'assemblage délicat.

Résumé Technique : VE2VF – Distillation de la Vision-Équipée vers la Vision-Libre

Énoncé du Problème

L'assemblage robotique et la manipulation riche en contacts exigent une grande précision et une adaptabilité à des pièces et des environnements divers. Les approches traditionnelles basées sur des modèles peinent en raison de la difficulté à modéliser avec précision la dynamique des contacts, le frottement et la déformation. Bien que les approches basées sur l'apprentissage, telles que l'apprentissage par renforcement (RL), offrent des perspectives prometteuses, elles se heurtent à des obstacles majeurs :

Écart Simulateur-Réalité : Les simulateurs échouent souvent à capturer les interactions de contact complexes, rendant difficile le transfert des politiques vers le monde réel.
Inefficacité Échantillonnaire : Le RL sans modèle direct sur du matériel nécessite un temps d'interaction excessif et des stratégies d'exploration sûres.
Surapprentissage Visuel : Les politiques équipées de vision, bien qu'efficaces pendant l'entraînement, ont tendance à surapprendre à des conditions visuelles spécifiques (éclairage, textures, arrière-plans). Cela limite leur robustesse et leur généralisation à des tâches hors distribution (OOD) ou à des environnements non vus.
Observabilité Partielle : L'entraînement direct de politiques sans vision à partir de zéro en utilisant uniquement la proprioception (position, vitesse, couple) est difficile en raison de l'absence de guidage visuel pour l'exploration.

Méthodologie : Cadre VE2VF

Les auteurs proposent VE2VF (Vision-Équipée vers Vision-Libre), un cadre d'apprentissage par renforcement avec boucle humaine (HIL) qui emploie une approche de distillation enseignant-élève pour réaliser une manipulation robuste et sans vision. Le processus se compose de trois étapes principales :

1. Configuration RL avec Boucle Humaine

Le système utilise Soft Actor-Critic (SAC) avec RLPD (Reinforcement Learning with Prior Data). La boucle d'apprentissage intègre :

Exploration Autonome : L'agent génère ses propres transitions.
Guidage Humain : Un opérateur humain fournit des démonstrations hors ligne et des interventions de téléopération en ligne (écrasant les actions de l'agent) pour guider l'exploration et fournir des signaux de récompense.
Structure de Récompense : Une récompense binaire et sparse est utilisée (1 pour la réussite de la tâche, 0 sinon), évitant un façonnage de récompense complexe.

2. Étape I : Entraînement de l'Enseignant Équipé de Vision

Une politique « enseignant » ( $\pi_t$ ) est entraînée sur un ensemble de tâches représentatives en utilisant des entrées multimodales complètes :

Observations : Images provenant de caméras ( $I$ ), position de l'effecteur terminal ( $p$ ), vitesse ( $v$ ), force ( $f$ ) et couple ( $\tau$ ).
Représentation : La position est représentée par rapport à l'état initial de l'épisode pour faciliter le servo-asservissement visuel réactif.
Objectif : L'enseignant apprend à exploiter un retour visuel riche pour maîtriser les tâches, atteignant des taux de réussite élevés. Cependant, il reste dépendant des conditions visuelles.

3. Étape II : Distillation de l'Élève Sans Vision

Une politique « élève » ( $\pi_s$ ) est entraînée pour reproduire le comportement de l'enseignant mais repose uniquement sur des entrées proprioceptives (position, vitesse, couple), en écartant les données visuelles.

Mécanisme de Distillation : L'élève est entraîné en utilisant le même cadre RL-HIL mais avec des termes de perte supplémentaires pour s'aligner sur l'enseignant :
- Distillation du Critique : Un terme d'erreur quadratique moyenne (MSE) force la fonction Q de l'élève ( $Q_s$ ) à correspondre à la fonction Q de l'enseignant ( $Q_t$ ).
- Distillation de l'Acteur : Un terme de divergence de Kullback-Leibler (KL) régularise la politique de l'élève ( $\pi_s$ ) pour qu'elle corresponde à la distribution d'actions de l'enseignant ( $\pi_t$ ).
Représentation de l'État : L'élève utilise un système de coordonnées relatif à la tâche ( $T_z$ ) pour assurer l'invariance par rapport au positionnement spatial absolu.
Résultat : L'élève hérite des « compétences » et des stratégies d'exploration apprises par l'enseignant mais devient invariant aux changements visuels.

4. Étape III : Affinage (Optionnel)

Pour des tâches hautement difficiles ou non vues, l'élève sans vision peut être affiné. Cela implique d'entraîner un nouvel enseignant équipé de vision spécialisé pour la tâche spécifique et de distiller ses connaissances dans l'élève, plutôt que d'entraîner l'élève à partir de zéro.

Contributions Clés

Cadre de Distillation Cross-Modale : Une méthode novatrice qui distille les connaissances d'un enseignant équipé de vision vers un élève sans vision. Cela conserve l'efficacité échantillonnaire de l'apprentissage visuel pendant la phase d'entraînement tout en produisant une politique de déploiement invariante aux conditions visuelles.
Généralisation Efficace des Compétences : L'approche démontre que l'entraînement conjoint sur un petit ensemble de tâches représentatives permet un transfert zero-shot robuste vers des scénarios d'insertion non vus.
Validation dans le Monde Réel : La méthode est validée entièrement sur du matériel réel (Franka FR3) sans randomisation de domaine ni augmentation de données, atteignant des taux de réussite élevés en environ 50 minutes de temps d'interaction robotique total.

Résultats Expérimentaux

Les expériences ont été menées sur le benchmark NIST Assembly Board I, impliquant diverses tâches d'insertion de goujons, d'engrenages et de connecteurs.

Performance : La méthode VE2VF a atteint un taux de réussite global de 95 % sur les tâches d'entraînement, perturbées et hors distribution.
Comparaison avec les Lignes de Base :
- RL Équipé de Vision (HIL-SERL VPTW) : A atteint une réussite quasi parfaite sur les tâches d'entraînement mais s'est effondré (0 % de réussite) sur les tâches hors distribution et a fortement dégradé sous des perturbations visuelles.
- RL Sans Vision à partir de Zéro (HIL-SERL PTW) : A montré une performance modérée (47,1 %) mais a eu du mal à apprendre des stratégies d'insertion efficaces sans guidage visuel, échouant à atteindre une réussite totale.
- Primitives de Mouvement Dynamiques (DMP) : Ont mal performé (35,7 %), confirmant le besoin de comportements adaptatifs et appris.
- RL Résiduel : A bien performé (85,7 %) mais a été surpassé par VE2VF, en particulier dans les comportements de récupération (par exemple, glisser hors d'une prise et réessayer).
Études d'Ablation :
- La distillation s'est avérée essentielle ; l'entraînement de l'élève sans vision à partir de zéro, même avec un temps prolongé (jusqu'à 75 minutes), a conduit à un surapprentissage sur des tâches simples et à un échec sur des tâches complexes.
- La combinaison des entrées position, vitesse et couple a fourni la meilleure robustesse par rapport à l'utilisation de sous-ensembles de ces modalités.
Affinage : Pour la tâche d'insertion DSUB difficile (50 % de réussite zero-shot), l'affinage de l'élève avec un enseignant spécifique à la tâche via distillation a atteint 100 % de réussite en seulement 10 minutes supplémentaires.

Importance et Revendications

L'article revendique que VE2VF aborde le compromis critique entre l'efficacité échantillonnaire de l'apprentissage guidé par la vision et la robustesse requise pour le déploiement dans le monde réel. En utilisant la vision uniquement comme un « enseignant » pour guider l'exploration, puis en distillant ces connaissances dans un « élève » proprioceptif, le système atteint :

Robustesse : Des politiques qui généralisent à travers différents éclairages, textures et positions de cibles.
Adaptabilité : La capacité à récupérer des échecs (par exemple, un glissement) grâce à des comportements réactifs appris de l'enseignant.
Efficacité : Acquisition rapide de compétences complexes riches en contacts (environ 50 minutes) sans besoin de simulation extensive ou de façonnage manuel de récompenses.

Les auteurs concluent que cette approche offre une voie pratique pour déployer des compétences de manipulation riches en contacts robustes dans des environnements d'assemblage à haute variété et faible volume, où les conditions visuelles sont imprévisibles.