Visual-Tactile Peg-in-Hole Assembly Learning from Peg-out-of-Hole Disassembly

1. Problématique

L'assemblage Peg-in-Hole (PiH) (insertion d'un pion dans un trou) est une tâche fondamentale en robotique, cruciale pour des applications industrielles (assemblage d'engrenages) et domestiques (insertion de clés USB). Cependant, c'est un défi majeur en raison de :

• La nécessité d'un contrôle de force précis et d'une adaptation aux incertitudes de position.
• La difficulté de l'exploration pour les méthodes d'apprentissage par renforcement (RL) classiques, qui nécessitent un grand nombre d'essais-erreurs.
• Les limitations des méthodes d'apprentissage supervisé (SL) qui dépendent de démonstrations expertes coûteuses et généralisent mal à des scènes non vues.

L'article propose une solution innovante en exploitant la tâche inverse : le Peg-out-of-Hole (PooH) (extraction du pion). Contrairement à l'insertion, l'extraction est intrinsèquement plus simple car elle ne nécessite pas d'alignement précis initial et peut être réalisée par de simples actions de traction, ce qui rend la collecte de données plus efficace et moins risquée.

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage de compétences visuo-tactile unifié, basé sur trois étapes principales :

A. Formulation Unifiée (POMDP)

Les tâches PiH et PooH sont modélisées comme des Processus de Décision Markoviens Partiellement Observables (POMDP) partageant le même espace d'observation et d'action :

• Observations : Une fusion de trois modalités :
  • Cinématique : Pose du bout de l'effecteur (6D).
  • Visuelle : Images globales (96x96 pixels) pour la localisation et l'approche.
  • Tactile : Flux de déformation de capteurs tactiles visuels (GelSight-like), réduits à 15 dimensions via l'Analyse en Composantes Principales (PCA).
• Action : Déplacement cartésien de l'effecteur.
• Algorithme : Utilisation de Soft Actor-Critic (SAC) pour l'apprentissage.

B. Pipeline d'Apprentissage

1. Apprentissage de la politique PooH : Une politique $\pi_{out}$ est entraînée par RL dans un simulateur pour extraire le pion. Cette politique apprend à utiliser la vision pour l'approche et le tactile pour gérer les contacts.
2. Génération de démonstrations PiH (Inversion Temporelle) :
   • Les trajectoires PooH sont inversées temporellement pour créer des trajectoires PiH approximatives.
   • Problème de l'asymétrie tactile : L'extraction est souvent sans contact une fois le pion libéré, tandis que l'insertion implique des frottements, des blocages (jamming) et des ajustements. L'inversion simple ne reproduit pas ces dynamiques complexes.
   • Solution : Randomisation des actions. Lors de l'inversion, lorsque le pion est proche du trou, des actions aléatoires ($\Delta x, \Delta y$) sont injectées pour simuler des configurations de contact variées et réalistes (alignement, blocage), enrichissant ainsi les données d'entraînement.
3. Apprentissage de la politique PiH :
   • Les données générées (trajectoires inversées + randomisation) servent de démonstrations expertes.
   • Un buffer de replay hybride est utilisé : il mélange les données générées (expert) et les données collectées par interaction autonome.
   • Une perte de clonage comportemental (Behavior Cloning - BC) est ajoutée à la fonction de perte du RL pour guider l'agent vers le comportement expert, avec un poids décroissant (annealing) au fil de l'entraînement.

3. Contributions Clés

• Cadre PooH-to-PiH : Une méthode novatrice qui utilise la tâche inverse (plus facile) pour accélérer l'apprentissage de la tâche directe (plus difficile), évitant une exploration coûteuse de zéro.
• Fusion Visuo-Tactile : Intégration synergique où la vision guide l'approche à longue distance et le tactile corrige les erreurs d'alignement et gère les contacts locaux.
• Génération de Données par Inversion et Randomisation : Un mécanisme pour transformer des trajectoires d'extraction simples en démonstrations d'insertion riches en contacts, comblant le fossé dynamique entre les deux tâches.
• Généralisation Robuste : Validation sur des objets vus et non vus, avec des géométries variées et des tolérances d'ajustement (clearance) différentes.

4. Résultats Expérimentaux

Les expériences ont été menées en simulation (MuJoCo) et dans le monde réel avec un robot ABB YuMi équipé de capteurs tactiles visuels et d'une caméra RealSense.

• Performance de Réussite :
  • Objets vus : 87,5 % de taux de réussite.
  • Objets non vus : 77,1 % de taux de réussite.
  • Comparaison : Le cadre proposé surpasse les méthodes RL directes (entraînées de zéro) de 18,1 % en taux de réussite.
• Forces de Contact : La politique visuo-tactile génère des forces de contact 6,4 % plus faibles que les politiques utilisant une seule modalité (vision seule ou tactile seule), réduisant ainsi les risques de dommages et de blocage.
• Ablation :
  • Sans vision : Taux de réussite chute à 51,2 % (mauvais alignement initial).
  • Sans tactile : Taux de réussite chute à 42,3 % (échec après contact initial dû aux erreurs résiduelles).
  • Sans randomisation d'actions : Baisse de 14,8 % de la réussite, prouvant l'importance de diversifier les configurations de contact.
• Transfert Sim-to-Real : Malgré un écart de domaine, la méthode atteint un taux de réussite moyen de 72,1 % en conditions réelles, démontrant une bonne transférabilité.

5. Signification et Impact

Ce travail démontre que l'apprentissage par renforcement pour les tâches d'assemblage complexes peut être considérablement accéléré en exploitant la symétrie temporelle avec des tâches inverses plus simples.

• Efficacité des données : Réduit drastiquement le besoin d'exploration coûteuse et risquée dans le monde réel.
• Robustesse : La combinaison de la vision et du tactile, couplée à la randomisation des actions, permet de gérer l'incertitude et les dynamiques de contact non linéaires.
• Généralité : La méthode s'applique à diverses géométries et tolérances, offrant une voie prometteuse pour l'automatisation de l'assemblage flexible.

En résumé, l'article propose un changement de paradigme : plutôt que d'apprendre l'insertion directement, on apprend d'abord à démonter, puis on "invente" les données d'assemblage à partir de cette connaissance, rendant le processus d'apprentissage plus rapide, plus sûr et plus robuste.