Résumé Technique : DexSim2Real

Énoncé du Problème

La manipulation robotique dextre — saisir, réorienter et contrôler avec précision des objets à l'aide de mains multifongées — reste un défi majeur. Bien que l'apprentissage par renforcement (RL) ait connu du succès en simulation, le transfert de ces politiques vers des robots physiques est entravé par le « fossé sim-to-real ». Ce fossé provient des écarts d'apparence visuelle, de dynamique physique et de caractéristiques des capteurs entre les environnements simulés et réels.

Les solutions existantes, principalement la randomisation de domaine (DR), souffrent de deux limitations clés :

1. Réglage Manuel : Les plages de randomisation sont généralement définies manuellement ou par des essais et erreurs coûteux.
2. Configurations Irréalistes : Une randomisation uniforme sur de vastes espaces de paramètres entraîne souvent des politiques sur des scénarios irréalistes, dégradant les performances.

Bien que des travaux récents aient utilisé des modèles de langage de grande taille (LLM) pour la conception de récompenses ou la randomisation de domaine basée sur le texte (par exemple, DrEureka), aucun cadre existant n'intègre la randomisation de domaine guidée par un modèle fondamental, l'apprentissage de politiques multimodales et la génération automatique de curriculum dans un pipeline unifié pour la manipulation dextre en zéro-shot.

Méthodologie : Cadre DexSim2Real

Les auteurs proposent DexSim2Real, un cadre intégré en trois étapes conçu pour combler le fossé sim-to-real en utilisant des modèles vision-langage (VLM) et l'apprentissage multimodal.

1. Randomisation de Domaine Guidée par Modèle Fondamental (FM-DR)

Au lieu d'un réglage manuel, FM-DR utilise un VLM en tant que « critique de réalisme visuel » pour optimiser les paramètres de simulation.

• Évaluation du Réalisme : Étant donné une image de simulation rendue ($I_s$) et des images de référence du monde réel ($I_r$), un VLM (spécifiquement GPT-4V) note la fidélité visuelle sur une échelle de 1 à 10, en tenant compte de l'éclairage, de la texture, de la géométrie et de la plausibilité physique.
• Optimisation : Le système paramètre la distribution des paramètres de simulation ($\xi$) comme un mélange de Gaussiennes. Il optimise les paramètres de distribution ($\theta$) en utilisant CMA-ES en boucle fermée pour maximiser une fonction de récompense combinant le score de réalisme du VLM et l'entropie de la distribution (pour éviter l'effondrement vers une configuration unique).
• Processus : Cela se déroule par cycles itératifs où le VLM fournit des retours sur les images rendues, guidant la recherche vers des plages de paramètres réalistes mais diversifiées (par exemple, frottement, masse, éclairage).

2. Politique d'Attention Croisée Tactile-Visuelle (TVCAP)

Pour gérer le transfert en zéro-shot sans démonstrations réelles, le système emploie une architecture de politique multimodale.

• Entrées : La politique traite des images RVB, des lectures tactiles provenant de capteurs au bout des doigts et l'état proprioceptif (angles des articulations, vitesses).
• Architecture :
  • Encodeurs : Les caractéristiques visuelles sont extraites via un encodeur basé sur ViT (initialisé à partir de DINOv2), les données tactiles via un CNN 1D, et la proprioception via un MLP.
  • Fusion : Contrairement à une simple concaténation, TVCAP utilise une attention croisée bidirectionnelle pour permettre un échange dynamique d'informations. Cela permet au flux visuel de se concentrer sur les signaux tactiles lors des phases riches en contacts, et vice versa.
  • Sortie : Un décodeur transformateur génère des séquences d'actions suivant un paradigme de découpage d'actions (action chunking), entraîné via PPO.

3. Curriculum Progressif de Compétences (PSC)

Pour résoudre la difficulté d'apprendre des tâches complexes riches en contacts à partir de zéro, PSC automatise la décomposition des tâches et la planification de la difficulté.

• Décomposition : Un LM décompose les descriptions de tâches en langage naturel en une séquence ordonnée de sous-compétences avec des critères de réussite.
• Planification : Un paramètre de difficulté ($\delta$) contrôle la distribution de l'état initial et les seuils de tolérance. L'entraînement commence au niveau le plus facile ($\delta=0$) et progresse en fonction d'un seuil de taux de réussite.
• Chaînage : Une fois les sous-compétences maîtrisées, elles sont enchaînées, initialisant les compétences subséquentes à partir des états terminaux des prédécesseurs et affinant la séquence complète de bout en bout.

Contributions Clés

L'article revendique les contributions suivantes :

1. Système Intégré : Le premier pipeline unifié sim-to-real pour la manipulation dextre combinant randomisation de domaine guidée par modèle fondamental, apprentissage de politiques multimodales et génération automatique de curriculum.
2. FM-DR : Une approche novatrice utilisant des VLM comme critiques de réalisme visuel avec une optimisation CMA-ES en boucle fermée, fournissant un retour visuel direct complémentaire aux approches basées sur le texte comme DrEureka.
3. TVCAP : Une architecture de politique adaptant la fusion visuo-tactile par attention croisée spécifiquement pour le RL sim-to-real en zéro-shot, éliminant le besoin de démonstrations réelles.
4. PSC : Une conception de curriculum présentant un planificateur de difficulté basé sur $\delta$ et un chaînage de compétences seuillé par le taux de réussite, adaptés aux tâches riches en contacts.
5. Validation Empirique : Des expériences réelles extensives démontrant des performances de pointe.

Résultats Expérimentaux

Le système a été évalué sur six tâches de manipulation complexes (Prise-Placement, Empilement, Insertion de Pion, Rotation en Main, Utilisation d'Outil, Versage) utilisant un bras Franka Emika Panda avec une main Allegro et des capteurs tactiles XELA.

• Performance : DexSim2Real a atteint un taux de réussite réel moyen de 78,2 %, surpassant la meilleure base de référence (Act3D, entraîné avec 100 démonstrations réelles) de 13,1 points de pourcentage et la meilleure base de référence en zéro-shot (DrEureka) de 13,1 %.
• Fossé Sim-to-Real : La méthode a réduit l'écart de performance entre la simulation et la réalité à seulement 8,3 %, contre 28,5 % pour la DR Vanilla et 19,2 % pour ADR.
• Généralisation : Le système a maintenu de solides performances sur des objets non vus (par exemple, 85,4 % de réussite sur des objets nouveaux pour la tâche Prise-Placement), montrant un écart de généralisation plus faible que les méthodes de base.
• Études d'Ablation :
  • Le retrait de FM-DR (retour à la DR Vanilla) a causé la plus forte baisse de performance (−12,4 %).
  • Le retrait de l'entrée tactile a réduit les performances de 8,1 %, avec des baisses significatives sur les tâches lourdes en contacts comme la Rotation en Main (−14,3 %).
  • Le remplacement de l'attention croisée par une concaténation a réduit les performances de 5,8 %.
  • Le retrait de PSC a entraîné une convergence plus lente et une performance finale inférieure (−9,3 %).

Importance et Revendications

Les auteurs positionnent DexSim2Real comme une étape significative vers le déploiement de politiques de manipulation dextre robustes sans nécessiter de collecte coûteuse de données réelles ni de réglage manuel.

• Complémentarité : Le travail démontre que les VLM peuvent servir de critiques visuels efficaces, fournissant des retours qui complètent le raisonnement basé sur le texte (DrEureka) et les méthodes automatiques traditionnelles (ADR).
• Capacité en Zéro-Shot : Le système atteint des performances supérieures par rapport aux méthodes entraînées avec des démonstrations réelles, soulignant le potentiel des modèles fondamentaux pour combler le fossé de la réalité.
• Efficacité : La surcharge computationnelle de FM-DR (environ 2 heures-GPU pour les requêtes VLM) est négligeable par rapport au coût de l'entraînement RL (48 heures-GPU).

Limites Reconnaues :
Les auteurs notent que l'optimisation actuelle de FM-DR se concentre sur les paramètres visuels et physiques ; le transfert tactile repose encore sur la randomisation du bruit plutôt que sur une optimisation guidée par VLM. De plus, le cadre ne gère actuellement que des objets rigides, et le score VLM peut être biaisé par les données d'entraînement ou engendrer des coûts de requête, bien que ceux-ci soient jugés gérables. Des travaux futurs sont suggérés pour des critiques conscients du tactile, des objets déformables et des scénarios bimanuels.