Résumé technique : Apprentissage sim-to-real sans correspondance basé sur des fonctions pour le contrôle de surfaces déformables

1. Énoncé du problème

Les systèmes robotiques souples possédant des surfaces de forme libre présentent un nombre élevé de degrés de liberté (DoF) en raison de leurs corps élastiques, ce qui rend le contrôle de la forme par cinématique inverse (IK) hautement complexe. Bien que les simulations numériques puissent prédire la déformation, des écarts géométriques significatifs (« fossés de réalité » ou reality gaps) existent entre les formes simulées et les déformations physiques en raison des incertitudes matérielles et des simplifications de modélisation.

Les méthodes actuelles de transfert sim-to-real sont confrontées à trois limitations principales :

1. Couverture spatiale limitée : Elles reposent souvent sur des points de repère épars (par exemple, en ne corrigeant que l'effecteur terminal), laissant le reste du manipulateur non corrigé.
2. Dépendance aux correspondances : Les méthodes traditionnelles nécessitent des correspondances point à point complètes entre les données simulées et capturées, ce qui les rend incompatibles avec les nuages de points non structurés des scanners 3D.
3. Manque de robustesse à l'occlusion : Les systèmes basés sur des marqueurs échouent lorsque les marqueurs sont occultés par de grandes déformations locales, rendant les trames affectées inutilisables pour l'entraînement.

L'article traite la nécessité d'une méthode d'apprentissage sim-to-real sans correspondance capable de corriger les erreurs de forme sous de grandes déformations, en utilisant soit des données de scanner 3D (nuages de points sans correspondances), soit des données de capture de mouvement (MoCap) (tolérant les marqueurs manquants).

2. Méthodologie

L'approche proposée établit une mise en correspondance basée sur des fonctions entre les réponses de déformation simulées et réelles, intégrée dans un pipeline de réseau de neurones (NN) pour un calcul efficace de l'IK.

A. Représentation compacte de la forme

Pour éviter la redondance du traitement de nuages de points complets, la surface de forme libre $S$ est représentée par une surface B-spline.

• La surface est paramétrée, et les points de contrôle ($S_c$) sont extraits pour servir de descripteur de forme compact.
• Tout point $p$ sur la surface est reconstruit via un décodeur B-spline : $p = B(u, v, S_c)$.
• Cela réduit la dimensionnalité de l'entrée pour le réseau d'apprentissage.

B. Déformation spatiale basée sur des fonctions

Le cœur du transfert sim-to-real est une fonction de déformation spatiale $\Phi(p)$ basée sur des fonctions de base radiale (RBF) qui mappe un point simulé $p$ vers un point corrigé $p^*$ :
$$p^* = \Phi(p) = \alpha_0 + Ap + \sum_{i=1}^{N} \beta_i e^{-c\|p - q_i\|^2}$$

• Centres de noyaux ($q_i$) : Fixes dans le domaine paramétrique UV mais mappés dans l'espace 3D via les points de contrôle B-spline.
• Réseau de prédiction de fonction ($N_{rbf}$) : Au lieu d'apprendre la déformation directement pour chaque forme, un réseau de neurones prédit les coefficients RBF $\gamma = [\alpha_0, \dots, \beta_i]$ sur la base des points de contrôle d'entrée $S_c$. Cela permet au système de générer une fonction de déformation continue pour n'importe quelle forme simulée.

C. Alignement différentiable et entraînement conjoint

Pour entraîner le système sans correspondances explicites, les auteurs introduisent une distance de Chamfer pondérée par la confiance comme métrique de perte principale.

• Carte de confiance ($N_{conf}$) : Un réseau secondaire prédit une valeur de confiance scalaire $w_c(p) \in [0, 1]$ pour chaque point, représentant la probabilité de trouver une correspondance fiable dans les données capturées.
• Fonction de perte : L'entraînement minimise une distance de Chamfer pondérée entre la forme corrigée prédite $S^*$ et la forme physique capturée $S_p$. La carte de confiance réduit le poids des régions présentant des données manquantes ou une faible fiabilité.
• Régularisation : Trois termes de perte supplémentaires garantissent la robustesse :
  1. Régularisation de la confiance : Empêche la carte de confiance de s'effondrer vers zéro.
  2. Compatibilité des normales : Assure que les normales de surface de la forme prédite s'alignent avec celles de la forme capturée.
  3. Régularisation géométrique : Impose des conditions de compatibilité sur les coefficients RBF (par exemple, $\sum \beta_i = 0$) pour éviter des formes « étranges » lorsque le nombre de noyaux est limité ou que les écarts sont importants.

D. Pipeline de cinématique inverse (IK)

Les réseaux entraînés forment un pipeline de bout en bout, analytiquement différentiable :

1. Cinématique directe : Un réseau $N_{fk}$ prédit les points de contrôle B-spline $S_c$ à partir des paramètres d'actionnement $a$.
2. Transfert sim-to-real : $N_{rbf}$ prédit les coefficients RBF, et $\Phi$ déforme la forme vers le domaine physique.
3. Optimisation : Le problème d'IK est résolu via la descente de gradient, en minimant la distance entre la forme physique prédite et une forme cible $S_t$. La différentiabilité de l'ensemble de la chaîne permet un calcul efficace des gradients.

3. Contributions clés

1. Pipeline sim-to-real résilient : Un cadre comblant le fossé de réalité en utilisant un espace de fonction de déformation spatiale basé sur des RBF, capable de gérer des nuages de points non organisés et des occlusions partielles.
2. Entraînement sans correspondance : Une méthode d'alignement différentiable utilisant une carte de confiance apprise et une distance de Chamfer pondérée, éliminant le besoin de correspondances de points prédéfinies.
3. IK efficace basée sur les NN : Un pipeline de calcul qui résout efficacement le problème de cinématique inverse pour les robots mous déformables en exploitant les gradients analytiques à travers le transfert sim-to-real.

4. Résultats expérimentaux

La méthode a été validée sur quatre robots mous actionnés par pneumatique avec des complexités variables :

• Membrane déformable : 9 chambres, larges déformations d'inflation.
• Manipulateur souple : Deux segments, 6 chambres, flexion pure.
• Mannequin robotique : 15 chambres, 9 DoF, surface libre complexe.
• Manipulateur compressible : Soufflets 3x3, capable de compression, d'inflation et de flexion.

Métriques de performance :

• Précision : Comparée à la simulation seule ou à l'apprentissage direct (mapping de l'actionnement vers la forme), la méthode sim-to-real proposée a réduit les erreurs de forme moyennes de 63,3 % à 75,5 % sur la membrane déformable et a considérablement amélioré les résultats sur le mannequin et les manipulateurs.
• Efficacité des données : La méthode a atteint de faibles niveaux d'erreur avec seulement 40 trames d'entraînement, alors que l'apprentissage direct nécessitait 400 trames pour atteindre des performances similaires.
• Robustesse : Le système a géré avec succès des jeux de données comportant jusqu'à 21 % de points d'échantillonnage manquants (scanner 3D) et 9,8 % de marqueurs manquants (MoCap).
• Applications :
  • Impression 3D : Utilisé comme moule reconfigurable ; la correction sim-to-real a réduit les écarts entre la tête de l'imprimante et le moule, permettant un dépôt de matériau précis.
  • Planification de mouvement : A permis une planification de trajectoire sans collision pour un manipulateur souple naviguant parmi des obstacles, là où les prédictions de simulation seule menaient à des collisions.
  • Contrôle de mannequin : A permis une convergence rapide (environ 15 itérations) vers les formes corporelles humaines du jeu de données CAESAR.

5. Signification et affirmations

L'article affirme faire progresser l'état de l'art du contrôle de forme pour les surfaces libres déformables en :

• Supprimant la dépendance aux correspondances complètes, permettant ainsi l'utilisation de scanners 3D denses et de systèmes MoCap robustes, même avec des occlusions.
• Fournissant un cadre unifié et différentiable qui intègre la correction sim-to-real directement dans le solveur d'IK, permettant un contrôle par gradient en temps réel.
• Démontrant la généralisabilité à travers divers principes d'actionnement (inflation pure, flexion, compression) et des complexités structurelles variées.

Limites et travaux futurs :
Les auteurs reconnaissent que la méthode dépend fortement de la qualité et de la couverture du jeu de données d'entraînement. De plus, en raison de la lissité inhérente des RBF, la méthode est moins efficace sur les surfaces présentant des caractéristiques tranchantes. Les travaux futurs incluent l'utilisation du mannequin déformable comme moule réutilisable pour la fabrication de vêtements durables et le test de manipulateurs souples dans des tâches de saisie et de déplacement (pick-and-place).