Résumé Technique : DeformGen

Énoncé du Problème

Bien que l'apprentissage par imitation et l'apprentissage de politiques visuomotrices aient connu un succès significatif dans la manipulation d'objets rigides, le passage de ces méthodes à la manipulation d'objets déformables reste un goulot d'étranglement en raison du coût élevé et de la difficulté de collecter des données de démonstration diversifiées. Les paradigmes d'augmentation de données existants, qui reposent sur l'hypothèse d'équivariance (selon laquelle les distances euclidiennes entre les points matériels sont invariantes sous les transformations rigides), échouent fondamentalement dans les contextes déformables.

Les auteurs identifient deux défis principaux qui brisent la « recette des objets rigides » :

1. Défi de l'espace d'états : Les objets déformables possèdent de nombreux degrés de liberté (DoF) et des contraintes internes dynamiques. Contrairement aux corps rigides où une pose à 6 DoF suffit, les objets déformables présentent de riches variations de forme et de topologie. Les perturbations géométriques naïves entraînent souvent des états physiquement impossibles (par exemple, des particules déconnectées ou des formes impossibles) car les configurations valides résident sur une variété contrainte au sein de l'espace d'états de haute dimension.
2. Défi du transfert de trajectoire : Les points matériels des objets déformables ne sont pas équivariants ; ils ne se déplacent pas de manière rigide ensemble. Appliquer une transformation rigide globale à une trajectoire de démonstration provoque un désalignement de l'effecteur terminal avec la géométrie locale de l'objet (par exemple, l'incapacité à saisir un point spécifique sur un tissu plié) et ne peut compenser les déformations locales, entraînant des erreurs de contact.

Méthodologie : DeformGen

DeformGen est un cadre d'augmentation de topologie basé sur la dynamique, conçu pour synthétiser des états déformables physiquement valides et transférer des trajectoires de manipulation de manière sensible à la déformation. Il se compose de deux composantes principales :

1. Augmentation de l'état topologique basée sur la dynamique

Pour répondre au défi de l'espace d'états, DeformGen évite les perturbations géométriques naïves qui quittent la variété physique valide. À la place, il emploie une approche de simulation directe :

• Processus : En partant d'un état valide connu ($s_0 \in S_{real}$), le système applique des forces externes localisées ($f$) à l'objet.
• Simulation : Le simulateur physique ($\Phi_{sim}$) simule la dynamique en direct sur un pas de temps ($\Delta t$) pour générer un nouvel état : $s_{aug} = \Phi_{sim}(s_0, f, \Delta t)$.
• Justification : Comme l'état évolue à travers la propre dynamique du simulateur, l'état résultant reste dans le sous-espace physiquement plausible ($S_{real}$) sans nécessiter de réparation a posteriori. Cette méthode génère des variations topologiques diverses (pliage, torsion, torsion complexe) que les transformations rigides ne peuvent capturer.

2. Déformation par champ de distorsion pour l'augmentation de trajectoire

Pour répondre au défi du transfert de trajectoire, DeformGen synthétise des trajectoires de manipulation valides pour les états augmentés en utilisant un champ de déformation continu plutôt que des transformations rigides.

• Calcul du déplacement : Le système calcule les déplacements par particule ($\delta_i$) entre l'état source de l'objet et l'état cible (augmenté).
• Construction du champ : Ces déplacements sont élevés en une fonction spatiale continue (champ de déformation $D(x)$) sur l'espace de travail en utilisant une interpolation par distance inverse des K plus proches voisins (KNN).
• Distorsion de trajectoire :
  • Position : Pour chaque point de passage $x_t$ dans la trajectoire source, le décalage de position est calculé en agrégeant les déplacements des $K$ particules les plus proches. Un facteur de décroissance dépendant du temps ($\alpha_t$) permet à la trajectoire de suivre initialement les déformations locales puis de revenir progressivement vers le chemin d'origine.
  • Orientation : Une matrice jacobienne locale ($J_t$) est estimée via une régression par moindres carrés pour mapper les vecteurs locaux originaux vers les vecteurs déformés. La rotation induite est projetée sur la variété $SO(3)$, et l'orientation finale est calculée via une interpolation linéaire sphérique (SLERP) entre les rotations originales et induites.
• Adaptation : La méthode utilise un petit $K$ pour les poses de saisie (se concentrant sur la géométrie locale) et un grand $K$ (total des points) pour les phases de manipulation (capturant la déformation globale).

Contributions Clés

1. Formulation du problème : Ce travail identifie formellement que l'augmentation efficace pour la manipulation déformable nécessite une synthèse d'états physiquement valides couplée à un transfert de trajectoire sensible à la déformation, dépassant ainsi les limites de l'augmentation de style rigide.
2. Pipeline cohérent avec la dynamique : Les auteurs proposent un nouveau pipeline qui génère des actifs déformables cohérents sur le plan topologique grâce à la perturbation localisée, le déroulement physique et la stabilisation. Il synthétise simultanément des trajectoires de manipulation via la distorsion de champ de déformation, garantissant que l'effecteur terminal reste aligné avec la géométrie déformée.
3. Validation empirique : Des expériences approfondies sur des benchmarks de haute fidélité démontrent que DeformGen améliore considérablement l'apprentissage de politiques par rapport à un entraînement sur les démonstrations originales seules ou en utilisant des bases d'augmentation de type rigide.

Résultats Expérimentaux

Le cadre a été évalué sur trois tâches de manipulation déformable : routage de corde, emballage de jouets et pliage de tissu, en utilisant quatre architectures de politique (ACT, Diffusion Policy, SmolVLA et $\pi_0$).

• Gains de performance : DeformGen a obtenu les taux de réussite moyens les plus élevés pour la plupart des architectures de politique. Par exemple, pour la tâche de routage de corde, Deform de l'augmentation a atteint des taux de réussite allant jusqu'à 99,0 % avec $\pi_0$, contre 0 % pour l'entraînement à source unique et 56,0 % pour l'augmentation de style rigide (SoftMimicGen*).
• Perspectives d'ablation :
  • Diversité des états : La comparaison entre DeformGen (augmentation d'état topologique) et SoftMimicGen* (augmentation d'état rigide) a montré que la couverture plus large des configurations déformables est cruciale pour la généralisation.
  • Transfert de trajectoire : La comparaison entre DeformGen et une variante utilisant un transfert rigide local (DeformGen*) a démontré que la distorsion par champ de déformation apporte des gains complémentaires en alignant mieux les trajectoires avec la géométrie locale.
• Généralisation : Les politiques entraînées avec DeformGen ont réussi à se généraliser à des états de test non vus, y compris des configurations où la synthèse de la trajectoire elle-même avait échoué à produire une démonstration valide, suggérant l'apprentissage de stratégies de manipulation transférables plutôt qu'une simple mémorisation.
• Scénarios rigides : Dans les scénarios de test uniquement rigides, DeformGen est resté compétitif, indiquant que l'entraînement sur des données topologiquement diverses ne compromet pas substantiellement les performances sur des tâches plus simples.

Signification et Revendications

L'article affirme que DeformGen fournit une solution rentable pour l'acquisition de données dans la manipulation déformable en augmentant une seule démonstration en un ensemble diversifié d'états physiquement valides et de trajectoires correspondantes.

Les auteurs soutiennent que leurs résultats suggèrent un changement fondamental dans la manière dont l'augmentation doit être abordée pour les objets déformables : une augmentation efficace doit être cohérente avec la dynamique (générant des états qui respectent les contraintes physiques) et sensible à la déformation (transférant des trajectoires qui s'adaptent à la géométrie locale). Cette approche surmonte les limites de l'augmentation de style rigide, qui échoue à capturer l'espace d'états de haute dimension et la nature non équivariante des objets déformables. Le travail démontre que la synthèse de telles données conduit à des politiques avec des taux de réussite plus élevés et une meilleure généralisation aux configurations déformables inédites.