DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation

Dans les mondes virtuels où les robots apprennent à se déplacer, les objets avec lesquels ils interagissent sont souvent trop parfaits. Une pomme numérique est une sphère rigide qui ne se cabosse jamais ; une serviette numérique est une feuille plate qui ne se plie jamais. Pour qu'un robot apprenne à saisir, soulever ou transporter quelque chose dans une simulation, cet objet doit se comporter comme l'objet réel. Il doit s'écraser lorsqu'on le presse, se draper lorsqu'on le laisse tomber et conserver sa forme lorsqu'on le soulève. Créer ces objets numériques à partir de zéro est difficile car l'apparence visuelle d'un objet — ce à quoi il ressemble — n'est que la moitié de l'histoire. L'autre moitié est sa nature physique cachée : son poids, sa mollesse ou sa rigidité, et la façon dont il réagit au toucher. Sans connaître ces propriétés invisibles, un robot pourrait essayer de ramasser une banane numérique pour découvrir qu'elle se brise comme du verre ou glisse entre ses doigts comme de l'eau, simplement parce que l'ordinateur ne savait pas comment la faire se déformer.

Les chercheurs ont longtemps tenté de générer ces objets 3D à l'aide de descriptions textuelles ou de photographies uniques, mais jusqu'à présent, les résultats étaient souvent visuellement convaincants mais physiquement défectueux. Ils pouvaient ressembler à un jouet en peluche, mais dans une simulation, ils s'effondreraient sous leur propre poids ou ne réagiraient pas correctement à la prise d'un robot. Le défi réside dans le fait qu'une image ou une phrase ne contient pas assez d'informations pour dire à un ordinateur exactement comment un objet doit se déformer. Pour résoudre cela, une équipe de chercheurs a développé un nouveau système appelé DeformSmith. Ce cadre ne se contente pas de deviner l'apparence d'un objet ; il construit l'objet par couches, testant son comportement physique à chaque étape, et utilise un robot simulé pour tenter de manipuler l'objet avant que le processus ne soit terminé.

Le cœur de cette nouvelle approche est un processus de construction étape par étape qui imite la façon dont un ingénieur humain construirait un prototype, mais avec un ordinateur effectuant le gros du travail. Le système commence par une description simple ou une seule photo et construit d'abord la forme 3D de l'objet. Une fois que la forme existe, le système lui assigne une identité physique, décidant de son poids et de la façon dont il interagit avec le sol. Ensuite, il ajoute les propriétés matérielles, déterminant si l'objet est mou comme une éponge ou ferme comme une balle en caoutchouc. Crucialement, le système ne se contente pas de définir ces valeurs et d'espérer que tout se passera bien. Il exécute une série de tests physiques, laissant tomber l'objet ou appuyant dessus, pour voir s'il se comporte correctement. Si l'objet s'effondre trop facilement ou rebondit de la mauvaise manière, le système ajuste automatiquement ses paramètres internes et réessaie.

Ce qui rend cette méthode unique est la manière dont elle intègre un robot dans la boucle. Après que l'objet a passé les tests physiques de base, un bras robotique simulé tente de le ramasser, de le transporter et de le poser. C'est là que le système apprend le plus. Le robot essaie de saisir l'objet, et le système observe attentivement pour voir si l'objet conserve sa forme, s'il glisse, ou s'il se déforme d'une manière qui rend son mouvement impossible. Si le robot échoue, le système utilise cet échec comme un indice. Il peut réaliser que l'objet est trop glissant, ou que la prise était trop faible, ou que le matériau est trop mou pour la tâche. Le système revient alors en arrière et affine les propriétés de l'objet ou modifie la façon dont le robot se déplace, répétant le cycle jusqu'à ce que le robot puisse accomplir la tâche avec succès. Cela crée une boucle de rétroaction où l'objet est constamment amélioré en fonction de la manière dont il fonctionne dans un scénario réel.

Les chercheurs ont testé ce système en créant des dizaines d'objets différents, d'un ballon de rugby à un phoque en peluche, en utilisant à la fois des descriptions textuelles et des images uniques. Ils ont comparé leurs résultats à d'autres méthodes avancées qui tentent de faire la même chose. Dans ces comparaisons, les objets créés par DeformSmith étaient nettement plus réalistes. Lorsqu'ils étaient lâchés, ils maintenaient leur forme et rebondissaient ou s'écrasaient de manière naturelle, tandis que les objets provenant d'autres systèmes s'aplatissaient souvent comme des crêpes ou tombaient en morceaux. Lors de tests à l'aveugle où des personnes jugeaient quel objet paraissait le mieux et se comportait le mieux, le nouveau système l'a emporté la majorité du temps. Il a été particulièrement efficace pour créer des objets pouvant être manipulés avec succès par un robot, le taux de réussite pour ramasser et déplacer des objets passant de moins de la moitié à plus des deux tiers lorsque le raffinement guidé par le robot était utilisé.

Le système fonctionne en décomposant le problème en étapes gérables, en s'assurant que la forme est correcte avant de se soucier du poids, et que le poids est correct avant de se soucier du matériau. Cela empêche l'ordinateur de s'embrouiller en essayant de tout corriger à la fois. Un « harnais » central agit comme un superviseur, gardant une trace de toutes les règles et s'assurant que les changements effectués à une étape ne cassent pas le travail réalisé à une étape précédente. Par exemple, si le système décide de rendre un objet plus mou, il vérifie que ce changement ne rend pas l'objet trop lourd ou ne le fait pas s'enfoncer dans le sol. Cette approche hiérarchique méticuleuse permet au système de construire des objets complexes et interactifs qui sont prêts à être utilisés dans des simulations d'entraînement de robots.

Bien que le système soit puissant, les chercheurs notent qu'il fonctionne actuellement mieux avec des objets solides qui peuvent être pressés ou étirés, plutôt qu'avec des liquides ou des matériaux granulaires comme le sable. Les propriétés physiques qu'il déduit sont également des estimations basées sur des indices visuels et des simulations, ce qui signifie qu'elles devraient toujours être vérifiées avec des mesures réelles si elles sont utilisées pour de véritables robots physiques. Cependant, la capacité de générer une grande variété d'objets physiquement crédibles à partir d'entrées simples ouvre une nouvelle porte pour la robotique. Au lieu de modéliser manuellement chaque objet qu'un robot pourrait rencontrer, les ingénieurs peuvent désormais décrire un objet ou montrer une photo, et le système construira un jumeau numérique prêt à être testé, manipulé et appris. Cette capacité suggère un avenir où les robots pourront apprendre à manipuler le monde complexe et déformable des objets du quotidien beaucoup plus rapidement, simplement en s'entraînant avec une vaste bibliothèque d'actifs numériques générés automatiquement et physiquement précis.