Gen2Physics: Grounding Generated 3D Meshes in Physics via Multi-View Material Decomposition

Dans le monde numérique, les ordinateurs sont devenus remarquablement habiles pour dessiner des objets en trois dimensions. À partir d'une seule photographie ou de quelques mots, l'intelligence artificielle moderne peut conjurer une chaise, un robot ou un jouet avec un détail visuel époustouflant. Ces créations numériques ont l'air réelles, mais ce ne sont que des coquilles vides. Pour un ordinateur, une chaise en bois avec des pieds en métal n'est qu'une surface continue, un objet unique sans structure interne. Cela crée un problème majeur pour quiconque souhaite utiliser ces images dans des jeux vidéo, la robotique ou des simulations physiques. Les objets du monde réel se comportent selon leurs matériaux ; une tête en métal lourde sur un corps en bois léger basculera et pivotera différemment d'un bloc de densité uniforme. Sans savoir de quoi chaque partie est faite, un ordinateur ne peut pas simuler la façon dont un objet va tomber, rebondir ou rouler. Pendant des décies, l'écart entre l'apparence d'un objet et son comportement a été un obstacle majeur, laissant les créateurs numériques avec des ressources magnifiques mais statiques qui ne peuvent pas interagir avec les lois physiques d'une simulation.

Une équipe de chercheurs a développé un nouveau système appelé Gen2Physics pour combler ce fossé. Leur objectif était de prendre un maillage 3D statique généré et de déterminer automatiquement de quoi il est composé, en le décomposant en pièces distinctes prêtes pour la simulation. Au lieu d'essayer de construire l'objet à partir de zéro en gardant à l'esprit les propriétés physiques, leur méthode intervient après que l'objet a déjà été créé. Elle agit comme un détective numérique qui examine l'objet sous de nombreux angles, identifie le matériau de chaque petite zone de sa surface, puis reconstruit l'objet comme une collection de parties solides, chacune ayant son propre poids et sa propre densité. Le résultat est un atout numérique qui non seulement semble correct, mais se comporte également correctement lorsqu'il est lâché ou poussé dans un moteur physique.

Le processus commence en traitant l'objet 3D comme une sculpture qui doit être examinée de tous les côtés. Le système génère l'objet à partir de onze points de vue différents, un peu comme si l'on tournait autour d'une statue pour la voir sous tous ses angles. Pour chacun de ces points de vue, un modèle de vision par ordinateur spécialisé analyse l'image pour deviner le matériau de chaque pixel. Il cherche des indices comme la brillance, la texture et la couleur pour décider si une surface est du bois, du métal, du verre ou du tissu. Cependant, regarder un objet sous un seul angle peut être trompeur. Un reflet pourrait faire passer un pied en bois pour du métal, ou une ombre pourrait cacher une poignée en plastique. Pour résoudre cela, le système projette les onze vues sur le modèle 3D et utilise un système de vote. Si dix vues sur onze s'accordent pour dire qu'une face spécifique de l'objet est en métal, le système accepte cela comme la vérité. Cette étape garantit que la carte finale des matériaux est cohérente et exempte de la confusion causée par une perspective unique.

Même avec une carte cohérente, l'ordinateur peut encore commettre des erreurs basées sur ce qu'il voit. Une jambe fine et brillante pourrait ressembler à du métal pour une caméra, mais s'il s'agit d'une chaise, le bon sens suggère qu'il s'agit probablement de bois. Pour corriger ces erreurs logiques, le système emploie un grand modèle de langage, un type d'intelligence artificielle entraîné à comprendre le contexte. Ce modèle examine l'objet dans sa globalité, en considérant sa forme et sa fonction, et corrige les étiquettes de matériaux. Il peut décider qu'une partie étiquetée « métal » est en fait du « bois » parce qu'elle fait partie d'un pied de chaise, ou qu'une partie en « plastique » est en fait du « verre » parce qu'il s'agit d'un vase transparent. Cette étape ajoute une couche de raisonnement que l'analyse d'image pure ne peut atteindre, garantissant que les matériaux font sens dans le monde réel.

Une fois les matériaux correctement identifiés, le système fait face à un dernier défi : transformer ces surfaces plates en volumes solides et étanches. Un moteur de simulation ne peut pas travailler avec une coquille vide ; il a besoin de connaître l'intérieur de l'objet pour calculer sa masse et la façon dont il va pivoter. Le système remplit la géométrie manquante, créant des formes 3D complètes pour chaque partie matérielle. Il demande ensuite au modèle de langage de deviner si chaque partie est pleine ou creuse, comme un tuyau ou une coque. Si une partie est creuse, le système estime l'épaisseur des parois. Avec ces détails, il peut calculer la masse exacte et la répartition du poids de l'objet entier. Cela permet à l'ordinateur de savoir, par exemple, que la tête en métal lourd d'un robot est située en haut, ce qui fera qu'il basculera s'il est poussé, plutôt que de pivoter parfaitement autour de son centre.

Les chercheurs ont testé leur méthode sur une large collection de modèles 3D et l'ont comparée aux techniques précédentes. Ils ont découvert que leur approche était bien plus précise pour identifier les matériaux, étiquetant correctement près de la moitié des pièces de leur ensemble de test, ce qui est plus du double du taux de réussite des méthodes antérieures. Lorsqu'ils ont simulé la chute et la collision des objets, les résultats étaient frappants. Dans un test, une tête de robot faite de métal lourd et un corps en bois ont été lâchés. Les anciennes méthodes, qui traitaient l'objet entier comme ayant la même densité, ont provoqué une rotation autour de son centre géométrique de manière anormale. Le nouveau système, cependant, a correctement identifié la tête en métal lourd, a calculé le véritable centre de masse et a simulé une chute conforme à la physique réelle, la tête lourde tirant l'objet vers le bas et provoquant une rotation réaliste.

Ce travail représente une étape importante pour rendre le contenu numérique utilisable pour des applications interactives. En décomposant automatiquement les formes 3D complexes en leurs composants matériels et en leur attribuant des propriétés physiques réalistes, le système transforme des images statiques en objets dynamiques et interactifs. Les chercheurs notent que bien que leur méthode soit très efficace, elle dépend encore d'outils externes pour remplir la géométrie manquante et dépend de la qualité du modèle 3D initial. Ils soulignent également que leurs tests actuels sont limités à des objets où les matériaux sont visibles en surface, ce qui signifie que les objets avec des structures internes complexes invisibles de l'extérieur restent un défi. Néanmoins, la capacité de générer des ressources qui sont à la fois fidèles visuellement et physiquement plausibles ouvre la voie à des simulations plus réalistes en robotique, dans le jeu vidéo et l'ingénierie, rapprochant ainsi les mondes numérique et physique.