💻 computer science

DeformMaster: An Interactive Physics-Neural World Model for Deformable Objects from Videos

DeformMaster est un modèle du monde interactif physique-neural qui apprend à partir de vidéos du monde réel pour simuler des objets déformables en unifiant la dynamique physique et l'apparence haute fidélité, permettant une prédiction précise du futur, un déploiement d'actions nouvelles et une synthèse de vues dynamiques.

Auteurs originaux : Can Li, Zhoujian Li, Ren Li, Jie Gu, Lei Lei, Jingmin Chen, Lei Sun

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Can Li, Zhoujian Li, Ren Li, Jie Gu, Lei Lei, Jingmin Chen, Lei Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une vidéo d'une main serrant une balle anti-stress molle, tirant sur un morceau de tissu ou tordant un jouet en caoutchouc. Maintenant, imaginez que vous voulez enseigner à un ordinateur non seulement regarder cette vidéo, mais comprendre comment cet objet fonctionne afin que vous puissiez lui demander : « Que se passe-t-il si je tire plus fort ? » ou « Et si je le serre par le côté ? » ou même « Montre-moi à quoi il ressemble par derrière. »

C'est exactement ce que fait DeformMaster. Il transforme une simple vidéo en un « jumeau numérique » interactif d'un objet mou et extensible avec lequel vous pouvez jouer en temps réel.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le problème : Pourquoi est-ce difficile ?

La plupart des programmes informatiques qui tentent de simuler des objets mous (comme du tissu, des cordes ou de la gelée) sont comme des robots rigides. Ils suivent des règles physiques strictes, mais la vie réelle est désordonnée. Un vrai morceau de tissu peut avoir un pli étrange, ou un jouet en caoutchouc peut être légèrement plus raide à un endroit qu'à un autre. Si vous essayez de simuler cela avec des mathématiques parfaites, cela ressemble souvent à du faux ou se désintègre. Si vous essayez de l'apprendre purement à partir de données (comme une intelligence artificielle de jeu vidéo), elle peut se confondre et commencer à faire des choses impossibles, comme flotter en l'air.

2. La solution : Une équipe « Physique + IA »

DeformMaster résout ce problème en utilisant une équipe de deux personnes pour exécuter la simulation :

L'expert en physique (la « Base ») : Il s'agit d'un moteur physique standard et fiable (comme celui utilisé dans les jeux vidéo) qui connaît les règles de base du mouvement, de l'étirement et du rebond des objets. Il fournit une fondation stable.
L'assistant IA (le « Résidu ») : Il s'agit d'un réseau de neurones (un type d'IA) qui agit comme une « couche de correction ». Il observe l'expert en physique et dit : « Hé, la vraie vidéo montre que le tissu se tord un peu différemment de ce que vos mathématiques prédisent. Laissez-moi ajouter une petite pichenette ici pour corriger cela. »

Pensez-y comme à un GPS. L'expert en physique est la carte montrant les routes principales. L'assistant IA est le conducteur local qui connaît les nids-de-poule, les travaux et les raccourcis que la carte ne montre pas. Ensemble, ils vous amènent parfaitement à destination.

3. Gérer la « main » (le contrôleur)

Dans la vidéo, une main touche l'objet. Mais les caméras ne sont pas parfaites ; le suivi de la main peut être tremblant ou saccadé.

L'ancienne méthode : Si vous dites à la simulation de bouger exactement là où se trouve la main tremblante, l'objet peut vibrer violemment ou se briser.
La méthode DeformMaster : Elle utilise quelque chose appelé Actionneurs Comportants Distribués. Imaginez qu'au lieu d'un doigt rigide poussant l'objet, vous ayez un gant doux et duveteux qui répartit doucement la force sur une zone plus large. Cela lisse les données tremblantes de la caméra et pousse l'objet naturellement, tout comme le ferait une vraie main.

4. Gérer différents matériaux (le « mélange »)

Les objets réels ne sont pas faits d'une substance uniforme. Un animal en peluche peut avoir un ventre mou mais un nez plus raide.

L'ancienne méthode : De nombreux modèles supposent que tout l'objet est fait du même matériau exact (comme un énorme bloc de gelée).
La méthode DeformMaster : Elle utilise un Mélange d'Experts Constitutifs. Pensez-y comme à un « mélangeur de saveurs ». Il réalise qu'une partie de l'objet peut être « Néo-Hookéenne » (très extensible), tandis qu'une autre partie est « Saint-Venant-Kirchhoff » (plus rigide). Il mélange ces différentes « saveurs » de physique sur toute la surface de l'objet pour correspondre parfaitement à la vidéo réelle.

5. Le résultat : Une aire de jeux interactive

Une fois que DeformMaster a appris à partir de la vidéo, il ne se contente pas de rejouer la vidéo. Il crée un Modèle du Monde.

Nouvelles actions : Vous pouvez lui demander de tirer sur l'objet dans une direction que la vidéo originale n'a jamais montrée, et il prédira le résultat de manière réaliste.
Nouveaux matériaux : Vous pouvez lui dire : « Rends cet objet 3 fois plus mou », et il simulera comment cette version plus douce se comporterait (en montrant même qu'il se déchire ou se fracture si vous tirez trop fort).
Nouvelles vues : Vous pouvez demander de voir l'objet sous un angle de caméra qui n'était pas dans la vidéo originale, et il générera une image de haute qualité de celui-ci.

Résumé

DeformMaster est comme prendre une vidéo d'un jouet mou et le transformer en un niveau de jeu vidéo jouable et physiquement précis. Il combine la fiabilité des règles physiques avec la flexibilité de l'IA pour gérer les détails désordonnés du monde réel, vous permettant d'interagir avec l'objet de manières que vous n'avez jamais vues auparavant.

Ce que l'article affirme réellement :

Il fonctionne sur des vidéos réelles de cordes, de tissus et de jouets mous.
Il est plus précis pour prédire les mouvements futurs et générer des images que les méthodes précédentes (comme PhysTwin ou Spring-Gaus).
Il permet des « simulations à long terme », ce qui signifie que vous pouvez simuler le mouvement de l'objet pendant une longue durée sans qu'il ne dérive vers des absurdités.
Il prend en charge la modification des propriétés matérielles (comme rendre les choses plus molles) et leur visualisation sous de nouveaux angles.
Il fonctionne à des vitesses interactives (plus de 15 images par seconde), permettant une manipulation en temps réel.

Résumé Technique : DeformMaster

Énoncé du Problème

Les modèles du monde pour les objets déformables doivent restituer non seulement la géométrie et l'apparence, mais aussi les dynamiques physiques sous-jacentes, l'ancrage des interactions et le comportement des matériaux. L'apprentissage de tels modèles à partir de vidéos du monde réel est difficile car les objets déformables (linéaires, plans et volumétriques) évoluent dans des espaces d'état de haute dimension régis par des déformations distribuées, des réponses matérielles complexes, des auto-contacts et des forces externes.

Les approches existantes présentent des limitations significatives :

Reconstruction basée sur la physique (par exemple, PhysTwin, Spring-Gaus) repose souvent sur des modèles physiques idéalisés où l'identification des paramètres peine à rendre compte des phénomènes réels au-delà des hypothèses du modèle.
Modèles génératifs (par exemple, diffusion vidéo) imaginent principalement des résultats visuels mais manquent souvent d'une compréhension fiable des dynamiques conditionnées par l'action, ce qui les rend difficiles à contrôler via des interactions explicites et sujets à des dynamiques hallucinées.
Dynamiques purement apprises (par exemple, réseaux de particules-graphes) souffrent d'une forte dépendance aux données, restent liées aux distributions d'entraînement et dérivent considérablement lors de simulations à long horizon sous des actions nouvelles.

Le défi central consiste à construire un modèle qui infère les états physiques à partir d'observations visuelles, les fait évoluer sous de nouvelles interactions et génère des dynamiques haute fidélité tout en restant stable, généralisable et ancré dans la physique.

Méthodologie : DeformMaster

DeformMaster est un modèle du monde interactif physique-neural dérivé de vidéos, qui unifie les dynamiques et l'apparence au sein d'un cadre unique. Il transforme des vidéos d'interaction réelles en une représentation en ligne, interrogeable, supportant des simulations de nouvelles actions, des variations de paramètres matériels et une synthèse de vues nouvelles dynamiques. Le système comprend quatre composants clés :

1. Dynamique de Grille-Particules Physique-Neurale (PNPGD)

Pour équilibrer la stabilité des priors physiques avec la flexibilité nécessaire pour modéliser les écarts du monde réel, DeformMaster décompose l'opérateur de dynamique $F_{\theta,\phi}$ en un bloc physique $P_\theta$ et un résidu neural $R_\phi$ :
$F_{\theta,\phi} = P_\theta \oplus R_\phi$

Bloc Physique ( $P_\theta$ ) : Utilise la méthode des points matériels (MPM) différentiable pour faire avancer l'état sur un cadre basé sur les paramètres matériels $\theta$ . Cela fournit un prior structuré et stable.
Résidu Neural ( $R_\phi$ ) : Un réseau de neurones grille-particules qui prédit une correction de vitesse bornée $\Delta v_p$ basée sur l'état post-MPM et une courte histoire cinématique. Ce résidu absorbe les effets non modélisés (par exemple, frottement, contact complexe) sans agir comme un prédicteur d'état libre, garantissant que le modèle reste une perturbation de la simulation physique plutôt qu'un remplacement complet.

2. Actionneurs Déformables Distribués (DCA)

Les trajectoires de mains réelles dérivées de la vision sont bruyantes et éparses. Des contraintes ponctuelles rigides conduisent souvent à des pics de vitesse ou à des déformations localisées qui échouent à entraîner un mouvement de masse. Le DCA résout cela par :

Déformabilité : Conversion des contraintes rigides en couplages actionneur-particule déformables (utilisant la rigidité $k_p$ et l'amortissement $k_d$ ) pour absorber le bruit haute fréquence.
Distribution : Répartition de l'action sur une zone de contact finie (voisinage local) plutôt que sur un point unique, permettant une transmission efficace de la force à travers des milieux continus mous.

3. Mélange d'Experts Constitutifs (MoCE)

Les objets déformables réels respectent rarement une seule loi constitutive idéalisée. Le MoCE représente la contrainte de Piola–Kirchhoff première comme un mélange spatialement variable d'experts canoniques (Neo-Hookean, Corotated, St. Venant–Kirchhoff) :
$P_{mix}(F_p) = \sum_k w_{k,p} P_k(F_p; E_p, \nu_p)$
Les poids du mélange $w_{k,p}$ varient spatialement, permettant au modèle de capturer des réponses matérielles hétérogènes à travers différentes régions de l'objet tout en restant ancré dans des lois constitutives analytiques.

4. Apparence 4D Ancrée dans la Physique

Pour restituer une apparence haute fidélité sans ré-optimiser un modèle dynamique pour chaque action, DeformMaster entraîne une représentation par Splatting Gaussien utilisant la trajectoire prédite des particules matérielles. Une fonction de pont $B_\psi$ déforme les Gaussiens en utilisant le Skinning Linéaire Mixte (LBS) de manière incrémentale basée sur le mouvement des particules. Cela garantit que l'apparence restituée reste cohérente avec l'évolution physique sous-jacente.

Schéma d'Entraînement

Le modèle est entraîné avec un objectif combiné minimisant les erreurs de dynamique (alignement des trajectoires, distance de Chamfer de forme, préservation de la longueur locale) et les erreurs d'apparence (perte photométrique RVB). L'entraînement se déroule en étapes :

Étapes 1–2 : Optimisation alternée entre l'entraînement de la dynamique (apprentissage des champs matériels et des résidus neuronaux) et la sélection des gains de l'Actionneur Déformable Distribué (DCA) utilisant CMA-ES.
Étape 3 : Optimisation des splats gaussiens suivie d'un affinage guidé par RVB de la branche dynamique, où les gradients photométriques remontent vers le mouvement des particules et le résidu neural.

Contributions Clés

PNPGD : Un modèle de transition hybride qui enrichit la physique différentiable d'un résidu neural, préservant les simulations guidées par la physique tout en compensant les effets réels non modélisés.
DCA : Un mécanisme pour transformer des trajectoires de mains bruyantes et éparses en une action déformable et spatialement distribuée, stabilisant l'interaction main-milieu continu.
MoCE : Une approche de modélisation constitutive qui mélange des lois matérielles canoniques avec des poids variant spatialement pour capturer des réponses matérielles hétérogènes.
Système DeformMaster : Un modèle du monde unifié dérivé de vidéos qui associe des dynamiques physique-neurales interactives à une apparence 4D haute fidélité ancrée dans la physique, supportant l'interaction en ligne.

Résultats Expérimentaux

DeformMaster a été évalué sur 20 séquences d'objets déformables réels issues du jeu de données PhysTwin, couvrant des objets linéaires (cordes), plans (tissus/emballages) et volumétriques (jouets souples).

Performance Globale : DeformMaster a obtenu les meilleures performances globales, surpassant les références (PhysTwin, Spring-Gaus, GS-Dynamics) tant pour les dynamiques futures (IoU, distance de Chamfer) que pour l'apparence restituée (PSNR, SSIM, LPIPS).
Comparaison avec PhysTwin : Tout en maintenant une erreur de trajectoire comparable, DeformMaster a amélioré la distance de Chamfer (0,011 contre 0,012) et l'IoU (0,748 contre 0,734).
Comparaison avec des Dynamiques Apprises : La méthode a réduit significativement la distance de Chamfer (de plus de 3 $\times$ ) et l'erreur de trajectoire (de plus de 2,9 $\times$ ) par rapport aux références de dynamiques gaussiennes purement apprises.
Généralisation : Le modèle a supporté avec succès des simulations sous des actions nouvelles, des variations de paramètres matériels (par exemple, mise à l'échelle des champs matériels pour induire une fracture) et une synthèse de vues nouvelles.
Études d'Ablation :
- Le retrait du résidu neural a dégradé les performances, confirmant la nécessité de faire le pont entre la physique idéalisée et les observations réelles.
- Le remplacement du DCA par des contraintes rigides ou des actionneurs ponctuels a provoqué une divergence ou réduit la précision, validant la nécessité de la déformabilité et de la distribution.
- Le remplacement du MoCE par un seul expert a empiré les résultats, démontrant la nécessité d'une modélisation matérielle variant spatialement.
- L'affinage guidé par RVB à l'étape 3 a apporté des gains constants dans les métriques de dynamique et d'apparence.

Importance et Revendications

L'article revendique que DeformMaster représente une avancée significative vers des modèles du monde robustes et interactifs pour les objets déformables. En restaurant conjointement les dynamiques physiques, l'ancrage des interactions et le comportement des matériaux, le modèle surmonte les limitations des approches purement génératives (qui manquent de contrôlabilité de l'action) et des approches purement basées sur la physique (qui peinent avec la complexité du monde réel).

Les auteurs soulignent que DeformMaster permet :

Des simulations stables à long horizon sous des actions nouvelles.
Une interaction robuste malgré des observations visuelles bruyantes.
Une modélisation matérielle hétérogène sans supposer une loi constitutive globale unique.
Une apparence 4D haute fidélité pilotée directement par l'évolution physique.

Ce travail se positionne comme une fondation pour des applications incarnées en aval, telles que la manipulation robotique basée sur le contrôle prédictif de modèle et la génération de données synthétiques, tout en reconnaissant des limitations concernant les objets plans très fins (où les systèmes masse-ressort peuvent encore détenir un biais inductif) et les dépendances temporelles aux sous-étapes de simulation.