🤖 AI

EgoPhys: Learning Generalizable Physics Models of Deformable Objects from Egocentric Video

EgoPhys est un cadre qui apprend des modèles physiques généralisables pour créer des jumeaux numériques déformables contrôlables à partir de vidéos RGB égocentrées à vue unique, permettant la prédiction zero-shot de dynamiques complexes et facilitant la planification robotique en conditions réelles sans optimisation par objet.

Auteurs originaux : Hyunjin Kim, Ri-Zhao Qiu, Guangqi Jiang, Xiaolong Wang

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hyunjin Kim, Ri-Zhao Qiu, Guangqi Jiang, Xiaolong Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous portiez des lunettes intelligentes qui enregistrent tout ce que vous faites. Vous prenez une serviette, vous la secouez, vous la pliez et vous la jetez sur un lit. Maintenant, imaginez un robot regardant cette même vidéo et comprenant instantanément exactement comment cette serviette fonctionne : quel est son poids, son élasticité, et comment elle va s'affaisser si vous la tirez sous un angle différent.

C'est l'idée centrale d'EgoPhys, un nouveau système créé par des chercheurs de l'UC San Diego. Voici une explication simple de son fonctionnement, en utilisant des analogies du quotidien.

Le Problème : Les robots ne « comprennent » pas les objets mous

Les robots sont excellents pour déplacer des objets rigides comme des boîtes ou des tasses. Mais les objets mous et spongieux comme les couvertures, la pâte à modeler ou les vêtements sont un cauchemar pour eux. Pour simuler ces objets sur un ordinateur, il faut généralement des scanners 3D coûteux, un éclairage parfait et beaucoup de temps pour mesurer chaque minuscule détail.

Les méthodes existantes sont comme essayer d'apprendre à jongler en regardant une vidéo au ralenti d'un professionnel en studio. C'est précis, mais cela ne fonctionne pas bien si vous essayez d'apprendre à partir d'une vidéo tremblante filmée par un débutant dans une cuisine en désordre.

La Solution : Apprendre du « Jeu Humain »

EgoPhys change la donne en apprenant à partir de la vidéo égocentrée — c'est-à-dire une vidéo enregistrée du point de vue d'une personne (comme une GoPro sur votre tête).

Les « Lunettes Magiques » (Vidéo Égocentrée) : Le système prend une simple vidéo d'un humain jouant avec un objet mou (comme tirer sur une serviette ou presser un peluche). Il n'a pas besoin de capteurs de profondeur ou de caméras spéciales ; juste d'un flux vidéo standard.
Le « Croquis Grossier » (Initialisation Grossière) : D'abord, le système construit un modèle 3D de base de l'objet et devine sa physique générale. Considérez cela comme un enfant faisant un croquis rapide d'un chien. Cela ressemble à un chien, mais les pattes peuvent être un peu bancales.
Le « Aide-mémoire » (Le Codebook) : C'est la grande innovation de l'article. Au lieu d'essayer de calculer la physique pour chaque nouvel objet à partir de zéro (ce qui est lent et difficile), EgoPhys crée un « aide-mémoire » compact ou une bibliothèque de règles physiques.
- Imaginez que vous ayez une bibliothèque de « règles d'élasticité » et de « règles de mollesse ».
- Quand le robot voit une nouvelle serviette qu'il n'a jamais rencontrée auparavant, il n'a pas besoin de réapprendre la physique de zéro. Il regarde simplement la serviette, consulte son « aide-mémoire », et sait instantanément : « Ah, cela ressemble à l'entrée 'serviette moelleuse' dans ma bibliothèque. Je sais exactement comment elle doit se plier. »

Comment cela fonctionne en pratique

Les chercheurs ont entraîné ce système sur un ensemble de données de personnes interagissant avec divers objets mous (serviettes, peluches, sacs). Ils ont appris à l'IA à distiller la physique complexe de ces interactions dans un codebook réutilisable et compact.

Pas de « Devoirs par Ressort » : Habituellement, pour simuler un objet mou, un ordinateur doit résoudre un problème mathématique pour chaque petit ressort individuel à l'intérieur de l'objet à chaque fois qu'il le voit. EgoPhys saute cette étape. Il utilise son « aide-mémoire » pour prédire le comportement instantanément, sans avoir besoin de faire les calculs lourds pour chaque nouvelle vidéo.
Généralisation Zero-Shot : Cela signifie que si vous montrez à EgoPhys une vidéo d'un humain jouant avec un nouveau type de tissu qu'il n'a jamais vu, il peut toujours prédire comment ce tissu va bouger. C'est comme voir un nouveau type de gelée pour la première fois et savoir immédiatement comment elle va osciller parce que vous comprenez les règles générales de la « gelée ».

Le Test du Robot

Pour prouver que cela fonctionne dans le monde réel, l'équipe a connecté EgoPhys à un véritable bras robotique (un xArm6).

Ils ont montré au robot une vidéo d'un humain jouant avec une serviette.
EgoPhys a construit un « jumeau numérique » (une copie virtuelle) de cette serviette dans l'ordinateur.
Le robot a ensuite utilisé ce jumeau numérique pour planifier comment déplacer la vraie serviette.
Le Résultat : Le robot a réussi à déplacer la vraie serviette en se basant sur le plan qu'il avait élaboré dans la simulation. Les résultats du monde réel correspondaient aux prédictions de l'ordinateur, prouvant que le robot pouvait « apprendre » la physique à partir de la vidéo d'un humain et l'appliquer à son propre corps.

Pourquoi c'est important

L'article affirme que c'est le premier système capable de construire un modèle entièrement interactif et physiquement précis d'un objet mou à partir d'une vidéo unique, non calibrée et portée sur soi.

Avant : Il fallait un laboratoire, des scanners 3D et des heures de calcul pour simuler un objet mou.
Maintenant : Vous pouvez prendre une vidéo avec une caméra intelligente, et l'IA construit instantanément un modèle physique qu'un robot peut utiliser pour planifier ses actions.

En résumé, EgoPhys apprend aux robots à comprendre la « mollesse » du monde en les faisant observer les humains jouer avec, transformant de simples vidéos en outils puissants pour la planification robotique.

Résumé Technique : EgoPhys

Énoncé du Problème

Prédire fidèlement la dynamique complexe des objets déformables (par exemple, les matériaux élastiques, les tissus) reste un défi majeur en vision par ordinateur et en robotique. Alors que les humains infèrent naturellement la physique des objets à travers leurs interactions quotidiennes, les méthodes computationnelles actuelles font face à une dichotomie :

Modèles Vidéo Génératifs : Les récentes avancées de l'apprentissage préalable de la vision peuvent produire des vidéos visuellement plausibles de la dynamique des objets, mais manquent de modélisation physique explicite, ce qui limite l'interprétabilité et la simulation conditionnée par l'action lors de nouvelles interactions.
Identification de Systèmes Basée sur la Physique : Les méthodes existantes qui récupèrent des objets simulables nécessitent généralement une capture en troisième personne contrôlée, des capteurs de profondeur, un étalonnage précis ou une optimisation par scène. Ces exigences entravent la scalabilité et empêchent la construction de « jumeaux numériques » à partir des données monoculaires, égocentrées (à la première personne) et non structurées que les humains fournissent naturellement.

Le problème central abordé est la manière de construire des jumeaux numériques physiques déformables et contrôlables à partir d'une seule vidéo RGB égocentrée sans capteurs de profondeur, sans calibration multi-vues, ni optimisation par objet au moment du test.

Méthodologie

EgoPhys est un cadre qui apprend des priors physiques généralisables pour combler le fossé entre l'observation égocentrée et la simulation physique. Le pipeline se compose de trois étapes principales :

1. Reconstruction 4D Égocentrée

Le système reconstruit des nuages de points 4D temporellement cohérents à partir d'une seule vidéo RGB portable (par exemple, Meta Project Aria).

Traitement des Entrées : Les images sont extraites, déformées (undistorted) et segmentées pour isoler l'objet et le manipulateur (la main) à l'aide de Grounded-SAM2. Des trajectoires 2D denses sont suivies avec CoTracker3.
Élévation 3D (3D Lifting) : Contrairement aux méthodes supposant des caméras RGB-D synchronisées, EgoPhys utilise VGGT pour prédire les coordonnées mondiales 3D par pixel et les paramètres de la caméra à partir du seul RGB.
Filtrage : Les points sont filtrés sur la base de cartes de confiance et de plages de profondeur. Les régions manquantes causées par l'occlusion égocentrée sont complétées à l'aide de TRELLIS, et les plans de sol sont déduits des points les plus bas observés.
Sortie : Un nuage de points 4D métriquement cohérent avec des régions objet et main séparées.

2. Initialisation de la Physique par Objet

Un simulateur de masse-ressort grossier est ajusté à chaque séquence d'entraînement via une physique inverse.

Représentation : Les objets sont modélisés comme des graphes masse-ressort $G=(V, E)$ . Les forces sont calculées en fonction de la raideur du ressort ( $k_{ij}$ ), de la longueur de repos ( $l_{ij}$ ) et de l'amortissement ( $\gamma$ ).
Optimisation : En utilisant CMA-ES (Stratégie d'évolution par adaptation de la matrice de covariance), le système estime la topologie du graphe et les paramètres physiques globaux grossiers en minimisant les écarts de géométrie (distance de Chamfer) et de mouvement (suivi) par rapport au nuage de points 4D observé.
Contrôleur : Les points de contrôle (mains) sont connectés aux points de l'objet via une recherche de rayon, avec des longueurs de repos initialisées à partir des distances observées entre la main et l'objet.

3. Prior de Physique Basé sur un Codebook (Généralisation)

Pour éviter une optimisation coûteuse par ressort au moment du test pour de nouveaux objets, EgoPhys distille les solutions de raideur denses des objets d'entraînement dans un codebook de matériaux compact et réutilisable.

Paramétrage : Au lieu de prédire une raideur absolue, le modèle prédit un décalage de log-raideur ( $\Delta_{e,t}$ ) par rapport à la raideur globale grossière ( $\bar{k}$ ) estimée par CMA-ES.
Encodage de Caractéristiques : Pour chaque ressort, un vecteur de caractéristiques $\phi_{e,t}$ $ϕ_{e, t}$ est construit, concaténant :
- Caractéristiques statiques : Géométrie de repos, degrés de liberté des extrémités, drapeaux de type de ressort et indices de forme.
- Caractéristiques dynamiques : Déformation ( $\epsilon$ ), taux de déformation ( $\dot{\epsilon}$ ), orientation et hauteur.
Modélisation Asymétrique : Deux banques de prototypes ( $C_+, C_-$ ) gèrent la tension et la compression séparément. Un MLP léger mappe les caractéristiques vers des assignations de prototypes doux (via softmax), sélectionnant un mélange de prototypes pour déterminer le décalage de raideur.
Entraînement : Le système est entraîné avec une combinaison de pertes de déroulement (géométrie et mouvement) et un terme de distillation qui correspond aux cibles de log-raideur denses dérivées de l'initialisation par physique inverse. Des régulariseurs assurent la diversité des prototypes et la décision des assignations.

Contributions Clés

Jumeaux Déformables Egocentrés RGB-Only : EgoPhys est présenté comme le premier cadre capable de construire des jumeaux numériques physiques déformables à partir d'une seule vidéo RGB égocentrée, éliminant le besoin de capteurs de profondeur ou de capture multi-vues calibrée.
Prior de Physique Généralisable : Les auteurs proposent un codebook de matériaux dépendant de l'état qui distille les champs de raideur de ressorts denses des objets en primitives physiques réutilisables. Cela permet au système de prédire des champs de raideur denses pour des objets inconnus sans raffinement par ressort au moment du test.
Benchmark Égocentré et Validation Robotique : Un nouveau jeu de données d'interactions d'objets déformables égocentrées a été constitué. Le cadre a été évalué sur la reconstruction, la prédiction future et la généralisation zero-shot. De plus, un jumeau numérique initialisé à partir d'une seule vidéo de jeu humain a été déployé sur un véritable robot xArm6, démontrant son utilité comme représentation du monde interne pour la planification d'objets déformables.

Résultats Expérimentaux

Reconstruction et Prédiction : Dans les configurations de raffinement par séquence, EgoPhys a surpassé les bases de comparaison adaptées (PhysTwin et Spring-Gaus) tant en termes de reconstruction que de prédiction future. Il a obtenu une distance de Chamfer (CD) et une erreur de suivi (TE) plus faibles, ainsi qu'un IoU plus élevé, indiquant une meilleure cohérence de la géométrie et du mouvement.
Généralisation Zero-Shot : Lorsqu'il est évalué sur des catégories d'objets et des schémas d'interaction non vus sans raffinement par ressort, EgoPhys surpasse significativement PhysTwin. Le prior appris s'est transféré avec succès aux objets inconnus, maintenant une haute fidélité de simulation.
Études d'Ablation :
- Le goulot d'étranglement des prototypes (codebook) s'est avéré essentiel ; remplacer cela par un MLP direct a dégradé les performances, suggérant que le codebook agit comme un régulariseur.
- Le conditionnement dynamique (utilisation de caractéristiques de mouvement) a amélioré la cohérence temporelle des dynamiques de déroulement.
- Un codebook compact avec $K=4$ prototypes offrait le meilleur compromis entre précision et taille de représentation.
Transfert Sim-to-Real : Les expériences sur le robot xArm6 ont montré que les trajectoires planifiées dans la simulation EgoPhys (basées sur une seule vidéo humaine) ont abouti à des schémas de déformation cohérents avec l'exécution réelle, réduisant l'erreur de configuration de l'objet.

Signification et Revendications

L'article affirme qu'EgoPhys répond au goulot d'étranglement de la scalabilité dans les pipelines real-to-sim pour les objets déformables. En exploitant des priors généralisables appris à partir de diverses interactions humaines, le cadre permet la création de simulations interactives et physiquement précises à partir de données monoculaires et de première personne non structurées.

Les auteurs positionnent ce travail comme une étape vers des systèmes autonomes capables d'« apprendre des humains » pour comprendre la physique des objets. La capacité d'initialiser un jumeau numérique à partir d'une seule vidéo de jeu humain et de l'utiliser pour la planification robotique souligne une voie scalable pour déployer des robots dans des environnements riches en contacts et déformables, sans nécessole de calibration coûteuse ou de configurations de capture contrôlées. Ce travail complète les méthodes basées sur la physique existantes en ciblant les défis spécifiques de l'observation égocentrée (mouvement de caméra, occlusion, absence de profondeur) tout en maintenant une haute fidélité de simulation.