PhysGM: Large Physical Gaussian Model for Feed-Forward 4D Synthesis

Each language version is independently generated for its own context, not a direct translation.

🎬 PhysGM : Le Magicien qui donne vie aux objets en une seconde

Imaginez que vous regardez une photo d'une balle en caoutchouc, d'un bloc de glace ou d'une statue en pierre. Aujourd'hui, si vous voulez voir cette balle rebondir ou cette glace fondre dans un jeu vidéo, il faut des heures de calculs, des experts en physique et des milliers de photos de l'objet sous tous les angles.

PhysGM change la donne. C'est comme si vous aviez un magicien qui, en regardant une seule photo, devine instantanément :

À quoi ressemble l'objet en 3D.
De quoi il est fait (est-ce du métal dur ? Du gel mou ?).
Comment il va bouger s'il tombe ou s'il est poussé.

Et le tout, il le fait en moins d'une minute, sans avoir besoin de faire des calculs compliqués à chaque fois.

🧩 Comment ça marche ? (L'analogie du Chef Cuisinier)

Pour comprendre la méthode, imaginons un chef cuisinier très talentueux.

1. Le problème des anciennes méthodes (Le Chef qui apprend à chaque fois)

Avant, pour simuler un objet, les ordinateurs agissaient comme un apprenti cuisinier qui devait réapprendre à cuisiner à chaque nouveau plat.

Ils prenaient l'objet, le scannaient sous 100 angles différents.
Ils passaient des heures à régler les paramètres (la "recette" de la physique) pour que ça ressemble à la réalité.
C'était lent, cher et ne fonctionnait que pour cet objet précis.

2. La solution PhysGM (Le Chef Expert)

PhysGM, c'est un Chef Expert qui a déjà goûté à des milliers de plats différents.

L'entraînement (La mémoire du chef) : Les chercheurs ont créé une immense bibliothèque de 50 000 objets (appelée PhysAssets). Chaque objet est étiqueté avec sa "recette physique" (est-ce que c'est dur ? mou ? collant ?) et une vidéo de ce qu'il fait quand on le lance.
La prédiction (Le coup d'œil) : Quand vous montrez une photo à PhysGM, il ne cherche pas la recette. Il dit : "Ah, je reconnais ça ! C'est comme le bloc de gelée que j'ai vu hier. Je sais exactement comment il va réagir."
Le résultat : Il sort immédiatement la forme 3D de l'objet et sa recette physique.

🚀 Les deux étapes de l'apprentissage

Pour devenir ce chef expert, PhysGM a suivi deux étapes d'école culinaire :

L'École de Théorie (Apprentissage supervisé) :
Le modèle a étudié les 50 000 objets de la bibliothèque. Il a appris à associer l'apparence d'un objet (sa couleur, sa texture) à sa matière (s'il est en métal, en bois, en caoutchouc). C'est comme apprendre par cœur les propriétés de chaque ingrédient.
L'École de Goût (Optimisation par préférence - DPO) :
Parfois, la théorie ne suffit pas. Un objet peut sembler en métal mais se comporter comme du plastique.
- PhysGM imagine plusieurs scénarios de chute pour un objet.
- Il compare ces scénarios à des vidéos réelles (les "vrais" résultats).
- Il se dit : "Celui-ci a l'air plus réaliste, je vais retenir cette recette. Celui-là fait trop bizarre, je l'oublie."
- C'est comme un critique gastronomique qui aide le chef à affiner ses plats pour qu'ils soient parfaits, sans avoir besoin de refaire le plat 100 fois.

⚡ Pourquoi c'est révolutionnaire ?

Vitesse éclair : Avant, il fallait des heures pour simuler un objet. Maintenant, c'est fait en moins d'une minute (souvent moins de 30 secondes). C'est comme passer de l'écriture à la main à l'impression 3D instantanée.
Zéro calcul à la demande : Vous n'avez pas besoin d'un super-ordinateur pour chaque nouvelle photo. Le modèle a déjà "appris" la physique. Il suffit qu'il regarde la photo pour prédire le mouvement.
Réalisme : Grâce à la physique réelle (et non pas juste une animation dessinée), si vous faites tomber une statue en pierre, elle va se briser comme une vraie statue. Si vous faites tomber une balle en gelée, elle va rebondir et trembler comme de la gelée.

🌍 À quoi ça sert dans la vraie vie ?

Imaginez ces applications :

Jeux vidéo : Vous prenez une photo de votre chien, et il devient un personnage de jeu qui peut courir, sauter et réagir physiquement à son environnement instantanément.
Robots : Un robot peut voir un objet dans une pièce, deviner s'il est lourd ou fragile, et savoir comment le saisir sans le casser, le tout en temps réel.
Réalité Virtuelle : Créer des mondes entiers où tout a un comportement physique réaliste, juste en regardant des photos.

En résumé

PhysGM, c'est comme donner à un ordinateur un livre de physique universel et une mémoire visuelle. Au lieu de calculer la physique à chaque fois (ce qui est lent), il se souvient de la physique de millions d'objets et la réutilise instantanément pour donner vie à n'importe quelle photo en 3D. C'est un pas de géant vers des mondes virtuels qui bougent et réagissent comme le monde réel, mais à la vitesse de l'éclair.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Le domaine de la synthèse de contenu 4D (scènes 3D dynamiques) basé sur la physique souffre actuellement de limitations majeures :

Dépendance à l'optimisation par scène : Les méthodes existantes reposent souvent sur une reconstruction itérative et coûteuse en temps (par exemple, via Score Distillation Sampling - SDS) pour chaque nouvelle scène, ce qui empêche une application en temps réel ou à grande échelle.
Séparation de l'apparence et de la physique : Les approches actuelles concatènent souvent un modèle 3D pré-construit (comme le 3D Gaussian Splatting ou 3DGS) avec un module physique, ignorant les indices physiques cachés dans l'apparence visuelle.
Manque de données et de généralisation : L'absence de grands jeux de données annotés avec des propriétés physiques réalistes et des vidéos de référence limite l'apprentissage de modèles génératifs capables de prédire directement le comportement physique.

L'objectif est de créer un cadre capable de générer une simulation 4D physiquement plausible à partir d'une seule image en une seule passe (feed-forward), sans optimisation par scène.

2. Méthodologie : PhysGM

PhysGM est un cadre d'inférence feed-forward basé sur un transformateur qui prédit simultanément la représentation géométrique/appearance et les propriétés physiques d'un objet.

A. Architecture du Modèle

Le modèle prend en entrée une ou plusieurs images (une image unique est augmentée par un module MVAdapter pour générer des vues auxiliaires) et leurs paramètres de caméra.

Encodage Multi-modal : Utilisation de DINOv3 pour extraire les caractéristiques d'image et d'un encodeur pour les coordonnées de rayons (Plücker) afin de capturer la géométrie de la caméra.
Backbone Transformateur : Un transformateur de 24 couches traite les tokens d'entrée pour apprendre des représentations contextuelles.
Têtes de Prédiction :
- Tête DPT (Dense Prediction Transformer) : Prédit les paramètres du 3D Gaussian Splatting (position, échelle, rotation, opacité, coefficients harmoniques sphériques) pour la géométrie et l'apparence.
- Tête Physique : Prédit une distribution de probabilité sur les propriétés physiques : la classe de matériau, le module de Young ( $E$ , rigidité) et le coefficient de Poisson ( $\nu$ , compressibilité). Cette formulation probabiliste permet de gérer l'incertitude inhérente à l'estimation physique depuis une image.

B. Simulation Physique (MPM)

Les paramètres prédits initialisent un simulateur basé sur la Méthode des Points Matériels (MPM).

Il existe une correspondance 1-to-1 entre chaque point matériel et un gaussien 3D.
La position des particules met à jour le centre des gaussiens.
Le gradient de déformation ( $F_p$ ) issu de la simulation physique est décomposé (décomposition polaire) pour déterminer la rotation et l'échelle anisotrope des gaussiens, garantissant que le rendu visuel reflète fidèlement la déformation physique simulée.

C. Stratégie d'Entraînement en Deux Étapes

Pour surmonter le manque de données et améliorer la qualité perceptive, les auteurs proposent un paradigme d'entraînement innovant :

Pré-entraînement Supervisé : Le modèle est entraîné sur le nouveau jeu de données PhysAssets pour apprendre un prior physique généralisable et prédire simultanément la géométrie 3DGS et les paramètres physiques.
Affinement par Optimisation Directe des Préférences (DPO) : Au lieu d'utiliser des méthodes coûteuses comme le SDS, les auteurs utilisent le DPO.
- Le modèle génère plusieurs candidats de simulation.
- Ces candidats sont comparés à des vidéos de référence (Ground Truth) en utilisant des métriques de trajectoire (extraction de points avec CoTracker-3 et segmentation avec SAM-2).
- Les paires "gagnant-perdant" sont utilisées pour affiner le modèle, l'orientant vers des paramètres produisant des simulations physiquement plausibles et temporellement cohérentes, sans nécessiter de rétropropagation à travers le simulateur physique.

3. Contributions Clés

PhysGM : Le premier cadre feed-forward capable de générer une simulation 4D basée sur des gaussiens à partir d'une seule image en moins d'une minute, sans optimisation par scène.
Paradigme d'Entraînement Hybride : Combinaison de pré-entraînement supervisé à grande échelle et d'affinement par DPO pour aligner la simulation avec la réalité physique et la qualité perceptive.
Jeu de Données PhysAssets : Un nouveau benchmark de plus de 50 000 objets 3D annotés avec des propriétés physiques (matériau, $E$ , $\nu$ ) et des vidéos de simulation de référence, générés automatiquement via des modèles de langage multimodaux (MLLM) et des simulateurs.
Performance : Démonstration d'une accélération significative par rapport aux méthodes basées sur l'optimisation (SDS), tout en surpassant la qualité visuelle et la plausibilité physique.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données PhysAssets et des images réelles (in-the-wild).

Vitesse : PhysGM génère une séquence 4D complète en moins d'une minute (inférence < 30s + simulation), contre plusieurs heures pour les méthodes de base comme OmniPhysGS ou DreamerPhysics.
Qualité :
- Métriques objectives : PhysGM obtient des scores supérieurs en termes de similarité sémantique (CLIPsim) et de fidélité de reconstruction (PSNR, SSIM, LPIPS) par rapport aux méthodes basées sur l'optimisation.
- Évaluation humaine : Lors d'études de préférence utilisateur (4AFC), PhysGM est sélectionné comme le plus réaliste dans 42,8% des cas (contre 17,2% pour le meilleur concurrent), prouvant sa supériorité en plausibilité physique.
Généralisation : Le modèle montre une robustesse sur divers matériaux (métal, gelée, plastique, neige, sable) et des interactions complexes (étirement, chute, collisions multi-objets).

5. Signification et Impact

PhysGM représente une avancée majeure vers la synthèse 4D scalable et en temps réel. En éliminant le goulot d'étranglement de l'optimisation par scène et en apprenant un prior physique direct à partir des données visuelles, ce travail ouvre la voie à des applications pratiques dans :

La réalité virtuelle et augmentée interactive.
La robotique et les systèmes autonomes (simulation rapide de scénarios physiques).
L'IA incarnée (Embodied AI), où la compréhension rapide des propriétés physiques des objets est cruciale pour la manipulation.

Le papier démontre qu'il est possible de remplacer des pipelines d'optimisation lourds par des modèles génératifs feed-forward, à condition de disposer de données d'entraînement riches et d'une stratégie d'alignement efficace comme le DPO.