Résumé Technique : Simulation Physique Hétérogène au Niveau de la Scène avec des 3D Gaussian Splats

1. Énoncé du Problème

Malgré les capacités de rendu photoréaliste de pointe (SOTA) des 3D Gaussian Splatting (3DGS), ces actifs restent largement « inertes » en termes d'interactivité physique. Un fossé de représentation fondamental existe :

• Représentation 3DGS : Définie par une covariance ($\Sigma$), des harmoniques sphériques ($C$) et une opacité ($\sigma$), optimisée pour le rendu mais incompatible avec les moteurs physiques de classe production.
• Limitations des Moteurs Physiques : Les moteurs industriels (ex. : Unreal Engine, Houdini) opèrent sur des particules, des maillages et des corps rigides utilisant des solveurs hétérogènes (MPM, SPH, PBD). Ils ne peuvent pas comprendre nativement le 3DGS.

Les tentatives antérieures pour combler ce fossé ont suivi un paradigme « cloisonné », créant des solveurs physiques monolithiques et propriétaires spécifiquement pour le 3DGS. Ces approches souffrent de deux défauts critiques :

1. Homogénéité : Elles créent des systèmes fermés où seuls les particules GS existent, empêchant l'interaction avec les actifs de graphisme informatique (CG) standards tels que les maillages, les fluides ou les corps rigides.
2. Isolement : Elles opèrent dans des vides ou sur des plans idéaux, échouant à supporter la géométrie de collision statique 3D complexe et préexistante dérivée de captures de scènes réelles.

Par conséquent, les méthodes antérieures sont limitées à des scénarios « jouets » et ne peuvent pas atteindre des simulations physiques hétérogènes à l'échelle de la scène.

2. Méthodologie : Cadre d'Abstraction de la Représentation (RAF)

Les auteurs proposent un nouveau Cadre d'Abstraction de la Représentation (RAF) qui agit comme un pont, unifiant divers actifs dans un contexte de simulation physique unique sans réinventer les solveurs physiques. Le pipeline se compose de trois étapes :

Étape 1 : Préparation et Abstraction des Actifs

L'objectif est de traduire des entrées hétérogènes en deux composants unifiés : un maillage de collision statique ($M_{static}$) et une liste de particules unifiée.

• Monde Statique ($M_{static}$) : Un maillage composite assemblé à partir de données du monde réel capturées (traitées via la segmentation gaussienne, la restauration d'objets-scènes et la reconstruction de surface) et d'actifs importés optionnels. Cela définit les limites de collision non mobiles.
• Monde Dynamique (Liste de Particules Unifiée) : Tous les actifs dynamiques sont abstraits en un ensemble de particules unique ($X$) :
  • 3DGS Capturé : Converti en particules physiques ($X_{gs}$) en échantillonnant un champ d'opacité continu. Chaque particule $p_j$ stocke l'état cinématique ($x, v, m$), le type de modèle et les paramètres constitutifs (ex. : module de Young). Les données visuelles ($\Sigma_{rest}, C, \sigma$) sont mises en cache séparément.
  • Maillages Virtuels : « Particulisés » via un échantillonnage de Poisson-disk. Les poids barycentriques sont pré-calculés pour lier le maillage de référence aux particules.
  • Particules/Fluides Externes : Chargés directement comme positions initiales avec des types de solveurs assignés (ex. : SPH).
  • Actifs Cinématiques : Traités comme des corps rigides avec des transformations définies par l'utilisateur ; ils agissent comme des collisionneurs unidirectionnels.

Étape 2 : Noyau de Simulation Unifié

Un noyau modulaire et agnostique au solveur traite la liste de particules unifiée et $M_{static}$.

• Solveurs Hétérogènes : Le noyau s'interface avec des solveurs spécialisés (MPM pour les corps mous, SPH pour les fluides, PBD pour les tissus, la dynamique des corps rigides et articulés).
• Mécanisme de Couplage : La capacité centrale est de gérer de manière robuste les interactions entre des solveurs disparates et la géométrie statique.
  • Couplage Continu : Gère les échanges de forces (ex. : pression de fluide sur les corps mous).
  • Couplage Discret : Utilise un mécanisme unifié basé sur l'impulsion pour résoudre les collisions et la friction entre n'importe quelle entité (particule-maillage, rigide-rigide) en utilisant des coefficients de restitution ($e$) et de friction de Coulomb ($\mu$).
• Exécution : Les solveurs s'exécutent de manière itérative dans une séquence spécifique (Rigide/Articulé $\to$ MPM $\to$ SPH $\to$ PBD), propageant les états mis à jour entre les solveurs pour résoudre les contraintes au sein d'un seul pas de temps.

Étape 3 : Recouplage Hétérogène et Rendu

Les résultats physiques épars sont « re-traduits » en actifs visuels de haute fidélité.

• Actifs 3DGS : La nouvelle position de particule $x'_j$ met à jour le centre de la Gaussienne. Le gradient de déformation physique $F'$ est appliqué à la covariance de l'état de repos mise en cache ($\Sigma_{rest}$) pour calculer la nouvelle covariance ($\Sigma' = F' \Sigma_{rest} F'^T$). La rotation issue de $F'$ met à jour les coefficients des harmoniques sphériques.
• Actifs de Maillage : Les nouvelles positions de sommets sont calculées en appliquant les poids barycentriques pré-calculés aux positions de particules mises à jour.
• Rendu : Les actifs sérialisés (.splat, .abc, .pbd) sont chargés dans Unreal Engine 5. Le framework exploite les capacités natives de UE5, incluant l'illumination globale Lumen et les ombres tracées par rayon, pour rendre la scène co-simulée.

3. Contributions Clés

1. Premier Cadre Hétérogène à l'Échelle de la Scène : Le premier système permettant aux actifs 3DGS de participer à des simulations physiques multi-solveurs à l'échelle de la scène aux côtés d'actifs CG standards.
2. Couche d'Abstraction de la Représentation : Une nouvelle couche qui traduit divers actifs dynamiques (3DGS, maillages, fluides) et des scènes statiques complexes en un contexte de particule physique unique, permettant des interactions bidirectionnelles.
3. Pipeline de Bout en Bout : Un pipeline complet démontrant des interactions complexes (ex. : éclaboussures de fluide sur un 3DGS déformable, drapage de tissu sur des statues capturées) rendues avec une fidélité photoréaliste dans Unreal Engine 5.
4. Dépassement des Limitations « Cloisonnées » : Le framework va au-delà des simulations isolées sur plan idéal pour supporter une géométrie statique 3D complexe et préexistante ainsi que le couplage d'actifs hétérogènes.

4. Résultats et Évaluation

Le framework a été validé sur cinq scénarios complexes inaccessibles aux méthodes « cloisonnées » antérieures :

• Fluide sur Maillage Virtuel : Fluide SPH interagissant avec un bol de maillage importé et une scène de jardin 3DGS statique.
• Fluide sur Corps Mou GS : Fluide SPH de haute viscosité couplé à un donut 3DGS capturé (MPM), démontrant une déformation bidirectionnelle.
• Dynamique Articulée : Un bras robotique piloté par cinématique manipulant un corps rigide sur une table.
• Interaction de Géométrie Complexe : Un tissu PBD se drapant et glissant de manière réaliste sur une statue 3DGS capturée avec une géométrie non convexe.
• Corps Rigide dans un Conteneur 3DGS : Corps rigides interagissant à l'intérieur d'un panier capturé en 3DGS.

Études d'Ablation :

• Noyau Unifié : Le retrait du mécanisme de couplage a provoqué le passage des fluides et des corps mous à travers les objets, confirmant la nécessité de l'interface de solveur hétérogène.
• Géométrie à l'Échelle de la Scène : Le retrait du maillage de collision statique ($M_{static}$) a forcé les simulations de tissu à revenir à un « plan idéal », les faisant passer à travers les objets capturés.
• Abstraction de la Représentation : Le retrait de l'étape de recouplage a entraîné l'affichage de simples particules de simulation éparses, manquant d'apparence photoréaliste.

Comparaison avec la Photogrammétrie :
Comparé à l'extraction de maillage par photogrammétrie standard (KiriEngine), le pipeline basé sur 3DGS des auteurs a préservé des détails géométriques nets (ex. : chenilles de bulldozer, lattes de table) qui étaient perdus ou « informes » dans la base de référence de maillage, tout en permettant la simulation physique.

5. Signification et Revendications

L'article affirme transformer fondamentalement le 3DGS de « rendu passif » en « participant actif » dans des bacs à sable physiques. En comblant le fossé de représentation, ce travail permet :

• Double Fidélité : Atteindre à la fois un rendu visuel de haute fidélité (via 3DGS et UE5) et une simulation physique complexe (via des solveurs industriels) dans un environnement unifié.
• Scalabilité : Passer d'environnements isolés de type « jouet » à des compositions de scènes réelles complexes.
• Prêt pour la Production : Le pipeline cible la production de qualité cinématographique hors ligne, où la précision de la simulation et la fidélité visuelle sont prioritaires.

Les auteurs reconnaissent que le système actuel n'est pas encore en temps réel et se concentre sur le rendu hors ligne. Des travaux futurs sont suggérés pour des scénarios interactifs en temps réel et pour améliorer la séparation des objets dans les scènes capturées complexes. Le travail ne prétend pas résoudre tous les défis de la physique, mais s'attaque spécifiquement à l'intégration du 3DGS dans les écosystèmes de physique hétérogènes puissants existants.