🤖 AI

Scene-Level Heterogeneous Physics Simulation with 3D Gaussian Splats

Dit artikel introduceert een nieuw raamwerk dat de representatiekloof tussen 3D Gaussian Splatting en productie-waardige physics-engines overbrugt door diverse assets te abstraheren naar een verenigde partikelset, waardoor realistische, scène-brede heterogene simulaties mogelijk worden met complexe tweerichtingsinteracties tussen deformabele 3DGS-assets, standaard CG-objecten en vastgelegde statische omgevingen.

Oorspronkelijke auteurs: Xiaoyang Liu, Shangzhe Wu, Kai Han

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiaoyang Liu, Shangzhe Wu, Kai Han

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee verschillende werelden hebt die elkaars taal niet spreken.

Wereld A is een Fotorealistische Fotostudio. Hier kun je een echt object (zoals een teddybeer of een tuinbeeld) veranderen in een digitaal 3D-model dat er exact hetzelfde uitziet als het echte ding. Deze technologie wordt 3D Gaussian Splatting (3DGS) genoemd. Het is geweldig om naar dingen te kijken, maar het is "dood". Als je de digitale beer probeert aan te raken, beweegt hij niet. Als je water over hem heen giet, stroomt het water er gewoon doorheen. Hij heeft geen fysiek lichaam.

Wereld B is een Physics Playground (Fysieke Speeltuin). Hier leven game engines en speciale effecten voor films. Hier hebben objecten gewicht, stuiteren ze, deuken ze en spatten vloeistoffen uiteen. Maar om dit werkend te krijgen, moeten de objecten meestal worden gebouwd van eenvoudige, blokkerige vormen (zoals meshes) die de physics engine begrijpt. Het probleem is dat deze blokkerige vormen vaak nep of wazig ogen vergeleken met de werkelijkheid.

Het Probleem: Een Taalbarrière

Tot nu toe konden deze twee werelden niet met elkaar praten.

Als je een realistische beer wilde die nat werd gespat door realistisch water, had je een probleem. De beer uit de "Fotostudio" kon het water niet voelen, en het water uit de "Physics Playground" kon de beer niet zien.
Eerdere pogingen om dit op te lossen, waren als het bouwen van een klein, geïsoleerd zandbakje. Ze konden een beer laten stuiteren op een vlakke, lege vloer, maar ze konden niet omgaan met een beer die tegelijkertijd interacteert met een complexe tuin, een virtuele kom of een robotarm.

De Oplossing: De "Universele Vertaler"

De auteurs van dit paper hebben een Universele Vertaler gebouwd (ze noemen dit een Representation Abstraction Framework).

Denk hierover als volgt:

De Vertaler: Het systeem neemt de "Fotostudio"-beer (3DGS), een virtuele mesh-kom en een vloeistofsimulatie, en zegt: "Oké, iedereen, vergeet even jullie mooie uiterlijk, laten we allemaal veranderen in een wolk van onzichtbare deeltjes."
De Physics Engine: Zodra iedereen slechts een wolk van deeltjes is, kan de krachtige physics engine (de Playground) zijn werk doen. Het berekent hoe het water tegen de beer slaat, hoe de beer over de tafel glijdt en hoe de robotarm de beer duwt. Het gebruikt verschillende "regels" voor verschillende zaken (zoals hoe water stroomt versus hoe stof valt), maar het handelt ze allemaal samen af in één grote simulatie.
De Re-Vertaler: Nadat de physics engine de berekeningen heeft voltooid, neemt het systeem die onzichtbare deeltjes en zegt: "Oké, verander nu weer terug in wat je was!"
- De waterdeeltjes veranderen terug in een spat.
- De beerdeeltjes veranderen terug in een fotorealistische, zachte beer die vervormd is door het water.
- De kom deeltjes veranderen terug in een glanzend virtueel object.

Wat dit feitelijk doet

Het paper demonstreert dit door scènes te creëren die voorheen onmogelijk waren:

Mixen van Echt vs. Nep: Ze namen een echte foto van een tuin (de statische achtergrond) en lieten een virtuele kom met water in de tuin vallen. Het water spat realistisch op de echte tuintafel.
Zachte Objecten vs. Vloeistoffen: Ze namen een foto van een donut (die zacht is) en goten er virtuele saus overheen. De saus spat uiteen en de donut deukt in en vervormt onder het gewicht van de saus.
Robots in de echte wereld: Ze lieten een robotarm (een virtueel object) een echte fruitmand oppakken en deze rondbewegen in een echte tuinscène.

Waarom dit ertoe doet

Vóór dit moment, als je een filmscène wilde met een realistische beer die nat werd, moest je kiezen: of de beer zag er geweldig uit maar kon niet nat worden, of de beer werd wel nat maar leek op een kwalitatief laagwaardig videogamekarakter.

Dit paper overbrugt die kloof. Het stelt je in staat om echte foto's te nemen, deze te veranderen in interactieve fysieke objecten, en deze te mengen met virtuele objecten (zoals vloeistoffen of robots) in één enkele, hoogwaardige scène. Het eindresultaat wordt gerenderd in een professionele game engine (Unreal Engine 5), zodat het eruitziet als een film met een hoog budget, inclus[ief] realistische belichting en schaduwen.

Kortom: Ze hebben een brug gebouwd die "dode" foto's tot leven wekt en ze laat interageren met "levende" virtuele fysica, terwijl de prachtige, realistische look van de originele foto's behouden blijft.

Technische Samenvatting: Scène-niveau Heterogene Fysica Simulatie met 3D Gaussian Splats

1. Probleemstelling

Ondanks de state-of-the-art (SOTA) fotorealistische renderingsmogelijkheden van 3D Gaussian Splatting (3DGS), blijven deze assets grotendeels "dood" wat betreft fysieke interactiviteit. Er bestaat een fundamentele representatiekloof:

3DGS Representatie: Gedefinieerd door covariantie ( $\Sigma$ ), sferische harmonieken ( $C$ ) en opaciteit ( $\sigma$ ), geoptimaliseerd voor rendering maar incompatibel met productiebestendige physics engines.
Beperkingen van Physics Engines: Industriële engines (bijv. Unreal Engine, Houdini) werken met deeltjes, meshes en rigide lichamen met behulp van heterogene solvers (MPM, SPH, PBD). Ze kunnen 3DGS niet van nature begrijpen.

Eerdere pogingen om deze kloof te overbruggen, volgden een "gesiloceerd" paradigma, waarbij monolithische, propriëtaire physics solvers specifiek voor 3DGS werden gecreëerd. Deze benaderingen lijden aan twee kritieke gebreken:

Homogeniteit: Ze creëren gesloten systemen waar alleen GS-deeltjes bestaan, wat interactie met standaard Computer Graphics (CG) assets zoals meshes, vloeistoffen of rigide lichamen voorkomt.
Isolatie: Ze opereren in vacuüms of op ideale vlakken, waardoor ze geen complexe, reeds bestaande 3D statische botsingsgeometrie afgeleid van real-world scène-captures kunnen ondersteunen.

Gevolgelijk zijn eerdere methoden beperkt tot "toy" scenario's en kunnen ze geen schaalbare, scène-niveau, heterogene fysica-simulaties bereiken.

2. Methodologie: Representation Abstraction Framework (RAF)

De auteurs stellen een nieuw Representation Abstraction Framework (RAF) voor dat fungeert als een brug, waarbij diverse assets worden verenigd in één enkele fysieke simulatiecontext zonder de physics solvers opnieuw uit te vinden. De pipeline bestaat uit drie stadia:

Fase 1: Asset Preparatie en Abstractie

Het doel is om heterogene inputs te vertalen naar twee verenigde componenten: een statische botsingsmesh ( $M_{static}$ ) en een verenigde deeltjeslijst.

Statische Wereld ( $M_{static}$ ): Een composiet mesh samengesteld uit gevangen real-world data (verwerkt via Gaussian segmentatie, object-scène restauratie en oppervlaktereconstructie) en optionele geïmporteerde assets. Dit definieert de niet-bewegende botsingsgrenzen.
Dynamische Wereld (Unified Particle List): Alle dynamische assets worden geabstraheerd naar een enkele deeltjesset ( $X$ $X$ ):
- Gevangen 3DGS: Omgezet in fysieke deeltjes ( $X_{gs}$ ) door een continue opaciteitsveld te samplen. Elk deeltje $p_j$ slaat kinematische staat op ( $x, v, m$ ), modeltype en constitutieve parameters (bijv. Young's modulus). Visuele data ( $\Sigma_{rest}, C, \sigma$ ) wordt apart gecached.
- Virtuele Meshes: "Gedeeltjes-ified" via Poisson disk sampling. Barycentrische gewichten worden vooraf berekend om de template mesh aan de deeltjes te binden.
- Externe Deeltjes/Vloeistoffen: Geladen als initiële posities met toegewezen solver-types (bijv. SPH).
- Kinematische Assets: Behandeld als rigide lichamen met gebruikersgedefinieerde transforms; zij fungeren als one-way colliders.

Fase 2: Unified Simulation Kernel

Een modulaire, solver-agnostische kernel verwerkt de verenigde deeltjeslijst en $M_{static}$ .

Heterogene Solvers: De kernel interfaceert met gespecialiseerde solvers (MPM voor soft bodies, SPH voor vloeistoffen, PBD voor cloth, rigid-body, en articulated-body dynamics).
Koppelingsmechanisme: De kerncapaciteit is het robuust beheren van interacties tussen uiteenlopende solvers en statische geometrie.
- Continue Koppeling: Behandelt krachtuitwisselingen (bijv. vloeistofdruk op soft bodies).
- Discrete Koppeling: Gebruikt een verenigd impuls-gebaseerd mechanisme om botsingen en wrijving tussen alle entiteiten (particle-mesh, rigid-rigid) op te lossen met behulp van restitutiecoëfficiënten ( $e$ ) en Coulomb-wrijving ( $\mu$ ).
Executie: Solvers worden iteratief uitgevoerd in een specifieke sequentie (Rigid/Articulated $\to$ MPM $\to$ SPH $\to$ PBD), waarbij de bijgewerkte staten tussen solvers worden gepropageerd om constraints binnen een enkele tijdstap op te lossen.

Fase 3: Heterogene Recoupling en Rendering

De schaarse fysieke resultaten worden "terug-vertaald" naar hoogwaardige visuele assets.

3DGS Assets: De nieuwe deeltjespositie $x'_j$ werkt het Gaussian centrum bij. De fysieke deformatiegradiënt $F'$ wordt toegepast op de gecachte rust-toestand covariantie ( $\Sigma_{rest}$ ) om de nieuwe covariantie te berekenen ( $\Sigma' = F' \Sigma_{rest} F'^T$ ). Rotatie van $F'$ werkt de Sferische Harmonieken coëfficiënten bij.
Mesh Assets: Nieuwe vertexposities worden berekend door de vooraf berekende barycentrische gewichten toe te passen op de bijgewerkte deeltjesposities.
Rendering: Geserialiseerde assets (.splat, .abc, .pbd) worden geladen in Unreal Engine 5. Het framework maakt gebruik van de native capaciteiten van UE5, inclusioneel Lumen globale illuminatie en ray-traced schaduwen, om de co-gesimuleerde scène te renderen.

3. Belangrijkste Bijdragen

Eerste Scène-niveau Heterogeen Framework: Het eerste systeem dat 3DGS assets laat deelnemen aan scène-niveau, multi-solver physics simulaties naast standaard CG assets.
Representatie Abstractielaag: Een nieuwe laag die diverse dynamische assets (3DGS, meshes, vloeistoffen) en complexe statische scènes vertaalt naar een enkele fysieke deeltjescontext, wat twee-weg interacties mogelijk maakt.
End-to-End Pipeline: Een volledige pipeline die complexe interacties demonstreert (bijv. vloeistof die spat op deformabele 3DGS, doek die over een gevangen standbeeld valt) gerenderd met fotorealistische getrouwheid in Unreal Engine 5.
Overwinnen van "Siloed" Beperkingen: Het framework gaat verder dan geïsoleerde, ideale-vlak simulaties en ondersteunt complexe, reeds bestaande 3D statische geometrie en heterogene asset koppeling.

4. Resultaten en Evaluatie

Het framework werd gevalideerd op vijf complexe scenario's die onbereikbaar waren voor eerdere "siloed" methoden:

Vloeistof op Virtuele Mesh: SPH vloeistof die interacteert met een geïmporteerde mesh kom en een statische 3DGS tuin-scène.
Vloeistof op GS Soft Body: Hoog-viskeuze SPH vloeistof die koppelt met een gevangen 3DGS soft-body donut (MPM), wat twee-weg deformatie demonstreert.
Articulated Dynamics: Een kinematisch gestuurde robotarm die een rigide lichaam op een tafel manipuleert.
Complexe Geometrie Interactie: PBD cloth die realistisch over een gevangen 3DGS standbeeld met non-convexe geometrie valt en glijdt.
Rigid-Body in 3DGS Container: Rigide lichamen die interacteren binnen een gevangen 3DGS mand.

Ablatie Studies:

Unified Kernel: Het verwijderen van de koppelingsmechanisme zorgde ervoor dat vloeistoffen en soft bodies door elkaar heen bewogen, wat de noodzaak van de heterogene solver interface bevestigt.
Scène-niveau Geometrie: Het verwijderen van de statische botsingsmesh ( $M_{static}$ ) dwong cloth simulaties om terug te vallen op een "ideaal vlak", waardoor ze door gevangen objecten heen bewogen.
Representatie Abstractie: Het verwijderen van de recoupling stap resulteerde in het feit dat alleen schaarse simulatie-deeltjes zichtbaar waren, zonder de fotorealistische verschijning.

Vergelijking met Fotogrammetrie:
Wanneer vergeleken met standaard fotogrammetrie (KiriEngine) voor mesh extractie, behield de 3DGS-gebaseerde pipeline van de auteurs scherpe geometrische details (bijv. bulldozerrupsen, tafellatten) die verloren gingen of "blobby" werden in de mesh baseline, terwijl het nog steeds physics simulatie mogelijk maakte.

5. Betekenis en Claims

Het paper claimt fundamenteel 3DGS te transformeren van "passieve renderables" naar "actieve participanten" in fysieke sandboxes. Door de representatiekloof te overbruggen, maakt dit werk het volgende mogelijk:

Dual Fidelity: Het bereiken van zowel hoge-getrouwheid visuele rendering (via 3DGS en UE5) als complexe fysieke simulatie (via industriële solvers) in een verenigde omgeving.
Schaalbaarheid: Verder gaan dan "toy" geïsoleerde omgevingen naar complexe, real-world scène composities.
Productie Gereedheid: De pipeline richt zich op offline, cinematische kwaliteit productie waar simulatie nauwkeurigheid en visuele getrouwheid geprioriteerd worden.

De auteurs erkennen dat het huidige systeem nog niet real-time is en zich richt op offline rendering. Toekomstig werk wordt gesuggereerd voor real-time interactieve scenario's en het verbeteren van object-niveau separatie in complexe gevangen scènes. Het werk claimt niet alle physics uitdagingen op te lossen, maar adresseert specif으로 de integratie van 3DGS in bestaande, krachtige heterogene physics ecosystemen.