🤖 AI

Scene-Level Heterogeneous Physics Simulation with 3D Gaussian Splats

Dieses Paper führt ein neuartiges Framework ein, das die Repräsentationslücke zwischen 3D Gaussian Splatting und produktionsreifen Physik-Engines überbrückt, indem es diverse Assets in einen vereinheitlichten Partikelsatz abstrahiert und somit realistische, szenenweite heterogene Simulationen mit komplexen Zwei-Wege-Interaktionen zwischen deformierbaren 3DGS-Assets, Standard-CG-Objekten und erfassten statischen Umgebungen ermöglicht.

Ursprüngliche Autoren: Xiaoyang Liu, Shangzhe Wu, Kai Han

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaoyang Liu, Shangzhe Wu, Kai Han

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten zwei verschiedene Welten, die nicht dieselbe Sprache sprechen.

Welt A ist ein fotorealistisches Fotostudio. Hier können Sie ein reales Objekt (wie einen Teddybären oder eine Gartenstatue) nehmen und es in ein digitales 3D-Modell verwandeln, das exakt so aussieht wie das reale Ding. Diese Technologie wird 3D-Gaussian-Splatting (3DGS) genannt. Sie ist fantastisch, um Dinge anzusehen, aber sie ist „tot“. Wenn Sie versuchen, den digitalen Bären zu drücken, bewegt er sich nicht. Wenn Sie Wasser über ihn gießen, fließt das Wasser einfach durch ihn hindurch. Er hat keinen physischen Körper.

Welt B ist ein Physik-Spielplatz. Hier leben Videospiel-Engines und Spezialeffekte für Filme. Hier haben Objekte Gewicht, sie springen, sie verformen sich, und Flüssigkeiten spritzen. Aber damit das funktioniert, müssen die Objekte meist aus einfachen, blockartigen Formen (wie Meshes) gebaut sein, die die Physik-Engine versteht. Das Problem ist: Diese blockartigen Formen sehen oft künstlich oder unscharf aus im Vergleich zum echten Ding.

Das Problem: Eine Sprachbarriere

Bis jetzt konnten diese beiden Welten nicht miteinander kommunizieren.

Wenn Sie wollten, dass ein realistischer Bär von realistischem Wasser nass wird, hatten Sie ein Problem: Der „Fotostudio“-Bär konnte das Wasser nicht fühlen, und das „Physik-Spielplatz“-Wasser konnte den Bären nicht sehen.
Frühere Versuche, dies zu lösen, waren wie der Bau eines winzigen, isolierten Sandkastens. Sie konnten einen Bären auf einem flachen, leeren Boden springen lassen, aber sie konnten keinen Bären handhaben, der mit einem komplexen Garten, einer virtuellen Schüssel oder einem Roboterarm gleichzeitig interagiert.

Die Lösung: Der „Universalübersetzer“

Die Autoren dieser Arbeit haben einen Universalübersetzer gebaut (sie nennen ihn ein Representation Abstraction Framework).

Denken Sie an Folgendes:

Der Übersetzer: Das System nimmt den „Fotostudio“-Bären (3DGS), eine virtuelle Mesh-Schüssel und eine Flüssigkeitssimulation und sagt: „Okay, alle, vergesst eure schicken Aussehen für einen Moment. Lasst uns alle in eine Wolke aus unsichtbaren Partikeln verwandeln.“
Die Physik-Engine: Sobald alle nur noch eine Wolke aus Partikeln sind, kann die leistungsstarke Physik-Engine (der Spielplatz) ihre Arbeit tun. Sie berechnet, wie das Wasser auf den Bären trifft, wie der Bär auf dem Tisch rutscht und wie der Roboterarm den Bären schiebt. Sie verwendet unterschiedliche „Regeln“ für verschiedene Dinge (wie etwa wie Wasser fließt im Vergleich dazu, wie Stoff fällt), aber sie verarbeitet sie alle zusammen in einer großen Simulation.
Der Re-Übersetzer: Nachdem die Physik-Engine ihre Mathematik abgeschlossen hat, nimmt das System diese unsichtbaren Partikel und sagt: „Okay, verwandelt euch jetzt wieder in das, was ihr wart!“
- Die Wasserpartikel verwandeln sich zurück in ein Spritzen.
- Die Bärenpartikel verwandeln sich zurück in einen fotorealistischen, weichen Bären, der durch das Wasser deformiert wurde.
- Die Schüssel verwandelt sich zurück in ein glänzendes virtuelles Objekt.

Was dies tatsächlich bewirkt

Die Arbeit demonstriert dies durch die Erstellung von Szenen, die zuvor unmöglich waren:

Mischung von Realität und Fiktion: Sie nahmen ein echtes Foto eines Gartens (den statischen Hintergrund) und ließen eine virtuelle Schüssel mit Wasser hineinfallen. Das Wasser spritzt realistisch auf den echten Gartentisch.
Weiche Dinge vs. Flüssigkeiten: Sie nahmen ein eingefangenes Foto eines Donuts (der weich ist) und gossen virtuelle Sauce darüber. Die Sauce spritzt, und der Donut wird unter dem Gewicht der Sauce weich und verformt sich.
Roboter in realen Welten: Sie ließen einen Roboterarm (ein virtuelles Objekt) einen echten Obstkorb (ein reales Objekt) aufheben und in einer echten Gartenszene bewegen.

Warum dies wichtig ist

Vor diesem Zeitpunkt mussten Sie, wenn Sie eine Filmszene mit einem realistischen Bären wollten, der nass wird, eine Wahl treffen: Entweder sah der Bär fantastisch aus, konnte aber nicht nass werden, oder er wurde nass, sah aber wie ein minderwertiger Videospiel-Charakter aus.

Diese Arbeit schließt diese Lücke. Sie ermöglicht es Ihnen, reale Fotos zu nehmen, sie in interaktive physische Objekte zu verwandeln und sie mit virtuellen Objekten (wie Flüssigkeiten oder Robotern) in einer einzigen, hochwertigen Szene zu mischen. Das Endergebnis wird in einer professionellen Game-Engine (Unreal Engine 5) gerendert, sodass es wie ein High-Budget-Film aussieht, mit realistischer Beleuchtung und Schatten.

Kurz gesagt: Sie haben eine Brücke gebaut, die es ermöglicht, dass „tote“ Fotos lebendig werden und mit „lebendiger“ virtueller Physik interagieren, während der wunderschöne, realistische Look der Originalfotos erhalten bleibt.

Technisches Resümee: Szenenbasierte heterogene Physiksimulation mit 3D Gaussian Splats

1. Problemstellung

Trotz der State-of-the-Art (SOTA) fotorealistischen Rendering-Fähigkeiten von 3D Gaussian Splatting (3DGS) bleiben diese Assets in Bezug auf physikalische Interaktivität weitgehend „tot“. Es besteht eine grundlegende Repräsentationslücke:

3DGS-Repräsentation: Definiert durch Kovarianz ( $\Sigma$ ), Sphärische Harmonische ( $C$ ) und Opazität ( $\sigma$ ), optimiert für das Rendering, aber inkompatibel mit professionellen Physik-Engines.
Einschränkungen von Physik-Engines: Industrielle Engines (z. B. Unreal Engine, Houdini) arbeiten mit Partikeln, Meshes und starren Körpern unter Verwendung heterogener Solver (MPM, SPH, PBD). Sie können 3DGS nicht nativ verstehen.

Vorangegangene Versuche, diese Lücke zu schließen, folgten einem „siloisierten“ Paradigma, bei dem monolithische, proprietäre Physik-Solver speziell für 3DGS entwickelt wurden. Diese Ansätze leiden unter zwei kritischen Mängeln:

Homogenität: Sie schaffen geschlossene Systeme, in denen nur GS-Partikel existieren, was die Interaktion mit Standard-Computergraphik-Assets (CG) wie Meshes, Fluiden oder starren Körpern verhindert.
Isolation: Sie operieren in Leerräumen oder auf idealen Ebenen und versäumen es, komplexe, bereits existierende statische Kollisionsgeometrien aus realen Szenenerfassungen zu unterstützen.

Infolgedessen sind vorangegangene Methoden auf „Spielzeug“-Szenarien beschränkt und können keine skalierbare, szenenbasierte, heterogene Physiksimulation erreichen.

2. Methodik: Representation Abstraction Framework (RAF)

Die Autoren schlagen ein neuartiges Representation Abstraction Framework (RAF) vor, das als Brücke fungiert und diverse Assets in einen einzigen physikalischen Simulationskontext vereinigt, ohne die Physik-Solver neu zu erfinden. Die Pipeline besteht aus drei Stufen:

Stufe 1: Asset-Vorbereitung und Abstraktion

Das Ziel ist es, heterogene Eingaben in zwei vereinheitlichte Komponenten zu übersetzen: ein statisches Kollisions-Mesh ( $M_{static}$ ) und eine vereinheitlichte Partikelliste.

Statische Welt ( $M_{static}$ ): Ein zusammengesetztes Mesh, das aus erfassten Realdaten (verarbeitet via Gaussian Segmentation, Object-Scene Restoration und Oberflächenrekonstruktion) und optional importierten Assets zusammengesetzt wurde. Dies definiert die unbeweglichen Kollisionsgrenzen.
Dynamische Welt (Vereinheitlichte Partikelliste): Alle dynamischen Assets werden in einen einzigen Partikelsatz ( $X$ $X$ ) abstrahiert:
- Erfasstes 3DGS: In physikalische Partikel ( $X_{gs}$ ) umgewandelt, indem ein kontinuierliches Opazitätsfeld abgetastet wird. Jedes Partikel $p_j$ speichert den kinematischen Zustand ( $x, v, m$ ), den Modelltyp und konstitutive Parameter (z. B. Youngscher Modul). Visuelle Daten ( $\Sigma_{rest}, C, \sigma$ ) werden separat zwischengespeichert.
- Virtuelle Meshes: Durch Poisson-Disk-Sampling „partikelisiert“. Baryzentrische Gewichte werden vorab berechnet, um das Template-Mesh an die Partikel zu binden.
- Externe Partikel/Fluide: Werden direkt als Anfangspositionen mit zugewiesenen Solver-Typen (z. B. SPH) geladen.
- Kinematische Assets: Werden als starre Körper mit benutzerdefinierten Transformationen behandelt; sie fungieren als einseitige Kollider.

Stufe 2: Vereinheitlichter Simulationskern

Ein modularer, solver-agnostischer Kern verarbeitet die vereinheitlichte Partikelliste und $M_{static}$ .

Heterogene Solver: Der Kern interagiert mit spezialisierten Solvern (MPM für Soft Bodies, SPH für Fluide, PBD für Stoffe, Rigid-Body- und Articulated-Body-Dynamik).
Kopplungsmechanismus: Die Kernkompetenz liegt im robusten Management der Interaktionen zwischen disparaten Solvern und der statischen Geometrie.
- Kontinuierliche Kopplung: Handhabt Kraftaustausch (z. B. Fluiddruck auf Soft Bodies).
- Diskrete Kopplung: Verwendet einen vereinheitlichten impulsbasierten Mechanismus, um Kollisionen und Reibung zwischen beliebigen Entitäten (Partikel-Mesh, Rigid-Rigid) unter Verwendung von Restitutionskoeffizienten ( $e$ ) und Coulomb-Reibung ( $\mu$ ) zu lösen.
Ausführung: Die Solver werden iterativ in einer spezifischen Sequenz ausgeführt (Rigid/Articulated $\to$ MPM $\to$ SPH $\to$ PBD), wobei aktualisierte Zustände zwischen den Solvern propagiert werden, um Constraints innerhalb eines einzigen Zeitschritts zu lösen.

Stufe 3: Heterogene Rekopplung und Rendering

Die spärlichen physikalischen Ergebnisse werden zurück in hochfrequente visuelle Assets „rückübersetzt“.

3DGS-Assets: Die neue Partikelposition $x'_j$ aktualisiert das Zentrum der Gaussian. Der physikalische Deformationsgradient $F'$ wird auf die zwischengespeicherte Ruhezustand-Kovarianz ( $\Sigma_{rest}$ ) angewendet, um die neue Kovarianz zu berechnen ( $\Sigma' = F' \Sigma_{rest} F'^T$ ). Die Rotation aus $F'$ aktualisiert die Sphärischen Harmonischen Koeffizienten.
Mesh-Assets: Neue Vertex-Positionen werden berechnet, indem die vorab berechneten baryzentrischen Gewichte auf die aktualisierten Partikelpositionen angewendet werden.
Rendering: Serialisierte Assets (.splat, .abc, .pbd) werden in die Unreal Engine 5 geladen. Das Framework nutzt die nativen Fähigkeiten der UE5, einschließlich Lumen Global Illumination und Ray-Traced Shadows, um die ko-simulierte Szene zu rendern.

3. Kernbeiträge

Erstes szenenbasierte heterogenes Framework: Das erste System, das es 3DGS-Assets ermöglicht, an szenenbasierten, Multi-Solver-Physiksimulationen neben Standard-CG-Assets teilzunehmen.
Representation Abstraction Layer: Eine neuartige Schicht, die diverse dynamische Assets (3DGS, Meshes, Fluide) und komplexe statische Szenen in einen einzigen physikalischen Partikelkontext übersetzt und so Zwei-Wege-Interaktionen ermöglicht.
End-to-End-Pipeline: Eine vollständige Pipeline, die komplexe Interaktionen demonstriert (z. B. das Spritzen von Fluid auf deformierbare 3DGS, das Drapieren von Stoff über eingefangene Statuen) und mit fotorealistischer Treue in der Unreal Engine 5 gerendert wird.
Überwindung der „siloisierten“ Limitationen: Das Framework geht über isolierte Idealplan-Simulationen hinaus und unterstützt komplexe, bereits existierende 3D-statische Geometrien sowie die Kopplung heterogener Assets.

4. Ergebnisse und Evaluierung

Das Framework wurde anhand von fünf komplexen Szenarien validiert, die mit vorangegangenen „siloisierten“ Methoden nicht erreichbar waren:

Fluid auf virtuellem Mesh: SPH-Fluid interagiert mit einer importierten Mesh-Schüssel und einer statischen 3DGS-Gartenszene.
Fluid auf GS Soft Body: Hochviskoses SPH-Fluid koppelt mit einem erfassten 3DGS-Soft-Body-Donut (MPM), was eine Zwei-Wege-Deformation demonstriert.
Artikulierte Dynamik: Ein kinematisch gesteuerter Roboterarm manipuliert einen starren Körper auf einem Tisch.
Komplexe Geometrie-Interaktion: PBD-Stoff drapiert realistisch und gleitet über eine erfasste 3DGS-Statue mit nicht-konvexer Geometrie.
Rigid-Body in 3DGS-Behälter: Starre Körper interagieren innerhalb eines erfassten 3DGS-Korbes.

Ablationsstudien:

Unified Kernel: Das Entfernen des Kopplungsmechanismus führte dazu, dass Fluide und Soft Bodies durcheinander glitten, was die Notwendigkeit der heterogenen Solver-Schnittstelle bestätigt.
Szenenbasierte Geometrie: Das Entfernen des statischen Kollisions-Meshes ( $M_{static}$ ) zwang die Stoffsimulationen auf eine „ideale Ebene“, wodurch sie durch die erfassten Objekte glitten.
Representation Abstraction: Das Entfernen des Rekopplungsschritts führte dazu, dass nur spärliche Simulationspartikel sichtbar waren, ohne fotorealistisches Erscheinungsbild.

Vergleich mit Photogrammetrie:
Im Vergleich zur Standard-Photogrammetrie (KiriEngine) zur Mesh-Extraktion bewahrte die hier vorgestellte 3DGS-basierte Pipeline scharfe geometrische Details (z. B. Bulldozerketten, Tischlamellen), die in der Mesh-Baseline verloren gingen oder „verwaschen“ waren, während sie gleichzeitig die Physik-Simulation ermöglichte.

5. Bedeutung und Ansprüche

Das Paper behauptet, 3DGS fundamental von „passiven Renderables“ zu „aktiven Teilnehmern“ in physikalischen Sandkästen zu transformieren. Durch das Überbrücken der Repräsentationslücke ermöglicht die Arbeit:

Dual Fidelity: Erreichen sowohl hoher visueller Rendering-Qualität (via 3DGS und UE5) als auch komplexer physikalischer Simulation (via industrieller Solver) in einer vereinheitlichten Umgebung.
Skalierbarkeit: Übergang von isolierten „Spielzeug“-Umgebungen zu komplexen, realen Szenenkompositionen.
Produktionsreife: Die Pipeline zielt auf Offline-Produktionen mit kinoreifer Qualität ab, bei denen Simulationsgenauigkeit und visuelle Treue Priorität haben.

Die Autoren räumen ein, dass das aktuelle System noch nicht echtzeitfähig ist und sich auf das Offline-Rendering konzentriert. Zukünftige Arbeiten werden für interaktive Echtzeit-Szenarien und die Verbesserung der Objekt-Trennung in komplexen erfassten Szenen vorgeschlagen. Die Arbeit beansprucht nicht, alle Physik-Herausforderungen zu lösen, sondern adressiert spezifisch die Integration von 3DGS in bestehende, leistungsstarke heterogene Physik-Ökosysteme.