💻 computer science

DeformMaster: An Interactive Physics-Neural World Model for Deformable Objects from Videos

DeformMaster ist ein interaktives physik-neurales Weltmodell, das aus realen Videos lernt, um deformierbare Objekte zu simulieren, indem es physikalische Dynamik und hochauflösende Erscheinung vereint, was eine präzise Vorhersage der Zukunft, das Durchspielen neuer Aktionen und die Synthese dynamischer Ansichten ermöglicht.

Ursprüngliche Autoren: Can Li, Zhoujian Li, Ren Li, Jie Gu, Lei Lei, Jingmin Chen, Lei Sun

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Can Li, Zhoujian Li, Ren Li, Jie Gu, Lei Lei, Jingmin Chen, Lei Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Video von einer Hand, die einen weichen Stressball zusammendrückt, ein Stück Stoff zieht oder ein Gummispielzeug verdreht. Nun stellen Sie sich vor, Sie möchten einem Computer beibringen, dieses Video nicht nur anzusehen, sondern zu verstehen, wie das Objekt funktioniert, damit Sie ihn fragen können: „Was passiert, wenn ich es fester ziehe?" oder „Was ist, wenn ich es von der Seite drücke?" oder sogar „Zeig mir, wie es von hinten aussieht."

Genau das leistet DeformMaster. Es verwandelt ein einfaches Video in einen interaktiven „digitalen Zwilling" eines weichen, dehnbaren Objekts, mit dem Sie in Echtzeit spielen können.

So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Warum ist das schwierig?

Die meisten Computerprogramme, die versuchen, weiche Objekte (wie Stoff, Seile oder Gelee) zu simulieren, sind wie starre Roboter. Sie folgen strengen physikalischen Regeln, aber das echte Leben ist chaotisch. Ein echtes Stück Stoff könnte eine seltsame Falte haben, oder ein Gummispielzeug könnte an einer Stelle etwas steifer sein als an einer anderen. Wenn Sie versuchen, dies mit perfekter Mathematik zu simulieren, sieht es oft gefälscht aus oder zerfällt. Wenn Sie versuchen, es rein aus Daten zu lernen (wie eine KI in einem Videospiel), könnte sie verwirrt werden und unmögliche Dinge tun, wie zum Beispiel in der Luft schweben.

2. Die Lösung: Ein Team aus „Physik + KI"

DeformMaster löst dieses Problem, indem es ein Zwei-Personen-Team einsetzt, um die Simulation durchzuführen:

Der Physik-Experte (Die „Basis"): Dies ist eine Standard-Physik-Engine (wie die in Videospielen verwendete), die die grundlegenden Regeln kennt, wie sich Dinge bewegen, dehnen und abprallen. Sie bietet ein stabiles Fundament.
Der KI-Assistent (Der „Rest"): Dies ist ein neuronales Netz (eine Art KI), das als „Korrekturschicht" fungiert. Es beobachtet den Physik-Experten und sagt: „Hey, das echte Video zeigt, dass sich der Stoff etwas anders verdreht, als deine Mathematik vorhersagt. Lass mich hier einen kleinen Schub hinzufügen, um es zu korrigieren."

Stellen Sie es sich wie ein GPS vor. Der Physik-Experte ist die Karte, die die Hauptstraßen zeigt. Der KI-Assistent ist der lokale Fahrer, der über Schlaglöcher, Baustellen und Abkürzungen Bescheid weiß, die auf der Karte nicht zu sehen sind. Gemeinsam bringen sie Sie perfekt ans Ziel.

3. Umgang mit der „Hand" (Der Controller)

Im Video berührt eine Hand das Objekt. Aber Kameras sind nicht perfekt; die Verfolgung der Hand kann wackelig oder zitternd sein.

Der alte Weg: Wenn Sie der Simulation befehlen, sich genau dort zu bewegen, wo die wackelige Hand ist, könnte das Objekt heftig vibrieren oder zerbrechen.
Der Weg von DeformMaster: Es verwendet etwas, das Distributed Compliant Actuators (verteilte nachgiebige Aktuatoren) genannt wird. Stellen Sie sich vor, anstatt eines steifen Fingers, der das Objekt drückt, haben Sie einen weichen, flauschigen Handschuh, der die Kraft sanft über einen größeren Bereich verteilt. Dies glättet die wackeligen Kameradaten und drückt das Objekt natürlich, genau wie eine echte Hand es tun würde.

4. Umgang mit verschiedenen Materialien (Das „Gemisch")

Echte Objekte bestehen nicht aus einer einheitlichen Substanz. Ein Stofftier könnte einen weichen Bauch, aber eine steifere Nase haben.

Der alte Weg: Viele Modelle gehen davon aus, dass das gesamte Objekt aus exakt demselben Material besteht (wie ein riesiger Block Gelee).
Der Weg von DeformMaster: Es verwendet eine Mischung konstitutiver Experten (Mixture of Constitutive Experts). Stellen Sie sich dies als einen „Geschmacks-Mixer" vor. Es erkennt, dass ein Teil des Objekts „neo-hookeanisch" (sehr dehnbar) sein könnte, während ein anderer Teil „St. Venant-Kirchhoff" (steifer) ist. Es mischt diese verschiedenen „Geschmacksrichtungen" der Physik über die Oberfläche des Objekts, um das echte Video perfekt nachzubilden.

5. Das Ergebnis: Ein interaktiver Spielplatz

Sobald DeformMaster aus dem Video gelernt hat, spielt es das Video nicht einfach nur ab. Es erstellt ein Weltmodell.

Neue Aktionen: Sie können ihm befehlen, das Objekt in eine Richtung zu ziehen, die das Originalvideo nie gezeigt hat, und es wird das Ergebnis realistisch vorhersagen.
Neue Materialien: Sie können ihm sagen: „Mach dieses Objekt 3-mal weicher", und es wird simulieren, wie sich diese weichere Version verhalten würde (und zeigt sogar, wie es reißt oder bricht, wenn Sie zu stark ziehen).
Neue Ansichten: Sie können bitten, das Objekt aus einem Kamerawinkel zu sehen, der im Originalvideo nicht enthalten war, und es wird ein hochwertiges Bild davon rendern.

Zusammenfassung

DeformMaster ist wie das Nehmen eines Videos eines weichen Spielzeugs und das Verwandeln in ein spielbares, physikalisch genaues Videospielniveau. Es kombiniert die Zuverlässigkeit physikalischer Regeln mit der Flexibilität der KI, um die chaotischen Details der realen Welt zu bewältigen, und ermöglicht Ihnen, auf Arten mit dem Objekt zu interagieren, die Sie noch nie gesehen haben.

Was die Arbeit tatsächlich behauptet:

Sie funktioniert mit realen Videos von Seilen, Stoffen und weichen Spielzeugen.
Sie ist genauer bei der Vorhersage zukünftiger Bewegungen und beim Rendern von Bildern als frühere Methoden (wie PhysTwin oder Spring-Gaus).
Sie ermöglicht „Rollouts mit langem Horizont", was bedeutet, dass Sie die Bewegung des Objekts über einen langen Zeitraum simulieren können, ohne dass es in Unsinn abdriftet.
Sie unterstützt das Ändern von Materialeigenschaften (wie das Weicher-Machen von Dingen) und das Betrachten aus neuen Winkeln.
Sie läuft mit interaktiven Geschwindigkeiten (über 15 Bilder pro Sekunde) und ermöglicht eine Manipulation in Echtzeit.

Technische Zusammenfassung: DeformMaster

Problemstellung

Weltmodelle für deformierbare Objekte müssen nicht nur Geometrie und Erscheinungsbild, sondern auch zugrundeliegende physikalische Dynamiken, Interaktionsverankerung und Materialverhalten rekonstruieren. Das Erlernen solcher Modelle aus realen Videos ist herausfordernd, da sich deformierbare Objekte (linear, planar und volumetrisch) in hochdimensionalen Zustandsräumen entwickeln, die durch verteilte Dehnung, komplexe Materialreaktionen, Selbstkontakt und externe Kräfte bestimmt werden.

Bestehende Ansätze weisen erhebliche Einschränkungen auf:

Physikbasierte Rekonstruktion (z. B. PhysTwin, Spring-Gaus) stützt sich häufig auf idealisierte Physikmodelle, bei denen die Parameteridentifizierung Schwierigkeiten hat, reale Phänomene jenseits der Modellannahmen zu berücksichtigen.
Generative Modelle (z. B. Video-Diffusion) imaginieren primär visuelle Ergebnisse, verfügen jedoch oft über kein zuverlässiges Verständnis von aktionsbedingter Dynamik, was eine Steuerung durch explizite Interaktionen erschwert und sie anfällig für halluzinierte Dynamiken macht.
Rein erlernte Dynamiken (z. B. Partikel-Graph-Netzwerke) leiden unter einer starken Datenabhängigkeit, bleiben an Trainingsverteilungen gebunden und zeigen bei langfristigen Rollouts unter neuen Aktionen signifikante Drifts.

Die Kernherausforderung besteht darin, ein Modell zu entwickeln, das physikalische Zustände aus visuellen Beobachtungen ableitet, diese unter neuen Interaktionen vorwärts simuliert und hochpräzise Dynamiken rendert, während es gleichzeitig stabil, generalisierbar und physikalisch fundiert bleibt.

Methodik: DeformMaster

DeformMaster ist ein aus Videos abgeleitetes interaktives physik-neurales Weltmodell, das Dynamik und Erscheinungsbild innerhalb eines einzigen Rahmens vereint. Es transformiert reale Interaktionsvideos in eine online abfragbare Repräsentation, die neue Aktionsrollouts, Variationen von Materialparametern und die Synthese dynamischer neuer Ansichten unterstützt. Das System besteht aus vier Schlüsselkomponenten:

1. Physik-Neurale Partikel-Raster-Dynamik (PNPGD)

Um die Stabilität physikalischer Priors mit der Flexibilität zur Modellierung realer Diskrepanzen in Einklang zu bringen, zerlegt DeformMaster den Dynamikoperator $F_{\theta,\phi}$ in einen Physikblock $P_\theta$ und ein neuronales Residuum $R_\phi$ :
$F_{\theta,\phi} = P_\theta \oplus R_\phi$

Physikblock ( $P_\theta$ ): Verwendet eine differentiable Material-Point-Methode (MPM), um den Zustand basierend auf Materialparametern $\theta$ über einen Frame voranzutreiben. Dies liefert einen strukturierten, stabilen Prior.
Neuronales Residuum ( $R_\phi$ ): Ein Partikel-Raster-neuronales Netzwerk, das eine begrenzte Geschwindigkeitskorrektur $\Delta v_p$ basierend auf dem Zustand nach MPM und einer kurzen kinematischen Historie vorhersagt. Dieses Residuum absorbiert nicht modellierte Effekte (z. B. Reibung, komplexer Kontakt), ohne als freier Zustandsprädiktor zu fungieren, und stellt sicher, dass das Modell eine Störung der Physiksimulation bleibt und nicht einen vollständigen Ersatz darstellt.

2. Verteilte Nachgiebige Aktuatoren (DCA)

Aus der Vision abgeleitete reale Handtracks sind verrauscht und spärlich. Harte punktweise Zwangsbedingungen führen häufig zu Geschwindigkeitsspitzen oder lokalisierten Deformationen, die keine effektive Bulk-Bewegung antreiben. DCA adressiert dies durch:

Nachgiebigkeit: Umwandlung harter Zwangsbedingungen in nachgiebige Aktuator-Partikel-Kopplungen (unter Verwendung von Steifigkeit $k_p$ und Dämpfung $k_d$ ), um hochfrequentes Rauschen zu absorbieren.
Verteilung: Ausbreitung der Aktuation über eine endliche Kontaktfläche (lokale Nachbarschaft) statt über einen einzelnen Punkt, was eine effektive Kraftübertragung durch weiche Kontinua ermöglicht.

3. Mischung von Konstitutiven Experten (MoCE)

Reale deformierbare Objekte entsprechen selten einem einzigen idealisierten konstitutiven Gesetz. MoCE repräsentiert den ersten Piola–Kirchhoff-Spannungstensor als räumlich variierende Mischung kanonischer Experten (Neo-Hookean, Corotated, St. Venant–Kirchhoff):
$P_{mix}(F_p) = \sum_k w_{k,p} P_k(F_p; E_p, \nu_p)$
Die Mischgewichte $w_{k,p}$ variieren räumlich, was dem Modell ermöglicht, heterogene Materialreaktionen über verschiedene Bereiche des Objekts hinweg zu erfassen, während es gleichzeitig in analytischen konstitutiven Gesetzen fundiert bleibt.

4. Physikfundiertes 4D-Erscheinungsbild

Um ein hochpräzises Erscheinungsbild zu rendern, ohne ein dynamisches Modell für jede Aktion neu zu optimieren, steuert DeformMaster eine Gaussian-Splatting-Repräsentation unter Verwendung der vorhergesagten Partikelbahn des Materials. Eine Brückenfunktion $B_\psi$ verformt Gauss-Verteilungen schrittweise mittels Linear Blend Skinning (LBS) basierend auf der Partikelbewegung. Dies stellt sicher, dass das gerenderte Erscheinungsbild mit der zugrundeliegenden physikalischen Evolution konsistent bleibt.

Trainingschema

Das Modell wird mit einem kombinierten Ziel trainiert, das Dynamikfehler (Track-Ausrichtung, Chamfer-Distanz der Form, lokale Längenerhaltung) und Erscheinungsbildfehler (RGB-photometrischer Verlust) minimiert. Das Training erfolgt in Stufen:

Stufen 1–2: Alternierende Optimierung zwischen Dynamiktraining (Lernen von Materialfeldern und neuronalen Residuen) und der Auswahl von Gewinnen für Verteilte Nachgiebige Aktuatoren (DCA) mittels CMA-ES.
Stufe 3: Optimierung der Gaussian-Splats gefolgt von einer RGB-gesteuerten Verfeinerung des Dynamikzweigs, wobei photometrische Gradienten zurück zur Partikelbewegung und zum neuronalen Residuum fließen.

Hauptbeiträge

PNPGD: Ein hybrides Übergangsmodell, das differentiable Physik mit einem neuronalen Residuum erweitert, physikgeleitete Rollouts bewahrt und gleichzeitig nicht modellierte reale Effekte kompensiert.
DCA: Ein Mechanismus, um verrauschte, spärliche Handtracks in nachgiebige, räumlich verteilte Aktuation umzuwandeln und so die Hand-Kontinuum-Interaktion zu stabilisieren.
MoCE: Ein Ansatz zur konstitutiven Modellierung, der kanonische Materialgesetze mit räumlich variierenden Gewichten mischt, um heterogene Materialreaktionen zu erfassen.
DeformMaster-System: Ein einheitliches, aus Videos abgeleitetes Weltmodell, das interaktive physik-neurale Dynamiken mit physikfundiertem, hochpräzisem 4D-Erscheinungsbild koppelt und Online-Interaktion unterstützt.

Experimentelle Ergebnisse

DeformMaster wurde an 20 realen Sequenzen deformierbarer Objekte aus dem PhysTwin-Datensatz evaluiert, die lineare (Seile), planare (Tücher/Pakete) und volumetrische (weiche Spielzeuge) Objekte abdecken.

Gesamtleistung: DeformMaster erzielte die beste Gesamtleistung und übertraf Baselines (PhysTwin, Spring-Gaus, GS-Dynamics) sowohl bei zukünftigen Dynamiken (IoU, Chamfer-Distanz) als auch beim gerenderten Erscheinungsbild (PSNR, SSIM, LPIPS).
Vergleich mit PhysTwin: Bei vergleichbarem Track-Fehler verbesserte DeformMaster die Chamfer-Distanz (0,011 vs. 0,012) und den IoU (0,748 vs. 0,734).
Vergleich mit erlernten Dynamiken: Die Methode reduzierte die Chamfer-Distanz (um >3 $\times$ ) und den Track-Fehler (um >2,9 $\times$ ) signifikant im Vergleich zu rein erlernten Baselines für Gaussian-Dynamiken.
Generalisierung: Das Modell unterstützte erfolgreich Rollouts unter neuen Aktionen, Variationen von Materialparametern (z. B. Skalierung von Materialfeldern zur Induktion von Brüchen) und die Synthese neuer Ansichten.
Ablationsstudien:
- Das Entfernen des neuronalen Residuums verschlechterte die Leistung, was die Notwendigkeit bestätigt, idealisierte Physik und reale Beobachtungen zu überbrücken.
- Der Ersatz von DCA durch starre Zwangsbedingungen oder Einzel-Punkt-Aktuatoren führte zu Divergenz oder reduzierter Genauigkeit und validiert die Notwendigkeit von Nachgiebigkeit und Verteilung.
- Der Ersatz von MoCE durch einen einzelnen Experten verschlechterte die Ergebnisse und demonstriert die Notwendigkeit einer räumlich variierenden Materialmodellierung.
- Die RGB-gesteuerte Verfeinerung in Stufe 3 lieferte konsistente Verbesserungen bei sowohl Dynamik- als auch Erscheinungsbildmetriken.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DeformMaster einen bedeutenden Schritt hin zu robusten, interaktiven Weltmodellen für deformierbare Objekte darstellt. Durch die gemeinsame Rekonstruktion physikalischer Dynamiken, Interaktionsverankerung und Materialverhalten überwindet das Modell die Einschränkungen rein generativer Ansätze (die keine Aktionskontrollierbarkeit bieten) und rein physikbasierter Ansätze (die mit der Komplexität der realen Welt Schwierigkeiten haben).

Die Autoren betonen, dass DeformMaster Folgendes ermöglicht:

Stabile langfristige Rollouts unter neuen Aktionen.
Robuste Interaktion trotz verrauschter visueller Beobachtungen.
Heterogene Materialmodellierung ohne Annahme eines einzigen globalen konstitutiven Gesetzes.
Hochpräzises 4D-Erscheinungsbild, das direkt von der physikalischen Evolution angetrieben wird.

Die Arbeit positioniert sich als Grundlage für nachgelagerte eingebettete Anwendungen, wie z. B. robotische Manipulation auf Basis von modellprädiktiver Regelung und die Generierung synthetischer Daten, und erkennt gleichzeitig Einschränkungen hinsichtlich sehr dünner planarer Objekte (bei denen Feder-Masse-Systeme möglicherweise immer noch einen induktiven Bias besitzen) und Laufzeitabhängigkeiten von Simulations-Subschritten an.