💻 computer science

DeformMaster: An Interactive Physics-Neural World Model for Deformable Objects from Videos

DeformMaster is een interactief fysiek-neuraal wereldmodel dat leert van real-world video's om vervormbare objecten te simuleren door fysische dynamica en hoogwaardige weergave te verenigen, waardoor nauwkeurige toekomstvoorspelling, roll-out van nieuwe acties en dynamische weergavesynthese mogelijk worden.

Oorspronkelijke auteurs: Can Li, Zhoujian Li, Ren Li, Jie Gu, Lei Lei, Jingmin Chen, Lei Sun

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Can Li, Zhoujian Li, Ren Li, Jie Gu, Lei Lei, Jingmin Chen, Lei Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een video hebt van een hand die een zacht stressbal knijpt, een stuk stof trekt of een rubberen speelgoedje draait. Stel je nu voor dat je een computer wilt leren niet alleen die video te bekijken, maar ook te begrijpen hoe dat object werkt, zodat je het kunt vragen: "Wat gebeurt er als ik harder trek?" of "Wat als ik het van de zijkant knijp?" of zelfs "Laat me zien hoe het er van achteren uitziet."

Dat is precies wat DeformMaster doet. Het zet een simpele video om in een interactieve "digitale tweeling" van een zacht, rekbaar object waarmee je in real-time kunt spelen.

Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het probleem: Waarom is dit moeilijk?

De meeste computerprogramma's die proberen zachte objecten (zoals stof, touwen of gelei) te simuleren, zijn als stijve robots. Ze volgen strikte natuurkundige regels, maar het echte leven is rommelig. Een echt stuk stof kan een rare vouw hebben, of een rubberen speelgoedje kan op één plek iets stijver zijn dan op een andere. Als je dit probeert te simuleren met perfecte wiskunde, ziet het er vaak nep uit of valt het uit elkaar. Als je het puur probeert te leren uit data (zoals een AI voor videospellen), kan het in de war raken en onmogelijke dingen doen, zoals in de lucht blijven hangen.

2. De oplossing: Een team van "Natuurkunde + AI"

DeformMaster lost dit op door een team van twee personen in te zetten om de simulatie te runnen:

De natuurkunde-expert (De "Basis"): Dit is een standaard, betrouwbare natuurkundige engine (zoals die in videospellen wordt gebruikt) die de basisregels kent van hoe dingen bewegen, rekken en stuiteren. Het biedt een stabiele fundering.
De AI-assistent (De "Residuaal"): Dit is een neuronaal netwerk (een type AI) dat fungeert als een "correctielaag". Het kijkt naar de natuurkunde-expert en zegt: "Hé, de echte video laat zien dat de stof een beetje anders draait dan jouw wiskunde voorspelt. Laat me hier een klein duwtje toevoegen om het te repareren."

Denk hieraan als een GPS. De natuurkunde-expert is de kaart die de hoofdstraten toont. De AI-assistent is de lokale bestuurder die weet van gaten in de weg, wegwerkzaamheden en afkortingen die de kaart niet toont. Samen brengen ze je perfect op je bestemming.

3. Omgaan met de "Hand" (De controller)

In de video raakt een hand het object aan. Maar camera's zijn niet perfect; het volgen van de hand kan onstabiel of trillend zijn.

De oude manier: Als je de simulatie vertelt om exact te bewegen waar de trillende hand is, kan het object hevig gaan trillen of breken.
De manier van DeformMaster: Het gebruikt zoiets als Distributed Compliant Actuators (Verdeelde compliant actuatoren). Stel je voor dat in plaats van één stijve vinger die het object duwt, je een zachte, wollige handschoen hebt die de kracht zachtjes over een breder gebied verspreidt. Dit gladtrekt de trillende cameradata en duwt het object op een natuurlijke manier, precies zoals een echte hand zou doen.

4. Omgaan met verschillende materialen (Het "Mengsel")

Echte objecten zijn niet gemaakt van één uniforme substantie. Een knuffel kan een zachte buik hebben maar een stijvere neus.

De oude manier: Veel modellen gaan ervan uit dat het hele object van exact hetzelfde materiaal is gemaakt (zoals een groot blokje Jell-O).
De manier van DeformMaster: Het gebruikt een Mixture of Constitutive Experts (Een mengsel van constitutieve experts). Denk hieraan als een "smaakmixer". Het beseft dat één deel van het object misschien "Neo-Hookean" is (zeer rekbaar), terwijl een ander deel "St. Venant-Kirchhoff" is (stijver). Het mengt deze verschillende "smaken" van natuurkunde over het oppervlak van het object om perfect overeen te komen met de echte video.

5. Het resultaat: Een interactieve speelplaats

Zodra DeformMaster heeft geleerd van de video, speelt het de video niet alleen maar af. Het creëert een Wereldmodel.

Nieuwe acties: Je kunt het vertellen het object in een richting te trekken die de originele video nooit heeft getoond, en het zal het resultaat realistisch voorspellen.
Nieuwe materialen: Je kunt het vertellen: "Maak dit object 3x zachter", en het zal simuleren hoe die zachtere versie zich zou gedragen (zelfs het tonen van scheuren of breuken als je te hard trekt).
Nieuwe weergaven: Je kunt vragen het object te zien vanuit een camerahoek die niet in de originele video zat, en het zal een hoogwaardige afbeelding ervan renderen.

Samenvatting

DeformMaster is als het nemen van een video van een zacht speelgoedje en het omzetten in een speelbaar, natuurkundig accuraat videospellevel. Het combineert de betrouwbaarheid van natuurkunderegels met de flexibiliteit van AI om de rommelige, real-world details te hanteren, waardoor je op manieren met het object kunt interageren die je nog nooit hebt gezien.

Wat het paper eigenlijk claimt:

Het werkt op real-world video's van touwen, stoffen en zachte speelgoedjes.
Het is nauwkeuriger in het voorspellen van toekomstige bewegingen en het renderen van afbeeldingen dan eerdere methoden (zoals PhysTwin of Spring-Gaus).
Het staat "long-horizon rollouts" toe, wat betekent dat je het object kunt simuleren dat lang beweegt zonder dat het afdwaalt naar onzin.
Het ondersteunt het veranderen van materiaaleigenschappen (zoals dingen zachter maken) en het bekijken ervan vanuit nieuwe hoeken.
Het draait op interactieve snelheden (meer dan 15 frames per seconde), waardoor manipulatie in real-time mogelijk is.

Technische Samenvatting: DeformMaster

Probleemstelling

Wereldmodellen voor vervormbare objecten moeten niet alleen geometrie en uiterlijk reconstrueren, maar ook onderliggende fysische dynamica, interactiegronden en materiaalgedrag. Het leren van dergelijke modellen uit real-world video's is uitdagend omdat vervormbare objecten (lineair, planair en volumetrisch) evolueren in hoog-dimensionale toestandsruimten die worden beheerst door verdeelde rek, complexe materiaalresponsen, zelfcontact en externe krachten.

Bestaande benaderingen ondervinden aanzienlijke beperkingen:

Fysiek gebaseerde reconstructie (bijv. PhysTwin, Spring-Gaus) vertrouwt vaak op geïdealiseerde fysieke modellen waarbij parameteridentificatie moeite heeft om real-world fenomenen buiten de modelaannames te verklaren.
Generatieve modellen (bijv. video-diffusie) bedenken voornamelijk visuele uitkomsten maar missen vaak een betrouwbaar begrip van op actie gebaseerde dynamica, waardoor ze moeilijk te controleren zijn via expliciete interacties en vatbaar zijn voor gehallucineerde dynamica.
Puur geleerde dynamica (bijv. deeltje-graafnetwerken) lijdt onder zware data-afhankelijkheid, blijft gebonden aan trainingsverdelingen en vertoont aanzienlijke drift tijdens rollouts over lange horizon onder nieuwe acties.

De kernuitdaging is het bouwen van een model dat fysische toestanden infereert uit visuele waarnemingen, deze vooruit voert onder nieuwe interacties, en hoog-fideliteit dynamica weergeeft terwijl het stabiel, generaliseerbaar en fysisch onderbouwd blijft.

Methodologie: DeformMaster

DeformMaster is een interactief fysiek-neuraal wereldmodel afgeleid van video's dat dynamica en uiterlijk verenigt binnen één enkel raamwerk. Het transformeert real-world interactievideo's naar een online, querybare representatie die ondersteuning biedt voor rollouts van nieuwe acties, variaties in materiaalparameters en synthese van dynamische nieuwe weergaven. Het systeem bestaat uit vier kerncomponenten:

1. Fysiek-Neurale Deeltje-Raster Dynamica (PNPGD)

Om de stabiliteit van fysische priors te balanceren met de flexibiliteit om real-world mismatches te modelleren, decomposeert DeformMaster de dynamische operator $F_{\theta,\phi}$ in een fysiek blok $P_\theta$ en een neurale rest $R_\phi$ :
$F_{\theta,\phi} = P_\theta \oplus R_\phi$

Fysiek Blok ( $P_\theta$ ): Gebruikt een differentieerbare Material Point Method (MPM) om de toestand over één frame te vorderen op basis van materiaalparameters $\theta$ . Dit biedt een gestructureerde, stabiele prior.
Neurale Rest ( $R_\phi$ ): Een deeltje-raster neurale netwerk dat een begrenste snelheidscorrectie $\Delta v_p$ voorspelt op basis van de post-MPM toestand en een korte kinematische geschiedenis. Deze rest absorbeert niet-gemodelleerde effecten (bijv. wrijving, complex contact) zonder te fungeren als een vrije toestandsvoorspeller, waardoor het model een perturbatie blijft van de fysische simulatie in plaats van een volledige vervanging.

2. Gedistribueerde Compliance Actuatoren (DCA)

Real-world handtracks afgeleid van visie zijn ruisig en spaarzaam. Harde puntsgewijze constraints leiden vaak tot snelheidsspieken of gelokaliseerde vervormingen die geen bulkbeweging kunnen aandrijven. DCA lost dit op door:

Compliance: Harde constraints om te zetten in compliance actuator-deeltje koppelingen (met behulp van stijfheid $k_p$ en demping $k_d$ ) om hoogfrequente ruis te absorberen.
Distributie: Actiatie te verspreiden over een eindig contactvlak (lokale buurt) in plaats van een enkel punt, waardoor effectieve krachtoverdracht door zachte continuums mogelijk wordt.

3. Mengsel van Constitutieve Experts (MoCE)

Real vervormbare objecten voldoen zelden aan één geïdealiseerd constitutief wet. MoCE representeert de eerste Piola–Kirchhoff spanning als een ruimtelijk variërend mengsel van canonieke experts (Neo-Hookean, Corotated, St. Venant–Kirchhoff):
$P_{mix}(F_p) = \sum_k w_{k,p} P_k(F_p; E_p, \nu_p)$
De mengselgewichten $w_{k,p}$ zijn ruimtelijk variërend, waardoor het model heterogene materiaalresponsen over verschillende regio's van het object kan vastleggen terwijl het verankerd blijft in analytische constitutieve wetten.

4. Fysiek Verankerde 4D Uiterlijk

Om hoog-fideliteit uiterlijk weer te geven zonder een dynamisch model voor elke actie opnieuw te optimaliseren, stuurt DeformMaster een Gaussian Splatting representatie aan met behulp van de voorspelde materiaal-deeltjetrajectorie. Een bridfunctie $B_\psi$ vervormt Gaussians met behulp van Linear Blend Skinning (LBS) incrementeel op basis van deeltjesbeweging. Dit zorgt ervoor dat het weergegeven uiterlijk consistent blijft met de onderliggende fysische evolutie.

Trainingschema

Het model wordt getraind met een gecombineerde doelstelling die dynamische fouten (track-uitlijning, vorm Chamfer-afstand, lokale lengtebehoud) en uiterlijkfouten (RGB-fotometrische verlies) minimaliseert. Training verloopt in fasen:

Fasen 1–2: Alternerende optimalisatie tussen dynamica-training (leren van materiaalfelden en neurale resten) en selectie van Distributed Compliant Actuator (DCA) versterkingen met CMA-ES.
Fase 3: Optimalisatie van Gaussian splats gevolgd door RGB-gestuurde verfijning van de dynamica-tak, waarbij fotometrische gradiënten terugvloeien naar de deeltjesbeweging en neurale rest.

Kernbijdragen

PNPGD: Een hybride overgangsmodel dat differentieerbare fysica aanvult met een neurale rest, waardoor fysiek geleide rollouts behouden blijven terwijl niet-gemodelleerde real-world effecten worden gecompenseerd.
DCA: Een mechanisme om ruisige, spaarzame handtracks om te zetten in compliance, ruimtelijk gedistribueerde actiatie, waardoor hand-continuüm interactie wordt gestabiliseerd.
MoCE: Een constitutieve modelleringbenadering die canonieke materiaalwetten combineert met ruimtelijk variërende gewichten om heterogene materiaalresponsen vast te leggen.
DeformMaster Systeem: Een unificerend, video-afgeleid wereldmodel dat interactieve fysiek-neurale dynamica koppelt aan fysiek verankerd hoog-fideliteit 4D uiterlijk, met ondersteuning voor online interactie.

Experimentele Resultaten

DeformMaster werd geëvalueerd op 20 real-world sequenties van vervormbare objecten uit de PhysTwin-dataset, die lineaire (touwen), planaire (doeken/pakketten) en volumetrische (zachte speelgoed) objecten omvatten.

Algemene Prestatie: DeformMaster behaalde de sterkste algehele prestatie en overtrof baselines (PhysTwin, Spring-Gaus, GS-Dynamics) zowel in toekomstige dynamica (IoU, Chamfer-afstand) als in weergegeven uiterlijk (PSNR, SSIM, LPIPS).
Vergelijking met PhysTwin: Hoewel een vergelijkbare track-fout werd behouden, verbeterde DeformMaster de Chamfer-afstand (0,011 vs. 0,012) en IoU (0,748 vs. 0,734).
Vergelijking met Geleerde Dynamica: De methode verlaagde de Chamfer-afstand aanzienlijk (met >3 $\times$ ) en de track-fout (met >2,9 $\times$ ) in vergelijking met puur geleerde Gaussian dynamica baselines.
Generalisatie: Het model ondersteunde succesvol rollouts onder nieuwe acties, variaties in materiaalparameters (bijv. schalen van materiaalfelden om fractuur te induceren) en synthese van nieuwe weergaven.
Ablatie Studies:
- Het verwijderen van de neurale rest verslechterde de prestaties, wat de noodzaak bevestigt om geïdealiseerde fysica en real-world waarnemingen te overbruggen.
- Het vervangen van DCA door rigide constraints of enkel-punts actuatoren veroorzaakte divergentie of verminderde nauwkeurigheid, wat de noodzaak van compliance en distributie valideert.
- Het vervangen van MoCE door een enkele expert verslechterde de resultaten, wat de noodzaak van ruimtelijk variërende materiaalmodellering aantoont.
- RGB-gestuurde verfijning in Fase 3 leverde consistente winsten op in zowel dynamica- als uiterlijkmetrieken.

Betekenis en Claims

Het artikel claimt dat DeformMaster een significante stap voorwaarts is richting robuuste, interactieve wereldmodellen voor vervormbare objecten. Door fysieke dynamica, interactiegronden en materiaalgedrag gezamenlijk te reconstrueren, overwint het model de beperkingen van puur generatieve benaderingen (die gebrek aan actiecontrole hebben) en puur fysiek gebaseerde benaderingen (die worstelen met real-world complexiteit).

De auteurs benadrukken dat DeformMaster mogelijk maakt:

Stabiele rollouts over lange horizon onder nieuwe acties.
Robuuste interactie ondanks ruisige visuele waarnemingen.
Heterogene materiaalmodellering zonder aan te nemen dat er één globale constitutieve wet geldt.
Hoog-fideliteit 4D uiterlijk dat direct wordt aangedreven door fysieke evolutie.

Het werk positioneert zichzelf als een fundament voor downstream embodied toepassingen, zoals robotmanipulatie op basis van modelvoorspellende controle en synthetische datageneratie, terwijl het beperkingen erkent met betrekking tot zeer dunne planaire objecten (waarbij veer-massa systemen mogelijk nog steeds een inductieve bias hebben) en runtime-afhankelijkheden van simulatiesubstappen.