💻 computer science

NewtonGS: Physics-Structured Object-Level Neural Newtonian Dynamics for Gaussian Scene Animation

NewtonGS introduceert een natuurkundig gestructureerd framework dat statische 3D-Gaussian-scènes animeert door objecten te representeren met een compacte 22-dimensionale staat en een hybride Gaussian Neural Newtonian Dynamics-model, wat superieure staatvoorspelling en controleerbare objectniveau-beweging mogelijk maakt in vergelijking met bestaande methoden.

Oorspronkelijke auteurs: Lianlei Shan, Feiyang Ye, Yan Chen, Yong Wu

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lianlei Shan, Feiyang Ye, Yan Chen, Yong Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je speelt met een digitale zandbak waarin je hele werelden kunt bouwen uit miljoenen piepkleine, gloeiende knikkers. Dit zijn geen gewone knikkers, maar "3D Gaussians", een speciaal soort digitaal bouwsteentje waarmee computers scènes zo snel en scherp kunnen renderen dat ze op het echte leven lijken. Lange tijd waren deze digitale werelden als diorama's: prachtig om naar te kijken, maar volledig bevroren in de tijd. Als je wilde zien hoe een bal over een tafel rolde, moest je elke individuele knikker handmatig verplaatsen, frame voor frame. Het was een nachtmerrie voor animatoren en gameontwerpers.

Onlangs ontdekten wetenschappers hoe ze deze knikkers in beweging konden krijgen, maar ze behandelden de hele scène vooral als een gigantische, wiebelige gelei. Ze konden een personage laten dansen of een doek laten rimpelen, maar ze konden niet gemakkelijk een specifiek object, zeg een koffiemok, oppakken en zeggen: "Hey, rol over de tafel en bots tegen de muur." De computer wist niet dat de mok een specifief gewicht, een specifieke snelheid of een specifieke manier van stuiteren had. De computer wist alleen hoe de pixels eruit zagen. Om deze digitale werelden echt interactief en voorspelbaar te maken, hebben we een manier nodig om elk object zijn eigen "brein" te geven dat de wetten van de fysica begrijpt—zoals zwaartekracht, wrijving en momentum—zodat we het kunnen besturen als een echt speelgoed.

Dit is waar een nieuwe methode genaamd NewtonGS om de hoek komt kijken. Zie het als het geven van een set onzichtbare touwtjes aan een digitale pop, die worden aangestuurd door de werkelijke wetten van de fysica. De onderzoekers hebben een systeem gebouwd dat elk object in een 3D Gaussian-scène niet behandelt als een rommelige stapel van miljoenen kleine puntjes, maar als één enkel, slim personage met een specifieke "toestand" (state). Deze toestand is als een karakterblad in een videogame en bevat precies 22 stukjes informatie: waar het object zich bevindt, welke kant het op kijkt, hoe snel het draait, hoe snel het beweegt, hoe groot het is, en zelfs hoe zwaar het is en hoe stuiterig het is.

De magie gebeurt omdat NewtonGS een slimme mix gebruikt van klassieke natuurkundige wiskunde en een beetje machine learning "intuïtie". Het begint met de harde regels van de fysica (zoals de wetten van Newton) om te voorspellen hoe een object zou moeten bewegen. Maar omdat het echte leven rommelig is en computers niet perfect zijn, voegt het een "geleerde residu" (learned residual) toe. Stel je een natuurkundeleraar voor die de antwoorden uit het tekstboek perfect kent, maar ook een leerling heeft die miljoenen video's van stuiterende ballen heeft bekeken. De leraar kent de wiskunde, maar de leerling weet dat een bal soms vreemd stuiteren kan door een verborgen oneffenheid. NewtonGS combineert de wiskunde van de leraar met de ervaring van de leerling om een beweging te voorspellen die zowel fysiek correct als verrassend realistisch is.

Het team heeft dit getest op een enorme set van 32 verschillende soorten bewegingen, van eenvoudig glijden en rollen tot complex stuiteren en draaien. Ze creëerden een digitale speeltuin genaamd State-32 met meer dan een miljoen gesimuleerde scenario's. In deze tests was NewtonGS in staat om veel beter te voorspellen waar een object zich zou bevinden, hoe snel het zou gaan en hoe het zou draaien dan vijf andere methoden die alleen op strikte wiskundige formules vertrouwden. Het maakte minder fouten bij het voorspellen van het pad, het eindpunt en de snelheid.

Cruciaal is dat het artikel laat zien dat dit niet alleen over cijfers gaat. Zodra het systeem voorspelt waar het object moet zijn, werkt het onmiddellijk alle miljoenen kleine gloeiende knikkers bij om overeen te komen met die nieuwe positie. Het is alsof je een dirigent hebt die elke muzikant in een orkest precies vertelt wanneer hij zijn noot moet spelen, zodat de hele scène in perfecte harmonie beweegt. De onderzoekers hebben ook laten zien dat dit werkt, zelfs wanneer de objecten zich in verschillende omgevingen bevinden, zoals een speelgoedauto op een tafel in een woonkamer of een voetbal in een park.

Het artikel wijst echter ook voorzichtig op wat dit systeem nog niet doet. Het begrijpt de fysica niet magisch door alleen naar een video te kijken; het moet eerst de start snelheid en het gewicht weten. Het kan ook niet omgaan met objecten die uit elkaar breken of van vorm veranderen (zoals een stuk klei dat wordt platgedrukt); het kan alleen objecten aan die solide blijven maar wel iets groter of kleiner kunnen worden. En hoewel het geweldig is in het bewegen van één object tegelijk, lost het nog niet het puzzelstukje op van twee objecten die tegen elkaar botsen en van elkaar wegstuiteren.

Kortom, NewtonGS is een belangrijke stap voorwaarts om digitale werelden echt te laten aanvoelen. Het overbrugt de kloof tussen statische 3D-kunst en interactieve fysica, waardoor we digitale objecten kunnen besturen met dezelfde regels die we in de echte wereld gebruiken. Het suggereert dat door digitale objecten een duidelijke "toestand" en een brein gebaseerd op fysica te geven, we animaties kunnen creëren die niet alleen visueel verbluffend zijn, maar ook voorspelbaar en controleerbaar, wat de deur opent naar betere videogames, virtuele realiteit en interactieve storytelling.

Technische Samenvatting: NewtonGS

Probleemstelling

Het animeren van objecten binnen een statische 3D Gaussian Splatting (3DGS) scène vereist een expliciete objectniveau dynamische staat en een controleerbaar model voor objectbeweging. Bestaande dynamische Gaussian-methoden richten zich primair op het reconstrueren van tijdvariërende scènes of het simuleren van continue deformaties (bijv. 4DGS, deformatievelden). Deze benaderingen missen een compacte, expliciete objectniveau staatrepresentatie die directe controle, voorspelling en bewerking van de beweging van een bestaand Gaussian-object mogelijk maakt. Bovendien schieten puur analytische modellen vaak tekort bij modelmismatch en niet-gemodelleerde effecten, terwijl onbeperkte neurale voorspellers bewegingen produceren die moeilijk te controleren en te interpreteren zijn. De kernuitdaging is het representeren van een Gaussian-object met een compacte staat die duidelijke geometrische en dynamische betekenissen behoudt, deze staat over de tijd te evolueren door zowel continue beweging als discrete gebeurtenissen (zoals contact) te vangen, en de voorspelde beweging coherent terug te mappen naar de Gaussian-primitieven zonder afzonderlijke trajecten aan elke primitief toe te wijzen.

Methodologie: NewtonGS

De auteurs stellen NewtonGS voor, een fysica-gestructureerd framework voor objectniveau staat-rollout en Gaussian-scèneanimatie. De methode werkt in drie stadia: staatrepresentatie, hybride dynamische voorspelling en staat-naar-Gaussian transformatie.

1. Object-centrische Gaussian Staatrepresentatie

Elk dynamisch object $k$ wordt samengevat door een compacte 22-dimensionale staatvector $Z_k$ :
$Z_k = [p_k, q_k, v_k, \omega_k, s_k, u_k, m_k, e_k, \mu_k]$
Waarbij:

$p_k \in \mathbb{R}^3$ : Positie van het objectcentrum.
$q_k \in \mathbb{H}$ : Eenheidsorientatie quaternion.
$v_k, \omega_k \in \mathbb{R}^3$ : Lineaire en hoekverdiensten.
$s_k, u_k \in \mathbb{R}^3$ : Geaggregeerde anisotrope schaal en de verandering daarvan.
$m_k, e_k, \mu_k \in \mathbb{R}$ : Massa, restitutie en tangentiële attenuatie (materiaal eigenschappen).

Deze staat beschrijft een object-aggregaat in plaats van individuele primitieven. De schaal $s_k$ dekt grootteverandering en eenvoudige deformatie-trajecten zonder een hoog-dimensionale deformatiecode te introduceren.

2. Gaussian Neural Newtonian Dynamics (Gaussian-NND)

De kern van het framework is een gestructureerd hybride dynamisch model dat een analytische prior combineert met geleerde residuen.

Continue Dynamica: Tussen contactmomenten evolueert de staat via een gestructureerd vectorveld dat translatie, quaternion kinematica, zwaartekracht, demping en schaalherstel integreert. Een neuraal netwerk $f_\theta$ voorspelt begrensde acceleratie-residuen $[r_v, r_\omega, r_s]$ om de analytische prior te corrigeren. Het systeem wordt geïntegreerd met behulp van RK4.
Discrete Contactgebeurtenissen: Om instantane snelheidsveranderingen bij impact af te handelen, detecteert een aparte event-map contact met een horizontale vloer ( $y=0$ ). Bij detectie wordt een analytische respons (restitutie en tangentiële attenuatie) toegepast, gevolgd door een geleerd contact-residueel netwerk $h_\phi$ dat correcties voorspelt voor de snelheid en hoeksnelheid na de impact.
Initialisatie: Beide residuele netwerken worden geïnitialiseerd om nul-outputs te produceren, wat ervoor zorgt dat de initiële rollout strikt het analytische model volgt, waarbij de residuen vanuit data worden geleerd.

3. Staat-naar-Gaussian Transformatie

De voorspelde objectstaat wordt omgezet in een gedeelde affine transformatie die wordt toegepast op alle Gaussians die tot het object behoren.

Een relatieve rotatiematrix $R_t$ en een schaalratio-vector $\rho_t$ worden berekend vanuit de voorspelde staat ten opzichte van de initiële staat.
De Gaussian gemiddelden $g_i$ en covarianties $\Sigma_i$ worden bijgewerkt via een gedeelde transformatiematrix $A_t$ :
$g_i^t = A_t(g_i^0 - p_0) + p_t$
$\Sigma_i^t = A_t \Sigma_i^0 A_t^\top$
Dit zorgt ervoor dat de interne structuur van het object behouden blijft terwijl de gehele cluster coherent beweegt.

Belangrijkste Bijdragen

NewtonGS Framework: Een framework op objectniveau dat Gaussian-animatie formuleert als de rollout van een expliciete 22-dimensionale staat, gevolgd door een deterministische, gedeelde transformatie van de Gaussian-primitieven van het object.
Gaussian-NND Model: Een gestructureerd hybride dynamisch model dat continue quaternion/schaal evolutie, discrete horizontale-vloer contactgebeurtenissen en zero-geïnitialiseerde geleerde residuen combineert. Dit balanceert fysieke interpreteerbaarheid met het vermogen om modelmismatches te corrigeren.
Evaluatie op Procedurele Benchmarks: De introductie van State-32 (voor staat-rollout evaluatie) en Gaussian-32 (voor staat-naar-Gaussian transformatie). Experimenten tonen aan dat NewtonGS lagere traject-, eindpunt- en snelheidsfouten bereikt dan vijf analytische baselines over zowel in-distributie als velocity-range-shift splits.

Resultaten

De auteurs evalueerden NewtonGS op de State-32 dataset, die 1.048.576 trainingssequenties en 131.072 sequenties bevat voor respectievelijk in-distributie (ID) en out-of-distribution (OOD) splits (waarbij OOD een verhoogde snelheidrange inhoudt).

Staat Voorspelling: Op zowel ID als OOD splits behaalde NewtonGS de laagste Trajectory RMSE, Final Displacement Error (FDE) en Velocity RMSE vergeleken met vijf analytische baselines (inclusief Hold-Z0, Constant Velocity, Damped Velocity, Gravity-Bounce en Physics-Prior).
- Op ID verminderde NewtonGS de traject-, eindpunt- en snelheidsfouten met respectievelijk 3,61%, 2,57% en 2,34% ten opzichte van de beste baseline.
- Op OOD waren de reducties respectievelijk 3,06%, 5,25% en 2,27%, wat wijst op robuustheid tegen snelheidsschommelingen.
Cross-Representatie: Op de Gaussian-32 en Same-32 subsets presteerde NewtonGS beter dan de L4GM video-naar-4DGS methode op het gebied van traject-, eindpunt- en quaternionfouten, wat een effectieve conversie van voorspelde staten naar geanimeerde Gaussian-objecten aantoont.
Video Proxy Vergelijking: In een "Common-12" vergelijking met video-generatiemodellen (Sora, Veo 3, Wan, etc.) behaalde NewtonGS hogere scores in fysieke consistentie (PISp), achtergrondstabiliteit (BCp) en bewegingsgladheid (MSp), met een lagere variantie over bewegingscategorieën.

Betekenis en Claims

Het artikel claimt dat NewtonGS een noodzakelijke brug vormt tussen statische 3D Gaussian-representaties en controleerbare, fysica-gestuurde beweging. Door expliciete dynamische staten toe te wijzen aan Gaussian-objecten, maakt de methode voorspelbare en bewerkbare beweging mogelijk, wat cruciaal is voor scèneanimatie en interactieve contentcreatie.

De auteurs benadrukken dat hun aanpak verschilt van bestaande 4DGS-methoden door de voorkeur te geven aan een coherent objectframe en directe staat-ruimte controle boven onafhankelijk voorspelde primitieve beweging. De gestructureerde hybride dynamica stellen het model in staat om diverse bewegingspatronen (ballistisch, stuiterend, rollend, oscillerend) te vangen die vaste analytische regels niet kunnen vangen, terwijl de interpreteerbaarheid behouden blijft door de onderliggende fysieke priors.

Het artikel blijft bescheiden over de reikwijdte:

Het richt zich op objectniveau dynamica en modelleert geen gelede gewrichten (articulated joints), topologieveranderingen of complexe interacties tussen meerdere objecten (bijv. pairwise collisions worden niet expliciet gemodelleerd in de event-map).
De huidige implementatie behandelt contact met een horizontale vloer; contact met wanden en hellingen wordt geleerd via residuen in plaats van via expliciete solvers.
De gerapporteerde resultaten vertrekken vanuit gelabelde initiële staten; het artikel claimt niet het automatische observatie-naar-staat inferentieprobleem uit ruwe video op te lossen, hoewel het deterministische interfaces biedt voor groepering en staat-lifting.
De evaluatie wordt uitgevoerd op procedureel gegenereerde synthetische datasets; hoewel de methode effectieve animatie demonstreert, claimt het niet fotorealistische 4D-reconstructie te bereiken of superieur te zijn aan text-to-video systemen in algemene generatietaken.