💻 computer science

LagrangeGS: Non-Conservative Lagrangian System on Dynamic 3D Gaussian Splatting

LagrangeGS introduceert een niet-conservatief Lagrangiaans raamwerk voor Dynamic 3D Gaussian Splatting dat problemen met fysieke inconsistentie, irreversibiliteit en geometische instorting oplost door middel van identiteitsmatrix-benadering, tijdonafhankelijke krachtbeperkingen en lokale rigide uitlijning, waardoor stabiele langetermijnextrapolatie en contrafactische natuurkundige bewerking mogelijk worden gemaakt.

Oorspronkelijke auteurs: Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bewegende scène probeert vast te leggen, zoals een draaiende ventilator of een vallende bal, niet alleen als een platte video, maar als een driedimensionale wereld waar je doorheen kunt lopen. Jarenlang hebben wetenschappers manieren ontwikkeld om deze digitale werelden te bouwen vanuit foto's, waardoor statische scènes ontstonden die ongelooflijk echt lijken. Onlangs leerden ze deze werelden ook te laten bewegen, waardoor een camera door een video van een drukke kamer of een roterend object kan vliegen. Echter, deze bewegende digitale werelden hebben een grote zwakte: ze zijn in essentie slimme trucjes die memoriseren wat er in de video gebeurde. Als je de computer vraagt om te tonen wat er een seconde nadat de video eindigt, of om de video terug te spoelen om te laten zien wat er vóór het begin gebeurde, valt de digitale wereld vaak uit elkaar. De objecten kunnen vreemde vormen aannemen, verdwijnen of bewegen op manieren die de wetten van de fysica tarten, omdat de computer nooit echt heeft geleerd hoe zwaartekracht of momentum werkt; het heeft alleen geleerd hoe de pixels veranderden.

Een team onderzoekers bij NTT in Japan heeft een nieuwe aanpak geïntroduceerd genaamd LagrangeGS die dit oplost door de digitale wereld te leren de regels van de fysica te volgen. In plaats van alleen te kijken naar hoe de scène verandert, beschrijft hun systeem de beweging met behulp van een fundamenteel kader dat bekend staat als Lagrangiaanse mechanica. In eenvoudige termen behandelt dit kader elk bewegend deel van de scène als een fysiek object met massa, energie en krachten die erop inwerken. Door dit te doen, gokt de computer niet simpelweg wat er volgt; hij berekent de toekomst op basis van hoe energie wordt opgeslagen en hoe krachten duwen en trekken. Dit stelt het systeem in staat om te voorspellen hoe een scène er ver in de toekomst uitziet, de tijd terug te draaien om het verleden te zien, of zelfs de regels van de scène te veranderen, zoals de zwaartekracht zwakker maken, zonder dat het opnieuw getraind hoeft te worden op nieuwe gegevens.

De onderzoekers bouwden hun systeem bovenop een technologie die een scène representeert als miljoenen kleine, gekleurde, wazige bollen die Gaussian-deeltjes worden genoemd. In eerdere methoden mochten deze deeltjes vrij drijven en vervormen om de video te matchen, wat goed werkte voor de tijd dat de video werd opgenomen, maar faliekant mislukte wanneer het systeem probeerde te voorspellen wat er daarna gebeurde. De nieuwe methode dwingt deze deeltjes om zich als een fysisch systeem te gedragen. Om dit mogelijk te maken voor miljoenen deeltjes, vereenvoudigde het team de complexe wiskunde die normaal gesproken nodig is om te berekenen hoe deze deeltjes met elkaar interageren. Ze behandelden elk deeltje alsof het hetzelfde eenvoudige gewicht had en onafhankelijk bewoog, wat een enorme computationele barrière wegnam. Ze zorgden er ook voor dat de krachten die op de deeltjes inwerken niet willekeurig over de tijd veranderen, een cruciale vereiste die ervoor zorgt dat het systeem net zo gemakkelijk achteruit in de tijd kan draaien als vooruit.

Om de digitale objecten uit elkaar te laten vallen, voegden de onderzoekers een slimme beperking toe die groepen deeltjes ervoor zorgt om samen te bewegen alsocht rigide onderdelen van een vast object zijn, zoals de bladen van een ventilator of de romp van een bal. Dit voorkomt dat de deeltjes uiteenvallen in een wolk van ruis wanneer het systeem probeert de tijd ver voorbij de originele video te simuleren. Toen ze hun nieuwe systeem testten op scènes met een draaiende ventilator en een vallende bal, waren de resultaten opmerkelijk. Terwijl oudere methoden de draaiende ventilator snel veranderden in een wazige bende of de vallende bal lieten exploderen in een enorme wolk van pixels, hield het nieuwe systeem de vormen intact en de beweging vloeiend, zelfs bij het voorspellen van tijdstappen die drie keer langer waren dan de originele video.

Een van de meest overtuigende demonstraties van dit werk is het vermogen om de tijd om te keren. Omdat het systeem is gebouwd op natuurkundige wetten die er niet om geven welke kant de tijd op stroomt, konden de onderzoekers de computer simpelweg de simulatie achteruit laten draaien. Het resultaat was een perfecte terugdraaiing van de scène, waarbij de bal terug naar zijn starthoogte rolde en de ventilator in omgekeerde richting draaide, met de deeltjes die exact terugkeerden naar hun oorspronkelijke posities. Dit is iets wat eerdere systemen niet konden; zij zouden simpelweg falen of een rommelig geheel produceren wanneer ze werden gevraagd om achteruit te gaan. De onderzoekers lieten ook zien dat ze de fysica van de scène ter plekke konden bewerken. Door één instelling aan te passen, konden ze de bal veel langzamer laten vallen, alsof hij op de maan was, of veel sneller, alsof de zwaartekracht sterker was. Ze deden dit niet door het model opnieuw te trainen, maar door simpelweg de getallen te veranderen die de krachten in de simulatie definiëren.

De studie bevestigt dat door deze digitale representaties te funderen in de werkelijke wetten van de fysica, het mogelijk is om dynamische 3D-werelden te creëren die stabiel, omkeerbaar en bewerkbaar zijn. De onderzoekers ontdekten dat hoewel hun methode in specifieke binnenruimtes soms iets minder scherpe beelden produceerde dan de meest geavanceerde puur visuele methoden, het de geometrische instorting die andere systemen tijdens lange simulaties te kwelden volledig elimineerde. Ze merkten ook op dat hun huidige aanpak het beste werkt wanneer de objecten in de scène niet tegen elkaar botsen of op complexe wijze met elkaar in contact komen, aangezien het systeem de deeltjes als onafhankelijk bewegend behandelt. Ondanks deze beperking markeert het werk een belangrijke stap voorwaarts, door dynamische 3D-scènes te transformeren van statische visuele opnames naar levende, fysieke modellen die kunnen worden verkend, omgedraaid en gemanipuleerd met dezelfde logica die wij gebruiken om de echte wereld te begrijpen.

Technische Samenvatting: LagrangeGS

Probleemstelling
Dynamische 3D Gaussian Splatting (3DGS) heeft gerealiseerd tot fotorealistische reconstructie van tijdvariërende scènes, maar bestaande natuurkundig bewuste uitbreidingen lijden aan fundamentele beperkingen. Hoewel recente methoden snelheid- of versnellingsvelden voorspellen om extrapolatie mogelijk te maken, passen ze louter vectorfelden aan op visuele deformaties zonder de Lagrangiaanse mechanica te voldoen. Dit gebrek aan fysieke gronding leidt tot drie kritieke problemen:

Fysiek inconsistente trajecten: Beweging houdt geen rekening met behoudswetten of energieprincipes.
Gebrek aan tijdsomkeerbaarheid: De systemen kunnen de verleden toestanden niet consistent reconstrueren op basis van huidige observaties.
Geometrische instorting: Lange-termijn extrapolatie resulteert vaak in onbegrensde volumedivergentie of onduidelijke waas.

Bovendien is het direct toepassen van standaard Generalized Lagrangian Neural Networks (G-LNNs) op dynamische 3DGS computationeel onhaalbaar. Het vereist de inversie van een enorme snelheid-Hessiaan-matrix ( $\partial^2 L / \partial \dot{q}^2$ ) voor miljoenen Gaussian-deeltjes bij elke integratiestap. Daarnaast maken standaard G-LNNs vaak tijdafhankelijke krachten gebruik, wat wiskundig gezien exacte tijdsomkeer uitsluit.

Methodologie
De auteurs stellen LagrangeGS voor, een framework dat dynamische 3DGS formuleert als een niet-conservatief Lagrangiaans systeem geparametriseerd door potentiële energie ( $U$ ), initiële snelheid ( $v_0$ ) en niet-conservatieve krachten ( $Q$ ). De architectuur bestaat uit drie kerncomponenten:

Tijdonafhankelijke Ontkoppelde LNN (TD-LNN):
Om de computationele bottleneck van de Hessiaan-inversie op te lossen, benadert de methode de snelheid-Hessiaan als een identiteitsmatrix. Dit is fysiek equivalent aan het toekennen van een uniforme eenheidsmassa aan alle Gaussian-deeltjes en het ontkoppelen van hun inertiële dynamica. De kinetische energie wordt vereenvoudigd tot $T(\dot{q}) = \frac{1}{2}\|\dot{q}\|^2$ .
Om tijdsomkeerbaarheid mogelijk te maken, wordt de niet-conservatieve kracht beperkt tot een expliciet tijdonafhankelijke vorm, $F(q, \dot{q}, t) = Q(q, \dot{q})$ . Dit maakt het mogelijk om het systeem met een negatieve tijdstap achteruit in de tijd te integreren, wat de wiskundige welgesteldheid voor staat-herstel garandeert. De resulterende versnelling voor elk deeltje $j$ is een gesloten vormoplossing:
$\ddot{q} = -\nabla_q U(q) + Q(q, \dot{q})$
Zowel $U$ als $Q$ worden geparametriseerd door Multi-Layer Perceptrons (MLP's).
Lokale Rigide Uitlijning (LRA):
Om geometrische instorting veroorzaakt door ontkoppelde deeltjesdynamica aan te pakken, introduceert de methode een regularisatiestap. Voor elk deeltje wordt een lokale rigide ondersteuning gedefinieerd met behulp van zijn $k$ -dichtstbijzijnde buren in de initiële staat. Tijdens de rollout worden de voorspelde kandidaatposities door de TD-LNN uitgelijnd met een lokale rigide beweging van deze ondersteuning via een differentieerbare Kabsch-solver. Dit bindt deeltjes in lokale rigide structuren terwijl globale continue deformaties mogelijk blijven.
Driestaps Optimalisatie:

Fase 1 (Traject Distillatie): De TD-LNN wordt getraind om de Mean Squared Error (MSE) te minimaliseren tussen de geïntegreerde trajecten en de trajecten geëxtraheerd uit een vooraf getraind dynamisch 3DGS-model (bijv. DefGS of FreeGave). Een strafterm stimuleert de dynamica om waar mogelijk conservatief te blijven.
Fase 2 (TD-LNN Fine-tuning): Het model wordt verfijnd met behulp van fotometrische loss (SSIM en $L_1$ ) op de gerenderde beelden. Gradiënten stromen door de differentieerbare Kabsch-uitlijning naar de TD-LNN parameters, waardoor het model kan ontsnappen aan overfitting op de bron-trajecten.
Fase 3 (Gaussian Parameter Fine-tuning): De fysica-parameters worden bevroren en de initiële Gaussian-parameters (positie, rotatie, schaal, opaciteit, kleur) worden verfijnd om resterende visuele fouten op te vangen.

Belangrijkste Bijdragen

Lagrangiaanse Formulering: Het eerste framework dat dynamische 3DGS expliciet formuleert als een niet-conservatief Lagrangiaans systeem, wat fundamenteel de fysiek inconsistente trajecten oplost en een theoretische basis biedt voor fysica-manipulaties.
TD-LNN Architectuur: Een nieuwe neurale architectuur die de snelheid-Hessiaan benadert als een identiteitsmatrix voor computationele hanteerbaarheid en tijdonafhankelijke krachten gebruikt om consistente tijdsomkeer mogelijk te maken.
Lokale Rigide Uitlijning (LRA): Een mechanisme dat geometrische instorting tijdens lange-termijn extrapolatie voorkomt door ontkoppelde deeltjes in lokale rigide structuren te binden.
Fysica-Manipulatie: De mogelijkheid om counterfactuele fysica-gebaseerde bewerkingen uit te voeren (bijv. het schalen van zwaartekracht of initiële snelheid) en tijdsomkeer tijdens inferentie zonder hertraining.

Resultaten
Experimenten werden uitgevoerd op de Dynamic Object en Dynamic Indoor Scene benchmarks, waarbij LagrangeGS werd vergeleken met deformatie-gebaseerde methoden (T-NeRF, DefGS) en natuurkunde-bewuste baselines (NVFi, TRACE, FreeGave).

Extrapolatie: LagrangeGS vertoont stabiele lange-termijn extrapolatie. Terwijl DefGS lijdt onder onnatuurlijke beweging en FreeGave geometrische drift en volumedivergentie vertoont, behoudt LagrangeGS fysiek consistente en vloeiende beweging. Kwantitatief gezien verbetert LagrangeGS de PSNR met +5.05 op de Dynamic Object dataset wanneer gedistilleerd uit DefGS. Wanneer gedistilleerd uit FreeGave, laat het een marginale daling in fotometrische metrieken zien, maar verbetert het de geometrische stabiliteit aanzienlijk (voorkomt volume-expansie van 1.9 $\times$ naar 1.1 $\times$ ).
Tijdsomkeer: Het systeem herstelt met hoge consistentie de verleden toestanden ( $t < 0$ ). Een forward-backward cyclus test toonde een gemiddelde positiefout van slechts 1,3% (Dynamic Object) en 0,19% (Dynamic Indoor Scene).
Counterfactuele Bewerking: Het framework staat expliciete manipulatie van fysieke parameters toe. Het schalen van het geleerde potentiaalveld ( $U$ ) resulteert in voorspelbare veranderingen in de valtijd die nauw aansluiten bij de theoretische relatie $t \propto \beta^{-0.5}$ ( $R=0.999$ ).
Ablatie: Het verwijderen van LRA leidt tot geometrische instorting tijdens lange-termijn rollouts. Het verwijderen van de niet-conservatieve kracht $Q$ verslechtert de prestaties op scènes met niet-conservatieve beweging (Dynamic Object), maar verbetert licht de scores op strikt conservatieve scènes (Indoor), wat de adaptiviteit van het model bevestigt.

Betekenis
Het artikel beweert dat LagrangeGS een expliciete formulering van dynamische scènes als Lagrangiaanse systemen vestigt, waarmee de kloof tussen visuele getrouwheid en fysieke plausibiliteit in 3DGS wordt overbrugd. Door de computationele onhaalbaarheid van standaard LNNs op te lossen en tijdsonafhankelijkheid af te dwingen, maakt het werk stabiele lange-termijn extrapolatie, consistente tijdsomkeer en interpreteerbare fysica-gebaseerde bewerking mogelijk. Dit legt de weg vrij voor fysiek gegronde dynamische modellering en manipulatie, die cruciaal zijn voor downstream toepassingen zoals robotbewegingsplanning en embodied AI. De auteurs merken beperkingen op, waaronder de afhankelijkheid van vooraf getrainde kinematische trajecten voor initialisatie en de aanname van ontkoppelde dynamica, wat complexe botsingen mogelijk niet volledig vangt, en suggereren dit als richtingen voor toekomstig werk.

Meer zoals dit