💻 computer science

SplitGaussian: Reconstructing Dynamic Scenes via Visual Geometry Decomposition

SplitGaussian is een nieuw framework dat de dynamische 3D-scène-reconstructie vanuit monoculaire video verbetert door statische geometrie expliciet te ontkoppelen van dynamische beweging om artefacten te voorkomen en de temporele consistentie te verbeteren.

Oorspronkelijke auteurs: Lechao Cheng, Jiahui Li, Jingxuan He, Shengeng Tang, Gang Huang, Tianrui Hui, Yaxiong Wang, Zhun Zhong

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lechao Cheng, Jiahui Li, Jingxuan He, Shengeng Tang, Gang Huang, Tianrui Hui, Yaxiong Wang, Zhun Zhong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een perfecte, bewegende 3D-film van een druk park te maken met behulp van slechts één videocamera. Je wilt de bomen en bankjes op hun plaats laten staan, terwijl de rondrennende kinderen natuurlijk bewegen, en dat alles zonder dat de bomen eruitzien alsof ze smelten of de kinderen spookachtige sporen achterlaten. Dit is de droom van "dynamische scène-reconstructie", een vakgebied waar computers proberen platte video om te zetten in 3D-werelden waar je doorheen kunt lopen. Om dit te doen, gebruiken wetenschappers een slimme truc genaamd "Gaussian Splatting". Denk aan het schilderen van een scène, niet met solide blokken, maar met duizenden kleine, wazige 3D-verfwolken. Elke wolk heeft een specifieke kleur, een specifieke vorm en een specifieke positie. Wanneer je naar de scène kijkt, mengt de computer deze wolken om een scherp, realistisch beeld te creëren. Het probleem is dat wanneer de dingen in de scène bewegen, deze wolken in de war raken. Als de computer probeert om de wolken te laten bewegen én tegelijkertijd van kleur te laten veranderen, beginnen de statische delen (zoals de bomen) te wiebelen en laten de bewegende delen (zoals de kinderen) wazige vegen achter. Het is alsof je probeert te dansen terwijl je een zwaar, stijf kostuum draagt; alles raakt in de knoop.

Dit is precies de puzzel die de onderzoekers in dit artikel, getiteld "SplitGaussian", proberen op te lossen. Ze merkten op dat eerdere methoden probeerden om dezelfde set verfwolken twee tegenstrijdige taken te laten uitvoeren: stil blijven staan om de achtergrond te representeren, en rekken en krimpen om bewegende objecten te representeren. Deze "verstrengeling" zorgde ervoor dat de achtergrond vervormde en de bewegende objecten flikkerden. Om dit op te lossen, stelde het team een simpel maar krachtig idee voor: probeer niet de wolken alles te laten doen. In plaats daarvan splits je de taak op in twee aparte teams. Eén team van wolken is volledig toegewijd aan de statische wereld (de achtergrond), en zij krijgen de opdracht om nooit hun positie te veranderen, alleen om hun kleur lichtjes aan te passen als de verlichting verschuift. Het andere team is volledig toegewijd aan de dynamische wereld (de bewegende objecten), en zij mogen dansen, rekken en draaien, maar zij houden hun "verf" (kleur) consistent. Door de "geometrie" (waar dingen zijn) te scheiden van de "verschijning" (hoe dingen eruitzien) vanaf het begin, kan de computer veel sneller leren en een veel schonere, stabielere 3D-wereld creëren.

Het artikel suggereft dat deze "Visual Geometry Decomposition" de sleutel is tot het ontsluiten van hoogwaardige 3D-films uit enkelvoudige video's. De auteurs ontdekten dat door de achtergrondwolken in de ruimte bevroren te houden en ze alleen hun helderheid of kleur te laten aanpassen, ze "bewegingslekken" konden voorkomen die er normaal gesproken voor zorgen dat statische objecten lijken te wiebelen. Ondertussen konden de bewegende wolken al hun energie richten op het uitzoeken hoe ze moeten vervormen en bewegen zonder zich zorgen te maken over het veranderen van hun textuur. Ze testten dit idee op verschillende datasets, waaronder echte video's opgenomen met iPhones en complexe 3D-scènes met glanzende objecten. De resultaten toonden aan dat hun methode, SplitGaussian, scherpere beelden en minder vreemde artefacten produceerde dan eerdere top-methoden. Zo behaalde hun methode op een uitdagende dataset een score van 24,03 PSNR (een maatstaf voor beeldkwaliteit), waarmee ze andere leidende technieken versloeg. Ze ontdekten ook dat als ze de "wazige wolken" die niet vaak worden gezien niet zouden opruimen (een proces dat ze "visibility-driven pruning" noemen), de randen van de video rommelig en ruisachtig zouden ogen.

Het artikel pleit sterk tegen de oude manier van denken, waarbij één enkel, verenigd model probeert zowel bewegende als stationaire delen tegelijkertijd te beheren. Ze laten zien dat deze benadering onvermijdelijk leidt tot "geometrische distorties", waarbij rigide objecten zoals muren of tafels licht lijken te vervormen of te verschuiven terwijl de camera beweegt. Ze verwerpen ook het idee dat het simpelweg toevoegen van complexere wiskunde aan de bewegende delen het probleem zal oplossen; in plaats daarvan laten ze zien dat de kernoorzaak het gebrek aan scheiding tussen de twee soorten beweging is. De auteurs zijn zeer zelfverzekerd over hun bevindingen, aangezien ze uitgebreide experimenten en ablatiestudies (waarbij ze onderdelen van hun systeem één voor één verwijderen om te zien wat er kapot gaat) hebben uitgevoerd. Ze ontdekten dat elk stukje van hun puzzel—de scheiding van statisch en dynamisch, de speciale training voor diepte, en het opruimen van onzichtbare wolken—bijdroeg aan het uiteindelijke succes. Hoewel ze toegeven dat hun methode iets langer nodig heeft om te trainen dan sommige eenvoudigere benaderingen omdat het twee fasen heeft, is de afruil een veel stabieler en realistischer resultaat. Uiteindelijk suggereert SplitGaussian dat je soms, om een scène perfect te laten bewegen, de computer moet leren om precies te weten wat hij niet moet bewegen.

Technische Samenvatting: SplitGaussian

Probleemstelling

Het reconstrueren van dynamische 3D-scènes vanuit monoculaire video is een fundamentele uitdaging in computer vision, waarbij de gezamenlijke inferentie van beweging, structuur en uiterlijk vereist is vanuit beperkte observaties. Hoewel recente methoden gebaseerd op 3D Gaussian Splatting (3DGS) de optimalisatiesnelheid en renderkwaliteit hebben verbeterd, leiden bestaande dynamische reconstructiebenaderingen vaak tot een verstrengeling van statische en dynamische elementen binnen een gedeelde representatie. Deze koppeling leidt tot verschillende kritieke artefacten:

Motion Leakage (Bewegingslek): Het toepassen van een verenigd deformatieveld op zowel statische als dynamische regio's veroorzaakt bewegingsartefacten die naar statische gebieden propageren, wat resulteert in geometrische vervormingen (bijv. het vervormen van rigide structuren) en temporeel flikkeren.
Uiterlijke Inconsistentie: Gezamenlijke modellering van geometrie en uiterlijk houdt geen rekening met de complexe interactie van globale illuminatie. Specifiek kan statische geometrie een tijdvariërend straling vertonen door schaduwen en reflecties van bewegende objecten, wat vaste-uiterlijk modellen niet kunnen vastleggen. Omgekeerd kan het toevoegen van tijdvariërend uiterlijk aan dynamische Gaussians leiden tot ambiguïteit tussen deformatie en uiterlijk, wat het leren van beweging destabiliseert.

Huidige oplossingen vertrouwen vaak op externe cues (zoals optische flow) of dual-branch architecturen die nog steeds lijden onder verstrengelde meta-representaties, waardoor ze er niet in slagen de onderliggende geometrie en uiterlijke dynamiek volledig te ontkoppelen.

Methodologie

De auteurs stellen SplitGaussian voor, een framework dat scènerepresentaties expliciet deelt in statische en dynamische componenten via Visual Geometry Decomposition (VGD). De kernfilosofie is het ontkoppelen van bewegingsmodellering van achtergrondgeometrie, waardoor alleen de dynamische tak door de tijd heen vervormt, terwijl de statische tak een vaste geometrie behoudt met een tijdvariërend uiterlijk.

1. Visual Geometry Decomposition

De scène op tijdstip $t$ wordt gerepresenteerd als de unie van twee Gaussian-sets:

Statische Component ( $G_s$ ): Behoudt een vaste geometrie (centrum $\mu_s$ en covariantie $\Sigma_s$ ). Om tijdvariërende illuminatie te verwerken (bijv. schaduwen van bewegende objecten), maakt het gebruik van een residual appearance model. De uiterlijke parameters (spherical harmonic coëfficiënten en opacity) worden bijgewerkt via een Multi-Layer Perceptron (MLP) die geconditioneerd is op ruimtelijke en temporele encodings, terwijl de geometrie bevroren blijft.
Dynamische Component ( $G_d$ ): Modelleert tijdvariërende geometrie via een deformation network. De canonieke Gaussian-parameters worden verschoven door een netwerk dat positie-, schaal- en rotatieveranderingen voorspelt op basis van gedeelde spatiotemporele encodings. Het uiterlijk voor dynamische Gaussians wordt constant gehouden, aangezien hun evoluerende geometrie voldoende is om bewegingsgeïnduceerde illuminatieveranderingen te verklaren.

2. Verenigde Spatiotemporele Encoding

Zowel het deformatienetwerk als de statische appearance MLP delen een verenigde sinusoïdale positionele encoding $\gamma(\cdot)$ voor ruimtelijke coördinaten en tijd. Dit zorgt voor een consistente parametrisatie over de decompositie heen, wat wederzijdse verfijning tijdens de training faciliteert.

3. Trainingsprotocol

Het framework maakt gebruik van een tweestaps trainingspipeline:

Fase I (Ontkoppeling & Pruning): Statische en dynamische componenten worden afzonderlijk geoptimaliseerd met behulp van regio-specifieke binaire maskers (gegenereerd door een open-vocabulary tracker). Een Visibility-Driven Pruning (VDP) strategie wordt geïntroduceerd om statische Gaussians met persistent lage zichtbaarheid of bijdrage te verwijderen, wat redundantie vermindert en optimalisatie nabij de grenzen van het gezichtsveld stabiliseert.
Fase II (Gezamenlijke Optimalisatie): Beide componenten worden gezamenlijk geoptimaliseerd. De statische tak verfijnt zijn uiterlijkmodel, terwijl de dynamische tak zijn deformatienetwerk bijwerkt. Gradiënten propageren over beide componenten om wederzijdse verfijning mogelijk te maken.

4. Diepte-bewuste Pretraining

Om geometrische inconsistenties aan te pakken die voortkomen uit Structure-from-Motion (SfM) initialisatie, wordt een korte pretraining fase gebruikt om de statische Gaussian-geometrie uit te lijnen met monoculaire dieptekaarten met behulp van een diepteverlies (depth loss). Dit verbetert de initiële geometrische uitlijning voordat de hoofdoptimalisatie begint.

Belangrijkste Bijdragen

Expliciete Decompositie: Het artikel introduceert een nieuwe decompositie van Gaussian-primitives in statische en dynamische componenten, wat de ontkoppelde modellering van geometrie en uiterlijk mogelijk maakt. Statische Gaussians fixeren geometrie maar passen het uiterlijk aan, terwijl dynamische Gaussians geometrie vervormen met een vast uiterlijk.
Verenigd Framework: De auteurs orkestreren een verenigd framework met gedeelde spatiotemporele encoding, een toegewijd deformatienetwerk en visibility-driven pruning. Dit ontwerp elimineert de noodzaak voor complexe dual-stream architecturen of externe occlusiemodellering terwijl de efficiëntie wordt verbeterd.
Prestatiewinst: Uitgebreide experimenten tonen aan dat SplitGaussian beter presteert dan state-of-the-art methoden op het gebied van renderkwaliteit (PSNR, SSIM, LPIPS), geometrische stabiliteit en bewegingsscheiding, waarbij het effectief motion leakage en temporeel flikkeren vermindert.

Experimentele Resultaten

De methode werd geëvalueerd op drie datasets: NeRF-DS, HyperNeRF en iPhone (handheld opname).

Kwantitatieve Prestaties: Op de NeRF-DS dataset behaalde SplitGaussian superieure of concurrerende resultaten over alle metrieken (bijv. 24.03 PSNR, 0.8505 SSIM, 0.1274 LPIPS in het volledige model), waarmee het baselines zoals Deformable 3DGS, 4DGS en GauFre overtrof. Vergelijkbare concurrerende prestaties werden waargenomen op HyperNeRF en de uitdagende iPhone-dataset.
Kwalitatieve Verbeteringen: Visuele vergelijkingen laten zien dat SplitGaussian scherpere details, schonere statische regio's en meer temporeel coherente beweging produceert. Het voorkomt effectief de geometrische drift en textuurinstorting die bij baselinemethoden worden gezien, met name in scènes met complexe verlichting en niet-rigide beweging.
Ablatie-studies:
- Gezamenlijke Optimalisatie: De overgang van aparte training (Fase I) naar gezamenlijke optimalisatie (Fase II) verbeterde de PSNR aanzienlijk (+0.94 dB) en de perceptuele kwaliteit.
- Appearance Modeling (APP): Het toevoegen van het statische appearance module was cruciaal voor het vastleggen van subtiele verlichtingsveranderingen (bijv. zachte schaduwen), wat de LPIPS met 0.0227 verminderde.
- Visibility-Driven Pruning (VDP): Het verwijderen van VDP leidde tot heldere artefacten aan de randen in gebieden met een lage observatie, wat de rol ervan in perifere realisme bevestigt.
- Mask Robuustheid: Het model toonde robuustheid tegen imperfecte dynamische maskers (geërodeerd, gedileteerd of gecorrumpeerd), waarbij een coherente reconstructie behouden bleef, zelfs met gefragmenteerde supervisie.

Betekenis en Claims

Het artikel stelt dat de kernoorzaak van artefacten in dynamische 3DGS-reconstructie de gekoppelde modellering van geometrie en uiterlijk door de tijd heen is. Door deze attributen expliciet te decomponeren, bereikt SplitGaussian een stabieler en interpreteerbaarder reconstructieproces. De auteurs benadrukken dat hun aanpak:

Motion Leakage Voorkomt: Door deformatie te beperken tot dynamische Gaussians, blijven statische regio's geometrisch stabiel.
Globale Illuminatie Afhandelt: Het residual appearance model voor statische Gaussians legt tijdvariërende verlichtingseffecten vast (schaduwen, reflecties) zonder dat een dynamische geometrie-deformatie nodig is.
Efficiëntie Verbetert: De verenigde encoding en pruning-strategieën maken snellere convergentie en een lager geheugengebruik mogelijk vergeleken met methoden die complexe multi-branch of occlusion-aware architecturen vereisen.

Het werk concludeert dat dit ontkoppelde ontwerp niet alleen de temporele consistentie en reconstructiefidelity verbetert, maar ook de convergentie versnelt, waardoor een robuuste oplossing wordt geboden voor dynamische scène-reconstructie vanuit monoculaire video.