💻 computer science

RoDyGS: Robust Dynamic Gaussian Splatting for Casual Videos

Dit artikel introduceert RoDyGS, een methode die dynamische 3D-scènes reconstrueert uit casual monoscopische video's door statische en dynamische elementen expliciet te scheiden met spatiotemporale regularisatie, en tegelijkertijd een nieuw uitgebreid benchmark, Kubric-MRig, voorstelt om dergelijke pose-vrije dynamische nieuwe weergavesynthesemethoden te evalueren.

Oorspronkelijke auteurs: Junmyeong Lee, Hoseung Choi, Yoonwoo Jeong, Minsu Cho

Gepubliceerd 2026-05-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junmyeong Lee, Hoseung Choi, Yoonwoo Jeong, Minsu Cho

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je je telefoon vasthoudt en een informele video opneemt van een druk park. Je ziet mensen lopen, honden rennen en bomen die in de wind wiegen. Stel je nu voor dat je die platte, tweedimensionale video probeert om te zetten in een driedimensionale wereld waarin je om de bomen heen kunt lopen en de honden vanuit een ander perspectief kunt bekijken. Dit is ontzettend moeilijk, omdat je video slechts één perspectief toont en de camera zelf beweegt, waardoor het lastig is om te onderscheiden wat beweegt omdat de camera bewoog en wat op zichzelf beweegt.

Dit artikel introduceert RoDyGS, een nieuw hulpmiddel ontworpen om deze puzzel op te lossen. Denk aan RoDyGS als een "digitale tijdreizende beeldhouwer" die je trillende, met de hand vastgehouden video neemt en de volledige 3D-scène herbouwt, inclusief hoe objecten in de loop van de tijd bewegen.

Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige concepten:

1. De "Statisch vs. Dynamisch" Sorteerhoed

Het grootste probleem bij deze video's is verwarring. Beweegt die boom omdat de wind hem heeft bewogen, of omdat jij erlangs liep?

De Analogie: Stel je een chaotisch feest voor waar sommige gasten stil staan (de muren, de vloer) en anderen wild dansen (mensen, auto's). Als je probeert de hele kamer tegelijkertijd te beschrijven, is het een puinhoop.
De Oplossing: RoDyGS trekt een "sorteerhoed" op. Het scheidt de scène direct in twee groepen: Statisch (de achtergrond die niet beweegt) en Dynamisch (de dingen die dat wel doen). Door ze apart te behandelen, raakt het systeem niet meer in de war over of de camera beweegt of het object.

2. De "Geestenbestrijdings"-Regularisatie

Wanneer je probeert een bewegend object te reconstrueren vanuit één enkele video, verdwijnen delen ervan vaak achter andere dingen (occlusie). Als een persoon achter een auto loopt, verliest het systeem ze even uit het oog. Zonder hulp kan het 3D-model gaan glitchen, waardoor de persoon verandert in een bult of een spookachtige vlek.

De Analogie: Stel je voor dat je probeert de vorm van een speelgoedauto te raden terwijl iemand hem voortdurend bedekt met een deken. Als je zomaar raden, denk je misschien dat de auto smelt.
De Oplossing: RoDyGS gebruikt "regels van de fysica" (zogenaamde regularisatie) om het model eerlijk te houden.
- Afstandbehoudend: Het herinnert het systeem eraan: "Hé, de afstand tussen de wielen van de auto zou niet moeten veranderen alleen omdat je ze even niet kunt zien." Het houdt het object stijf.
- Oppervlakte-afvlakking: Het zorgt ervoor dat het oppervlak van het object glad blijft, zoals een echte bal, in plaats van eruit te zien als een gezaagd, gepixelde rots.
- Stabiele Beweging: Het gaat ervan uit dat objecten niet teleporteren of wild trillen tussen frames. Als een bal rolt, blijft hij soepel rollen, niet trillen op zijn plaats.

3. De "Zelfcorrigerende Camera"

Meestal heb je, om een 3D-model te bouwen, precies nodig te weten waar de camera op elk moment was. Maar bij informele video's heb je die gegevens niet.

De Analogie: Het is alsof je probeert een kaart van een stad te tekenen terwijl je er blinddoek doorheen loopt, waarbij je alleen weet wat je voor je ziet.
De Oplossing: RoDyGS fungeert als een detective. Het kijkt naar de statische delen van de scène (de grond, de gebouwen) om te achterhalen waar de camera moet hebben geweest. Het corrigeert voortdurend zijn eigen gok over het pad van de camera, terwijl het tegelijkertijd het 3D-model bouwt.

4. Een Nieuwe "Trainingsgym" (Kubric-MRig)

De auteurs beseften dat bestaande tests voor deze hulpmiddelen te makkelijk of onrealistisch waren. Het was alsof je een raceauto testte op een vlakke, lege parkeerplaats.

De Analogie: Ze bouwden een nieuw "obstacelparcours" genaamd Kubric-MRig. Dit is een door een computer gegenereerde synthetische wereld waarin ze alles kunnen controleren. Ze creëerden scènes met wilde camerabewegingen, vliegende objecten en complexe achtergronden, allemaal met een "perfect antwoordblad" (ground truth) zodat ze konden bewijzen dat hun tool echt werkt.

De Resultaten

Toen ze RoDyGS testten op dit nieuwe obstacelparcours en op echte iPhone-video's, presteerde het beter dan eerdere methoden.

Het Resultaat: Het creëert helderdere, scherper 3D-films. Als je een video bekijkt van een draaiende ventilator, kan RoDyGS de ventilatorbladen reconstrueren zodat ze er massief en echt uitzien, terwijl oudere methoden ze misschien laten lijken op een wazige vlek of een geest.

Samenvattend: RoDyGS is een slim systeem dat bewegende dingen scheidt van stilstaande, strenge regels gebruikt om te voorkomen dat bewegende objecten veranderen in digitale geesten, en zelf het pad van de camera uitvindt. Hierdoor kan het een simpele, trillende telefoonvideo omzetten in een hoogwaardige, 3D-ervaring waarbij je door de tijd kunt reizen.

Technische Samenvatting: RoDyGS: Robuuste Dynamische Gaussian Splatting voor Casual Video's

1. Probleemstelling

Het reconstrueren van 4D-scènes (3D-geometrie + tijd) uit casual opgenomen monoscopische video's is een aanzienlijke uitdaging in de computer vision. Hoewel recente vooruitgang in Neural Radiance Fields (NeRF) en 3D Gaussian Splatting (3DGS) de synthese van statische nieuwe weergaven heeft verbeterd, blijft dynamische reconstructie vanuit single-camera, niet-gekalibreerde video's moeilijk vanwege twee primaire factoren:

Camera-Object Bewegingsambiguïteit: Het gezamenlijk schatten van cameratrajecten en dynamische scènegeometrie vanuit één zicht is inherent ambigu.
Occlusies en Ruimtetijdsconsistentie: Dynamische objecten worden frequent geoccludeerd, wat leidt tot ontbrekende waarnemingen die de consistentie van scène-elementen in de tijd verstoren.

Bestaande methoden vertrouwen vaak op gespecialiseerde opnamesets (meervoudig zicht, dieptesensoren), vooraf gekalibreerde poses of strikte scènebeperkingen (bijv. camera's die vooruit kijken, kleine bewegingen), waardoor hun toepasbaarheid op algemene "in-the-wild" scenario's beperkt blijft. Bovendien ontbreken er bij huidige benchmarks vaak ground truth cameraposities of gelijktijdige meervoudige opnames, wat een rigoureuze evaluatie van pose-vrije dynamische methoden bemoeilijkt.

2. Methodologie: RoDyGS

De auteurs stellen RoDyGS (Robust Dynamic Gaussian Splatting) voor, een end-to-end framework dat dynamische scène-representaties direct reconstrueert uit casual monoscopische video's zonder externe sensoren of handmatige kalibratie. De methode optimaliseert dynamische Gaussian splatting en camerabeweging gezamenlijk.

Kerncomponenten

Scheiding van Statische en Dynamische Delen:
De scène wordt expliciet opgesplitst in twee sets van Gaussians: statisch ( $G_S$ ) en dynamisch ( $G_D$ ).
- Statische Elementen: Geoptimaliseerd samen met camera-parameters om een ruimtetijd-coherente achtergrondrepresentatie te garanderen.
- Dynamische Elementen: Onafhankelijk geoptimaliseerd voor bewegingsbeperkingen.
- Voordeel: Deze scheiding ontkoppelt camerabeweging van beweging van dynamische objecten, wat de ambiguïteit aanzienlijk vermindert en de optimalisatiestabiliteit verbetert.
Initialisatie:
- Camera Poses & Geometrie: Geïnitialiseerd met MASt3R [36], een datagedreven prior-model, om robuuste initiële cameraposities en puntenwolken te leveren.
- Bewegingsmaskers: Dynamische gebieden worden geïdentificeerd met het Track Anything Model (TAM) [65] om bewegende objecten van de achtergrond te scheiden.
- Diepte: Monoscopische dieptekaarten worden geschat met DepthAnything [66] voor geometrische supervisie.
Ruimtetijds Regularisatie:
Om fysiek plausibele geometrie en natuurlijke beweging af te dwingen, introduceert RoDyGS specifieke regularisatietermen voor dynamische Gaussians:
1. Afstandsbehoudende Regularisatie ( $L_{dp}$ ): Dwang ruimtetijdsconsistentie af door de relatieve afstanden tussen een Gaussian en zijn $K$ dichtstbijzijnde buren over tijdstappen te behouden. Dit behoudt de rigiditeit van objecten zelfs tijdens occlusies.
2. Oppervlakgladde Regularisatie ( $L_{surf}$ ): Zorgt voor lokale oppervlaktegladheid door afwijkingen van een Gaussian van de gemiddelde positie van zijn buren te bestraffen, waardoor lokale verstoringen worden voorkomen.
3. Stabiele Bewegingsregularisatie ( $L_{sm}$ ): Gebaseerd op de aanname dat wereldse beweging consistent is over korte intervallen, regulariseert deze term de bewegingsbasisfuncties om drift te voorkomen.
4. Gewogen Bewegingsregularisatie: Om over-gladmaken van complexe bewegingen te voorkomen, wordt een gewogen schema toegepast op de bewegingselementen, waardoor expliciete controle mogelijk is over de regularisatiesterkte voor verschillende bewegingsfrequenties.
Optimalisatiedoel:
Het framework optimaliseert gezamenlijk Gaussian-attributes, bewegingsbasisparameters en cameraposities met behulp van een samengestelde verliesfunctie:
- Fotometrisch Verlies ( $L_{recon}$ ): L1 en SSIM-verliezen tussen gerenderde en doelafbeeldingen.
- Diepteverlies ( $L_{depth}$ ): Pearson diepteverlies om de lineaire correlatie tussen gerenderde en geschatte monoscopische diepte te maximaliseren (behandeling van schaalambiguïteit).
- Geometrisch Verlies ( $L_{geo}$ ): Combinatie van $L_{dp}$ en $L_{surf}$ .
- Bewegingsverlies ( $L_{sm}$ ): Stabiele bewegingsregularisatie.

3. Belangrijkste Bijdragen

RoDyGS Framework: Een robuuste reconstructiemethode voor casual monoscopische video's die hoge-fidelity rendering bereikt door expliciete partscheiding en ruimtetijdsregularisatie. Het presteert beter dan eerdere pose-vrije methoden voor dynamische nieuwe weergavesynthese.
Kubric-MRig Benchmark: Een nieuwe, uitdagende dataset ontworpen om zowel pose-schatting als renderingskwaliteit in dynamische scènes te evalueren. In tegenstelling tot eerdere benchmarks, kenmerkt Kubric-MRig zich door:
- Gelijktijdige meervoudige opnames (ground truth).
- Uitgebreide camera- en objectbeweging.
- Ground truth cameraposities.
- Achtergrondelementen (vaak afwezig in andere dynamische datasets).
Uitgebreide Evaluatie: Toont state-of-the-art prestaties op de Kubric-MRig dataset en concurrerende resultaten op de iPhone dataset [15] en de Tanks and Temples dataset [30], waarbij de renderingskwaliteit van pose-vrije statische methoden wordt benaderd terwijl dynamiek wordt verwerkt.

4. Experimentele Resultaten

Dynamische Nieuwe Weergavesynthese: Op de Kubric-MRig dataset presteert RoDyGS aanzienlijk beter dan eerdere pose-vrije methoden (bijv. RoDynRF [39], SoM [57]) in PSNR, SSIM en LPIPS. Het bereikt ook concurrerende resultaten tegen methoden die zijn getraind met ground truth cameraposities.
Statische Nieuwe Weergavesynthese: Bij evaluatie op statische scènes (Tanks and Temples) bereikt RoDyGS een renderingskwaliteit die vergelijkbaar is met CF-3DGS [13] en aanzienlijk beter dan andere baselines, terwijl het een concurrerende nauwkeurigheid van camerapositieschatting behoudt.
Ablatie Studies: Experimenten bevestigen dat zowel partscheiding als de voorgestelde regularisatietermen cruciaal zijn. Het verwijderen van partscheiding leidt tot ernstige inconsistenties en vormvervormingen, terwijl de regularisatietermen objectgrenzen scherper maken en structurele consistentie behouden.
Robuustheid: RoDyGS behoudt de geometrie van rigide objecten zelfs bij grote camera- en objectbewegingen, terwijl baselines die vertrouwen op langetermijn-punttracking vaak falen door onnauwkeurige tracks in complexe dynamiek.

5. Betekenis en Beperkingen

Betekenis:
Het artikel stelt dat RoDyGS de kritieke kloof aanpakt in het reconstrueren van dynamische 4D-scènes uit casual, single-camera video's zonder te vertrouwen op gespecialiseerde hardware of vooraf gekalibreerde poses. Door een uitgebreide benchmark (Kubric-MRig) te introduceren die ground truth en diverse beweging omvat, bieden de auteurs een rigoureuze standaard voor het evalueren van toekomstige dynamische reconstructiemethoden. Het vermogen van de methode om statische en dynamische elementen te scheiden, zorgt voor een stabielere optimalisatie in ambiguïteitsvolle scenario's.

Beperkingen:
De auteurs erkennen verschillende beperkingen:

Occlusie: Net als andere 4D-reconstructiemethoden kan RoDyGS alleen waargenomen delen van de scène reconstrueren. Volledig geoccludeerde gebieden of langetermijn-occlusies kunnen niet worden hersteld zonder generatieve priors (bijv. diffusiemodellen).
Rigiditeitsaanname: De regularisatietermen gaan ervan uit dat dynamische elementen geen uiterst complexe, niet-rigide vervormingen vertonen (bijv. menselijke lichamen of losse kleding). Generalisatie naar dergelijke scenario's vereist parametrische modellen (bijv. SMPL) of sterkere datagedreven priors.
Afhankelijkheid van Initialisatie: De methode vertrouwt op MASt3R voor initiële cameraposities; onnauwkeurige initialisaties kunnen de renderingskwaliteit verminderen, hoewel de gezamenlijke optimalisatie helpt bij het verfijnen ervan.

Kortom, RoDyGS vormt een stap voorwaarts in het toegankelijk maken van 4D-reconstructie voor alledaagse, casual opgenomen video's, en biedt een robuuste oplossing die geometrische consistentie afweegt tegen bewegingsfideliteit.