💻 computer science

Depth Anything V4: Dynamic 4D Scene Reconstruction via Riemannian Flow Matching on 4D Gaussian Splatting

Depth Anything V4 (DAV4) introduceert een nieuw framework voor monoculaire dynamische 4D-scène-reconstructie dat gebruikmaakt van Riemannian Flow Matching op 4D Gaussian Splatting-parameters om geldige tussenliggende toestanden te waarborgen en superieure prestaties te behalen zonder menselijk geannoteerde dieptelabels.

Oorspronkelijke auteurs: Jiaming Fan, Jian Lu, Jinling Jia, Chenbin Zhang

Gepubliceerd 2026-08-20

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiaming Fan, Jian Lu, Jinling Jia, Chenbin Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een woonkamer probeert vast te leggen terwijl deze verandert in de loop van de tijd: een kat schiet dwars door de kamer, een gordijn wappert in een tochtvlaag, en een persoon loopt door het beeld. Een standaardfoto legt een enkel moment bevroren vast, maar een video laat ons slechts een platte, tweedimensionale opeenvolging van beelden zien. Decennialang hebben wetenschappers geprobeerd die platte videobeelden om te zetten in een echt driedimensionaal model dat beweegt en ademt zoals de echte wereld. Dit is de uitdaging van dynamische 4D-reconstructie. Het doel is om een digitale tweeling van een scène te bouwen die niet alleen diepte heeft, maar ook begrijpt hoe objecten vervormen, roteren en verschuiven naarmate de tijd verstrijkt. Om dit te doen, gebruiken onderzoekers vaak een techniek genaamd Gaussian Splatting, die een scène niet representeert als een solide mesh, maar als een wolk van miljoenen piepkleine, gekleurde, semi-transparante ellipsen. Elk van deze kleine vormen bevat specifieke informatie over de positie, grootte, kleur en de mate waarin het het zicht blokkeert. Wanneer je de scène vanuit een nieuwe hoek bekijkt, mengt de computer deze vormen samen om een nieuwe afbeelding te creëren. De moeilijkheid ontstaat wanneer deze vormen moeten bewegen en van vorm moeten veranderen in de loop van de tijd; als de computer de verkeerde manier voorspelt om ze te bewegen, stort de wiskunde in en vervalt het 3D-model in onzin.

Een team van onderzoekers heeft een nieuw systeem geïntroduceerd genaamd Depth Anything V4, ontworpen om dit specifieke probleem van het creëren van bewegende 3D-werelden vanuit een enkele videocamera op te lossen. Eerdere versies van deze technologie waren ongelooflijk snel en in staat om diepte te schatten in een fractie van een seconde, maar ze waren gebouwd voor statische scènes of eenvoudige dieptekaarten. Ze konden de complexe, continue beweging van een dynamische omgeving niet goed aan. De nieuwe aanpak geeft prioriteit aan nauwkeurigheid en consistentie boven pure snelheid, met als doel hoogwaardige 3D-archieven te creëren die geschikt zijn voor offline gebruik, zoals het bewaren van historische locaties of het creëren van gedetailleerde virtuele omgevingen. De kerninnovatie ligt in de manier waarop de computer leert om de beweging van die miljoenen piepkleine 3D-vormen te voorspellen. In plaats van de beweging te behandelen als een eenvoudige rechte lijn op een plat rooster, realiseerden de onderzoekers zich dat de regels die deze vormen beheersen meer lijken op de regels van een gebogen oppervlak. Bijvoorbeeld, de grootte van een vorm kan alleen positief zijn, en de rotatie moet specifieke circulaire regels volgen; als je probeert deze waarden in een rechte lijn te bewegen, kun je per ongeluk een vorm met een negatieve grootte of een gebroken rotatie creëren, wat fysiek onmogelijk is.

Om dit gebogen wiskundige landschap te navigeren, ontwikkelde het team een methode genaamd Riemannian Flow Matching. Denk aan een gids die het terrein perfect kent. Terwijl een standaard gids misschien probeert in een rechte lijn te lopen en de wandelaar dan weer terug op het pad dwingt als hij van het pad afwijkt, plant deze nieuwe gids de route volledig langs het gebogen oppervlak zelf. Dit zorgt ervoor dat elke stap die de computer tijdens het leerproces zet, geldig en fysiek mogelijk blijft. De onderzoekers testten dit door hun nieuwe systeem te vergelijken met een standaard, rigide computerprogramma dat dezelfde gegevens en dezelfde hoeveelheid tijd gebruikte om de video te verwerken. Het standaardprogramma slaagde erin de scène te reconstrueren met een bepaald niveau van nauwkeurigheid, maar het nieuwe systeem, met de gids langs het gebogen pad, verbeterde die nauwkeurigheid aanzienlijk. De onderzoekers isoleerden deze verbetering om te bewijzen dat het kwam door de nieuwe methode en niet alleen door meer gegevens of extra verwerkingstijd te hebben. Ze vonden dat de nieuwe aanpak alleen al een meetbare boost gaf aan de kwaliteit van de reconstructie, wat bevestigde dat het respecteren van de gebogen aard van de gegevens essentieel is voor reconstructies met een hoge getrouwheid.

Het systeem werkt door eerst de videoframes te analyseren om de structuur van de scène en de beweging van objecten te begrijpen. Vervolgens gebruikt het een geleerd "prior", wat in essentie een diep begrip is van hoe 3D-vormen zich gewoonlijk gedragen, om een ruwe 3D-model van de gehele videosequentie te genereren. Dit initiële model wordt vervolgens verfijnd door een proces van test-tijd optimalisatie, waarbij de computer kleine aanpassingen aan het model maakt om ervoor te zorgen dat het perfect overeenkomt met de videoframes. De onderzoekers toonden aan dat hun systeem in ongeveer 420 milliseconden per scène een hoogwaardige 3D-reconstructie kan produceren. Hoewel dit langzamer is dan de snelste bestaande tools, die slechts 38 milliseconden nodig hebben, is het snel genoeg voor offline toepassingen waar kwaliteit belangrijker is dan instant resultaat. Bovendien toonden de onderzoekers aan dat als dit systeem zou worden gebruikt om een groot aantal scènes te verwerken, zoals tienduizend, de initiële tijd besteed aan het trainen van het systeem zou worden uitgesmeerd, waardoor de kosten per scène zeer concurrerend zijn met andere methoden die uren optimalisatie per video vereisen.

Een van de meest meeslepende aspecten van dit werk is hoe het omgaat met onzekerheid. In veel computervisie-taken geeft het systeem een antwoord zonder toe te geven wanneer het onzeker is. Depth Anything V4 kan echter ook vertellen hoe zeker het is van zijn reconstructie. Door het generatieproces meerdere keren uit te voeren met lichte variaties, kan het systeem gebieden identificeren waar het resultaat instabiel is, zoals rond snel bewegende objecten of in gebieden waar de video wazig is. De onderzoekers vonden dat het systeem erg goed is in het signaleren van deze moeilijke punten, waarbij het een hoge onzekerheid vertoont precies waar de visuele informatie ambigu is. Dit is cruciaal voor toepassingen waar veiligheid of precisie vereist is, omdat het voorkomt dat het systeem met vol vertrouwen een foutief antwoord presenteert. Het team heeft ook geverifieerd dat hun methode minder "ongeldige" 3D-vormen produceert vergeleken met oudere methoden die proberen rechte-lijn wiskunde op gebogen problemen af te dwingen. In hun tests produceerde de nieuwe methode bijna in elk geval geldige vormen, terwijl oudere methoden incidenteel gebroken of onzinnige vormen produceerden die moesten worden weggegooid.

De studie behandelde ook het belang van tijd in het leerproces. De onderzoekers testten wat er zou gebeuren als het systeem de specifieke tijd in de video zou negeren en probeerde één gemiddelde manier te leren waarop de scène beweegt. Ze ontdekten dat het systeem zonder dit tijdsbewustzijn moeite had om de bewegende objecten consistent te houden van het ene naar het andere frame, wat resulteerde in een schokkerig en instabiel 3D-model. Door het systeem expliciet te leren om aandacht te besteden aan de tijdindex van elk frame, leerde het model de stroom van de beweging nauwkeurig te volgen, wat leidde tot een veel vloeiendere en realistischere reconstructie. Dit bevestigt dat voor dynamische scènes het begrijpen van het verstrijken van de tijd niet slechts een klein detail is, maar een fundamentele vereiste voor succes. De onderzoekers concludeerden dat hoewel hun systeem nog niet snel genoeg is voor real-time robotica of autonoom rijden, het een belangrijke stap voorwaarts vertegenwoordigt voor het creëren van hoogwaardige, probabilistische 3D-modellen van de wereld. Het biedt een manier om de complexiteit van bewegende scènes vast te leggen met een niveau van detail en wiskundige correctheid dat voorheen onbereikbaar was, wat de weg vrijmaakt voor betere digitale archieven en meer meeslepende virtuele ervaringen.

Technische Samenvatting: Depth Anything V4 (DAV4)

1. Probleemstelling

Het artikel behandelt de uitdaging van dynamische 4D-scène-reconstructie vanuit monoculaire video. Terwijl de voorgaande Depth Anything-serie (V1–V3) de state-of-the-art prestaties vestigde in feed-forward monoculaire diepte-inschatting, richten deze modellen zich op snelheid en produceren ze punt-schattingen zonder temporele modellering, gebaseerd op een discriminerend regressieparadigma.

Depth Anything V4 (DAV4) verschuift de focus van snelheid naar volumetrische getrouwheid en temporele consistentie, gericht op offline contentcreatie en 3D-archivering. De kern van de technische uitdaging ligt in het genereren van geldige 4D Gaussian Splatting-parameters (schaal, rotatie, opaciteit, positie) die evolueren over de tijd. Standaard Euclidische interpolatiemethoden produceren vaak ongeldige tussenliggende toestanden (bijv. negatieve schalen of niet-unit quaternions) wanneer ze de niet-Euclidische manifolds doorkruisen die inherent zijn aan deze parameters, wat post-hoc projecties noodzakelijk maakt die de reconstructiekwaliteit verslechteren.

2. Methodologie

2.1 Kernframework: Riemannian Flow Matching (RFM)

De centrale innovatie van DAV4 is de toepassing van Riemannian Flow Matching (RFM) op de parameters van 4D Gaussian Splatting. In tegenstelling tot standaard flow matching dat opereert in de Euclidische ruimte, definieert RFM waarschijnlijkheidspaden direct op de niet-Euclidische manifolds waar de Gaussian-parameters zich bevinden:

Schaal ( $s$ ): Gemodelleerd op $\mathbb{R}^3_{>0}$ met log-transformaties en geodesische interpolatie ( $s_t = s_z^{1-t} s_1^t$ ).
Rotatie ( $q$ ): Gemodelleerd op $SO(3)$ met behulp van geodesische interpolatie via Exp/Log-maps voor unit quaternions.
Opaciteit ( $\alpha$ ): Gemodelleerd op $(0, 1)$ met een logit-transformatie om naar $\mathbb{R}$ te mappen.
Positie ( $\mu$ ): Gemodelleerd op $\mathbb{R}^3$ .

De doelfunctie minimaliseert de afstand tussen het geleerde vectorveld $v_\theta$ en het conditionele vectorveld $u_t$ op de manifold:
$L_{RFM} = \mathbb{E}_{t, G_z \sim p_0, G_1 \sim p_1} \left[ \|v_\theta(G_t, t, f_{img}, \gamma(\tau)) - u_t\|^2_{\mathcal{M}} \right]$
waarbij $G_t$ de toestand op flow-tijd $t$ vertegenwoordigt, geconditioneerd op beeldkenmerken $f_{img}$ en videotijd $\tau$ .

2.2 Architectuur en Pipeline

Backbone: Een bevroren DINOv2-L backbone extraheert semantische kenmerken uit monoculaire videoframes.
Perceiver Module: Map de set Gaussian-encodings naar fixed-size latente tokens.
Temporele Conditionering: Het vectorveld is expliciet geconditioneerd op de video-tijdindex $\tau$ via een leerbare embedding $\gamma(\tau)$ , wat het model in staat stelt om temporele evolutie te vangen in plaats van een statisch gemiddelde.
Self-Supervised Teacher: Het teacher-model wordt getraind met self-supervised losses zonder menselijk geannoteerde diepte-labels. De loss-functie combineert:
- Rendering loss ( $L_{render}$ ) voor fotometrische consistentie.
- SE(3)-equivariantie loss ( $L_{equiv}$ ) met rigiditeitsscores.
- Optical flow consistentie ( $L_{flow}$ ) met behulp van RAFT.
- Schaal regularisatie ( $L_{scale}$ ) met behulp van de mediaan-diepte van DA2 (zwakke supervisie).
- Regularisatie ( $L_{reg}$ ).

2.3 Inferentie en Sampling

Het inferentieproces maakt gebruik van een Coarse-to-Fine ODE Sampling strategie (Algoritme 1):

Coarse Stage: 10 stappen om de globale scène-layout vast te leggen.
Fine Stage: 20 stappen om details te verfijnen.
Test-Time Optimization (TTO): Optionele guidance wordt toegepast tijdens de fine stage met behulp van een rendering loss gradiënt ( $\nabla G L_{render}$ ) om de gegenereerde Gaussians verder te verfijnen.

3. Belangrijkste Bijdragen en Gecontroleerde Experimenten

Het artikel isoleert de bijdrage van RFM strikt van andere factoren (pre-training en TTO) door middel van een reeks gecontroleerde experimenten met behulp van een deterministische MLP-baseline. Deze baseline deelt exact dezelfde data, architectuur (DINOv2-L + Perceiver) en TTO-protocol, maar vervangt de RFM-doelfunctie door standaard $L_2$ regressie.

Geïsoleerde winsten (F-score op Dynamic-Sim):

TTO Bijdrage: Het toevoegen van TTO aan een standaard 4D-GS baseline levert een winst op van +0,046.
Pre-training Bijdrage: Grootschalige pre-training op WebVid-10M en MegaDepth (zonder RFM) levert een winst op van +0,014 bovenop 4D-GS+TTO.
RFM Bijdrage: De RFM-formulering zelf levert een geïsoleerde winst op van +0,044 ten opzichte van de deterministische MLP+TTO baseline (0,806 vs. 0,762).

Deze decompositie toont aan dat de verbetering niet louter toe te schrijven is aan grotere datasets of optimalisatietechnieken, maar specifiek voortkomt uit het definiëren van waarschijnlijkheidspaden op de juiste niet-Euclidische manifolds.

4. Experimentele Resultaten

4.1 Dynamische Reconstructie

Op de Dynamic-Sim en KITTI Dynamic benchmarks bereikt DAV4 (RFM + TTO) een F-score van respectievelijk 0,806 en 0,652. Dit presteert beter dan:

Volledig geoptimaliseerde per-scene 4D-GS (5000 iteraties): 0,781 (Dynamic-Sim).
Deterministische MLP + TTO: 0,762.
Euclidische Flow Matching + Post-hoc Projectie: 0,684 (met 12,3% ongeldige Gaussians).

DAV4 vermindert het percentage ongeldige Gaussians (negatieve schalen, niet-unit quaternions) van 12,3% (Euclidische benadering) naar 0,01%, wat de wiskundige geldigheid van de Riemanniaanse benadering bevestigt.

4.2 Novel-View Synthesis (NVS)

Geëvalueerd op ETH3D en ScanNet, bereikt DAV4 25,13 dB PSNR op ETH3D met slechts 20 TTO-stappen. Dit overtreft:

3D-GS met willekeurige initialisatie en 20 TTO-stappen (22,34 dB).
Volledig geoptimaliseerde 3D-GS (5000 iteraties, 24,12 dB).

De resultaten geven aan dat de geleerde Riemanniaanse prior een aanzienlijk betere initialisatie biedt dan willekeurige initialisatie, waardoor convergentie naar een beter lokaal optimum mogelijk is met minder optimalisatiestappen.

4.3 Ablatie-studies

Temporele Conditionering: Het verwijderen van de videotijd $\tau$ uit de conditionele inputs vermindert de F-score van 0,806 naar 0,742 en de temporele consistentie (TC) van 0,92 naar 0,78, wat de noodzaak van expliciete temporele modellering bewijst.
Onzekerheidskwantificering: DAV4 biedt goed gekalibreerde onzekerheidsschattingen via multi-hypothesis sampling. Het bereikt een Negative Gaussian Log-Likelihood (NGLL) van -1,58 en een Expected Calibration Error (ECE) van 0,058, waarmee het MC-Dropout en Ensemble-methoden overtreft.

4.4 Computationele Kosten

Pre-training: Vereist 360 GPU-uren.
Inferentie: 420 ms per scène (11x trager dan de 38 ms van DA3).
Amortisering: Het artikel merkt op dat hoewel DAV4 niet geschikt is voor real-time toepassingen, de pre-training kosten effectief worden geamortiseerd voor grootschalige uitrol. Voor 10.000 scènes daalt de geamortiseerde kosten naar ~550 ms per scène, wat competitief is met per-scene optimalisatiemethoden terwijl de kwaliteit hoger blijft.

5. Betekenis en Claims

Het artikel claimt dat Depth Anything V4 een belangrijke stap vormt richting probabilistische 4D-scène-begrip. De primaire betekenis ligt in:

Geometrische Geldigheid: Het aantonen dat het direct definiëren van flow matching op Riemanniaanse manifolds (schaal, rotatie, opaciteit) superieur is aan Euclidische benaderingen met post-hoc projectie, wat garandeert dat alle tussenliggende toestanden geldig zijn en de reconstructiekwaliteit verbetert.
Geïsoleerde Bijdrage: Het leveren van empirisch bewijs dat de Riemanniaanse formulering zelf een substantiële winst van +0,044 F-score oplevert, onafhankelijk van de schaal van de pre-training of test-time optimalisatie.
Self-Supervised Paradigma: Het bereiken van hoogwaardige dynamische reconstructie zonder afhankelijk te zijn van menselijk geannoteerde diepte-labels voor de training-losses.
Onzekerheidsbewustzijn: Het bieden van een framework dat onzekerheid kwantificeert via NGLL en ECE, wat essentieel is voor besluitvorming in dynamische omgevingen.

De auteurs erkennen beperkingen, waaronder het gebrek aan geschiktheid voor real-time toepassingen (420 ms inferentie), de hoge computationele kosten van pre-training, en een inherente initialisatiebias in de NVS-vergelijkingen met random-geïnitialiseerde 3D-GS. Ze positioneren DAV4 echter als een complementaire vooruitgang voor de snelle feed-forward diepte-inschatting van V1–V3, specifiek afgestemd op hoogwaardige offline 3D-archivering en contentcreatie.