💻 computer science

Depth Estimators Are Implicit Neural Fields for 3D Scene Geometry Inpainting and Reconstruction

Dit artikel stelt Neural Depth Field (NDF) voor, een nieuwe benadering die diepteschatters herinterpreteert als scène-niveau impliciete velden om een enkele test-tijd optimalisatie uit te voeren, waardoor het state-of-the-art 3D-geometrie inpainting en reconstructie bereikt met een hoge getrouwheid en globale consistentie over diverse datasets.

Oorspronkelijke auteurs: Yingzhao Jian, Zihao Lin, Hehe Fan

Gepubliceerd 2026-07-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yingzhao Jian, Zihao Lin, Hehe Fan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een perfect 3D-model van de wereld probeert te bouwen, zoals een videogame-level dat precies lijkt op het echte leven. Om dit te doen, moeten computers weten wat de vorm van alles is: waar de muren staan, hoe hoog de bergen staan en hoe diep de gaten zijn. Dit wordt "3D-geometrie" genoemd. Meestal krijgt de computer deze informatie van camera's of sensoren, maar het echte leven is rommelig. Soms blokkeren wolken het zicht, soms verbergen schaduwen details, en soms missen de sensoren gewoon een plekje, waardoor er een "gat" in de data ontstaat. Het is alsof je een puzzel probeert af te maken terwijl iemand een paar stukjes heeft opgegeten; je ziet de afbeelding wel, maar er zijn gaten waar de afbeelding ontbreekt.

Om deze gaten te dichten, gebruiken wetenschappers vaak "diepteschatters" (depth estimators). Denk aan deze als superintelligente gokkers. Ze hebben miljoenen foto's bestudeerd en hebben geleerd hoe een muur, een boom of een gebouw er normaal gesproken uitziet. Wanneer ze een gat zien, gebruiken ze die kennis om het in te vullen. Deze gokkers hebben echter twee grote problemen. Ten eerste gokken ze soms dingen die niet passen bij de delen van de foto die ze wél kunnen zien (zoals gokken dat er een deur zit op een plek waar duidelijk een massieve muur staat). Ten tweede, als ze iets zien dat ze nog nooit eerder hebben gezien — zoals een uitzicht vanuit een satelliet hoog boven de stad in plaats van een straatniveau-perspectief — kunnen ze in de war raken en wilde, foute gokken doen.

Dit artikel introduceert een slimme nieuwe manier om deze problemen op te lossen, genaamd Neural Depth Field (NDF). De onderzoekers realiseerden zich dat een diepteschatter niet alleen een "één-staps-gokker" hoeft te zijn. In plaats daarvan behandelden ze het als een flexibele, onzichtbare mal die kan worden herschapen om bij de specifieke scène te passen waar hij naar kijkt. Stel je voor dat je een klomp klei hebt die weet hoe je een perfecte beker maakt. Normaal gesproken druk je de klei één keer aan en hoop je dat het goed is. Maar met NDF druk je de klei tegen de werkelijke beker aan die je vasthoudt, en je strijkt het glad totdat het de werkelijke rondingen perfect volgt, terwijl het algemene ontwerp van een beker behouden blijft. Dit stelt de computer in staat om de ontbrekende gaten met hoge precisie in te vullen, zodat de nieuwe delen naadloos overgaan in de oude delen, of het nu gaat om een rommelige binnenruimte of een gigantische stad gezien vanuit de ruimte.

Het probleem met "één-staps" gokken

In de wereld van 3D-computer vision vertrouwen we vaak op vooraf getrainde modellen om ons te vertellen hoe diep dingen zijn. Deze modellen zijn als studenten die een enorm tekstboek over 3D-vormen hebben bestudeerd. Wanneer je hen een foto laat zien, raden ze direct de diepte. Maar echte wereldgegevens zijn vaak incompleet. Een drone kan een gebouw missen vanwege een boom, of een satelliet kan gegevens verliezen door een wolk.

De standaardaanpak is om deze vooraf getrainde modellen te nemen en hen te vragen om de ontbrekende delen "in te vullen" (inpainting). De auteurs wijzen er echter op dat dit vaak op twee specifieke manieren misgaat:

Inconsistentie: Het model kan een gat invullen met een vorm die in strijd is met de zichtbare delen van de scène. Het is alsof je een deur op een muur tekent die de rest van de foto duidelijk als een massief bakstenen oppervlak laat zien.
Out-of-Distribution Verwarring: Als het model vooral getraind is op foto's op straatniveau, kan het totaal de weg kwijtraken bij het bekijken van een satellietbeeld. Het kent de regels voor dat specifieke "domein" niet, waardoor de gokken onbetrouwbaar worden.

De "Neural Depth Field" oplossing

De auteurs stellen een nieuwe methode voor genaamd Neural Depth Field (NDF). Hun grote idee is om de diepteschatter niet langer te behandelen als een statisch hulpmiddel dat simpelweg een antwoord geeft, maar als een scène-niveau impliciet veld.

Hier is de analogie: Stel je voor dat een diepteschatter een rubberen vel is met een patroon erop gedrukt.

Als Voorspeller: Normaal gesproken strek je dit vel over een afbeelding, en het print een gok op basis van zijn patroon.
Als Veld: Met NDF neem je datzelfde rubberen vel en druk je het fysiek tegen de werkelijke delen van de afbeelding die je kunt zien. Je rekt het vel uit en strijkt het glad totdels het de werkelijke, zichtbare geometrie perfect omarmt.

Door deze "test-time optimalisatie" te doen (het model aanpassen terwijl het naar de specifieke scène kijkt), dwingt NDF het model om twee dingen tegelijk te doen:

Passen bij het geobserveerde: Het moet overeenkomen met de delen van de afbeelding die we daadwerkelijk kunnen zien, wat ervoor zorgt dat de nieuwe gokken niet in strijd zijn met de bestaande gegevens.
De Prior aanpassen: Het gebruikt zijn algemene kennis (het "patroon" op het vel) om te raden hoe de ontbrekende delen eruit zouden moeten zien, maar nu is die kennis specifelijk afgestemd op deze scène.

Dit verandert het probleem van "het invullen van de gaten" in één enkele, verenigde taak: het vinden van de beste versie van het rubberen vel die zowel bij de bekende delen als bij de onbekende delen past.

Wat ze ontdekten

De onderzoekers testten dit idee op twee zeer verschillende soorten scènes:

Satellietbeelden: Ze gebruikten het op een enorme stadkaart (Birmingham) waar de hoogtegegevens op veel plaatsen ontbraken door wolken of sensorfouten.
Binnenscans: Ze gebruikten het op 3D-scans van kamers (van de ScanNet-dataset) waar meubels en muren ontbraken door obstructies of sensorruis.

De Resultaten:

Betere Nauwkeurigheid: NDF vulde de ontbrekende delen veel nauwkeuriger in dan eerdere methoden. Op de satellietdata verbeterde de nauwkeurigheid van het invullen van de ontbrekende hoogte met 23,1%.
Minder Glitches: Het loste het probleem op waarbij de nieuwe delen botsten met de oude delen. Het verminderde "cross-view inconsistentie" (waarbij het beeld er anders of kapot uitziet wanneer je van andere hoeken kijkt) met 63,3%.
Fijne Details: De methode was in staat om kleine details te herstellen die andere methoden misten, zoals kleine lantaarnpalen in satellietfoto's of dunne draden in binnenopnames.

Het artikel sluit expliciet de mogelijkheid uit dat het simpelweg gebruiken van een vooraf getraind model zonder aanpassingen voldoende is. Ze toonden aan dat alleen "voorspellen" of alleen "reconstrueren" apart leidt tot wazige of inconsistente resultaten. De magie gebeurt pas wanneer je de twee combineert in dit enkele optimalisatieproces.

Waarom het ertoe doet

Dit gaat niet alleen over het maken van mooiere plaatjes. Het hebben van een volledige, consistente 3D-kaart van de wereld is cruciaal voor robots om te navigeren, voor steden om infrastructuur te plannen en voor virtual reality om echt aan te voelen. Als een robot denkt dat er een muur staat terwijl die er niet is, kan hij botsen. Als een stadsplanner denkt dat een gebouw een bepaalde hoogte heeft terwijl het eigenlijk hoger is, kan dat een veiligheidsrisico vormen.

Door aan te tonen dat we een algemeen "gokkend" model kunnen afstemmen om het perfect te laten passen bij een specifieke scène, biedt NDF een manier om hoogwaardige 3D-gegevens te verkrijgen, zelfs wanneer onze sensoren falen of wanneer we naar dingen kijken vanuit hoeken die we nog nooit eerder hebben gezien. Het suggereert dat de toekomst van 3D-reconstructie niet alleen gaat over het bouwen van grotere, slimmere modellen, maar over het leren aan die modellen hoe ze zich kunnen aanpassen aan de specifieke realiteit waar ze op dat moment naar kijken.

De auteurs merken op dat dit proces momenteel enkele minuten tot een uur per scène duurt, wat langzamer is dan een simpele "één-staps" gok, maar de afweging is een veel hogere kwaliteit van het resultaat. Ze suggeren dat dit in de toekomst versneld kan worden, maar voor nu bewijst het dat de tijd nemen om "de mal aan te passen" aan de scène de moeite waard is voor het verkrijgen van een werkelijk nauwkeurige 3D-wereld.

Technische Samenvatting: Neural Depth Field (NDF) voor 3D Scènegeometrie Inpainting en Reconstructie

1. Probleemdefinitie

Realistische 3D-scènedata is frequent structureel incompleet door occlusies, sensorgrenzen of omgevingsfactoren (bijv. wolken in satellietbeelden, bewegingsonscherpte in indoor scans). Hoewel mainstream diepteschatters in staat zijn om continue geometrie te herstellen uit gedeeltelijke observaties, kampen zij met twee kritieke beperkingen:

Inconsistentie: De ingepainte regio's sluiten vaak geometrisch niet aan bij de geobserveerde delen, wat leidt tot discontinuïteiten.
Distributieverschuiving: Standaard diepteschatters, getraind op grootschalige datasets, presteren vaak onbetrouwbaar op out-of-distribution data (bijv. satellietbeelden of specifieke indoor texturen) en hebben moeite om metriek schaalconsistentie te handhaven over verschillende aanzichten.

Bestaande benaderingen vertrouwen ofwel op directe prior-extrapolatie (wat onbetrouwbaar is voor onbekende data) of gebruiken diepteschatters als indirecte supervisie voor neurale velden (wat kan leiden tot inconsistenties tussen de voorspelde diepte en het geoptimaliseerde scèneveld).

2. Methodologie: Neural Depth Field (NDF)

De auteurs stellen Neural Depth Field (NDF) voor, een test-time optimalisatieframework dat een vooraf getrainde diepteschatter herinterpreteert als een scène-niveau impliciet neuraal veld.

Kerninzicht

NDF opereert op het duale perspectief dat een diepteschatter twee gelijktijdige rollen vervult:

Als Voorspeller: Het leert domeinspecifieke priors voor diepte-inpainting door te optimaliseren op bestaande diepte-observaties.
Als Impliciet Veld: Het past de geobserveerde geometrie aan om globale consistentie te handhaven.

Formulering

Gegeven een observatie $O = (I, D, M)$ , waarbij $I$ de RGB-afbeelding is, $D$ de incomplete dieptekart en $M$ een validiteitsmasker, is het doel om een optimale diepteschatter $f^*$ te vinden die de kloof tussen de voorspelde diepte $\tilde{D}$ en de volledige grondwaarheid $\hat{D}$ minimaliseert.

NDF behandelt de parameters $\theta$ van een vooraf getrainde mono-diepteschatter $f_\theta$ als de variabelen van een scène-niveau impliciet veld $F_\theta$ . De optimalisatiedoelstelling verenigt twee taken in een enkele pixel-gewijze discrepantieverliesfunctie:

Geometrische Consistentie (Fitting): De gerenderde geometrie moet passen bij de geobserveerde diepte $D|_{\Omega_v}$ (waar $M=1$ ).
Domeinadaptatie (Inpainting): De voorspelling moet worden gesuperviseerd door de grondwaarheid diepteverdeling om de prior aan te passen aan de huidige scène, terwijl de verborgen regio's $\Omega_h$ (waar $M=0$ ) worden ingevuld.

De verenigde verliesfunctie is:
$\ell(\theta) = \int_{\Omega} M(u)\rho(F_\theta(u), D(u)) d\nu(u) + \alpha \Pi_{F_\theta}$
Waarbij de eerste term zorgt voor consistentie met geobserveerde data, en $\Pi_{F_\theta}$ restricties vertegenwoordigt zoals vooraf getrainde priors of gladheidsregularisaties. Door deze gedeelde loss te optimaliseren tijdens test-time, voert NDF inpainting uit in ontbrekende regio's terwijl het tegelijkertijd geobserveerde regio's reconstrueert en verfijnt.

Implementatiedetails

Base Model: NDF wordt geïnstantieerd met InfiniDepth, een state-of-the-art monoculaire diepteschatter.
Optimalisatie: Het model ondergaat test-time optimalisatie op specifieke scènes (bijv. satellietvensters of indoor frames).
Augmentaties: Het framework maakt gebruik van transferred-mask augmentatie (het willekeurig overdragen van ongeldige maskers tussen vensters) en overlap-window losses om consistentie over sliding windows af te dwingen.
Indoor Specifics: Voor indoor scans wordt een surface normal loss toegevoegd om uit te lijnen met een teacher model, wat ruis door scan-artefacten mitigeert.

3. Belangrijkste Bijdragen

Verenigde Formulering: Het paper is de eerste die diepteschatters systematisch formuleert als impliciete neurale velden, waardoor 3D-scène inpainting en reconstructie worden verenigd in één enkel test-time optimalisatieproces.
Dual-Role Mechanisme: Het demonstreert dat het behandelen van een diepteschatter als zowel een voorspeller als een impliciet veld gelijktijdige domeinadaptatie en geometrische consistentie mogelijk maakt.
Schaalbare Pipeline: De auteurs bieden een schaalbare pipeline voor hoogwaardige scène-data inpainting en generatie, inclusief verwerkte datasets met voltooide geometrie om toekomstig onderzoek te ondersteunen.

4. Experimentele Resultaten

De methode werd geëvalueerd op twee verschillende datasets: Birmingham (stad-schaal satellietbeelden) en ScanNet (indoor 3D-scans).

Kwantitatieve Prestaties

Satellietbeelden (Birmingham):
- Inpainting Nauwkeurigheid: NDF verbeterde de metriek-diepte inpainting nauwkeurigheid met 23,1% en de relatieve diepte nauwkeurigheid met 9,2% vergeleken met de baseline InfiniDepth.
- Consistentie: Het verminderde cross-view inconsistentie (Overlap MAE) met 63,3% en verbeterde de regressienauwkeurigheid op geobserveerde regio's (Observed MAE) met 55,4%.
Indoor Scans (ScanNet):
- Inpainting Nauwkeurigheid: Bereikte een reductie van 13,2% in AbsRel voor metriek-diepte en een winst van 17,4% voor relatieve diepte in gehouden-af regio's.
- Consistentie: Verminderde Overlap MAE met 32,5% (metriek) en 60,3% (relatief), waarmee het methoden die voorspelling en reconstructie apart behandelen aanzienlijk verslaat.

Kwalitatieve Prestaties

Visuele vergelijkingen laten zien dat NDF er succesvol in staat is om fijnmazige structuren te herstellen (bijv. lantaarnpalen in satellietbeelden, dunne draden in indoor scans) en een plausibele metriek schaal behoudt. In tegen tegenstelling tot standaard voorspellers die structuren hallucineren of wazige reconstructies produceren, behoudt NDF lokale geometrische coherentie en globale cross-view consistentie, waarbij de ingepainte regio's naadloos worden samengevoegd met de geobserveerde geometrie.

5. Betekenis en Claims

Het paper claimt dat NDF een significante verschuiving vertegenwoordigt in de manier waarop diepteschatters worden gebruikt voor 3D-reconstructie. Door over te stappen van een "one-shot prediction" paradigma naar een "test-time optimization" paradigma, adresseert NDF de fundamentele trade-off tussen het benutten van vooraf getrainde priors en het handhaven van scène-specifieke consistentie.

De auteurs benadrukken dat hun aanpak:

Het inconsistentieprobleem oplost zonder complexe multi-view geometrie optimalisatie vanaf nul te vereisen.
Omgaat met out-of-distribution data (zoals satellietbeelden) door de prior tijdens inferentie aan te passen aan de specifieke scène.
State-of-the-art prestaties bereikt in zowel nauwkeurigheid als globale consistentie over diverse soorten scènes.

Beperkingen en Toekomstig Werk:
De auteurs erkennen bescheiden dat NDF momenteel per scène test-time optimalisatie vereist (wat minuten tot een uur duurt), wat real-time toepassing beperkt. Ze suggereren dat het amorteren van deze kosten via meta-learning of parameter-efficiënte adaptatie een natuurlijke volgende stap is. Daarnaast is de huidige formulering gericht op statische scènes; het uitbreiden van de methode naar dynamische scènes en rijkere representaties (zoals Gaussian Splatting) wordt geïdentificeerd als toekomstig werk.