💻 computer science

DrivingDepth: Sparse-Prompted Pixel-wise Scale Correction for Driving Depth Estimation

DrivingDepth stelt een nieuw raamwerk voor voor diepteschatting bij autonoom rijden dat de geometrische coherentie van foundationmodellen behoudt door spaarse LiDAR-gegevens uitsluitend als prompts te gebruiken om per pixel schaalcorrecties te leren, waardoor het een state-of-the-art metrische nauwkeurigheid en structurele consistentie bereikt zonder de diepte vanaf nul opnieuw te genereren.

Oorspronkelijke auteurs: Chi Huang, Wenhao Zhang, Hang Yin, YuAn Wang, Hao Li, Bosheng Wang, Xun Sun, Liang Wang

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chi Huang, Wenhao Zhang, Hang Yin, YuAn Wang, Hao Li, Bosheng Wang, Xun Sun, Liang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Conflict tussen de "Kaart" en de "Liniaal"

Stel je voor dat je een 3D-model van een stad probeert te bouwen voor een zelfrijdende auto. Je hebt twee hulpmiddelen, maar geen van beide is op zichzelf perfect:

De Camera (De Kunstenaar): Dit hulpmiddel is geweldig in het tekenen van de vorm van dingen. Het weet precies waar de randen van een auto zijn, hoe de weg buigt en waar de bomen ophouden. Het creëert een prachtig, gedetailleerd en continu beeld. Echter, het heeft geen idee hoe ver weg dingen daadwerkelijk zijn. Het is als een schilder die een perfecte berg kan tekenen, maar niet weet of die 3 meter hoog is of 10 kilometer hoog.
De LiDAR (De Landmeter): Dit hulpmiddel gebruikt lasers om exacte afstanden te meten. Het geeft je een perfecte "liniaal"-meting. Echter, het is erg ijl (sparse). Stel je voor dat de Landmeter slechts een paar dartpijlen tegen de muur gooit om deze te meten. Je krijgt een paar nauwkeurige stippen, maar enorme gaten ertussenin. Ook landen de pijlen soms op de verkeerde plekken (ruis) of sluiten ze niet perfect aan bij de schildering.

Het Conflict:
Als je probeert de weinige stippen van de Landmeter op de schildering van de Kunstenaar te dwingen, verpest je vaak de schildering. De stippen van de Landmeter kunnen net even naast zitten, en als je de schildering dwingt om zich aan die stippen aan te passen, creëer je vreemde gaten, gebroken oppervlakken of "zwevende objecten" in het 3D-model. Dit is het Geometrie-Schaal Conflict: Je hebt perfecte vormen maar geen schaal, of een perfecte schaal maar gebroken vormen.

De Oude Manier: "Opnieuw Beginnen"

Eerdere methoden probeerden dit op te lossen door de stippen van de Landmeter te nemen en tegen de computer te zeggen: "Negeer de schildering van de Kunstenaar; laten we de hele 3D-wereld opnieuw opbouwen vanaf deze stippen."

Het Resultaat: De computer krijgt de schaal goed, maar omdat de originele vloeiende lijnen van de Kunstenaar werden genegeerd, ziet het resultaat er glitchy uit, met gebroken oppervlakken en artefacten.

De Nieuwe Oplossing: DrivingDepth (De "Tweaker")

De auteurs van dit paper, DrivingDepth, kwamen met een slimmer idee. Ze realiseerden zich dat de Artist (een krachtig AI-model genaamd DepthAnything3) al de perfecte vorm van de wereld had getekend. Het enige wat ontbrak, was de grootte.

In plaats van de hele schildering opnieuw op te bouwen, besloten ze simpelweg een "tweaker"-laag bovenop de bestaande schildering toe te voegen.

Hoe het werkt (De Analogie)

Stel je de dieptekaart van de AI voor als een rubberen vel waarop de perfecte rimpels en vouwen van de stad al getekend staan.

De Bevroren Kunstenaar: Ze houden het originele rubberen vel precies zoals het is. Ze laten de computer de rimpels niet opnieuw tekenen.
De Iele Prompts: De stippen van de Landmeter (LiDAR) worden behandeld als plaknotities (sticky notes) die op specifieke plekken op het rubberen vel zijn geplaatst.
De Tweaker (Schaalcorrectie): De nieuwe AI kijkt naar de plaknotities. Hij vraagt: "Oké, bij deze plaknotitie zegt het rubberen vel dat de auto 10 eenheden ver weg is, maar de Landmeter zegt dat het 20 eenheden is."
De Magie: In plaats van het rubberen vel te verscheuren, laat de AI het rubberen vel op die plek lokaal uitrekken of inkrimpen om overeen te komen met de Landmeter. Dit doet hij voor elke pixel, waardoor er een unieke "rekkaart" (een schaalfactor) voor de hele afbeelding ontstaat.

Belangrijke Kenmerken van deze Aanpak:

Minimale Interventie: De computer leert niet hoe de wereld te tekenen; hij leert alleen hoe hij de bestaande tekening moet rekken om bij de metingen te passen.
Zelfvertrouwen: De AI is slim genoeg om te weten wanneer een stip van de Landmeter een fout is (ruis). Als een stip verdacht lijkt, negeert de AI deze en vertrouwt hij op de vloeiende vorm van de Kunstenaar.
Gladheid: Het zorgt ervoor dat het rubberen vel tussen de plaknotities niet bobbelig of gescheurd wordt. Het houdt het oppervlak glad, net als de originele schildering.

Waarom het Beter Is

Het paper laat zien dat deze methode het beste van beide werelden combineert:

Correcte Schaal: De afstanden zijn nauwkeurig (dankzij de stippen van de Landmeter).
Perfecte Vormen: De randen van auto's en wegen zijn scherp en uitgelijnd met de camerabeelden (dankzij de originele tekening van de Kunstenaar).

In tests creëerden andere methoden die probeerden "opnieuw te beginnen" gebroken 3D-modellen met gaten erin. DrivingDepth hield de modellen solide en glad, terwijl de afstanden toch correct bleven. Zelfs toen de Landmeter slechts 10% van de gebruikelijke data leverde (zeer weinig stippen), werkte DrivingDepth nog steeds beter dan anderen die 100% van de data hadden.

Samenvatting

DrivingDepth is als een meesterkleermaker die een perfect gesneden pak (de visuele geometrie) neemt en simpelweg de knopen en naden aanpast (de schaal) om het passend te maken voor de metingen van een specifiek persoon (de LiDAR-data), in plaats van te proberen een heel nieuw pak vanaf nul te naaien. Dit zorgt ervoor dat het pak er zowel geweldig uitziet als perfect past.

Technische Samenvatting: DrivingDepth

Probleemstelling: Het Geometrie–Schaal-conflict

Autonoom rijden vereist diepteschatting die tegelijkertijd dens, pixel-gealigneerd en metrisch consistent is. De huidige sensorische modaliteiten en modellen kampen echter met een fundamentele spanning, de geometrie–schaal-conflict genoemd:

Visual Foundation Models (bijv. DepthAnything3, Depth Pro) produceren dichte, pixel-gealigneerde visuele geometrie met sterke randconsistentie, maar missen een betrouwbare metriek schaal. Ze redeneren onafhankelijk per afbeelding of vertrouwen op visuele correspondenties zonder absolute afstandshaken.
Geprojecteerde LiDAR biedt metriek ankers, maar is inherent ijl (sparse), ruizig, ongelijk verdeeld en vaak niet uitgelijnd met beeldstructuren door kalibratiedrift en oppervlaktereffecten.

De beperking van bestaande methoden: Huidige sparse-prompted benaderingen (bijv. MapAnything, PriorDA) proberen LiDAR te integreren door diepte vanaf nul te regenereren of door features te fuseren om absolute diepte te voorspellen. Deze aanpak overschrijdt vaak de coherente geometrische priors van foundation models, wat leidt tot structurele artefacten (gaten, onderbroken oppervlakken) op visueel continue objecten waar het LiDAR-bewijs ijl is. Omgekeerd kan globale post-hoc uitlijning weliswaar de gemiddelde schaal aanpassen, maar faalt het in het corrigeren van ruimtelijk variërende metriek fouten over verschillende oppervlakken.

Methodologie: DrivingDepth

DrivingDepth stelt een minimal-intervention framework voor dat dit conflict oplost door ijle LiDAR niet te behandelen als dichte supervisiedoelen, maar als geometrische prompts voor residuele pixelwijze schaalcorrectie. De kerninzicht is dat foundation models al een geometrisch coherente relatieve diepte vastleggen; het model hoeft alleen de per-pixel schaalfactor te leren om deze relatieve geometrie naar metriek coördinaten te mappen.

Architectuur

Het framework is gebouwd op een bevroren DepthAnything3 (DA3) backbone en opereert op twee complementaire niveaus:

Geometry-Preserving Feature Adapter (GPFA):
- Functie: Injecteert ijle diepte-aanwijzingen in de bevroren DA3-representatie zonder de backbone's geometrie te overschrijven.
- Mechanisme: Een lichtgewicht CNN codeert multi-resolutie LiDAR-prompts naar ijle diepte-tokens. Deze tokens conditioneren de beeld-tokens via cross-attention.
- Beperkte Propagatie: Om de fysieke opstelling van surround-view camera's te respecteren, wordt self-attention beperkt tot co-visibele patronen: aangrenzende camera's op hetzelfde tijdstip en dezelfde camera over opeenvolgende frames. Dit voorkomt geometrische ruis van ongerelateerde weergaven.
- Output: Diepte-bewuste features worden geconcateneerd met de originele backbone features, waardoor de schaal-head directe toegang behoudt tot de ongewijzigde geometrische prior.
Sparse-Aware Pixel-Scale Head:
- Functie: Voorspelt een dichte per-pixel schaalkaart ( $S_{pix}$ ) en een confidentiekaart ( $C$ ).
- Input: Combineert de diepte-bewuste features van de adapter met een multi-resolutie LiDAR-prompt (geconstrueerd door ijle diepte te downsamplen om de effectieve dichtheid voor lagere-resolutie decoderstadia te vergroten).
- Initialisatie: De head is neutraal geïnitialiseerd (zero-initialized convoluties, schaal geïnitialiseerd op 1), zodat het model bij de start van de training de originele DA3-voorspelling reproduceert.
- Output: De uiteindelijke metriek diepte $\hat{D}_c$ wordt berekend als $D_{prior} \odot S_{pix} \cdot s_g$ , waarbij $s_g$ een globale clip-niveau scalar is afgeleid via Robust Outlier Exclusion (ROE) uitlijning om cross-view consistentie te waarborgen.

Trainingsdoelstelling

De loss-functie balanceert metriek verankering tegen geometrie-behoud:

Sparse Depth Alignment ( $L_{depth}$ ): Combineert multi-resolutie supervisie met een confidence-weighted regressie. De geleerde confidentiekaart vermindert automatisch de invloed van onbetrouwbare LiDAR-projecties (bijv. slecht uitgelijnde punten).
Surface-Normal Regularization ( $L_{norm}$ ): Bestraft hoekafwijkingen tussen de oppervlaktenormalen van de gecorrigeerde diepte en de DA3-prior. Dit voorkomt dat het model ruizige punten aanpast op een manier die de oppervlaktecontinuïteit doorbreekt.
Scale Regularization ( $L_{scale}$ ): Moedigt de schaalkaart aan om vloeiend en dicht bij eenheid te zijn, om overfitting op ijle ruis te voorkomen.

Belangrijkste Bijdragen

Probleemformulering: Identificatie van de geometrie–schaal-conflict in rij-diepte en het voorstel om dit op te lossen via residuele pixelwijze schaalcorrectie van een bevroren foundation prior, in plaats van diepte te regenereren.
Minimal-Intervention Architectuur: Een dual-level ontwerp met een Geometry-Preserving Feature Adapter (injectie van aanwijzingen via beperkte aandacht) en een Sparse-Aware Pixel-Scale Head (voorspellen van correcties met geleerde confidentie).
Trainingsstrategie: Een gebalanceerde doelstelling gebruikmakend van confidence-weighted uitlijning, oppervlaktenormaal-regularisatie en schaal-smoothness om te bemiddelen tussen ijle metriek verankering en dichte geometrie-behoud.
Empirische Validatie: Demonstratie van competitieve metriek nauwkeurigheid met significant superieure geometrische consistentie vergeleken met state-of-the-art methoden.

Experimentele Resultaten

Experimenten werden uitgevoerd op de nuScenes en DDAD datasets met 4-frame surround-view inputs.

Metriek Nauwkeurigheid vs. Consistentie: DrivingDepth bereikt een AbsRel van 11.19 en een EdgeCR van 5.741 op nuScenes.
- Het presteert beter dan MapAnything (AbsRel 11.99, EdgeCR 1.914), dat de grens-uitlijning opoffert voor metriek nauwkeurigheid.
- Het verbetert de prestaties van DepthAnything3 (AbsRel 15.88) aanzienlijk, die een gebrek heeft aan metriek schaal.
- Het vermijdt de structurele artefacten gezien bij PriorDA (EdgeCR 2.524), dat diepte-discontinuïteiten hallucineert door te overfitten op ijle LiDAR-punten.
Robuustheid tegen IJle Data: Onder 10% LiDAR-dichtheid behoudt DrivingDepth een hoge prestatie (EdgeCR > 5.7), terwijl MapAnything scherp degradeert (EdgeCR daalt naar ~1.9). Dit valideert de effectiviteit van het behandelen van LiDAR als geometrische prompts in plaats van dichte supervisie.
Kwalitatieve Analyse: Visualisaties tonen aan dat DrivingDepth scherpe objectgrenzen en coherente 3D-structuren (bijv. bewegende vrachtwagens, gebouwgevels) behoudt terwijl het schaalfouten corrigeert, terwijl andere methoden ofwel schaal missen of geometrische distorties introduceren.

Betekenis en Claims

Het artikel claimt dat DrivingDepth erin slaagt de kloof tussen dichte visuele geometrie en betrouwbare metriek schaal te overbruggen door het probleem te deconstrueren: erkennen dat foundation models al de noodzakelijke oppervlaktestructuur bieden, en dat alleen de schaalmapping geleerd hoeft te worden.

Efficiëntie: Door de backbone te bevriezen en alleen een lichtgewicht schaal-head en adapter te leren, past het model op een enkele 8-GPU node, waardoor de kosten van end-to-end hertraining worden vermeden.
Ontwerpprincipe: Het "minimal-intervention" principe zorgt ervoor dat dichte visuele geometrie bij constructie wordt behouden, wat structurele artefacten voorkomt die gebruikelijk zijn bij methoden die diepte vanaf nul regenereren.
Beperking: De auteurs merken bescheiden op dat de aanpak afhankelijk is van het feit dat de geometrie van het bevroren foundation model fundamenteel correct is. Als het foundation model faalt om structuur te vangen (bijv. op hoog reflecterende of transparante oppervlakken), kan de schaalcorrectie de ontbrekende geometrie niet herstellen.