Technische Samenvatting: DepthVLM

Probleemstelling

Vision-Language Models (VLM's) hebben opmerkelijk succes behaald in 2D-taken zoals visuele grounding en beeldbeschrijving, maar blijven fundamenteel beperkt in 3D-begrip. Een primaire bottleneck is het heersende supervisieparadigma dat uitsluitend op tekst is gebaseerd, waarbij visuele invoer wordt verbruikt om autoregressieve tekstuitvoer te genereren. Dit ontwerp beperkt inherent de fijnkorrelige visuele perceptie en verhindert de expliciete modellering van dichte scenes-geometrie.

Bestaande benaderingen om deze kloof te overbruggen lijden aan aanzienlijke nadelen:

1. Kennisdistillatie-pijplijnen: Methoden die geometrische signalen (bijvoorbeeld dieptekaarten) injecteren vanuit externe voorgetrainde 3D-modellen, vertrouwen op foutaccumulatie en missen een native integratie.
2. Inefficiënte directe voorspelling: Recente pogingen om VLM's in staat te stellen geometrie direct te voorspellen, staan voor afwegingen tussen efficiëntie of kwaliteit. Zo bereikt DepthLM hoge nauwkeurigheid, maar vereist het per-pixel queries, wat leidt tot onaanvaardbaar trage inferentie ($O(HW)$). Youtu-VL maakt volledige beeldvoorspelling in één doorgang mogelijk, maar produceert grove token-niveau outputs die post-hoc interpolatie vereisen. Bovendien degraderen veel van deze methoden de algemene multimodale capaciteiten van de VLM door tekst-zware supervisie of vereisten voor training vanaf nul.

De kernuitdaging die door dit artikel wordt aangepakt is: Kan een VLM fungeren als een native dichte geometrie-voorspeller met minimale architecturale wijzigingen, terwijl het zijn algemene multimodale capaciteit behoudt?

Methodologie: DepthVLM

De auteurs stellen DepthVLM voor, een kader dat een enkele VLM-ruggengraat transformeert in een unificerend fundamenteel model dat zowel dichte metrische dieptekaarten als taalresponsen kan genereren in één forward pass.

1. Unificerend Architectuur

DepthVLM breidt de standaard VLM-architectuur uit door een lichtgewicht dieptehoofd aan de Large Language Model (LLM)-ruggengraat te koppelen.

• Feature-extractie: In plaats van uitsluitend te vertrouwen op de uiteindelijke LLM-verborgen staten, extrahert het model een multi-schaal feature-pyramide. Dit omvat drie tussenliggende lagen van de Vision Transformer (ViT)-encoder en de uiteindelijke verborgen staten van de LLM op posities van beeld-tokens.
• Ontwerp van het dieptehoofd: Geïnspireerd door DPT (Vision Transformers voor dichte voorspelling), verwerkt het hoofd deze multi-schaal features. Cruciaal is dat, omdat VLM-visuele tokens al zijn downgesampled door patch-mergers, de auteurs verdere downsampling vermijden. In plaats daarvan construeren ze een bottom-up pyramide via upsampling, waarbij eerdere ViT-lagen een hogere ruimtelijke resolutie krijgen toegewezen.
• Output: De gefuseerde features worden gedecodeerd naar een dichte, volledige resolutie metrische dieptekaart ($\hat{D} \in \mathbb{R}^{H \times W}$) naast de tekstrespons ($\hat{T}$). Een Softplus-activatie zorgt voor strikt positieve dieptewaarden.

2. Tweestaps Trainingsstrategie

Om dichte geometrie-voorspelling in te voeren zonder de voorgetrainde multimodale begrip van de VLM te compromitteren, hanteren de auteurs een tweestaps trainingschema:

• Fase 1 (Initialisatie van het dieptehoofd): De VLM-ruggengraat wordt bevroren. Alleen het nieuw toegevoegde dieptehoofd wordt getraind met een schaal-invariante logaritmische (SILog) loss op metrische dieptedata. Dit vestigt initiële dieptevoorspellingscapaciteiten zonder de voorgetrainde kennis te verstoren.
• Fase 2 (End-to-end fine-tuning): De LLM-ruggengraat wordt ontdooid en het volledige model wordt end-to-end gefine-tuned op een mengsel van instructievolgende data. De objectief functie combineert de standaard autoregressieve taalmodellering loss ($L_{text}$) en de diepte loss ($L_{depth}$), gebalanceerd door een factor $\alpha$.

3. Data-curatie en Normalisatie

• Focale lengte-normalisatie: Om camera-geïnduceerde schaambiguïteit over heterogene datasets (binnen vs. buiten, verschillende sensoren) te mitigeren, worden alle afbeeldingen herschaald naar een uniforme canonieke focale lengte ($f_c$). Dit aligneert projectieve geometrie en dwingt een consistente pixel-naar-metrische mapping af.
• DepthVLM-Bench: De auteurs introduceren een unificerend benchmark dat 8 trainingsdatasets (die binnen- en buitenscènes bestrijken) en 9 evaluatiedatasets aggregeert. Dit maakt een eerlijke vergelijking mogelijk tussen VLM's en gespecialiseerde pure visiemodellen onder een consistent protocol.

Belangrijkste Bijdragen

1. Native Dichte Voorspelling: Het artikel demonstreert dat een VLM kan fungeren als een native dichte geometrie-voorspeller. Door een lichtgewicht hoofd aan te koppelen, bereikt DepthVLM dichte pixel-niveau diepteschatting zonder het tekstgeneratiepad te wijzigen.
2. Efficiëntie en Behoud van Capaciteiten: In tegenstelling tot eerdere methoden die algemene capaciteiten degraderen of lijden aan trage inferentie, bereikt DepthVLM $O(1)$ inferentiekosten (één forward pass voor volledige resolutie) en behoudt het de oorspronkelijke multimodale prestaties van de VLM door middel van een tweestaps trainingsstrategie.
3. Unificerend Benchmark: De introductie van DepthVLM-Bench maakt effectieve training en directe, eerlijke vergelijking mogelijk tussen VLM's en gespecialiseerde pure visiemodellen op metrische diepteschatting.

Experimentele Resultaten

Uitgebreide experimenten over diverse datasets (Waymo, NuScenes, ETH3D, sunRGBD, enz.) benadrukken het volgende:

• Superioriteit ten opzichte van VLM's: DepthVLM presteert aanzienlijk beter dan bestaande VLM's, waaronder algemene modellen (bijvoorbeeld GPT-5.5, Qwen3-VL) en ruimtelijk-versterkte VLM's. Waar GPT-5.5 een $\delta_1$-nauwkeurigheid van slechts ~0,41 bereikt in gemiddeld, bereikt DepthVLM-4B 0,868.
• Het Voorbijstrijden van Pure Visiemodellen: Ondanks dat het een unificerend model is, overtreft DepthVLM state-of-the-art gespecialiseerde pure visiemodellen. Zo presteert het beter dan DepthAnythingV3 (0,877 vs. 0,884 gemiddelde $\delta_1$) en Metric3Dv2 (0,812 vs. 0,884).
• Inferentie-efficiëntie: DepthVLM is aanzienlijk sneller dan eerdere VLM-gebaseerde benaderingen. Het genereert een 256×192 dieptekaart in 0,42s, vergeleken met 2,48s voor Youtu-VL en 13 uur voor DepthLM (vanwege per-pixel queries).
• Multimodale Capaciteit: Evaluatie op algemene visuele benchmarks (MMBench, OCRBench, POPE) toont aan dat DepthVLM zijn basis-VLM-ruggengraat gelijkwaardig is of licht verbetert, wat bevestigt dat de toevoeging van het dieptehoofd het algemene multimodale begrip niet degradeert.
• 3D Ruimtelijk Redeneren: Het model toont verbeterde prestaties op complexe downstream 3D-taken, zoals punt-diepteschatting, schatting van 3D-objectafmetingen en rangschikking van diepteordes, wat suggereert dat native dichte geometrie-voorspelling dient als een solide fundament voor hoogwaardig ruimtelijk redeneren.

Betekenis en Claims

Het artikel claimt dat DepthVLM een stap voorwaarts is naar een werkelijk unificerend fundamenteel model dat gezamenlijk uitblinkt in laag-niveau dichte geometrie-voorspelling en hoog-niveau multimodaal begrip.

• Paradigmaverschuiving: Het daagt de notie uit dat dichte geometrie-voorspelling aparte, gespecialiseerde visiemodellen of inefficiënte query-gebaseerde VLM's vereist. In plaats daarvan toont het aan dat geometrie native kan ontstaan binnen een enkele VLM-ruggengraat.
• Praktijktoepasbaarheid: Door hoge nauwkeurigheid te bereiken met minimale architecturale wijzigingen en algemene capaciteiten te behouden, biedt DepthVLM een praktische recept voor het integreren van 3D-perceptie in bestaande VLM-ecosystemen.
• Beperkingen: De auteurs merken bescheiden op dat het huidige werk specifiek gericht is op dichte metrische diepteschatting. Breder 3D-perceptietaken, zoals objectdetectie en pose-schatting, blijven toekomstig werk.

Kortom, DepthVLM biedt een lichtgewicht, efficiënt en effectief oplossing voor het ontsluiten van dichte metrische diepteschatting in VLM's, en overbrugt de kloof tussen 2D multimodaal begrip en 3D ruimtelijke intelligentie.