ARDepth: Auto-regressive Monocular Depth Estimation with Progressive Visual Conditioning

Technische Samenvatting: ARDepth

Probleemstelling
Monoculaire diepte-inschatting (Monocular Depth Estimation, MDE) wordt onlangs gedomineerd door diffusie-gebaseerde modellen, die dieptekunst als een globaal verfijningsproces behandelen via iteratieve denoising. Hoewel effectief, betogen de auteurs dat dit paradigma impliciet aanneemt dat diepte een globaal glad veld is, waarbij het faalt om de stuksgewijze, discontinue en schaalafhankelijke aard van de werkelijke scène-geometrie expliciet te reflecteren. Geometrische structuren—zoals scherpe occlusiegrenzen, dunne structuren en oppervlakte-intersecties—ontstaan vaak progressief over ruimtelijke schalen in plaats van uniform te worden verfijnd. Bovendien worstelen bestaande auto-regressieve (AR) benaderingen toegepast op diepte vaak met "platte" formuleringen die moeite hebben om voldoende capaciteit toe te wijzen aan nabije details, terwijl ze de globale lay-out moeten vastleggen, wat leidt tot een verlies van fijnmazige structurele getrouwheid.

Methodologie
Het artikel introduceert ARDepth, een hiërarchisch auto-regressief framework dat diepte-inschatting formuleert als een gestructureerd, schaal-progressief generatieproces. In plaats van uniforme denoising, construeert ARDepth diepte-representaties van grove lay-outs naar fijne geometrische details.

De architectuur bestaat uit drie primaire componenten:

1. Hiërarchische Coarse-to-Fine Auto-Regressie:

   • Het model maakt gebruik van een vooraf getrainde Visual Auto-Regressive (VAR) backbone.
   • Dieptekaarten worden gedecomponeerd in een sequentie van residuele kaarten ($R = \{r_1, ..., r_K\}$) met progressief toenemende ruimtelijke resoluties.
   • De transformer voorspelt deze residuen sequentieel. Grove residuen coderen de globale scène-lay-out en dominante oppervlakken, terwijl opeenvolgende residuen hoogfrequente correcties vastleggen zoals objectgrenzen en lokale discontinuïteiten.
   • Tijdens inferentie genereert het model residuen van grof naar fijn en voegt deze samen om de uiteindelijke dieptekaart met volledige resolutie te produceren.

2. Scale-Progressive Conditioning (SPC):

   • Om de beperking van standaard AR-modellen aan te pakken, die vaak vertrouwen op een enkele globale visuele feature, injecteert SPC multi-schaal visuele features op elke generatiefase.
   • Het construeert lokale feature tokens ($v_k$) en een gepoolde globale context ($g_k$) vanuit de invoerafbeelding.
   • Met behulp van een cross-attention mechanisme fuseert de module deze lokale en globale cues adaptief met de tussenliggende voorspelde residuen. Dit zorgt ervoor dat grove stadia globale lay-out cues ontvangen, terwijl hogeresolutie-stadia worden gestuurd door gelokaliseerde, hoogfrequente visuele bewijslast, wat de ruimtelijke uitlijning en detailgetrouwheid verbetert.

3. Semantic-Aware Guidance (SAG):

   • Om de globale structurele consistentie te verbeteren, introduceert SAG lichtgewicht scène-niveau semantische priors.
   • Een multi-modaal taalmodel (VLM) genereert een beknopte, afbeelding-specifieke beschrijving van de globale structuur en de relaties tussen objecten in de scène (zonder expliciete pixel-niveau diepte-redenering).
   • Deze tekst wordt gecodeerd en geprojecteerd in een "start-of-sequence" (sos) token, die dient als de initiële input voor de transformer. Dit biedt globale semantische context om het generatieproces te stabiliseren, met name in textuurloze of geoccludeerde regio's.

Belangrijkste Bijdragen

• Gestructureerde AR Formulering: Het artikel stelt voor om MDE te formuleren als een schaal-progressieve auto-regressieve generatietaak, waarmee wordt afgestapt van de aanname van diepte als een globaal verfijnd willekeurig veld.
• Stage-Aligned Conditioning: De introductie van de SPC en SAG modules. SPC stemt visuele cues af met het hiërarchische generatieproces om lokale details te herstellen, terwijl SAG globale semantische priors biedt om scène-coherentie te handhaven.
• Uitgebreide Validatie: De auteurs bieden uitgebreide zero-shot, relatieve diepte, in-domain en schaleringsstudies aan om de aanpak te valideren.

Experimentele Resultaten

• Zero-Shot Prestaties: Op vijf real-world benchmarks (NYUv2, KITTI, ETH3D, ScanNet, DIODE) bereikt ARDepth concurrerende of superieure prestaties vergeleken met state-of-the-art diffusie-gebaseerde modellen (bijv. Marigold, GeoWizard) en presteert het significant beter dan bestaande auto-regressieve baselines (bijv. DepthART, VAR).
  • Bijvoorbeeld, in de 74K trainingsinstelling verbetert ARDepth de AbsRel op NYUv2 van 5.5 (Marigold) naar 4.8.
• Ablatie-studies:
  • SPC: Het verwijderen van SPC leidt tot significante prestatiedegradatie. De studie bevestigt dat de adaptieve attention-gebaseerde fusie van lokale en globale features superieur is aan eenvoudige concatenatie of het gebruik van enkel globale context.
  • SAG: Afbeelding-specifieke semantische beschrijvingen (SAG Text) presteren beter dan generieke prompts of lege tekst, wat de waarde van compacte scène-niveau guidance bevestigt. Echter, te gedetailleerde ruimtelijke beschrijvingen kunnen ruis introduceren.
  • Hierarchy vs. Flat: Een "Flat AR" baseline (single-stage raster-scan) presteert aanzienlijk slechter dan de hiërarchische formulering, wat aantoont dat coarse-to-fine factorisatie cruciaal is voor dichte geometrische voorspelling.
• Schaalbaarheid: Het framework schaalt effectief met data (verbetering van 74K naar 174K trainingsmonsters) en modelgrootte (2B versus 8B parameters). De 2B variant presteert al beter dan Marigold, wat aangeeft dat het architecturale ontwerp zelf aanzienlijke winst oplevert.
• Kwalitatieve Analyse: Visuele vergelijkingen laten zien dat ARDepth scherpere grenzen produceert, dunne structuren beter behoudt en een meer coherente globale lay-out handhaaft vergeleken met diffusie-gebaseerde modellen.

Betekenis en Claims
Het artikel claimt dat ARDepth auto-regressieve generatie valideert als een veelbelovend alternatief paradigma voor geometrische modellering. Door de hiërarchische en schaalafhankelijke organisatie van scène-geometrie expliciet te modelleren, bereikt de aanpak sterke zero-shot generalisatie en structureel consistente voorspellingen.

De auteurs positioneren hun werk niet als een vervanging voor diffusiemodellen, maar als bewijs dat met taakbewuste architecturale vormgeving (specifiek hiërarchische generatie en stage-aligned conditioning), auto-regressieve frameworks effectief dichte geometrische structuren kunnen vastleggen. Ze suggereren dat dit perspectief een potentiële richting biedt voor het uitbreiden van auto-regressieve foundation modellen (zoals MLLM's) om geometrische perceptie-capaciteiten te omvatten, wat een verenigde modellering van ruimtelijk redeneren en multi-modaal begrip mogelijk maakt.

Beperkingen
De auteurs erkennen dat het huidige 8B model niet te verwaarlozen inferentiekosten met zich meebrengt door sequentiële decoding, hoewel een lichtere 2B variant beschikbaar is. Ze merken ook op dat SAG afhankelijk is van off-the-shelf VLM's die soms ruisachtige ruimtelijke details kunnen bevatten, wat het gebruik van compacte scène-niveau beschrijvingen in plaats van expliciete diepte-redenering noodzakelijk maakt. Ten slotte is de huidige formulering beperkt tot single-image estimation, waarbij video- en multi-view extensies aan toekomstig onderzoek worden overgelaten.