Last-Layer-Centric Feature Recombination: Unleashing 3D Geometric Knowledge in DINOv3 for Monocular Depth Estimation

1. Probleemstelling

Monoculaire Diepteschatting (MDE) is de taak om per pixel de diepte van een scène te voorspellen op basis van één enkel RGB-afbeelding. Het is een van nature slecht gesteld probleem, omdat één 2D-afbeelding kan corresponderen met oneindig veel 3D-scènes.

• Huidige Beperkingen: Hoewel Vision Foundation Models (VFMs), met name op DINO gebaseerde Transformers, de nauwkeurigheid van MDE aanzienlijk hebben verbeterd, volgen bestaande benaderingen een unificerend paradigma: ze uniformeren een vast aantal tussenliggende transformer-lagen om multi-schaal kenmerken te bouwen.
• De Kloof: Deze uniforme bemonstering impliceert dat geometrische informatie gelijkmatig over alle lagen is verdeeld. De auteurs betogen dat dit de specifieke structurele 3D-cues die in VFMs zijn gecodeerd, onderbenut, met name de rijke geometrische kennis die in diepere lagen wordt aangetroffen.

2. Methodologie: Last-Layer-Centric Feature Recombination (LFR)

De voorgestelde oplossing is een plug-and-play module die wordt ingevoegd tussen de ViT-ruggengraat en de voorspellingshoofd (DPT-decoder). Deze bestaat uit drie hoofdfasen:

A. Systematische Laag-voor-laag Analyse

Voordat de methode werd ontworpen, voerden de auteurs een statistische analyse uit van DINOv3-L-kenmerken:

• Vondsten: Diepere lagen vertonen een sterkere dieptevoorspelbaarheid en vangen inter-sample geometrische variaties beter op. De laatste laag fungeert als een "geometrische anker", terwijl tussenliggende lagen complementaire informatie bevatten.
• Conclusie: Diepere kenmerken moeten een centrale rol spelen, en tussenliggende kenmerken moeten worden geselecteerd op basis van hun complementariteit met de laatste laag, niet alleen op basis van hun diepte-index.

B. Selectie van Kenmerken op Basis van Minimale Similariteit

In plaats van vaste uniforme bemonstering, selecteert LFR adaptief tussenliggende lagen:

1. Anker: De kenmerken van de laatste laag ($F_L$) dienen als de dominante geometrische representatie.
2. Selectiecriteria: Het algoritme berekent de gemiddelde cosinus-similariteit tussen het class-token van de laatste laag en de image-tokens van alle voorgaande lagen.
3. Strategie: Het selecteert de $K$ lagen met de laagste similariteitsscores (Minimal-Similarity).
   • Redenering: Lagen met een lage similariteit tot de laatste laag zijn semantisch het meest complementair, waardoor de informatiewinst wordt gemaximaliseerd en redundantie wordt geminimaliseerd.

C. Recombinatie van Kenmerken via Lichtgewicht Adapters

Geselecteerde hulpkenmerken worden samengevoegd met de kenmerken van de laatste laag:

• Concatenatie: Hulpkenmerken ($F_{ak}$) en dominante kenmerken ($F_L$) worden samengevoegd langs de kanaal-dimensie.
• Adapter: Een compacte lineaire adapter (Down-projection $\to$ Niet-lineaire Activering $\to$ Up-projection) verwerkt de samengevoegde kenmerken.
• Gating: Een leerbaar scalair poortje ($g^k$), gemoduleerd door een tanh-functie, controleert de bijdrage van de samengevoegde kenmerken.
• Residuale Connectie: De uiteindelijke gerecombineerde kenmerken worden berekend als:
  $$F_{rk} = \tanh(g^k) \cdot A^k([F_{ak}; F_L]) + F_L$$

D. Voorspellingshoofd & Verlies

• Multi-level Aggregatie: In tegenstelling tot standaard DPT, dat alleen de laatste laag gebruikt voor voorspelling, voert LFR diepteregressie onafhankelijk uit voor elk gerecombineerd kenmerkniveau. De uiteindelijke dieptekaart is een gewogen som van deze voorspellingen, waarbij de gewichten zijn afgeleid van de gerecombineerde class-tokens.
• Verliesfuncties: Het model wordt getraind met een combinatie van Scale-Invariant Log Loss en een Hierarchical Normalization (HN) Loss om globale coherentie en lokale details in evenwicht te brengen.

3. Belangrijkste Bijdragen

1. Systematische Analyse: De eerste laag-voor-laag analyse van DINOv3 voor 3D-geometrie, die aantoont dat diepere lagen dichter en explicieter geometrische informatie coderen en dat tussenliggende lagen complementaire cues bieden.
2. LFR-module: Een eenvoudige, effectieve en plug-and-play recombination-module die adaptief complementaire tussenliggende lagen selecteert op basis van een minimal-similarity criterium en deze samenvoegt met het anker van de laatste laag.
3. State-of-the-Art Prestaties: De methode bereikt nieuwe SOTA-resultaten op standaard benchmarks met minimale rekenkosten en zonder wijziging van de ruggengraat-architectuur.

4. Experimentele Resultaten

De methode werd geëvalueerd op NYU Depth v2 (binnen) en KITTI (buiten), met zero-shot generalisatie getest op SUN RGB-D en Argoverse.

• NYU Depth v2:
  • DINOv3-L + LFR behaalde een AbsRel van 0.057 en een RMSE van 0.206, waarmee het de baseline DINOv3-L (0.060 AbsRel) en eerdere SOTA-methoden zoals Depth Anything v2 (0.056 AbsRel) en generatieve modellen zoals DAR-L (0.056 AbsRel) overtrof.
  • Het behaalde superieure prestaties met aanzienlijk minder parameters en zonder iteratieve inferentie (in tegenstelling tot op diffusie gebaseerde modellen).
• KITTI:
  • DINOv3-L + LFR behaalde een AbsRel van 0.043 en een RMSE van 1.711, waarmee het alle eerdere methoden overtrof, inclusief die welke enorme pre-training of generatieve frameworks vereisen.
• Zero-Shot Generalisatie:
  • Modellen getraind op NYU werden overgebracht naar SUN RGB-D met een AbsRel van 0.099 (tegenover 0.101 voor de baseline).
  • Modellen getraind op KITTI werden overgebracht naar Argoverse met een AbsRel van 0.204 (tegenover 0.219 voor de baseline), wat robuuste aanpassing aan onzichtbare omgevingen aantoont.
• Ablatiestudies: Bevestigden dat de Minimal-Similarity selectie strategie superieur is aan maximale similariteit of willekeurige selectie. De recombination-module en HN loss leverden consistente incrementele winsten op.

5. Betekenis

• Ontgrendelen van VFM-potentieel: Het artikel biedt een principiële strategie om de latente 3D-geometrische kennis in foundation-modellen te ontgrendelen zonder de ruggengraat opnieuw te trainen.
• Efficiëntie: Het biedt een zeer efficiënt alternatief voor rekenkundig dure generatieve modellen (diffusie/autoregressief) voor dichte 3D-taken, met vergelijkbare of betere nauwkeurigheid in één enkele forward pass.
• Theoretisch Inzicht: Het daagt het standaard "uniform sampling"-paradigma in transfer learning uit, en suggereert dat laag-voor-laag heterogeniteit in VFMs moet worden benut via adaptieve, complementariteitsgebaseerde kenmerksamenvoeging.
• Generaliseerbaarheid: De "Last-Layer-Centric" aanpak is architectuur-agnostisch en kan waarschijnlijk worden uitgebreid naar andere dichte voorspellingstaken buiten diepteschatting.