Technisch Overzicht: Metric Anything

Probleemstelling

Hoewel schaling de aanzienlijke vooruitgang in vision foundation models heeft gedreven, blijft het uitbreiden van dit paradigma naar metrische diepte-inschatting een uitdaging. In tegenstelling tot relatieve diepte, die ordinale relaties leert en profiteert van synthetische data en pseudo-label distillatie, vereist metrische diepte het leren van absolute, fysiek betekenisvolle afstanden. Het vakgebied is geblokkeerd door de heterogeniteit van databronnen. Realistische 3D-annotaties komen voort uit diverse sensoren (LiDAR, RGB-D, stereo) en reconstructie-algoritmen (SfM, MVS, SLAM), die elk unieke ruispatronen, hardware-artefacten en cameragevoelige biases introduceren. Deze heterogeniteit creëert significante domeinverschillen, ruwe supervisie en metrische ambiguïteit, waardoor de "data soup" schalingsstrategie niet slaagt bij metrische diepte. Eerdere pogingen om dit via prompt-gebaseerde methoden aan te pakken, waren beperkt tot specifieke taken, kleine datasets en complexe, handmatig ontworkte prompt-pipelines die sterke menselijke priors introduceren.

Methodologie

De auteurs introduceren Metric Anything, een minimalistisch pretraining-framework ontworpen om metrische diepte te leren van ruwe, diverse 3D-bronnen zonder taakspecifieke architecturen of handmatig ontworde prompts.

1. Multi-Source Dataverzameling

De auteurs hebben een dataset samengesteld van ongeveer 20 miljoen beeld-diepte paren verspreid over meer dan 10.000 cameramodellen. De data is gecategoriseerd in drie bronnen:

• Gereconstrueerde 3D-data: Dieptekaarten van SfM, SLAM, MVS en stereo-technieken, die vaak artefacten en ontbrekende regio's bevatten.
• Gevangen 3D-data: Puntenwolken van LiDAR, ToF en RGB-D sensoren, die vaak ijl en ruizig zijn door sensorbeperkingen en omgevingsfactoren.
• Gerenderde 3D-data: Synthetische dieptekaarten uit virtuele engines, die ruisvrije geometrische supervisie bieden.
  Alle monsters worden gestandaardiseerd naar per-pixel metrische dieptekaarten met validatiemaskers.

2. Pretraining via Sparse Metric Prompt

De kerninnovatie is de Sparse Metric Prompt, een universele interface die ruimtelijk redeneren ontkoppelt van sensorbiases.

• Prompt Generatie: In plaats van complexe simulatie, worden prompts gecreëerd door willekeurig geldige pixels te maskeren (het samplen van 2.000–40.000 pixels) uit de grondwaarheid dieptekaarten.
• Prompt Voorbereiding: Om de heterogeniteit van de ruwe prompts te hanteren, passen de auteurs een Pixel-wise Depth Scale Alignment (PDSA) en Global Metric Depth Recovery (GMDR) toe met behulp van een getraind dieptemodel om ontbrekende regio's in te vullen en schalen uit te lijnen, wat een verenigde intermediaire representatie creëert.
• Architectuur: Het model gebruikt een standaard ViT-backbone met een DPT-decoder. Prompts worden geïnjecteerd via een geconditioneerde DPT-head (voegt slechts ~5% parameters toe) in plaats van de backbone aan te passen. Dit ontwerp vermijdt op maat gemaakte architecturale wijzigingen, waardoor het model direct van data structurele en metrische begrip kan leren.
• Loss Functies: Het trainingsdoel combineert Mean Absolute Error (MAE) en Scale-and-Shift-Invariant Mean Absolute Gradient Error (SSI-MAGE). Voor realistische data wordt een robuuste MAE gebruikt, waarbij de top 20% van de grootste fouten wordt weggegooid om ruis te mitigeren.

3. Prompt-Free Model Distillatie

Om implementatie in scenario's zonder prompts mogelijk te maken, distilleren de auteurs het gepretrainde "teacher"-model naar een prompt-free student.

• Pseudo-Label Generatie: Het teacher-model genereert hoogwaardige, dichte metrische dieptekaarten voor de gehele dataset, geconditioneerd op sparse prompts. Deze pseudo-labels dekken een breed dieptebereik (nabij tot ver), in tegenstelling tot veel realistische datasets die bevooroordeeld zijn naar korte bereiken.
• Student Architectuur: De student verwijdert de prompt-injectielagen. Cruciaal is dat de auteurs het standaard skip-connection schema inverteren: diepe, hoogwaardige ViT-features worden geïnjecteerd in diepere decodinglagen, terwijl ondiepe features naar ondiepere lagen voeden. Dit maakt gebruik van de hoge semantische consistentie van de pseudo-labels van de teacher.
• Loss Functie: Er wordt een Distance-Balanced Inverse-Depth Loss geïntroduceerd. Door te opereren in een log-ruimte ($D_{log} = 1 - \ln(D)/\ln(C)$), behoudt deze loss fijnmazige gevoeligheid in nabije regio's terwijl de effectieve supervisie naar verre gebieden wordt uitgebreid, wat de beperkingen van standaard inverse-depth losses aanpakt.

Belangrijkste Bijdragen

1. Metric Anything Framework: Een minimalistisch, schaalbaar pretraining-paradigma dat Sparse Metric Prompts gebruikt om metrische diepte te leren van heterogene, ruizige 3D-bronnen zonder handmatig ontworpen prompts of taakspecifieke architecturen.
2. Gedemonstreerde Schaling: De aggregatie van 20M diverse beeld-diepte paren onthult een duidelijke schalingstrend in metrische diepte-inschatting, een fenomeen dat voorheen ongezien was in dit domein. Prestaties verbeteren consistent naarmate de omvang van de trainingsdata toeneemt.
3. Universele Generalisatie: Zowel het gepretrainde model als de gedistilleerde prompt-free student bereiken state-of-the-art (SOTA) prestaties over tien downstream taken zonder taakspecifieke engineering. Deze taken omvatten:
   • Prompt-gebaseerd: Dieptecompletie, super-resolutie en Radar-camera fusie.
   • Prompt-free: Monoculaire diepte-inschatting, camera-intrinsieke herstel, multi-view 3D-reconstructie en VLA-planning.
   • MLLM Verbetering: Het aanzienlijk versterken van de ruimtelijke redeneercapaciteiten van Multimodale Large Language Models.

Resultaten

• Schalingstrend: Experimenten tonen een consistente toename van de zero-shot $\delta_1$ nauwkeurigheid op Middlebury naarmate de trainingsdata schaalt van 2M naar 20M paren.
• Prompt-gebaseerde Taken: Het model bereikt SOTA zero-shot prestaties in diepte super-resolutie en completie over NYUv2, ETH3D en KITTI, waarmee het eerdere methoden die vertrouwen op synthetische prompt-simulatie overtreft. In Radar-Camera diepte-inschatting op nuScenes verdubbelt het gefinetunede model bijna de nauwkeurigheid van zijn vanaf nul getrainde tegenhanger en overtreft het alle voorgaande fusie-methoden.
• Prompt-free Taken: Het gedistilleerde student-model staat 1e of 2e in zes diverse monoculaire diepte-inschatting benchmarks (ETH3D, NuScenes, Sun-RGBD, etc.) in een strikte zero-shot setting. Het behaalt ook SOTA resultaten in camera-intrinsieke herstel en multi-view 3D-reconstructie.
• Ruimtelijke Intelligentie: Wanneer gebruikt als visuele encoder voor MLLM's, verbetert het model de prestaties op de VSI-Bench aanzienlijk, met name in taken die objectgrootte-inschatting, absolute afstandmeting en routeplanning vereisen.
• Robuustheid: Het model vertoont sterke generalisatie naar ongeziene sensorconfiguraties (bijv. verschillende LiDAR-camera opstellingen), extreme omgevingscondities (nacht, regen, mist) en ongeziene visuele domeinen (fisheye, panorama's, cartoons).

Betekenis en Claims

Het paper stelt dat metrische diepte-inschatting kan profiteren van dezelfde wetten van schaling die moderne foundation models in NLP en 2D vision aandrijven. Door het ontwerp van menselijke priors in prompts te minimaliseren en te vertrouwen op data-gedreven leren van heterogene bronnen, vestigt Metric Anything een nieuw pad naar schaalbare en efficiënte real-world metrische perceptie.

De auteurs stemmen hun bevindingen af met "The Bitter Lesson", waarbij ze beweren dat algemene, data-gedreven methoden systematisch beter presteren dan handmatig ontworpen ontwerpen. Ze beweren het probleem van "datascarciteit" in metrische diepte te hebben opgelost door effectief gebruik te maken van ruwe, heterogene bronnen, waardoor emergente capaciteiten en robuuste generalisatie worden ontsloten. Het werk suggereert dat toekomstig onderzoek de focus moet verleggen van taakspecifieke engineering naar algemene pretraining-paradigma's die zich kunnen aanpassen aan diverse sensoren en scenario's. De auteurs maken het framework open-source om community-onderzoek te ondersteunen.