💻 computer science

MapAnything: Evaluating Monocular Metric Depth Models for 3D Urban Asset Localization

Dit artikel introduceert MapAnything, een nieuw kader dat de 3D-geo-localisatie van stedelijke objecten en incidenten uit enkele monoculaire afbeeldingen automatiseert door gebruik te maken van modellen voor metrische diepteschatting, waarbij hoge nauwkeurigheid wordt bereikt die is gevalideerd tegen LiDAR-data voor schaalbaar stedelijk assetmanagement.

Oorspronkelijke auteurs: Miriam Louise Carnot, Jonas Kunze, Erik Quinten Fastermann, Eric Peukert, André Ludwig, Bogdan Franczyk

Gepubliceerd 2026-05-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Miriam Louise Carnot, Jonas Kunze, Erik Quinten Fastermann, Eric Peukert, André Ludwig, Bogdan Franczyk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een stadsmanager bent die probeert een perfecte, actuele kaart van alles in je stad bij te houden: elk verkeersbord, elke boom, elk gat in de weg en zelfs elke stukje graffiti. Traditioneel is dit als proberen de oceaan te meten met een theelepel. Je hebt dure vrachtwagens met laserscanners (LiDAR) nodig of teams van mensen die met blokken rondlopen. Het is traag, kostbaar en tegen de tijd dat je klaar bent, is de data al verouderd omdat een bord gestolen is of er een nieuw gat in de weg verscheen.

Dit artikel introduceert MapAnything, een nieuw hulpmiddel dat probeert dit probleem op te lossen met iets dat we allemaal hebben: een enkele foto gemaakt met een gewone camera (zoals op een bus, een taxi of zelfs een smartphone).

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

De Magische Truc: Een Platte Foto Omzetten in een 3D-kaart

Denk aan een gewone foto als een plat schilderij. Het vertelt je hoe iets eruitziet, maar niet hoe ver weg het is. Als je een verkeersbord ziet op een foto, weet je niet of het 5 meter weg is of 50 meter weg, alleen maar door naar de foto te kijken.

De onderzoekers gebruikten een speciaal type AI genaamd een "Monocular Metric Depth Estimation" model. Je kunt deze AI zien als een super-schatser. Wanneer je er een enkele foto in stopt, ziet het niet alleen een plaatje; het "hallucineert" een 3D-dieptekaart. Het wijst elke enkele pixel in de afbeelding een specifieke afstand in meters toe.

De Analogie: Stel je voor dat je naar een platte tekening van een bos kijkt. Een normaal persoon ziet bomen. Deze AI ziet de tekening en weet direct: "Die boom is 10 meter weg, die struik is 3 meter weg en die berg is 100 meter weg", allemaal zonder ooit het bos te hebben bezocht.

De Wiskunde: Van "Hoe Ver" naar "Waar"

Zodra de AI weet hoe ver een object weg is, gebruikt het systeem wat basisgeometrie (zoals de regels van een driehoek) om precies te bepalen waar dat object zich op de wereldbol bevindt.

De Positie van de Camera: We weten waar de camera was (via GPS) en welke kant het op keek.
De Hoek: We weten waar het object zich in de foto bevindt (links, rechts, boven, onder).
De Afstand: De AI vertelt ons hoe ver het object weg is.

Door deze drie stukjes informatie te combineren, trekt het systeem een lijn van de camera naar het object en berekent de exacte GPS-coördinaten. Het is als een navigator die zegt: "Ik ben hier, ik kijk naar het noorden en dat bord is 15 meter weg aan mijn rechterkant; daarom bevindt het bord zich op dit specifieke straathoekje."

Het Experiment: De "Super-Schatters" Testen

De onderzoekers gokten niet zomaar; ze testten vier van de nieuwste en slimste AI-modellen (genaamd DepthAnything, DepthPro, UniDepth en Metric3D) om te zien welke het beste was in het raden van afstanden.

Ze vergeleken de schattingen van de AI met LiDAR-puntenwolken.

De Analogie: Stel je voor dat LiDAR een high-tech laserscanner is die de stad meet met laserprecisie, waardoor een perfect 3D-model ontstaat. De onderzoekers maakten foto's van dezelfde plekken, voerden ze door de AI en controleerden: "Heeft de AI de afstand correct geraden in vergelijking met de laser?"

De Resultaten:

De Winnaars: UniDepth en Metric3D waren de kampioenen. Ze waren het meest accuraat in het raden van afstanden, vooral voor dingen zoals vlakke wegen en gebouwen.
De Afstandsfactor: De AI was zeer goed in het raden van afstanden voor objecten dicht bij de camera (zoals een gat in de weg direct voor een auto). Echter, naarmate objecten verder weg kwamen (beyond 20 meter), werden de schattingen een beetje waziger, net zoals het moeilijk is om de afstand van een berg te beoordelen in vergelijking met een boom in je tuin.
Het "Natuur"-Probleem: De AI had wat moeite met bomen en vegetatie. Het is moeilijk om de afstand van een bladerrijke boom te raden omdat het geen vast, vlak oppervlak is zoals een muur of een weg.

Realistische Tests: Borden en Gaten

Het team testte hun systeem op twee realistische taken:

Verkeersborden: Ze probeerden verkeersborden te vinden en in kaart te brengen met behulp van foto's van professionele straatcamera's en door de gemeenschap aangeleverde foto's (van apps zoals Mapillary).
- Succes: Met behulp van de beste AI (UniDepth) vonden ze 87% van de borden die zouden moeten zichtbaar zijn op de foto's.
- Bonus: Ze vonden eigenlijk meer borden dan in de officiële database van de stad waren geregistreerd, inclusief tijdelijke borden die de stad was vergeten te registreren.
- Nauwkeurigheid: Voor borden binnen 20 meter was de locatie zeer accuraat (meestal binnen een paar meter).
Wegschade (Gaten): Ze zochten naar scheuren en gaten in de weg.
- Succes: Omdat gaten in de weg meestal dicht bij de camera liggen (aan de onderkant van de foto), was het systeem zeer accuraat. De fouten waren hier kleiner dan bij de verkeersborden.

Waarom Dit Belangrijk Is

Het artikel concludeert dat deze methode een gamechanger is voor het onderhoud van steden.

Geen Dure Hardware: Je hebt geen $100.000 lasertruck nodig. Je hebt gewoon een camera nodig.
Crowdsourcing: Omdat het werkt met enkele afbeeldingen, zouden steden potentieel foto's kunnen gebruiken die zijn gemaakt door vuilniswagens, bussen of zelfs burgers die problemen melden (zoals illegale storting of gebroken borden) om hun kaarten automatisch bij te werken.
De "Digitale Tweeling" Levend Houden: Steden bouwen "Digitale Tweelingen" (virtuele kopieën van de echte stad). Dit hulpmiddel stelt hen in staat die virtuele kopie continu en goedkoop bij te werken, in plaats van jaren te wachten op de volgende dure opmeting.

De Conclusie:
Het artikel bewijst dat we een eenvoudige 2D-foto kunnen omzetten in een 3D-kaart van de stad met verrassende nauwkeurigheid. Hoewel het niet perfect is voor dingen die heel ver weg zijn of verborgen in bomen, is het nauwkeurig genoeg om steden te helpen bij het vinden van ontbrekende borden, het in kaart brengen van nieuwe gaten in de weg en het up-to-date houden van hun digitale kaarten zonder de bank te breken.

Technische Samenvatting: MapAnything

Probleemstelling
Stadsbesturen staan voor aanzienlijke uitdagingen bij het onderhouden van uitgebreide, actuele ruimtelijke databases en stedelijke digitale tweelingen voor infrastructuurobjecten (bijv. verkeersborden, bomen) en incidenten (bijv. graffiti, wegschade). Huidige methoden voor dataverzameling zijn sterk afhankelijk van dure, resource-intensieve technologieën zoals LiDAR-sensoren, aerial photogrammetrie of handmatige surveys, wat de frequentie van dataverzameling en de schaalbaarheid beperkt. Bestaande alternatieven, zoals het uitsluitend gebruiken van cameracoördinaten of het vereisen van meervoudige triangulatie, missen vaak de precisie die nodig is voor nauwkeurige mapping of falen wanneer objecten niet zichtbaar zijn in meerdere afbeeldingen. Bovendien zijn veel benaderingen afhankelijk van voorafgaande kennis van objectafmetingen, wat niet altijd beschikbaar is. Er is behoefte aan een schaalbare, goedkope methode om 3D-ruimtelijke data te extraheren uit enkele 2D-streetview-afbeeldingen zonder voorafgaande objectkennis of overlappende gezichtsvelden te vereisen.

Methodologie
Het artikel introduceert MapAnything, een geo-localisatiekader dat de ruimtelijke mapping van stedelijke objecten automatiseert vanuit een enkele monokulaire afbeelding. De methodologie bestaat uit drie hoofdstappen:

Objectdetectie/Segmentatie: Het systeem identificeert het doelobject binnen de afbeelding met behulp van handmatige annotatie of deep learning-modellen (bijv. U-Net, Vision Transformers).
Metrische Diepteschatting en Geometrische Berekening:
- Het kader maakt gebruik van Monoculaire Metrische Diepteschattingsmodellen om een dichte dieptekaart (in meters) te voorspellen voor elke pixel in de afbeelding.
- Met behulp van de geschatte diepte ( $d$ ) op de locatie van het object (centrum van een omkaderingsvak of gewogen gemiddelde van een segmentatiemasker) en de intrinsieke en extrinsieke parameters van de camera, berekent het systeem de 3D-positie van het object.
- Het proces omvat het normaliseren van pixelcoördinaten, het berekenen van hoekafwijkingen ten opzichte van de optische as van de camera, en het aanpassen voor de yaw en pitch van de camera.
- Horizontale afstanden en coördinatenverschillen ( $\Delta x, \Delta y$ ) worden afgeleid met behulp van trigonometrische relaties, die vervolgens worden omgezet in breedte- en lengtegraadveranderingen met gebruik van de aardstraal.
Duplicaatverwijdering en Matching: Het kader filtert duplicaatafmetingen uit meerdere afbeeldingen door de minimale afstand tussen objecten van dezelfde klasse te berekenen en voorspellingen binnen een gedefinieerde straal te samenvoegen. Het matcht voorspellingen ook met bestaande database-items met behulp van hoekafwijkingen en afstandsdrempels.

De auteurs evalueren vier state-of-the-art diepteschattingsmodellen: DepthAnything, DepthPro, UniDepth en Metric3D.

Belangrijkste Bijdragen

MapAnything Kader: Een schaalbare pijplijn voor het extraheren van geo-coördinaten van stedelijke activa uit enkele 2D-streetview-afbeeldingen, waardoor de behoefte aan meervoudige data of voorafgaande kennis van objectgrootte wordt geëlimineerd.
Uitgebreide Model Evaluatie: Een gedetailleerde benchmarking van vier recente monoculaire metrische dieptemodellen tegen hoogprecisie LiDAR-puntwolken. De evaluatie analyseert prestaties over verschillende afstandsintervallen (<5m tot >20m) en semantische categorieën (vlakke oppervlakken, constructie, objecten, natuur).
Praktische Gevalsstudies: Validatie van de bruikbaarheid van het kader via twee real-world toepassingen:
- Verkeersbordmapping: Het vergelijken van voorspelde locaties met een gemeenteraadsdatabase en handmatige annotaties.
- Detectie van Wegschade: Het beoordelen van de localisatieprecisie voor schadegevallen.

Resultaten

Nauwkeurigheid Diepteschatting:
- UniDepth en Metric3D (ViT backbone) produceerden over het algemeen de meest nauwkeurige resultaten in vergelijking met LiDAR-ground truth.
- UniDepth presteerde het beste voor kortere afstanden (<20m) en grote kunstmatige structuren (vlakke/constructiegroepen).
- Metric3D toonde superieure prestaties voor objecten op grotere afstanden en in de categorieën "object" en "natuur", hoewel alle modellen moeite hadden met de fijne details van vegetatie.
- DepthPro produceerde scherpe contouren maar vertoonde hogere absolute fouten in bepaalde afstandsintervallen.
- De inferentietijd varieerde aanzienlijk, waarbij het kleine UniDepth-model het snelste was en DepthPro het langzaamste.
Gevalsstudie 1 (Verkeersborden):
- Met behulp van hoogwaardige Cyclomedia-afbeeldingen localiseerde het systeem uitgerust met UniDepth succesvol 87% van de theoretisch zichtbare borden.
- Het systeem detecteerde meer borden dan momenteel in de stadsdatabase zijn geregistreerd, waaronder veel tijdelijk gemonteerde borden die ontbraken in de officiële registraties.
- De localisatieprecisie was het hoogst voor borden binnen 20 meter; de fout nam significant toe buiten dit bereik.
- Crowd-sourced Mapillary-data presenteerde grotere uitdagingen door GPS-onnauwkeurigheden, maar het merendeel van de borden was nog steeds detecteerbaar.
Gevalsstudie 2 (Wegschade):
- Localisatiefouten voor wegschade waren over het algemeen lager dan voor verkeersborden, toegeschreven aan het feit dat de schade dichter bij de camera lag (gemiddeld 7,55m).
- DepthAnything leverde de kleinste afwijking overall op, terwijl UniDepth het beste presteerde voor schade binnen zes meter.
Foutanalyse: Een ablatiestudie gaf aan dat de segmentatiestap minimaal bijdroeg aan de totale coördinaatfout, waarbij diepteschatting de primaire bron van afwijking was.

Betekenis en Claims
Het artikel beweert dat MapAnything een zeer schaalbaar, goedkoop alternatief biedt voor traditionele LiDAR-gebaseerde mapping, waardoor stadsbesturen stedelijke digitale tweelingen efficiënt kunnen bijwerken met standaardbeelden. Het kader is bijzonder effectief voor het mappen van objecten binnen een geschatte afstand van 20 meter, waarbij ruimtelijke afwijkingen consistent onder een operationele drempel van vijf meter blijven. Deze drempel wordt geacht voldoende te zijn voor praktisch gemeentelijk inventarisbeheer, aangezien zelfs handmatig gemeten coördinaten in bestaande databases afwijkingen tot 5 meter kunnen vertonen terwijl ze operationele waarde behouden.

De auteurs benadrukken het potentieel van het kader voor continue onderhoud en temporale veranderingdetectie. Door streetview-afbeeldingen van verschillende data te verwerken, kan het systeem automatisch ontbrekende of beschadigde activa markeren zonder nieuwe surveys te bestellen. Bovendien wordt de aanpak gepositioneerd als een hulpmiddel voor het integreren van burgermeldingen (bijv. door gebruikers ingediende foto's van anomalieën) in geautomatiseerde stedelijke managementsystemen, waardoor geo-coördinaten worden geboden voor anomalieën zoals illegale stortingen of ernstige wegschade zonder gespecialiseerde hardware.