MapAnything: Evaluating Monocular Metric Depth Models for 3D Urban Asset Localization

Resumen Técnico: MapAnything

Enunciado del Problema
Las administraciones municipales enfrentan desafíos significativos para mantener bases de datos espaciales integrales y actualizadas y gemelos digitales urbanos para activos de infraestructura (por ejemplo, señales de tráfico, árboles) e incidentes (por ejemplo, graffiti, daños en la vía). Los métodos actuales de adquisición de datos dependen en gran medida de tecnologías costosas y que consumen muchos recursos, como sensores LiDAR, fotogrametría aérea o levantamientos manuales, lo que limita la frecuencia de la recopilación de datos y la escalabilidad. Las alternativas existentes, como el uso exclusivo de coordenadas de cámara o la necesidad de triangulación multivista, a menudo carecen de la precisión necesaria para un mapeo exacto o fallan cuando los objetos no son visibles en múltiples imágenes. Además, muchos enfoques dependen del conocimiento previo de las dimensiones de los objetos, lo cual no siempre está disponible. Existe la necesidad de un método escalable y de bajo costo para extraer datos espaciales 3D de imágenes individuales de calle en 2D sin requerir conocimiento previo del objeto ni puntos de vista superpuestos.

Metodología
El artículo presenta MapAnything, un marco de geolocalización que automatiza el mapeo espacial de objetos urbanos a partir de una única imagen monocular. La metodología consta de tres pasos principales:

1. Detección/Segmentación de Objetos: El sistema identifica el objeto objetivo dentro de la imagen utilizando anotación manual o modelos de aprendizaje profundo (por ejemplo, U-Net, Vision Transformers).
2. Estimación de Profundidad Métrica y Cálculo Geométrico:
   • El marco emplea modelos de Estimación de Profundidad Métrica Monocular para predecir un mapa de profundidad denso (en metros) para cada píxel de la imagen.
   • Utilizando la profundidad estimada ($d$) en la ubicación del objeto (centro de un cuadro delimitador o promedio ponderado de una máscara de segmentación) y los parámetros intrínsecos y extrínsecos de la cámara, el sistema calcula la posición 3D del objeto.
   • El proceso implica normalizar las coordenadas de píxeles, calcular los desplazamientos angulares relativos al eje óptico de la cámara y ajustar el cabeceo y el guiñada de la cámara.
   • Las distancias horizontales y los deltas de coordenadas ($\Delta x, \Delta y$) se derivan utilizando relaciones trigonométricas, que luego se convierten en cambios de latitud y longitud utilizando el radio de la Tierra.
3. Deduplicación y Coincidencia: El marco filtra las detecciones duplicadas de múltiples imágenes calculando la distancia mínima entre objetos de la misma clase y fusiona las predicciones dentro de un radio definido. También empareja las predicciones con las entradas existentes en la base de datos utilizando desplazamientos angulares y umbrales de distancia.

Los autores evalúan cuatro modelos de estimación de profundidad de última generación: DepthAnything, DepthPro, UniDepth y Metric3D.

Contribuciones Clave

• Marco MapAnything: Una pipeline escalable para extraer coordenadas geográficas de activos urbanos a partir de imágenes individuales de calle en 2D, eliminando la necesidad de datos multivista o conocimiento previo del tamaño del objeto.
• Evaluación Exhaustiva de Modelos: Una comparación detallada de cuatro modelos recientes de profundidad métrica monoculares frente a nubes de puntos LiDAR de alta precisión. La evaluación analiza el rendimiento en varios intervalos de distancia (<5 m a >20 m) y categorías semánticas (superficies planas, construcción, objetos, naturaleza).
• Casos de Estudio Prácticos: Validación de la utilidad del marco a través de dos aplicaciones del mundo real:
  • Mapeo de Señales de Tráfico: Comparación de las ubicaciones predichas con una base de datos del ayuntamiento y anotaciones manuales.
  • Detección de Daños en el Pavimento Vial: Evaluación de la precisión de localización para instancias de daños.

Resultados

• Precisión de la Estimación de Profundidad:
  • UniDepth y Metric3D (esqueleto ViT) generalmente produjeron los resultados más precisos al compararse con la verdad de referencia LiDAR.
  • UniDepth tuvo el mejor rendimiento para distancias cortas (<20 m) y grandes estructuras artificiales (grupos planos/construcción).
  • Metric3D mostró un rendimiento superior para objetos a mayores distancias y en las categorías de "objeto" y "naturaleza", aunque todos los modelos tuvieron dificultades con los detalles finos de la vegetación.
  • DepthPro produjo contornos nítidos pero exhibió errores absolutos más altos en ciertos rangos de distancia.
  • El tiempo de inferencia varió significativamente, siendo el modelo pequeño de UniDepth el más rápido y DepthPro el más lento.
• Caso de Estudio 1 (Señales de Tráfico):
  • Utilizando imágenes de alta calidad de Cyclomedia, el sistema equipado con UniDepth localizó con éxito el 87% de las señales teóricamente visibles.
  • El sistema detectó más señales de las registradas actualmente en la base de datos de la ciudad, incluidas muchas señales montadas temporalmente que faltaban en los registros oficiales.
  • La precisión de localización fue más alta para señales dentro de los 20 metros; el error aumentó significativamente más allá de este rango.
  • Los datos de Mapillary obtenidos mediante crowdsourcing presentaron mayores desafíos debido a imprecisiones del GPS, pero la mayoría de las señales aún eran detectables.
• Caso de Estudio 2 (Daños en la Vía):
  • Los errores de localización para daños en la vía fueron generalmente menores que para las señales de tráfico, atribuido a que los daños estaban más cerca de la cámara (promedio de 7,55 m).
  • DepthAnything produjo la menor desviación en general, mientras que UniDepth tuvo el mejor rendimiento para daños dentro de los seis metros.
• Análisis de Errores: Un estudio de ablación indicó que el paso de segmentación contribuyó mínimamente al error de coordenadas general, siendo la estimación de profundidad la fuente principal de desviación.

Importancia y Afirmaciones
El artículo afirma que MapAnything ofrece una alternativa altamente escalable y de bajo costo al mapeo tradicional basado en LiDAR, permitiendo a las administraciones municipales actualizar eficientemente los gemelos digitales urbanos utilizando imágenes estándar. El marco es particularmente efectivo para mapear objetos dentro de una distancia estimada de 20 metros, donde las desviaciones espaciales se mantienen consistentemente por debajo de un umbral operativo de cinco metros. Este umbral se considera suficiente para la gestión de inventarios municipales práctica, ya que incluso las coordenadas medidas manualmente en bases de datos existentes pueden exhibir desviaciones de hasta 5 metros mientras retienen valor operativo.

Los autores enfatizan el potencial del marco para el mantenimiento continuo y la detección de cambios temporales. Al procesar imágenes de calle de diferentes fechas, el sistema puede marcar automáticamente activos faltantes o dañados sin encargar nuevos levantamientos. Además, el enfoque se posiciona como una herramienta para integrar informes ciudadanos (por ejemplo, fotos enviadas por usuarios de anomalías) en sistemas automatizados de gestión urbana, proporcionando coordenadas geográficas para anomalías como vertidos ilegales o daños graves en la vía sin requerir hardware especializado.