Resumen Técnico: Metric Anything

Planteamiento del Problema

Si bien el escalado ha impulsado avances significativos en los modelos fundacionales de visión, extender este paradigma a la estimación de profundidad métrica ha seguido siendo un desafío. A diferencia de la profundidad relativa, que aprende relaciones ordinales y se beneficia de datos sintéticos y destilación de pseudo-etiquetas, la profundidad métrica requiere aprender distancias absolutas y físicamente significativas. El campo se ha visto obstaculizado por la heterogeneidad de las fuentes de datos. Las anotaciones 3D del mundo real se originan de diversos sensores (LiDAR, RGB-D, estéreo) y algoritmos de reconstrucción (SfM, MVS, SLAM), cada uno de los cuales introduce patrones de ruido distintos, artefactos de hardware y sesgos dependientes de la cámara. Esta heterogeneidad crea brechas de dominio significativas, supervisión ruidosa y ambigüedad métrica, impidiendo que la estrategia de escalado de "sopa de datos" tenga éxito en la profundidad métrica. Los intentos previos para abordar esto mediante métodos basados en prompts se han limitado a tareas específicas, conjuntos de datos pequeños y canales de prompts complejos y diseñados manualmente que introducen fuertes sesgos humanos.

Metodología

Los autores presentan Metric Anything, un marco de preentrenamiento minimalista diseñado para aprender profundidad métrica a partir de fuentes 3D ruidosas y diversas sin arquitecturas específicas para la tarea o prompts diseñados manualmente.

1. Recolección de Datos Multifuente

Los autores agregaron un conjunto de datos de aproximadamente 20 millones de pares imagen-profundidad que abarcan más de 10,000 modelos de cámara. Los datos se categorizan en tres fuentes:

• Datos 3D Reconstruidos: Mapas de profundidad de técnicas SfM, SLAM, MVS y estéreo, que a menudo contienen artefactos y regiones faltantes.
• Datos 3D Capturados: Nubes de puntos de sensores LiDAR, ToF y RGB-D, que suelen ser dispersas y ruidosas debido a las limitaciones del sensor y factores ambientales.
• Datos 3D Renderizados: Mapas de profundidad sintéticos de motores virtuales, que proporcionan supervisión geométrica libre de ruido.
  Todas las muestras se estandarizan en mapas de profundidad métrica por píxel con máscaras de validez.

2. Preentrenamiento mediante Prompt Métrico Disperso

La innovación central es el Prompt Métrico Disperso (Sparse Metric Prompt), una interfaz universal que desacopla el razonamiento espacial de los sesgos del sensor.

• Generación de Prompts: En lugar de una simulación compleja, los prompts se crean enmascarando aleatoriamente píxeles válidos (muestreando entre 2,000 y 40,000 píxeles) de los mapas de profundidad de la verdad de terreno (ground truth).
• Preparación de Prompts: Para manejar la heterogeneidad de los prompts originales, los autores aplican un Alineamiento de Escala de Profundidad por Píxel (PDSA) y una Recuperación de Profundidad Métrica Global (GMDR) utilizando un modelo de profundidad preentrenado para rellenar las regiones faltantes y alinear las escalas, creando una representación intermedia unificada.
• Arquitectura: El modelo utiliza un backbone ViT estándar con un decodificador DPT. Los prompts se inyectan mediante un cabezal DPT condicionado (añadiendo solo ~5% de parámetros) en lugar de modificar el backbone. Este diseño evita cambios arquitectónicos a medida, permitiendo que el modelo aprenda la comprensión estructural y métrica directamente de los datos.
• Funciones de Pérdida: El objetivo de entrenamiento combina el Error Absoluto Medio (MAE) y el Error de Gradiente Medio Invariante a Escala y Desplazamiento (SSI-MAGE). Para datos del mundo real, se utiliza un MAE robusto, descartando el 20% de los errores más grandes para mitigar el ruido.

3. Destilación de Modelo Libre de Prompts

Para permitir el despliegue en escenarios sin prompts, los autores destilan el modelo "maestro" preentrenado en un estudiante libre de prompts.

• Generación de Pseudo-etiquetas: El modelo maestro genera mapas de profundidad métrica densos de alta fidelidad para todo el conjunto de datos condicionado a prompts dispersos. Estas pseudo-etiquetas cubren un amplio rango de profundidad (de cerca a lejos), a diferencia de muchos conjuntos de datos del mundo real sesgados hacia rangos cortos.
• Arquitectura del Estudiante: El estudiante elimina las capas de inyección de prompts. Crucialmente, los autores invierten el esquema estándar de conexiones de salto (skip-connections): características ViT profundas y de alto nivel se inyectan en las capas de decodificación más profundas, mientras que las características superficiales alimentan las capas más superficiales. Esto aprovecha la consistencia semántica de alto nivel de las pseudo-etiquetas del maestro.
• Función de Pérdida: Se introduce una Pérdida de Profundidad Inversa Balanceada por Distancia. Al operar en un espacio logarítmico ($D_{log} = 1 - \ln(D)/\ln(C)$), esta pérdida preserva la sensibilidad fina en las regiones cercanas mientras extiende la supervisión efectiva a las áreas de larga distancia, abordando las limitaciones de las pérdidas de profundidad inversa estándar.

Contribuciones Clave

1. Marco Metric Anything: Un paradigma de preentrenamiento escalable y minimalista que utiliza Prompts Métricos Dispersos para aprender profundidad métrica de fuentes 3D heterogéneas y ruidosas sin prompts diseñados a mano o arquitecturas específicas para la tarea.
2. Escalado Demostrado: La agregación de 20 millones de pares imagen-profundidad diversos revela una clara tendencia de escalado en la estimación de la profundidad métrica, un fenómeno previamente no visto en este dominio. El rendimiento mejora consistentemente a medida que aumenta el tamaño de los datos de entrenamiento.
3. Generalización Universal: Tanto el modelo preentrenado como el estudiante destilado libre de prompts logran un rendimiento de estado del arte (SOTA) en diez tareas descendentes sin ingeniería específica para la tarea. Estas tareas incluyen:
   • Basadas en prompts: Completado de profundidad, superresolución y fusión Radar-Cámara.
   • Libres de prompts: Estimación de profundidad monocular, recuperación de intrínsecos de cámara, reconstrucción 3D multivista y planificación VLA.
   • Mejora de MLLM: Aumentando significativamente las capacidades de razonamiento espacial de los Modelos de Lenguaje Multimodales Grandes.

Resultados

• Tendencia de Escalado: Los experimentos muestran un aumento constante en la precisión $\delta_1$ zero-shot en Middlebury a medida que los datos de entrenamiento escalan de 2M a 20M de pares.
• Tareas Basadas en Prompts: El modelo logra un rendimiento SOTA zero-shot en superresolución de profundidad y completado a través de NYUv2, ETH3D y KITTI, superando a métodos previos que dependen de la simulación de prompts sintéticos. En la estimación de profundidad Radar-Cámara en nuScenes, el modelo ajustado finamente casi duplica la precisión de su contraparte entrenada desde cero y supera a todos los métodos de fusión previos.
• Tareas Libres de Prompts: El modelo estudiante destilado ocupa el 1er o 2do lugar en seis diversos benchmarks de estimación de profundidad monocular (ETH3D, NuScenes, Sun-RGBD, etc.) en un entorno estricto de zero-shot. También logra resultados SOTA en la recuperación de intrínsecos de cámara y reconstrucción 3D multivista.
• Inteligencia Espacial: Cuando se utiliza como codificador visual para MLLMs, el modelo mejora significamente el rendimiento en el VSI-Bench, particularmente en tareas que requieren estimación de tamaño de objetos, medición de distancia absoluta y planificación de rutas.
• Robustez: El modelo demuestra una fuerte generalización a configuraciones de sensores no vistas (por ejemplo, diferentes configuraciones de LiDAR-cámara), condiciones ambientales extremas (noche, lluvia, niebla) y dominios visuales no vistos (ojo de pez, panorámicas, caricaturas).

Significado y Reivindicaciones

El artículo postula que la estimación de la profundidad métrica puede beneficiarse de las mismas leyes de escalado que impulsan los modelos fundacionales modernos en NLP y visión 2D. Al minimizar el diseño de priors humanos en los prompts y confiar en el aprendizaje basado en datos de fuentes heterogéneas, Metric Anything establece un nuevo camino hacia una percepción métrica del mundo real escalable y eficiente.

Los autores alinean sus hallazgos con "The Bitter Lesson" (La Lección Amarga), argumentando que los métodos generales basados en datos superan sistemáticamente a los diseños diseñados a mano. Reivindican haber resuelto el problema de la "escasez de datos" en la profundidad métrica mediante la utilización efectiva de fuentes ruidosas y heterogéneas, desbloqueando así capacidades emergentes y una generalización robusta. El trabajo sugiere que la investigación futura debería cambiar el enfoque de la ingeniería específica de tareas hacia paradigmas de preentrenamiento general que puedan adaptarse a diversos sensores y escenarios. Los autores liberan el marco de trabajo para apoyar la investigación de la comunidad.