Any to Full: Prompting Depth Anything for Depth Completion in One Stage

El artículo presenta Any2Full, un marco unificado de una sola etapa que adapta un modelo de estimación de profundidad monocromática preentrenado mediante un codificador de prompts consciente de la escala para lograr una completación de profundidad precisa, robusta y eficiente sin depender de alineaciones explícitas ni estrategias de dos etapas.

Lo esencial

¡Claro que sí! Imagina que estás intentando reconstruir un mapa del tesoro, pero solo tienes un dibujo muy borroso y con muchos agujeros. Eso es básicamente lo que hace la robótica y la visión por computadora cuando intentan "ver" la profundidad de un objeto.

Aquí tienes la explicación de este paper (Any2Full) como si fuera una historia, usando analogías sencillas:

🧩 El Problema: El Mapa con Agujeros

Imagina que tienes una cámara especial (como las de los robots o los coches autónomos) que intenta medir qué tan lejos están las cosas.

• El problema: A veces, la cámara falla. Si un objeto es negro, brillante o está muy lejos, la cámara no recibe la señal y el mapa de profundidad sale lleno de agujeros negros o puntos dispersos. Es como si tuvieras un rompecabezas donde faltan la mitad de las piezas.
• Lo que hacían antes: Los robots intentaban "adivinar" las piezas faltantes usando dos pasos complicados. Primero, hacían una estimación muy burda y luego intentaban arreglarla. Pero a menudo, este proceso de "arreglar" rompía la forma original de las cosas, como intentar estirar una foto pixelada y que se vea borrosa o deformada. Además, si el robot cambiaba de entorno (de día a noche, o de interior a exterior), se confundía mucho.

💡 La Solución Mágica: Any2Full (De "Cualquier cosa" a "Completo")

Los autores de este paper, Zhiyuan Zhou y su equipo, crearon un nuevo método llamado Any2Full.

Imagina que tienes un artista experto (un modelo de IA llamado Depth Anything) que es increíble dibujando paisajes en 3D solo con ver una foto normal. Este artista sabe perfectamente cómo se ven las cosas en general (la geometría), pero no sabe a qué distancia exacta están en tu escena específica.

Any2Full es como un "traductor de escala" súper inteligente:

1. El Artista (El Modelo Base): El robot usa al artista experto para dibujar la forma de los objetos.
2. El Guía (El Codificador de Pistas): En lugar de intentar redibujar todo desde cero, Any2Full toma los pocos puntos que sí tiene la cámara (los puntos válidos del mapa con agujeros) y les dice al artista: "Oye, mira, aquí hay un punto a 2 metros, y aquí otro a 5 metros. Ajusta tu dibujo para que coincida con estas distancias".
3. El Truco (Prompting de Escala): En lugar de obligar al artista a cambiar su estilo de dibujo (lo cual suele arruinarlo), simplemente le da una "nota" o una "pista" (un prompt) que le dice cómo ajustar el tamaño global. Es como si le dijeras al artista: "Dibuja la casa igual que siempre, pero hazla un poco más grande porque el suelo está más lejos".

🚀 ¿Por qué es tan genial? (Las Analogías)

• Un Solo Paso (One-Stage):

  • Antes: Era como intentar cocinar un pastel: primero lo horneas crudo, luego lo sacas, lo cortas, lo rellenas y luego lo horneas de nuevo. ¡Lento y propenso a errores!
  • Any2Full: Es como tener un horno mágico que cocina el pastel perfecto en un solo intento. Es mucho más rápido y el resultado es más limpio.

• Adaptable a Todo (Domain-General):

  • Antes: Si entrenabas a un robot para ver en una cocina, fallaba si lo llevabas a un bosque. Era como un actor que solo sabe actuar en comedias románticas.
  • Any2Full: Es como un actor de teatro que puede interpretar cualquier papel. Como usa las "reglas de la geometría" que ya sabe el artista experto, funciona igual de bien en una habitación oscura, bajo la lluvia o en un almacén lleno de cajas negras.

• Robusto a los Agujeros (Pattern-Agnostic):

  • No importa si los agujeros en el mapa son grandes (como una mancha negra), si son pequeños (puntos dispersos) o si faltan los objetos lejanos. Any2Full usa la "intuición" del artista para rellenar esos huecos de forma natural, sin crear distorsiones extrañas.

🏭 El Resultado en la Vida Real

El paper cuenta que probaron esto en un almacén real con robots que tienen que agarrar paquetes.

• El reto: Los paquetes negros absorben la luz y las cámaras normales no ven su profundidad (se vuelven invisibles para el robot).
• El éxito: Antes, el robot fallaba al agarrar estos paquetes negros el 72% de las veces (los dejaba caer o los aplastaba). Con Any2Full, el robot "ve" la forma completa del paquete negro y logra agarrarlo con éxito el 91.6% de las veces.

En Resumen

Any2Full es como darle a un robot un "superpoder": le permite tomar una visión borrosa y llena de agujeros, y usar la inteligencia de un experto en 3D para rellenar los huecos perfectamente, rápido y sin importar dónde esté el robot. Es más rápido, más preciso y funciona en cualquier lugar.

¡Es un gran paso para que los robots puedan trabajar de forma segura en el mundo real! 🤖✨

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Any to Full: Prompting Depth Anything for Depth Completion in One Stage" en español:

1. Problema y Contexto

La estimación de profundidad densa y precisa es fundamental para la percepción robótica (navegación, manipulación, comprensión de escenas). Sin embargo, los sensores de profundidad comerciales (LiDAR, cámaras ToF, luz estructurada) suelen producir mapas de profundidad esparcidos o incompletos debido a limitaciones de hardware, como resolución, rango y problemas de interacción con la luz (reflexión, absorción).

El completado de profundidad (Depth Completion) busca recuperar mapas de profundidad métricos densos a partir de estas mediciones escasas y sus imágenes RGB correspondientes. Los métodos existentes presentan dos limitaciones principales:

• Métodos fusionados RGB-D (dos etapas): Aprenden priores geométricos condicionados a distribuciones específicas de RGB y patrones de profundidad de entrenamiento, lo que limita su generalización a nuevos dominios (cambios de iluminación, textura) y patrones de profundidad (diferentes niveles de esparcimiento).
• Métodos integrados con estimación monocular (MDE): Utilizan modelos de profundidad monoculares preentrenados (como Depth Anything) por su generalización de dominio, pero suelen emplear estrategias de dos etapas. Estas estrategias alinean explícitamente la profundidad relativa del MDE con las entradas métricas escasas, lo que introduce distorsiones estructurales, inconsistencias de escala y sobrecarga computacional.

2. Metodología: Any2Full

Los autores proponen Any2Full, un marco de trabajo de una sola etapa, generalizado para dominios y agnóstico a patrones, que reformula el completado de profundidad como una adaptación mediante "prompting" de escala de un modelo MDE preentrenado.

Concepto Central

En lugar de predecir una profundidad "gruesa" intermedia y luego refinarla, Any2Full utiliza un Codificador de Prompt Consciente de la Escala (Scale-Aware Prompt Encoder - SAPE). Este codificador extrae señales de escala de las entradas escasas y las utiliza para "promptear" (guiar) al modelo MDE preentrenado, forzándolo a producir predicciones de profundidad relativa que sean consistentes en escala global con la métrica real, preservando al mismo tiempo los priores geométricos robustos del MDE.

Arquitectura Clave: Scale-Aware Prompt Encoder (SAPE)

El SAPE transforma las señales de escala irregulares y dispersas en un prompt unificado mediante dos módulos jerárquicos:

1. Enriquecimiento Local (Local Enrichment): Acopla las señales de escala extraídas de la profundidad escasa con los contextos geométricos densos del modelo MDE. Utiliza un mecanismo de Modulación Lineal Específica de Características (FiLM) para anclar las señales de escala dentro del espacio latente del MDE, haciéndolas robustas a variaciones en la densidad de los puntos.
2. Propagación Global (Global Propagation): Resuelve la distribución espacial irregular (agujeros aleatorios) propagando las señales de escala a través de la escena. Utiliza bloques de Transformer guiados por la geometría del MDE (donde las consultas y claves provienen de las características del MDE y los valores de las señales de escala). Esto asegura que la difusión de la escala siga la estructura geométrica de la imagen RGB y no los patrones de muestreo erráticos de los sensores.
3. Fusión de Prompt: Los prompts de escala resultantes se inyectan en el decodificador del MDE mediante FiLM en múltiples niveles semánticos, ajustando las características para lograr una predicción consistente en escala.

Finalmente, la profundidad relativa predicha se convierte a profundidad métrica densa mediante un ajuste de mínimos cuadrados no paramétrico global (una operación cerrada sin módulos aprendibles adicionales).

3. Contribuciones Clave

1. Marco de una sola etapa (One-Stage): Any2Full elimina la necesidad de predicciones intermedias de profundidad "gruesa" y redes de refinamiento auxiliares, reformulando el problema como una adaptación de escala directa.
2. Generalización de Dominio y Patrón: Al aprovechar los priores geométricos de modelos MDE preentrenados masivamente (como Depth Anything v2) y solo inyectar señales de escala, el modelo es robusto a cambios de dominio visual y a diversos patrones de esparcimiento de profundidad (agujeros, rangos limitados, muestreo aleatorio).
3. Codificador SAPE: Un diseño eficiente que extrae y propaga señales de escala de manera agnóstica al patrón, desacoplando la información de escala de las distribuciones específicas de muestreo.
4. Eficiencia y Rendimiento: Logra un rendimiento superior con una sobrecarga computacional mínima, superando a métodos de dos etapas y de adaptación en tiempo de prueba.

4. Resultados Experimentales

Los autores evaluaron Any2Full en múltiples benchmarks públicos (NYU-Depth V2, KITTI, DIODE, ETH3D, iBims-1) y un conjunto de datos real de almacén robótico (Logistic-Black).

• Rendimiento Cuantitativo:
  • Any2Full supera al estado del arte (SOTA) actual, OMNI-DC, logrando una mejora del 32.2% en el error relativo absoluto promedio (AbsREL).
  • En comparación con PriorDA (que usa el mismo backbone MDE), Any2Full es 1.4 veces más rápido y ofrece mayor precisión.
  • Muestra un rendimiento consistente en todos los escenarios, obteniendo el rango promedio más bajo (2.3) entre todos los métodos evaluados.
• Robustez a Patrones:
  • A diferencia de otros métodos que fallan en patrones no vistos (como el patrón "Range" o rangos truncados), Any2Full mantiene alta precisión gracias a su capacidad de extrapolar escalas globalmente.
  • En el conjunto de datos de almacén con paquetes negros (que absorben luz y causan pérdida de profundidad), el modelo logró reconstruir la geometría 3D completa, mejorando la tasa de éxito de agarre robótico del 28% al 91.6%.
• Eficiencia:
  • Con el backbone Depth Anything-Large, añade menos del 20% de parámetros adicionales.
  • La inferencia es extremadamente rápida (0.49s en GPU de gama alta), superando significativamente a métodos de adaptación en tiempo de prueba (que tardan >90s) y métodos de dos etapas.

5. Significado e Impacto

Any2Full establece un nuevo paradigma para el completado de profundidad universal. Al demostrar que es posible integrar priores geométricos de modelos fundacionales (Foundation Models) mediante mecanismos de prompting de escala en una sola etapa, el trabajo resuelve el dilema entre la generalización de dominio y la precisión métrica.

Su aplicación práctica en entornos industriales reales (almacenes robóticos) demuestra su valor más allá de los benchmarks académicos, permitiendo a los robots operar de manera fiable en condiciones desafiantes (objetos negros, iluminación variable) donde los sensores tradicionales fallan. Esto abre la puerta a sistemas de percepción robótica más robustos, eficientes y desplegable en el mundo real sin necesidad de recalibración específica por dominio.