🤖 AI

Vanishing Depth: Training Generalized Depth Adapters with Sinusoidal Depth Preprocessing for Pretrained RGB Encoders

Este artículo propone un enfoque de autoaprendizaje supervisado que extiende los codificadores RGB preentrenados con un adaptador codificado por profundidad sinusoidal para lograr una comprensión de profundidad métrica generalizada y robusta, así como un rendimiento superior en diversas tareas de seguimiento RGB-D sin requerir el ajuste fino.

Autores originales: Paul Koch, Jörg Krüger

Publicado 2026-06-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Paul Koch, Jörg Krüger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un ojo de robot muy inteligente y altamente entrenado (un "codificador RGB preentrenado") que es excelente reconociendo objetos, colores y formas en una fotografía 2D. Sabe cómo se ve una "silla", pero no tiene idea de qué tan lejos está esa silla. Ve un mundo plano.

Para que un robot pueda realmente hacer cosas —como recoger una taza o navegar por una habitación— necesita entender la profundidad (qué tan lejos están las cosas en el espacio 3D). Normalmente, para darle esta habilidad a un robot, tienes que reentrenar todo su cerebro desde cero, lo cual es lento, costoso y a menudo arruina las cosas ingeniosas que ya aprendió sobre formas y colores.

Este artículo presenta una solución de "conexión rápida" muy ingeniosa llamada Vanishing Depth (Profundidad Desvaneciente) y Sinusoidal Depth Preprocessing (Preprocesamiento de Profundidad Sinusoidal). Así es como funciona, utilizando analogías sencillas:

1. El "Adaptador de Profundidad" (El Traductor Universal)

Piensa en el cerebro existente del robot como un maestro chef que sabe cocinar platos increícmes de fotos 2D de comida. Los autores construyeron un pequeño adaptador desmontable (un "Depth Adapter") que se conecta a la cocina del chef.

Qué hace: Toma el conocimiento 2D del chef y lo mezcla con nueva información de profundidad 3D.
La Magia: No obliga al chef a olvidar cómo cocinar. En su lugar, le enseña al chef a también entender la distancia. El cerebro original permanece exactamente como estaba (sin estropearse), pero ahora puede ver el mundo en 3D.
El Beneficio: No necesitas reentrenar a todo el chef. Solo conectas el adaptador y el robot está listo para trabajar en nuevas tareas como segmentación (recortar objetos), estimación de dónde están los objetos (estimación de pose) o completar datos de profundidad faltantes.

2. El "Vanishing Depth" (El Juego de la Venda en los Ojos)

¿Cómo le enseñas a este adaptador a entender la profundidad sin que solo memorice imágenes específicas? Los autores utilizaron un juego llamado "Vanishing Depth".

Imagina que estás enseñando a alguien a reconocer una cadena montañosa. En lugar de mostrarle una foto perfecta, tú:

Ocultas partes de la foto: Cubres el 50% de la montaña con una venda (ruido aleatorio).
Cambias la escala: Haces zoom hacia adentro y hacia afuera aleatoriamente, para que la montaña parezca enorme o diminuta.
Cambias la posición: Mueves la montaña hacia la izquierda o hacia la derecha.
El Objetivo: El estudiante (la IA) tiene que mirar las partes visibles y la forma de la montaña para adivinar cómo se ven las partes ocultas.

Al hacer esto con miles de mapas de profundidad diferentes, la IA aprende la estructura real de la profundidad en lugar de solo memorizar imágenes específicas. Aprende a manejar datos faltantes, sensores con ruido y diferentes distancias, lo que la hace increíblemente robusta.

3. "Sinusoidal Depth Preprocessing" (Una Regla con Marcas Infinitas)

Las formas estándar de enseñar a la IA sobre la profundidad son como usar una regla que solo tiene marcas para 1 metro, 2 metros y 3 metros. Si le muestras algo a 1.5 metros, se confunde.

Los autores inventaron una nueva forma de medir la profundidad llamada Sinusoidal Depth Preprocessing (SDP).

La Analogía: Imagina una regla que no solo tiene líneas rectas, sino un patrón ondulado y suave (como una onda senoidal) que se repite una y otra vez.
Por qué es mejor: Este patrón ondulado permite que la IA entienda la profundidad como un flujo suave y continuo en lugar de saltar entre números fijos. Puede manejar diferencias minúsculas (como 1.001 metros) y diferencias enormes (como 500 metros) con la misma facilidad.
El Resultado: Esto hace que la IA sea mucho más precisa y estable, especialmente cuando los datos de profundidad son desordenados o dispersos (como un escáner láser que pierde algunos puntos).

¿Qué demostraron?

Los autores probaron este "adaptador" en una gran variedad de tareas, y su rendimiento fue superior al de casi todo lo disponible actualmente, sin necesidad de ningún entrenamiento adicional (ajuste fino/finetuning) para esas tareas específicas.

Segmentación: Cuando se le pidió identificar y delinear objetos en una habitación, su sistema logró una puntuación de primer nivel (56.05 mIoU en el conjunto de datos SUN-RGBD), superando a otros sistemas complejos y multimodales.
Estimación de Pose: Cuando se le pidió determinar exactamente cómo estaba rotado un objeto en el espacio 3D, su sistema superó significativamente a los métodos anteriores.
Robustez: Incluso cuando los datos de profundidad eran ruidosos, faltaban o tenían distorsiones extrañas, su sistema siguió funcionando bien, mientras que otros sistemas fallaban o daban respuestas incorrectas.

La Conclusión

Este artículo presenta un "complemento universal de profundidad". Toma una IA inteligente que entiende el 2D y la actualiza instantáneamente para que entienda el 3D. Lo logra enseñando a la IA a comprender la profundidad a través de un juego de "completar los espacios en blanco" (Vanishing Depth) y mediante el uso de una herramienta de medición súper precisa y ondulada (Sinusoidal Preprocessing). El resultado es un sistema de visión robótica que es preciso, robusto y está listo para trabajar en nuevas tareas de inmediato, sin necesidad de ser reentrenado desde cero.

Resumen Técnico: Vanishing Depth: Entrenamiento de Adaptadores de Profundidad Generalizados con Preprocesamiento de Profundidad Sinusoidal para Codificadores RGB Preentrenados

Planteamiento del Problema

Los modelos de visión fundacionales de vanguardia (SOTA), particularmente aquellos basados en el aprendizaje auto-supervisado (SSL) como DINOv2, sobresalen en la extracción de características generalizadas a partir de imágenes RGB. Sin embargo, carecen de una comprensión de profundidad métrica inherente, una capacidad crítica para tareas posteriores que requieren información de posición 3D absoluta, como la robótica, la estimación de pose y la completitud de profundidad. Los enfoques existentes para integrar la profundidad suelen depender de:

Ajuste fino (finetuning) específico de la tarea: Lo cual puede corromper las características generalizadas aprendidas durante el preentrenamiento.
Inicialización aleatoria de codificadores de profundidad: Lo que conduce a una falta de generalización entre diferentes conjuntos de datos.
Preentrenamiento multimodal: Métodos como OmniVec o MultiMAE alinean las modalidades, pero a menudo fallan en imponer una precisión de profundidad métrica píxel a píxel, centrándose más en el contexto general para clasificación o segmentación.

En consecuencia, existe una brecha en la literatura para un codificador RGBD generalizado que pueda incorporar profundidad métrica en un espacio latente RGB preentrenado sin requerir un ajuste fino específico de la tarea, manteniendo la robustez ante variaciones en la densidad, distribución y ruido de la profundidad.

Metodología

Los autores proponen un marco compuesto por dos componentes principales: un Adaptador de Profundidad (DA) y un Preprocesamiento de Profundidad Sinusoidal (SDP), entrenados mediante un flujo de trabajo de Profundidad Desvaneciente (Vanishing Depth).

1. Arquitectura del Adaptador de Profundidad (DA)

Base: El método extiende los codificadores RGB preentrenados existentes (por ejemplo, ViT-B basado en DINOv2) añadiendo una rama paralela de codificación de profundidad.
Fusión: Emplea un mecanismo de "Saltar y Embeber" (Skip & Embed - S&E) para fusionar las señales RGB y de profundidad en capas intermedias específicas (por ejemplo, capas 3, 6, 9, 12). Esto permite que el codificador de profundidad aproveche las características semánticas generalizadas del codificador RGB congelado.
Estrategia de Entrenamiento: El codificador RGB preentrenado se mantiene congelado para preservar sus características generalizadas. Solo se entrenan el adaptador de profundidad y las cabezas del decodificador. Esto asegura que el modelo no "desaprenda" las representaciones robustas de RGB.
Decodificador: Un decodificador U-Net ligero con cuatro cabezas de Red de Pirámide de Características (FPN) realiza la decodificación métrica densa a múltiples escalas.

2. Preprocesamiento de Profundidad Sinusoidal (SDP)

Motivación: La normalización de profundidad estándar (por ejemplo, escalar a [0,1] o usar mapas de disparidad) tiene dificultades con las diversas distribuciones, densidades y perturbaciones de la profundidad.
Mecanismo: El SDP codifica valores de profundidad continuos $d_j$ en un conjunto de características sinusoidales:
$SDP(d_j, 2i) = \sin(l/T^{2i/c}), \quad SDP(d_j, 2i+1) = \cos(l/T^{2i/c})$
donde $l = 2\pi(d_j / \max(d))$ .
Normalización: Soporta tanto la Profundidad Máxima Global (GSDP) como la Profundidad Máxima Local (LSDP). Para LSDP, el valor de profundidad máxima se codifica en un vector y se añade al token CLS, permitiendo que el modelo decodifique la profundidad métrica de forma dinámica.
Beneficio: Este enfoque proporciona una extracción de características estable dentro del rango de [-1, 1] independientemente de la distribución de profundidad o la escala absoluta de la entrada, a diferencia de las codificaciones posicionales clásicas que están diseñadas para la localización de tokens.

3. Flujo de Entrenamiento de Profundidad Desvaneciente (Vanishing Depth)
Para asegurar que el modelo aprenda una representación invariante a la densidad y distribución de la profundidad, el flujo de entrenamiento emplea una estrategia de "profundidad desvaneciente" inspirada en el inpainting:

Aumento de Datos: Los mapas de profundidad son manipulados usando ruido de Perlin y ruido de redimensionamiento aleatorio para eliminar porcentajes variables (1–99%) de píxeles de profundidad.
Invariancia de Distribución: Se aplican desplazamientos, escalares y reescalado aleatorios a las muestras de profundidad para evitar que el modelo dependa únicamente de las pistas de profundidad monoculares del RGB.
Función de Pérdida: Se utiliza una Pérdida de Escala Invariante (SI) Balanceada Multiescala que equilibra la reconstrucción de los píxeles de profundidad existentes con la predicción de los píxeles faltantes (enmascarados), asegurando que el modelo funcione bien tanto con entradas densas como dispersas.

Contribuciones Clave

Adaptador de Profundidad Generalizado: Un método para extender los codificadores RGB preentrenados para manejar la profundidad métrica sin el ajuste fino del codificador base, permitiendo la adaptación "fuera de la caja" a diversas tareas de RGBD.
Preprocesamiento de Profundidad Sinusoidal (SDP): Una técnica de preprocesamiento novedosa que supera la normalización estándar en el manejo de diversas distribidades, densidades y niveles de ruido de la profundidad.
Entrenamiento de Profundidad Desvaneciente: Un flujo de entrenamiento auto-supervisado que entrena al adaptador para ser robusto contra la pérdida de datos y cambios de distribución mediante la simulación de entradas de profundidad dispersas y ruidosas durante el entrenamiento.
Adaptabilidad de Ajuste Fino Cero (Zero-Finetuning): El modelo resultante puede aplicarse a tareas posteriores (segmentación, estimación de pose, completitud de profundidad) utilizando únicamente el codificador congelado y una cabezal de decodificador ligero, evitando el costo computacional y los riesgos de sobreajuste del ajuste fino completo.

Resultados Experimentales

Los autores evaluaron su enfoque a través de la segmentación, la completitud de profundidad y la estimación de pose de objetos 6D en conjuntos de datos que incluyen SUN-RGBD, NYU-v2, KITTI, Void, YCBV y otros.

Segmentación: El método propuesto logró un 56.05 mIoU en el conjunto de datos SUN-RGBD, superando a los codificadores multimodales y conscientes de la profundidad de vanguardia (por ejemplo, OmniSegmentor, DFormerV2) y mejorando significativamente respecto a la línea base de RGB (DINOv2). También demostró efectividad en conjuntos de datos de solo RGB donde la profundidad fue sintetizada mediante estimación monocular.
Completitud de Profundidad: En tareas de completitud de profundidad dispersa (KITTI, Void), los adaptadores basados en SDP mostraron una precisión superior en comparación con la codificación de profundidad basada en normalización y otros métodos SOTA, particularmente en el manejo de entradas dispersas.
Estimación de Pose: En la estimación de pose de objetos 6D (YCBV, HomeBrew, LM-O), los adaptadores de profundidad mejoraron significativamente el rendimiento de los codificadores RGB congelados (por ejemplo, DINOv2 + DA logró 84.1 AUC en YCBV frente a 72.5 para DINOv2 solo). El método superó a las líneas base multimodales como Omnivore y MultiMAE, que a menudo se degradaban cuando se introducía la profundidad.
Robustez: Los estudios de ablación confirmaron que el SDP es más resiliente al ruido y a la dispersión que la normalización estándar. Mientras que los métodos basados en normalización tuvieron dificultades con el ruido aleatorio y la falta de datos, el SDP mantuvo la estabilidad.

Significancia y Reclamaciones

El artículo afirma que este trabajo cierra la brecha entre los modelos fundacionales generalizados y la comprensión de la profundidad métrica. Al evitar el ajuste fino específico de la tarea, el método ofrece una solución modular y eficiente para la robótica y los sistemas multi-agente donde se requiere una adaptación rápida a nuevos entornos.

Generalizabilidad: El enfoque no está limitado a conjuntos de datos específicos; se generaliza a través de diversas densidades y distribuciones de profundidad.
Eficiencia: Permite la reutilización de grandes codificadores RGB preentrenados, reduciendo la necesidad de entrenar modelos multimodales masivos desde cero.
Relevancia para la Robótica: Los autores destacan el potencial para el aprendizaje de políticas de Visión-Lenguaje-Acción (VLA) y de control robótico, donde los codificadores preentrenados son beneficiosos pero a menudo requieren un ajuste fino que conduce al sobreajuste. Este método proporciona una forma de incluir la conciencia de la profundidad sin comprometer las capacidades de generalización del codificador base.

Los autores señalan modestamente que, aunque evitaron los entornos de prueba de VLA y aprendizaje de políticas debido a la falta de marcos de comparación estandarizados "fuera de la caja", la arquitectura está diseñada para soportar estas aplicaciones en el futuro. También reconocen que para rangos de profundidad extremos (por ejemplo, >15m), es necesario el reescalado o el ajuste del parámetro de profundidad máxima, aunque la densidad de frecuencia del SDP puede estirarse en tales casos.