Lightweight Prompt-Guided CLIP Adaptation for Monocular Depth Estimation

El artículo presenta MoA-DepthCLIP, un marco eficiente en parámetros que adapta el modelo CLIP preentrenado para la estimación de profundidad monocular mediante un módulo ligero de mezcla de adaptadores y un aprendizaje híbrido, logrando resultados competitivos en el conjunto de datos NYU Depth V2 con una supervisión mínima.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un robot a entender la profundidad de una habitación (qué tan lejos está un mueble, una pared o una persona) solo mirando una foto. Esto es lo que se llama estimación de profundidad monocular.

El problema es que los robots "inteligentes" modernos (como CLIP) son geniales entendiendo conceptos generales ("esto es una cocina", "eso es un perro"), pero son un poco torpes para las matemáticas precisas de la distancia. Por otro lado, los robots expertos en profundidad necesitan miles de fotos con mediciones exactas para aprender, lo cual es caro y lento.

Aquí es donde entra el trabajo de MoA-DepthCLIP. Vamos a explicarlo con una analogía sencilla:

1. El Problema: El Chef y el Arquitecto

Imagina que tienes un Chef Mundial (el modelo CLIP) que sabe perfectamente identificar ingredientes y sabores. Si le muestras una foto de una cocina, te dirá: "¡Esto es una cocina! Hay una nevera y una mesa". Pero si le preguntas: "¿A cuántos centímetros está la nevera de la mesa?", el Chef se queda pensando y te da una respuesta vaga: "Pues... cerca".

Por otro lado, tienes un Arquitecto que es un genio midiendo distancias, pero no sabe nada de cocina. Para que el Arquitecto aprenda, tendrías que darle miles de planos de cocinas reales, lo cual es muy costoso.

2. La Solución: El "Asistente de Cocina" (MoA-DepthCLIP)

Los autores crearon un sistema llamado MoA-DepthCLIP. En lugar de entrenar al Chef desde cero (lo cual sería como obligarlo a estudiar arquitectura durante años), le pusieron un Asistente de Cocina muy ligero y rápido.

• El Asistente (MoA - Mezcla de Adaptadores): Imagina que al Chef le ponemos unos gafas inteligentes que tienen varios "lentes" intercambiables.
  • Cuando el Chef ve una imagen, un pequeño cerebro (la "red de enrutamiento") decide qué lente usar. ¿Es una cocina? Usa el lente de "cocina". ¿Es un baño? Usa el lente de "baño".
  • Estos lentes son muy pequeños y baratos de fabricar (pocos parámetros), pero permiten al Chef ver los detalles finos de la distancia sin tener que cambiar todo su cerebro.
  • Además, el Chef solo cambia ligeramente sus conocimientos finales (ajuste selectivo), manteniendo su sabiduría original intacta.

3. El Contexto Global: La "Brújula de la Habitación"

El sistema anterior (DepthCLIP) intentaba adivinar la distancia usando frases simples como "cerca" o "lejos", como si adivinaras el clima sin mirar el cielo.

MoA-DepthCLIP es más inteligente. Antes de mirar la foto, le da al Chef una "Brújula de la Habitación".

• Le dice: "Oye, esto es una foto de una cocina".
• Esta brújula (un vector de contexto global) le ayuda al Chef a entender el escenario completo antes de empezar a medir. Es como si el Chef supiera que en una cocina los muebles suelen estar a cierta distancia, lo que le ayuda a ser más preciso.

4. El Truco de Doble Cabeza: El "Ojo de Águila" y el "Ojo de Lupa"

Para dar la respuesta final, el sistema usa dos "ojos" a la vez:

1. El Ojo de Águila (Clasificación): Mira la foto y dice: "Ese objeto está en el grupo de 'distancias medias'". Es bueno para tener una idea general rápida.
2. El Ojo de Lupa (Regresión): Mira la misma foto y calcula el número exacto: "Ese objeto está a 2.45 metros".

El sistema combina ambas visiones. Es como si tuvieras a alguien que te da una estimación rápida ("está a unos 2 metros") y a otro que te da el dato exacto, y luego promedian la respuesta para obtener algo perfecto.

5. El Resultado: ¡Magia!

Gracias a esta combinación de:

• Un Chef experto (CLIP).
• Un Asistente ligero y adaptable (MoA).
• Una Brújula de contexto.
• Dos ojos trabajando juntos.

El sistema logra resultados increíbles. En pruebas reales (en el dataset NYU Depth V2), mejoró la precisión de 0.39 a 0.74 (casi el doble de bueno) y redujo el error de medición a la mitad, todo esto usando muy pocos recursos de computación.

En resumen:
No necesitas construir un robot gigante y costoso para medir distancias. Solo necesitas tomar un cerebro inteligente que ya existe, ponerle unas gafas especiales y ligeras (los adaptadores), darle un poco de contexto sobre dónde está, y pedirle que use dos métodos de cálculo a la vez. ¡Y listo! Tienes un experto en profundidad que es rápido, barato y muy preciso.

Resumen técnico

Resumen Técnico: MoA-DepthCLIP

1. El Problema

La estimación de profundidad monoculares (predecir la distancia de los objetos en una escena a partir de una sola imagen 2D) es fundamental para aplicaciones como la navegación autónoma y la realidad aumentada.

• Limitaciones actuales: Los métodos supervisados tradicionales requieren grandes cantidades de datos etiquetados (costosos y difíciles de obtener). Por otro lado, los modelos de fundación (Foundation Models) basados en Vision-Language Models (VLMs) como CLIP ofrecen un gran conocimiento semántico, pero su adaptación a tareas geométricas de precisión métrica (como la profundidad) suele requerir un ajuste fino (fine-tuning) completo, lo cual es computacionalmente costoso y pesado en parámetros.
• El desafío específico: Adaptar la riqueza semántica de CLIP para tareas de predicción densa y geométrica sin perder precisión métrica ni incurrir en un alto costo computacional. Métodos anteriores como DepthCLIP lograron esto de forma "zero-shot" (sin entrenamiento), pero sus resultados eran demasiado gruesos y carecían de detalle geométrico debido a la discretización manual de la profundidad.

2. Metodología: MoA-DepthCLIP

Los autores proponen MoA-DepthCLIP, un marco de trabajo de ajuste eficiente de parámetros (PEFT) que adapta el backbone preentrenado de CLIP (ViT-B/32) para la estimación de profundidad. La arquitectura se compone de los siguientes módulos clave:

• Mezcla de Adaptadores (Mixture-of-Adapters - MoA):

  • En lugar de ajustar todo el modelo, se insertan módulos MoA ligeros en capas específicas del transformador de visión (ViT-B/32).
  • Estructura del MoA: Cada módulo contiene un conjunto de "expertos" (MLPs ligeros con cuello de botella) y una red de "puerta" (gating network) que determina dinámicamente qué experto procesa cada token de la imagen.
  • Inyección Residual: Las salidas de los expertos se combinan y se suman a la representación original del token, preservando las características preentrenadas mientras se añade especialización.
  • Selección de Capas: Los módulos MoA se insertan selectivamente en las capas 2, 5, 8 y 11 del ViT, equilibrando la adaptación en características tempranas, medias y tardías.

• Fusión de Contexto Global de Escena:

  • A diferencia de DepthCLIP que usaba prompts de texto a nivel de píxel, este método utiliza un vector de contexto global.
  • Se codifican prompts de texto fijos relacionados con escenas interiores (ej. "una foto de una cocina") mediante el encoder de texto congelado de CLIP.
  • Estos embeddings se promedian para crear un vector de contexto único que se fusiona espacialmente con las características visuales adaptadas, proporcionando una guía semántica de alto nivel a toda la imagen.

• Arquitectura de Predicción Híbrida:

  • El modelo utiliza una cabeza de predicción dual que combina dos enfoques:
    1. Clasificación de Bins de Profundidad: Predice una distribución sobre $N$ bins discretos de profundidad.
    2. Regresión Directa: Predice un mapa de profundidad continuo.
  • La salida final es una fusión de ambas predicciones.

• Función de Pérdida Compuesta:

  • Para entrenar la arquitectura híbrida, se utiliza una pérdida combinada:
    • Pérdida de Clasificación (Cross-Entropy): Para estabilidad y estructura general.
    • Pérdida L1: Para precisión métrica local.
    • Pérdida SILog (Logarítmica Invariante a la Escala): Para manejar las ambigüedades de escala y desplazamiento globales típicas de la profundidad monoculares.

3. Contribuciones Clave

1. Primera adaptación PEFT con MoA para profundidad: Introducen el uso de Mezclas de Adaptadores (MoA) en tareas de geometría densa, logrando una adaptación espacialmente consciente con un mínimo de parámetros entrenables.
2. Integración Híbrida: Combinan una estrategia moderna de adaptación de VLMs (MoA) con una arquitectura clásica de predicción híbrida (clasificación + regresión) para recuperar detalles métricos finos que los métodos puramente semánticos pierden.
3. Eficiencia y Rendimiento: Demuestran que es posible superar a los enfoques zero-shot y a modelos de fundación masivos utilizando una fracción mínima de parámetros entrenables, guiados por un contexto semántico global.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos NYU Depth V2.

• Comparación con el Baseline (DepthCLIP):

  • Precisión ($\delta_1$): Mejora drástica de 0.390 a 0.745.
  • Error Cuadrático Medio (RMSE): Reducción significativa de 1.176 a 0.520.
  • Parámetros: El modelo requiere sustancialmente menos parámetros entrenables que los modelos de fundación completos.

• Estudio de Ablación:

  • Número de Expertos: Se encontró que 4 expertos por módulo MoA ofrecen el mejor equilibrio entre capacidad de especialización y costo computacional.
  • Número de Bins de Profundidad: Se identificó que 128 bins fijos ofrecen la mejor precisión, superando a la discretización gruesa (10 bins) de DepthCLIP sin la complejidad de los bins adaptativos por imagen.
  • Pérdida Compuesta: La introducción de la pérdida compuesta fue el factor que más mejoró el rendimiento inicial, seguido por la integración de MoA y la optimización de los bins.

5. Significado e Impacto

El trabajo de MoA-DepthCLIP es significativo porque cierra la brecha entre la comprensión semántica de alto nivel de los modelos VLM (como CLIP) y la precisión geométrica requerida para tareas de visión por computadora densas.

• Eficiencia: Demuestra que no es necesario reentrenar modelos masivos para tareas específicas; una adaptación ligera y guiada por prompts puede lograr resultados de vanguardia.
• Generalización: Ofrece una solución viable para la estimación de profundidad en escenarios donde los datos etiquetados son escasos o costosos, aprovechando el conocimiento preexistente de modelos fundacionales.
• Futuro: Abre la puerta a extender estas estrategias de adaptación ligera a otros dominios (como escenas exteriores) y a incorporar componentes dinámicos para una selección de prompts más inteligente.

En resumen, el paper presenta una solución elegante y eficiente que combina la potencia semántica de CLIP con la precisión geométrica necesaria para la estimación de profundidad, superando ampliamente a los enfoques anteriores con un costo computacional mínimo.