Resumen Técnico: DepthVLM

Enunciado del Problema

Los Modelos Visión-Lenguaje (VLM) han logrado un éxito notable en tareas 2D como la anclaje visual y la descripción de imágenes, pero siguen estando fundamentalmente limitados en la comprensión 3D. Un cuello de botella principal es el paradigma predominante de supervisión solo de texto, donde las entradas visuales se consumen para generar salidas de texto autoregresivas. Este diseño restringe inherentemente la percepción visual de granularidad fina e impide el modelado explícito de la geometría densa de la escena.

Los enfoques existentes para cerrar esta brecha sufren de inconvenientes significativos:

1. Pipelines de Destilación de Conocimiento: Los métodos que inyectan señales geométricas (por ejemplo, mapas de profundidad) desde modelos 3D preentrenados externos dependen de la acumulación de errores y carecen de una integración nativa.
2. Predicción Directa Ineficiente: Los intentos recientes de permitir que los VLM predigan geometría directamente enfrentan compromisos entre eficiencia o calidad. Por ejemplo, DepthLM logra una alta precisión pero requiere consultas por píxel, lo que resulta en una inferencia prohibitivamente lenta ($O(HW)$). Youtu-VL permite la predicción de imagen completa en un solo paso, pero produce salidas a nivel de token gruesas que requieren interpolación post-hoc. Además, muchos de estos métodos degradan las capacidades multimodales generales del VLM debido a una supervisión pesada en texto o a requisitos de entrenamiento desde cero.

El desafío central abordado por este artículo es: ¿Puede un VLM servir como un predictor de geometría densa nativo con cambios arquitectónicos mínimos mientras preserva su capacidad multimodal general?

Metodología: DepthVLM

Los autores proponen DepthVLM, un marco que transforma una sola columna vertebral de VLM en un modelo fundacional unificado capaz de generar tanto mapas de profundidad métrica densos como respuestas en lenguaje en un solo paso hacia adelante.

1. Arquitectura Unificada

DepthVLM extiende la arquitectura estándar de VLM adjuntando una cabeza de profundidad ligera a la columna vertebral del Modelo de Lenguaje Grande (LLM).

• Extracción de Características: En lugar de depender exclusivamente de los estados ocultos finales del LLM, el modelo extrae una pirámide de características multiescala. Esto incluye tres capas intermedias del codificador Vision Transformer (ViT) y los estados ocultos finales del LLM en las posiciones de los tokens de imagen.
• Diseño de la Cabeza de Profundidad: Inspirado en DPT (Vision Transformers for Dense Prediction), la cabeza procesa estas características multiescala. Crucialmente, dado que los tokens visuales del VLM ya están submuestreados por fusionadores de parches, los autores evitan una submuestreo adicional. En su lugar, construyen una pirámide de abajo hacia arriba mediante remuestreo, asignando una mayor resolución espacial a las capas anteriores del ViT.
• Salida: Las características fusionadas se decodifican en un mapa de profundidad métrica densa y de resolución completa ($\hat{D} \in \mathbb{R}^{H \times W}$) junto con la respuesta de texto ($\hat{T}$). Una activación Softplus asegura valores de profundidad estrictamente positivos.

2. Estrategia de Entrenamiento en Dos Etapas

Para introducir la predicción de geometría densa sin comprometer la comprensión multimodal preentrenada del VLM, los autores emplean un programa de entrenamiento en dos etapas:

• Etapa 1 (Inicialización de la Cabeza de Profundidad): La columna vertebral del VLM se mantiene congelada. Solo la nueva cabeza de profundidad añadida se entrena utilizando una pérdida logarítmica invariante a la escala (SILog) sobre datos de profundidad métrica. Esto establece capacidades iniciales de predicción de profundidad sin alterar el conocimiento preentrenado.
• Etapa 2 (Ajuste Fino de Extremo a Extremo): La columna vertebral del LLM se descongela y todo el modelo se ajusta fino de extremo a extremo sobre una mezcla de datos de seguimiento de instrucciones. La función objetivo combina la pérdida estándar de modelado de lenguaje autoregresivo ($L_{text}$) y la pérdida de profundidad ($L_{depth}$), equilibradas por un factor $\alpha$.

3. Curación y Normalización de Datos

• Normalización de la Distancia Focal: Para mitigar la ambigüedad de escala inducida por la cámara a través de conjuntos de datos heterogéneos (interiores vs. exteriores, diferentes sensores), todas las imágenes se redimensionan a una distancia focal canónica unificada ($f_c$). Esto alinea la geometría proyectiva y obliga a un mapeo consistente de píxeles a métricas.
• DepthVLM-Bench: Los autores introducen una evaluación unificada que agrupa 8 conjuntos de datos de entrenamiento (que cubren escenas interiores y exteriores) y 9 conjuntos de datos de evaluación. Esto permite una comparación justa entre VLMs y modelos de visión pura especializados bajo un protocolo consistente.

Contribuciones Clave

1. Predicción Densa Nativa: El artículo demuestra que un VLM puede servir como un predictor de geometría densa nativo. Al adjuntar una cabeza ligera, DepthVLM logra una estimación de profundidad a nivel de píxel densa sin alterar la vía de generación de texto.
2. Eficiencia y Preservación de Capacidades: A diferencia de métodos anteriores que degradan las capacidades generales o sufren de inferencia lenta, DepthVLM logra un costo de inferencia de $O(1)$ (un solo paso hacia adelante para resolución completa) y preserva el rendimiento multimodal original del VLM mediante una estrategia de entrenamiento en dos etapas.
3. Evaluación Unificada: La introducción de DepthVLM-Bench permite un entrenamiento efectivo y una comparación directa y justa entre VLMs y modelos de visión pura especializados en la estimación de profundidad métrica.

Resultados Experimentales

Extensos experimentos en diversos conjuntos de datos (Waymo, NuScenes, ETH3D, sunRGBD, etc.) destacan lo siguiente:

• Superioridad sobre VLMs: DepthVLM supera significativamente a los VLMs existentes, incluidos modelos de propósito general (por ejemplo, GPT-5.5, Qwen3-VL) y VLMs mejorados espacialmente. Mientras que GPT-5.5 logra una precisión $\delta_1$ de solo ~0.41 en promedio, DepthVLM-4B alcanza 0.868.
• Superando Modelos de Visión Pura: A pesar de ser un modelo unificado, DepthVLM supera a los modelos especializados de visión pura más avanzados. Por ejemplo, supera a DepthAnythingV3 (0.877 vs. 0.884 de $\delta_1$ promedio) y a Metric3Dv2 (0.812 vs. 0.884).
• Eficiencia de Inferencia: DepthVLM es sustancialmente más rápido que los enfoques anteriores basados en VLM. Genera un mapa de profundidad de 256×192 en 0.42s, en comparación con 2.48s para Youtu-VL y 13 horas para DepthLM (debido a consultas por píxel).
• Capacidad Multimodal: La evaluación en evaluaciones visuales generales (MMBench, OCRBench, POPE) muestra que DepthVLM iguala o mejora ligeramente su columna vertebral de VLM base, confirmando que la adición de la cabeza de profundidad no degrada la comprensión multimodal general.
• Razonamiento Espacial 3D: El modelo demuestra un rendimiento mejorado en tareas 3D posteriores complejas, como la estimación de profundidad de puntos, la estimación de dimensiones de objetos 3D y la clasificación de orden de profundidad, lo que sugiere que la predicción de geometría densa nativa sirve como una base sólida para el razonamiento espacial de alto nivel.

Significado y Afirmaciones

El artículo afirma que DepthVLM representa un paso hacia un modelo fundacional verdaderamente unificado que sobresale conjuntamente en la predicción de geometría densa de bajo nivel y la comprensión multimodal de alto nivel.

• Cambio de Paradigma: Cuestiona la noción de que la predicción de geometría densa requiere modelos de visión separados y especializados o VLMs basados en consultas ineficientes. En su lugar, muestra que la geometría puede emerger de forma nativa dentro de una sola columna vertebral de VLM.
• Practicidad: Al lograr una alta precisión con cambios arquitectónicos mínimos y preservar las capacidades generales, DepthVLM ofrece una receta práctica para integrar la percepción 3D en los ecosistemas existentes de VLM.
• Limitaciones: Los autores notan modestamente que el trabajo actual se centra específicamente en la estimación de profundidad métrica densa. Las tareas de percepción 3D más amplias, como la detección de objetos y la estimación de pose, siguen siendo trabajo futuro.

En resumen, DepthVLM proporciona una solución ligera, eficiente y efectiva para desbloquear la estimación de profundidad métrica densa en VLMs, cerrando la brecha entre la comprensión multimodal 2D y la inteligencia espacial 3D.