Resumen Técnico: Modelado de Visión-Lenguaje Espacial Consciente de 3D Fundamentado (GR3D)

Declaración del Problema

Los Modelos de Visión-Lenguaje (VLM) han evolucionado hacia sistemas de percepción de propósito general, pero a menudo carecen de una fundamentación espacial fiable, lo cual es crítico para la inteligencia encarnada (por ejemplo, navegación, manipulación). Aunque los avances recientes han mejorado la comprensión espacial 2D y la percepción 3D, dos desafíos específicos permanecen poco abordados:

1. Escasez de Fundamentación 2D Implícita: La mayoría de los sistemas soportan una fundamentación explícita de "punto a X", pero carecen de mecanismos para detectar automáticamente entidades mencionadas en texto de forma libre e integrar su evidencia visual correspondiente durante la generación. Construir supervisión para esto es difícil, ya que requiere alinear menciones textuales con regiones visuales latentes e intercalar información de regiones en el flujo de lenguaje.
2. Fundamentación 3D Monocular Mal Planteada: Inferir la estructura 3D desde una sola vista es inherentemente ambiguo debido a la entrelazada escala del objeto, profundidad e intrínsecas de la cámara. Los enfoques existentes a menudo eluden el paso intermedio de identificar qué instancia refiere el texto antes de estimar la extensión 3D, o dependen de supervisión multi-vista o escasas anotaciones de cajas 3D.

Metodología

Los autores presentan GR3D, un VLM espacial que integra tres capacidades de fundamentación complementarias dentro de un marco unificado: fundamentación 2D explícita, fundamentación 2D implícita y fundamentación 3D monocular.

1. VLM Espacial Fundamental

GR3D se construye sobre la arquitectura NVILA-8B-Lite.

• Configuración de Vista Única: El codificador visual extrae tokens densos aumentados con embebidos posicionales 2D (coordenadas de píxeles) y pistas de profundidad relativa. Estos tokens retienen la disposición espacial y se pasan a través de un proyector multimodal.
• Extensión Multi-vista: El marco se extiende a entradas multi-vista incrustando todos los tokens de imagen con pistas posicionales basadas en profundidad y píxeles en un espacio de características espaciales unificado, transformando las vistas subsiguientes al sistema de coordenadas del primer cuadro.
• Diseño de Prompt de Región: Regiones específicas de la imagen pueden codificarse como tokens de consulta individuales agrupando características dentro de un cuadro delimitador, permitiendo que los módulos aguas abajo referencien contenido localizado.

2. Mecanismos de Fundamentación

Fundamentación 2D Explícita:
El modelo predice cuadros delimitadores 2D directamente en un formato textual estructurado estilo HTML (por ejemplo, <bbox>[x1, y1, x2, y2]</bbox>) utilizando la cabeza de generación de lenguaje estándar, sin ramas de detección adicionales.

Fundamentación 2D Implícita (Inserción de Región en Flujo):
Este mecanismo permite que el modelo asocie menciones lingüísticas con evidencia visual durante la generación.

• Proceso: A medida que el modelo genera una respuesta de Cadena de Pensamiento (CoT), cuando se menciona una entidad, primero predice las coordenadas del cuadro delimitador 2D.
• Inserción: La región de imagen correspondiente se codifica en un token de región, que se inserta inmediatamente en el flujo de texto.
• Inferencia: La generación continúa condicionada tanto al contexto textual como al token de región insertado dinámicamente. Esto permite que el razonamiento evolucione sobre evidencia visual fundamentada sin una fase de detección separada.

Fundamentación 3D Monocular mediante Prompt de Región:
Esto extiende la fundamentación 2D a 3D tratando una región 2D fundamentada como una consulta para inferencia 3D.

• Formulación de Prompt de Región: El modelo mapea una región fundamentada a su representación 3D (centro, tamaño, orientación) directamente, evitando la localización explícita de múltiples pasos.
• Representación de Caja 3D: Las cajas se parametrizan por centro $(x_c, y_c, z_c)$, tamaño $(w, h, l)$ y ángulos de Euler normalizados. Las orientaciones se estandarizan para minimizar la desviación angular entre los ejes PCA locales y los ejes globales.
• Normalización Intrínseca: Para mitigar la ambigüedad de escala/profundidad, las imágenes se redimensionan basándose en la distancia focal ($W' = \frac{1000}{f_x} \cdot W$), asegurando un campo de visión consistente entre conjuntos de datos sin regredir explícitamente las intrínsecas.
• Supervisión: El modelo se entrena con:
  • Región $\to$ 3D: Predecir cajas 3D a partir de prompts de región 2D.
  • Texto $\to$ 3D: Localizar entidades mediante fundamentación textual y regredir cajas 3D.
  • Supervisión Densa de Puntos: Una tarea auxiliar donde el modelo predice coordenadas 3D para puntos de superficie muestreados aleatoriamente condicionados a prompts de región, escalando la supervisión más allá de las etiquetas de cajas 3D dispersas.

3. Construcción de Datos

La tubería de entrenamiento utiliza:

• Corpus de Fundamentación Implícita: Derivado de RefSpatial, utilizando Florence-2 para generar cuadros delimitadores 2D candidatos para menciones textuales, seguido de verificación por VLM y reformulación para asegurar una alineación uno a uno.
• Datos de Entrenamiento: Compuesto por 97K muestras de CoT fundamentadas, 780K muestras de detección 3D (Omni3D, EmbodiedScan) y 272K muestras de reconstrucción de mapa de puntos (DepthLM). No se utilizan datos propietarios.

4. Estrategia de Entrenamiento

• Etapa 1 (Preentrenamiento Espacial): Inicializa el codificador visual, el proyector y el LLM desde NVILA-Lite. El codificador visual se congela mientras se entrenan los módulos espaciales en una mezcla de datos de fundamentación 2D y región-a-3D.
• Etapa 2 (Ajuste Fino de CoT de Detección): Ajusta fino solo el LLM en datos de detección orientados a CoT (curados de Omni3D) para aprender la estructura de razonamiento y el formato de predicción 3D autoregresiva.

Contribuciones Clave

1. Marco Unificado: GR3D es el primero en integrar fundamentación 2D explícita, fundamentación 2D implícita (mediante inserción de región en flujo) y fundamentación 3D monocular en una sola arquitectura VLM.
2. Mecanismo de Fundamentación Implícita: Introduce una técnica novedosa de "inserción de región en flujo" que permite al modelo referenciar dinámicamente evidencia visual durante la generación de CoT, alineando el comportamiento del modelo con el razonamiento visual humano (identificar y luego razonar).
3. Fundamentación 3D Impulsada por Región: Propone una formulación que condiciona la inferencia 3D sobre regiones 2D fundamentadas, respaldada por normalización consciente de intrínsecas y supervisión geométrica densa, desacoplando efectivamente las ambigüedades lingüísticas y geométricas.
4. Sesgo Inductivo para la Comprensión Espacial: Demuestra que incrustar la fundamentación dentro de la arquitectura del modelo sirve como un sesgo inductivo efectivo, mejorando la comprensión espacial general incluso más allá de tareas de fundamentación específicas.

Resultados

GR3D logra mejoras consistentes en puntos de referencia espaciales fundamentados y no fundamentados:

• Detección de Objetos 3D (Omni3D): GR3D-8B supera a todos los VLM recientes (por ejemplo, Qwen3-VL-8B) y modelos especialistas en visión (por ejemplo, DetAny3D, Cube R-CNN) en múltiples dominios, particularmente en escenas interiores. Logra un mAP de 25.40 en el punto de referencia Omni3D, superando significativamente al siguiente mejor VLM (Qwen3-VL-8B).
• Fundamentación 2D: En el punto de referencia Omni3D, GR3D supera las propuestas de región de Cube R-CNN y Qwen3-VL. En RefCOCO/RefCOCO+/RefCOCOg, se desempeña al nivel de los mejores VLM y modelos especializados en visión.
• Razonamiento Espacial (CVBench, ERQA, SAT): El modelo muestra ganancias significativas en puntos de referencia de razonamiento espacial, con la fundamentación implícita mejorando la precisión del CoT y la consistencia espacial.
• Comprensión a Nivel de Punto (BLINK-Depth): GR3D supera a los Region-VLM anteriores que requieren máscaras anotadas manualmente, logrando un rendimiento superior con fundamentación automática.
• Comprensión Multi-vista (VSI-Bench): Cuando se extiende a configuraciones multi-vista, GR3D logra una puntuación promedio de 67.6, superando a todos los puntos de referencia de última generación, incluido SR-3D.

Significado

El artículo afirma que GR3D demuestra que la fundamentación es un sesgo inductivo efectivo para fortalecer la comprensión espacial en VLM. Al descomponer problemas espaciales complejos en percepción 2D fundamentada seguida de inferencia 3D, el modelo aprende a localizar, referenciar y razonar sobre la estructura espacial de manera unificada. El trabajo destaca que:

1. La fundamentación mejora la comprensión espacial general incluso sin tareas de localización explícitas.
2. La supervisión geométrica densa proporciona pistas de estructura escalables.
3. Combinar la fundamentación implícita con la inferencia 3D impulsada por región desbloquea una tubería versátil que soporta fundamentación 3D de instancia referida, detección a nivel de categoría y fundamentación de escenas multi-objeto.

Los autores posicionan a GR3D como un marco flexible para agentes encarnados, cerrando la brecha entre instrucciones de alto nivel e interacción física al proporcionar fundamentación espacial fiable.