Resumen Técnico: Primitivas 3D como Lenguaje Espacial para Modelos Visión-Lenguaje

Enunciado del Problema

Los Modelos Visión-Lenguaje (VLM) exhiben una paradoja notable en cuanto al razonamiento espacial. Aunque a menudo fallan en preguntas espaciales simples en lenguaje natural (por ejemplo, contar objetos o identificar relaciones) cuando se les presenta una imagen, los mismos modelos pueden generar frecuentemente código ejecutable (por ejemplo, Three.js, Unity C#) que reconstruye la escena 3D con conteos de objetos correctos, clases y posiciones aproximadas. Esto sugiere que los VLM poseen conocimiento espacial latente que no es accesible mediante consultas directas en lenguaje natural. El artículo postula que esta discrepancia representa una "falla de enrutamiento de tareas", donde la capacidad del modelo para externalizar la comprensión espacial a través de código estructurado no se transfiere eficazmente a la respuesta directa de preguntas. Además, los puntos de referencia existentes a menudo confunden la competencia espacial con la familiaridad con un formato de salida específico (lenguaje natural o un único lenguaje de código), fallando en aislar las capacidades genuinas de razonamiento espacial.

Metodología

Los autores proponen un marco centrado en primitivas geométricas 3D (cubos, esferas, cilindros, etc.) expresadas en código ejecutable como herramienta de diagnóstico y representación intermedia. La metodología consta de tres componentes principales:

1. Punto de Referencia SPATIALBABEL

Para desacoplar la comprensión espacial de la familiaridad con el formato, los autores introducen SPATIALBABEL, un punto de referencia que evalúa VLMs en dos dominios de escena y seis lenguajes de código de escena.

• Dominios de Escena:
  • División de Primitivas: 1,000 escenas generadas proceduralmente en Blender que contienen de 3 a 20 primitivas geométricas sin oclusión mayor. Esto proporciona una verdad fundamental exacta con cero ruido de etiquetas.
  • División de Hypersim: 405 escenas interiores fotorrealistas con geometrías complejas y oclusión sustancial, sirviendo como un dominio de validación más difícil.
• Lenguajes de Código de Escena: El punto de referencia evalúa la reconstrucción en seis formatos distintos: Three.js (JavaScript), Unity C#, Python de Blender, Open3D Python, JSON Canónico (un esquema declarativo introducido en este trabajo) y un DSL de Lenguaje de Escena.
• Tareas:
  • Reconstruir: Generar código ejecutable para recrear la escena.
  • Preguntas y Respuestas (QA): Responder preguntas en lenguaje natural sobre la escena (localización, relación, conteo, existencia, comparación).
• Métricas: Una Puntuación de Reconstrucción de SpatialBabel compuesta que agrupa la tasa de análisis, F1 (emparejamiento de objetos coincidentes con el método húngaro), precisión de clase, fidelidad de posición y fidelidad de escala.

2. Code-CoT (Cadena de Pensamiento de Código)

Una estrategia de inferencia sin entrenamiento diseñada para cerrar la brecha en el momento de la inferencia.

• Mecanismo: En lugar de responder directamente a una pregunta espacial, se le pide primero al modelo que reconstruya la escena como código ejecutable basado en primitivas. Luego responde a la pregunta espacial condicionado por su propia salida estructurada.
• Fundamento: Esto obliga al modelo a enrutarse su razonamiento a través del "lenguaje espacial" del código, donde ha demostrado mayor competencia, antes de traducir esa comprensión de nuevo al lenguaje natural.

3. S3-FT (Ajuste Fino Espacial Auto-supervisado)

Una intervención en tiempo de entrenamiento para destilar conocimiento espacial en razonamiento visual general, dirigida específicamente a modelos con capacidades de codificación más débiles.

• Pipeline:
  1. Generación de Pseudo-Verdad Fundamental: El VLM base genera código de reconstrucción Three.js para escenas de primitivas. Un filtro de calidad sintáctica asegura que el código sea válido.
  2. Extracción de Anotaciones: El código generado se analiza de manera determinista para extraer anotaciones espaciales estructuradas (conteos de objetos, clases, poses 3D, relaciones). Estas se combinan con pares de preguntas y respuestas en lenguaje natural generados por reglas y descripciones de escenas.
  3. Ajuste Fino: El mismo VLM se ajusta fino (usando LoRA) sobre esta mezcla de múltiples tareas.
• Característica Clave: El proceso es completamente auto-supervisado; no requiere etiquetas humanas ni un modelo "profesor" externo, ya que la señal de supervisión se deriva de la propia generación de código de alta fidelidad del modelo.

Resultados Clave

Hallazgos del Punto de Referencia (SPATIALBABEL)

• Rendimiento Dependiente del Idioma: El rendimiento de los VLM varía drásticamente entre los lenguajes de código de escena. Para el mismo modelo en las mismas imágenes, las puntuaciones F1 de detección de objetos pueden variar hasta en 5.7× dependiendo del lenguaje objetivo.
• Correlación Débil: Existe una correlación débil (Pearson $r \approx 0.12$) entre la puntuación F1 de reconstrucción de un modelo y su precisión directa en preguntas y respuestas. Un modelo puede ser altamente preciso generando código pero deficiente respondiendo preguntas directas, confirmando la falla de enrutamiento de tareas.
• Eficacia de Code-CoT: Code-CoT mejora las puntuaciones de preguntas y respuestas en escenas de primitivas hasta en +6.4% (por ejemplo, Gemini-2.5-Pro) y eleva la precisión de CV-Bench-3D en fotos reales en +5.0% para modelos con capacidades de codificación fuertes. Sin embargo, muestra rendimientos decrecientes o regresión en escenas fotorrealistas desordenadas donde el vocabulario de primitivas es insuficiente.

Rendimiento de S3-FT

• Ganancias en Distribución: El entrenamiento solo con imágenes de primitivas mejora significativamente el rendimiento en la tarea de Preguntas y Respuestas de Primitivas de SpatialBabel. Para Qwen3-VL-8B, S3-FT produce mejoras de +4.6% a +8.6% a través de los modos de inferencia.
• Transferencia Fuera de Distribución: Crucialmente, el entrenamiento solo en escenas de primitivas se transfiere a puntos de referencia generales de razonamiento visual.
  • HallusionBench: +17% de mejora.
  • CV-Bench-2D: +9.7% de mejora.
  • CV-Bench-3D: +3.3% de mejora.
• Generalización: La receta se transfiere entre diferentes familias de modelos (Qwen, InternVL, LLaVA) y escalas, aunque las ganancias dependen de la capacidad.

Significado y Afirmaciones

El artículo establece que las primitivas geométricas 3D en código ejecutable sirven tanto como herramienta de diagnóstico como vocabulario espacial transferible para los VLM.

1. Herramienta de Diagnóstico: El punto de referencia SPATIALBABEL revela que la comprensión espacial a menudo está entrelazada con priores específicos de generación de código. Las grandes brechas de rendimiento entre idiomas indican que los puntos de referencia estándar pueden estar midiendo la familiaridad con el formato en lugar del razonamiento espacial verdadero.
2. Vocabulario Transferible: El éxito de Code-CoT y S3-FT sugiere que los VLM han "tokenizado" implícitamente el espacio 3D a través de primitivas geométricas durante el pre-entrenamiento. Al aprovechar esta representación estructurada, los modelos pueden acceder a conocimiento espacial latente que de otro modo sería inaccesible mediante la promtización directa en lenguaje natural.
3. Destilación Auto-supervisada: S3-FT demuestra que el razonamiento espacial de alta calidad puede destilarse en VLMs generales sin anotación humana ni modelos profesores, siempre que el modelo base pueda generar reconstrucciones de primitivas suficientemente precisas. Esto reduce la barrera para mejorar las capacidades espaciales en modelos de pesos abiertos.

Los autores concluyen que, aunque el enfoque muestra límites claros en escenas fotorrealistas altamente complejas y ocluidas (donde la aproximación de primitivas falla), proporciona una vía robusta para mejorar el razonamiento espacial en VLMs a través de la representación intermedia de código 3D ejecutable.