Resumen Técnico: OneCanvas: Comprensión de Escenas 3D mediante Reproyección Panorámica

Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLM) existentes tienen dificultades con la comprensión de escenas 3D, particularmente en tareas de razonamiento situado (por ejemplo, "¿Qué tan lejos está la silla de la puerta?" o "¿Qué es visible desde este punto de vista?"). Los enfoques actuales suelen caer en dos categorías, ambas de las cuales incurren en costos significativos:

1. Complejidad Arquitectónica: Aumentar los VLM 2D preentrenados con codificadores de geometría dedicados (por ejemplo, tokenizadores de nubes de puntos, codificadores condicionados por profundidad) o módulos de fusión complejos. Estos requieren un entrenamiento conjunto a escala para alinear los nuevos componentes geométricos con el esqueleto de lenguaje.
2. Escalado de Datos: Depender de conjuntos de datos masivos y curados de pares de pregunta-respuesta espaciales para enseñar el razonamiento geométrico mediante la mera exposición.

Auditorías recientes sugieren que, incluso con estas adaptaciones, muchos modelos fallan al razonar genuinamente sobre entradas geométricas, basándose en su lugar en regularidades estadísticas de plantillas de preguntas y clases de escenas. Además, estos métodos suelen procesar las escenas de forma fragmentada a través de fotogramas sin un sistema de coordenadas espaciales unificado, lo que dificulta el razonamiento situado desde puntos de vista específicos.

Metodología: OneCanvas

OneCanvas redefine la comprensión de escenas 3D como un razonamiento espacial 2D en un único lienzo panorámico. Evita modificar la arquitectura del VLM o añadir términos de pérdida auxiliares. En su lugar, transforma los datos RGB-D multivista en una representación que un VLM preentrenado puede ingerir como una imagen estándar.

1. Extracción de Características y Elevación 3D

Dado un conjunto de $K$ imágenes RGB con pose $\{I_k\}$, mapas de profundidad métrica $\{D_k\}$ y una intrínseca de cámara:

• Un codificador de visión congelado (Qwen3-VL) extrae características a nivel de parche $F_k$ de cada vista.
• Cada parche $(u, v)$ es "elevado" a una coordenada de mundo 3D $p_{world}$ utilizando su profundidad $z$, las intrínsecas de la cámara y la pose de la cámara al mundo $T_k$.
• Esto resulta en un conjunto de parches elevados $P = \{(p_i, f_i, t_i)\}$, donde $p_i$ es la coordenada 3D en el mundo, $f_i$ es la característica y $t_i$ es el índice temporal del fotograma de origen.

2. Reproyección Panorámica

Los parches elevados se agregan en un único lienzo panorámico ecuirrectangular definido por un origen elegido $c$ y una orientación $R$.

• Posicionamiento Continuo: A diferencia de los métodos de rasterización que promedian o seleccionan parches superpuestos, OneCanvas coloca cada parche en su posición angular continua (longitud $\theta$ y latitud $\phi$) en el lienzo. Los parches co-localizados permanecen como tokens distintos.
• Codificación de Posición: Se utiliza el 3D Rotary Position Embedding (3D-RoPE) nativo del VLM, donde las dimensiones espaciales corresponden a la longitud y latitud continuas, y la dimensión temporal corresponde al índice del fotograma de origen.
• Codificación de Posición 3D: Para restaurar la profundidad métrica perdida al colapsar las coordenadas 3D a las posiciones angulares del lienzo, se añade una codificación de posición 3D a la característica de cada parche. Esta codificación de posición codifica el desplazamiento métrico $(q_x, q_y, q_z)$ en el marco del lienzo utilizando codificaciones sinusoidales para los ejes, primitivas radiales y direcciones de rayos unitarios. Esto permite que el VLM acceda a la información de escala métrica a través de su mecanismo de atención estándar.

3. Entrenamiento en Dos Etapas

El método emplea un flujo de trabajo de entrenamiento de dos etapas para superar la dificultad de aprender la geometría únicamente a partir de la QA (pregunta-respuesta) descendente:

• Etapa 1: Currículo de Preentrenamiento Espacial: El modelo se entrena en un currículo generado procedimentalmente donde las características de los objetos (extraídas de imágenes reales) se colocan en un lienzo de otro modo vacío en coordenadas 3D específicas. Las tareas incluyen medición métrica, dirección egocéntrica, navegación, observabilidad, conteo y lectura de cajas delimitadoras (bounding-box). Esta etapa obliga al modelo a aprender razonamiento geométrico sin depender de sesgos previos de la clase o de atajos de identidad de clase.
• Etapa 2: Adaptación al Objetivo: Los pesos de la Etapa 1 se fusionan en el modelo base. Se entrena un nuevo adaptador LoRA de bajo rango en conjuntos de datos de QA espacial descendentes (SQA3D, VSI-Bench, ViCA) para adaptar las habilidades de razonamiento geométrico a las distribuciones de escenas del mundo real.

Contribuciones Clave

1. Reproyección de Características Panorámicas: Un mecanismo que agrega características de parches de todas las vistas en un único lienzo ecuirrectangular. Esto iguala el formato de entrada de los VLM preentrenados, no requiere modificaciones arquitectónicas y soporta orígenes de lienzo flexibles para el razonamiento situado.
2. Currículo de Preentrenamiento Espacial: Una estrategia de entrenamiento novedosa habilitada por la representación panorámica. Al colocar procedimentalmente las características de los parches en un lienzo vacío, los autores generan supervisión al vuelo para diversas tareas espaciales con distribuciones de respuesta controladas, suprimiendo eficazmente los atajos de estadísticas de los conjuntos de datos.

Resultados

OneCanvas logra un rendimiento de vanguardia en los principales benchmarks de razonamiento espacial 3D mientras utiliza significativamente menos cómputo de entrenamiento que los métodos competidores:

• SQA3D: Logra 65.3 EM@1 (2.3 puntos por encima del mejor anterior), con ganancias significativas en los tipos de preguntas "Which" (Cuál) y "Can" (Puede) que ponen a prueba el razonamiento situado.
• VSI-Bench: Logra una precisión promedio de 70.1, liderando en planificación de rutas y estimación del tamaño de la habitación.
• SPBench: Logra 72.1 de precisión general zero-shot (4.8 puntos por encima del siguiente mejor), demostrando una fuerte generalización a datos fuera de la distribución.
• Eficiencia: El método utiliza un orden de magnitud menos de cómputo de entrenamiento (aprox. 290 horas-GPU equivalentes a A100) en comparación con los métodos competidores más fuertes (por ejemplo, SenseNova-SI con ~27,648 horas-GPU equivalentes a A100).

Los estudios de ablación confirman que tanto la reproyección panorámica como el currículo de preentrenamiento espacial son críticos, particularmente para tareas que requieren razonamiento métrico y navegación de múltiples pasos.

Significado y Limitaciones

El artículo afirma que OneCanvas demuestra que se puede lograr una comprensión de escena 3D de alta calidad sin codificadores de geometría complejos o conjuntos de datos curados masivos, siempre que la representación de entrada esté estructurada para alinearse con las capacidades preentrenadas del VLM. Al unificar los datos multivista en un único sistema de coordenadas espaciales e inyectar explícitamente codificaciones de posición métrica, el método permite al VLM razonar sobre el espacio 3D utilizando sus mecanismos de atención nativos.

Limitaciones:

• Dependencia de Profundidad y Pose: El método requiere profundidad métrica y poses de cámara, algo que los métodos puramente RGB evitan. Aunque la reconstrucción de alimentación directa (feed-forward) puede estimar estos valores, los errores pueden degradar el lienzo.
• Compromiso del Panorama Global: Representar la escena como un único panorama global intercambia la precisión espacial fina por la compacidad, lo que potencialmente limita el rendimiento en escenas muy grandes o exteriores.
• Diseño del Currículo: El currículo de preentrenamiento es diseñado manualmente; introducir habilidades espaciales cualitativamente nuevas requiere escribir nuevos generadores de tareas en lugar de simplemente recolectar más datos.
• Requisitos del Backbone: El método asume un backbone con al menos codificación de posición 2D (por ejemplo, RoPE de múltiples ejes) para portar longitud y latitud, lo cual puede no cumplirse en modelos de posición 1D.