💻 computer science

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

Qwen-3D es un novedoso Modelo Multimodal Grande con conciencia geométrica que aprovecha los Embeddings Posicionales Rotatorios 3D y un decodificador de segmentación basado en consultas para unificar el razonamiento espacial, la localización referencial y la segmentación de instancias a través de imágenes y videos, cerrando eficazmente la brecha entre el lenguaje y las predicciones geométricas 3D densas al tiempo que supera a los modelos especialistas y propietarios existentes.

Autores originales: Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

Publicado 2026-08-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo ver el mundo. Durante mucho tiempo, estos robots eran como turistas con una cámara: podían tomar una foto de una habitación y decirte: "Eso es una silla" o "Hay tres personas". Esto funciona de maravilla para fotos planas o clips de video cortos. Pero si le pides al robot que recorra toda una casa, que mire la misma silla desde la cocina, el pasillo y el dormitorio, y luego te diga exactamente dónde está la silla en un espacio k 3D, la situación se vuelve complicada. El robot se confunde porque está tratando de unir miles de imágenes 2D separadas, lo cual es como intentar construir una casa pegando miles de postales planas. Es lento, consume mucha capacidad cerebral y, a menudo, pierde la noción de dónde están las cosas realmente en el mundo real.

Este es el desafío de los "Modelos de Visión-Lenguaje 3D". Los científicos quieren construir una IA que no solo reconozca objetos, sino que comprenda su forma, ubicación y relación con todo lo demás en un entorno 3D, todo esto mientras escucha instrucciones humanas. La gran pregunta es: ¿cómo podemos crear una IA que pueda mirar una habitación desde todos los ángulos, recordar la distribución y señalar el objeto correcto sin perderse en un mar de datos? Si podemos resolver esto, los robots finalmente podrían navegar por nuestros hogares, ayudarnos a encontrar llaves perdidas o incluso asistir en tareas compleas de construcción, pasando de simplemente "ver" a "comprender" verdaderamente el espacio que los rodea.

Aquí entra Qwen-3D, un nuevo tipo de IA desarrollada por investigadores de la Universidad Carnegie Mellon que actúa como un maestro arquitecto para estos mundos digitales. En lugar de tratar cada fotograma de video como una imagen plana y separada, Qwen-3D hace algo ingenioso: toma todas esas vistas diferentes y las "funde" en un único mapa 3D persistente. Imagina que pudieras tomar varias fotos de una escultura desde diferentes ángulos y fusionarlas instantáneamente en una estatua sólida y giratoria en tu mente. Eso es lo que este modelo hace con los datos visuales. Utiliza la información de profundidad (qué tan lejos están las cosas) y las posiciones de la cámara para comprimir un flujo de video largo y sinuoso en una representación 3D compacta. Esto permite que la IA razone sobre la escena como un todo, en lugar de quedarse estancada mirando un fotograma a la vez.

El artículo argumenta que los intentos previos de enseñar habilidades 3D a la IA tenían un cuello de botella importante. Los modelos antiguos intentaban describir ubicaciones 3D escribiéndolas como texto (como "la silla está en las coordenadas 1.2, 0.8, 0.9") o eligiendo de una lista predeterminada de posibles objetos. Los autores sugieren que estos métodos son como intentar describir una pintura compleja usando solo un conjunto limitado de emojis o adivinando qué calcomanía preimpresa encaja mejor. Es una forma torpe e ineficiente de comunicarse. Qwen-3D soluciona esto conectando el "cerebro" de la IA (su razonamiento lingüístico) directamente con una "mano" (un decodificador de segmentación) que puede señalar partes específicas de la escena 3D. En lugar de adivinar coordenadas, aprende a resaltar la forma exacta del objeto del que el usuario está hablando, ya sea un cojín en una cama o un semáforo en una escena callejera.

Los resultados son bastante impresionantes. Al ser probado en una variedad de pruebas de rendimiento, Qwen-3D superó a los modelos de IA 3D existentes e incluso venció a varios modelos 2D de gran escala y propiedad privada en la comprensión de espacios 3D. Específicamente, los investigadores encontraron que Qwen-3D mejoró la localización visual 3D (encontrar objetos basados en descripciones) en un 4% y aumentó la segmentación de instancias 3D (separar objetos individuales de una escena) en un 13% en comparación con los mejores métodos anteriores. Sorprendentemente, hizo todo esto sin perder su capacidad de comprender imágenes y videos 2D estándar, demostando que puedes enseñar a un modelo a ver en 3D sin hacer que olvide cómo ver en 2D.

Sin embargo, los autores advierten cuidadosamente que esto aún no es una solución mágica para todas las situaciones. El modelo actualmente asume que el mundo es mayormente estático; tiene dificultades con entornos dinámicos donde los objetos se mueven o cambian de forma rápidamente, como una calle concurrida con coches pasando a toda velocidad. También depende de herramientas externas para estimar la profundidad y las posiciones de la cámara, lo que significa que si esas mediciones iniciales son erróneas, la comprensión de la IA podría ser ligeramente inexacta. Si bien representa un paso significativo hacia el cierre de la brecha entre el lenguaje y la percepción 3D, los investigadores sugieren que el trabajo futuro deberá abordar estos objetivos móviles y quizás incluso aprender a estimar la geometría por sí mismo. Por ahora, Qwen-3D es una nueva y poderosa herramienta que sugiere que la clave para una mejor IA 3D no es solo tener mejores datos, sino una forma más inteligente de conectar lo que la IA ve con cómo habla.

Resumen Técnico: Qwen-3D

1. Planteamiento del Problema

Los modelos multimodales de gran escala (LMM) actuales sobresalen en el procesamiento de imágenes y clips de video cortos, pero tienen dificultades con flujos de video de múltiples vistas y larga duración. Esta limitación surge del costo computacional cuadrático de los mecanismos de atención sobre la tokenización centrada en fotogramas y las ventanas de contexto restringidas, lo que impide el razonamiento espacio-temporal de largo alcance. Si bien la geometría 3D (profundidad y poses de cámara) ofrece un mecanismo natural para comprimir flujos visuales en representaciones persistentes y alineadas con el mundo, los LMM 3D existentes no logran igualar a los sistemas especialistas en percepción 3D en tareas de localización (grounding) y segmentación.

Los autores identifican un cuello de botella fundamental en los enfoques actuales: la decodificación consciente de la geometría. Los métodos actuales suelen comunicar las predicciones 3D a través de tokens de lenguaje (generación autorregresiva), selección de propuestas o consultas de localización ligeras. Estas interfaces crean un severo cuello de botella de información entre las representaciones visuales de alta capacidad del backbone y las densas predicciones geométricas requeridas para una localización 3D precisa. En consecuencia, aunque los modelos existentes mejoran el razonamiento espacial de alto nivel, siguen siendo significativamente más débiles que los sistemas especialistas en tareas de percepción central como la detección y segmentación de objetos.

2. Metodología

Qwen-3D es un modelo de visión-lenguaje 3D consciente de la geometría construido sobre el backbone Qwen2.5-VL. Aborda los cuellos de botella identificados mediante tres innovaciones arquitectónicas primarias:

A. Representación de Escena Consciente de la Geometría

En lugar de procesar tokens a nivel de fotograma, Qwen-3D proyecta las características visuales de múltiples vistas en un sistema de coordenadas de mundo 3D compartido.

Proceso: Utilizando el codificador de visión Qwen2.5-VL, se extraen las características de la imagen y se desproyectan en coordenadas del espacio del mundo $(x, y, z)$ usando las intrínsecas y poses de la cámara.
Compresión: Para manejar la redundancia entre vistas, el modelo aplica una fusión de tokens basada en vóxeles (tamaño de vóxel de 5 cm). Las características y coordenadas dentro de los vóxeles ocupados se someten a un promedio (mean-pooling), lo que resulta en un conjunto compacto y desordenado de tokens alineados geométricamente. Esto permite un razonamiento eficiente sobre secuencias de múltiples vistas de larga duración mientras se preserva la consistencia espacial.

B. Atención Visión-Lenguaje Consciente de la Geometría

Qwen-3D modifica el mecanismo de atención para que opere directamente en el espacio del mundo 3D en lugar de en planos de imagen 2D.

Embeddings Posicionales Rotatorios 3D (3D RoPE): El modelo adapta el Multimodal RoPE de Qwen para codificar coordenadas espaciales 3D $(x, y, z)$ junto con posiciones temporales. Esto permite que el mecanismo de atención razone sobre las relaciones espaciales a través de diferentes vistas y pasos de tiempo dentro de un sistema de coordenadas unificado.
Enmascaramiento de Atención: A diferencia del enmascaramiento causal autorregresivo estándar utilizado para el texto, el modelo emplea atención completa sobre los tokens visuales (dado que las nubes de puntos son invariantes a la permutación), mejorando el rendimiento 3D sin degradar las capacidades originales del backbone.

C. Decodificación Consciente de la Geometría

Para eliminar el cuello de botella de información de la decodificación basada en texto o consultas, Qwen-3D introduce una arquitectura unificada donde el modelo de lenguaje y el decodificador de localización comparten representaciones visuales densas.

Arquitectura: Los tokens de visión-lenguaje contextualizados del backbone se alimentan directamente en un decodificador de segmentación de estilo Mask2Former.
Mecanismo: Las consultas de objeto aprendibles realizan atención cruzada tanto con los tokens visuales como con los de lenguaje. Esto permite que las consultas razonen conjuntamente sobre la geometría de la escena y el contexto lingüístico, manteniendo el acceso a la representación visual completa.
Salidas: El decodificador predice máscaras de segmentación (para localización 2D/3D) y puntuaciones de localización de lenguaje simultáneamente. Para la respuesta a preguntas, el cabezal de lenguaje original realiza la predicción del siguiente token sobre la representación escena-lenguaje contextualizada.

D. Entrenamiento Conjunto 2D-3D

El modelo se entrena conjuntamente en conjuntos de datos 2D y 3D para preservar las capacidades multimodales generales mientras aprende el razonamiento 3D.

Estrategia: Los datos 2D se elevan ocasionalmente a 3D utilizando modelos de reconstrucción (por ejemplo, MoGE) para mejorar la alineación.
Funciones de Pérdida: El objetivo de entrenamiento combina tres pérdidas: (1) Pérdida de Máscara (BCE + Dice) para segmentación, (2) Pérdida de localización de fragmentos de texto para la localización referencial, y (3) Pérdida de generación de texto para VQA y descripción de imágenes (captioning).

3. Contribuciones Clave

Un Backbone VLM Consciente de la Geometría: Integra la estructura de múltiples vistas con Embeddings Posicionales Rotatorios 3D y compresión de tokens basada en la geometría para permitir un razonamiento de largo horizonte eficiente.
Arquitectura de Localización 3D Unificada: Introduce un decodificador de segmentación basado en consultas que localiza el lenguaje directamente en el espacio del mundo, compartiendo representaciones completas de tokens visuales con el backbone para evitar el cuello de botella del "token especial".
Marco de Entrenamiento de Propósito General: Una estrategia de entrenamiento conjunta 2D-3D que mantiene las fuertes capacidades de visión-lenguaje 2D mientras mejora significativamente el razonamiento y la localización espacial 3D.
Rendimiento de Vanguardia (SOTA): Demuestra un rendimiento superior en benchmarks 3D mientras mantiene un fuerte rendimiento multimodal 2D.

4. Resultados Experimentales

Qwen-3D fue evaluado en un conjunto diverso de benchmarks, incluyendo localización referencial 3D, segmentación de instancias y respuesta visual a preguntas (VQA).

Localización Referencial 3D (ScanRefer): Qwen-3D (7B) logra un 62.8% Acc@25, superando al anterior estado del arte de un solo paso en LMM (LLaVA-3D) por un 12% y al de dos etapas Video-3D-LLM por un 4%. Se acerca estrechamente al rendimiento de los modelos expertos especialistas como UniVLG.
Generalización Fuera de Dominio (Locate-3D/ScanNet++): En el benchmark fuera de dominio Locate-3D, Qwen-3D supera significativamente tanto a UniVLG como a Video-3D-LLM, logrando un 55.7% Acc@25 frente al 33.2% de Video-3D-LLM.
Segmentación de Instancias 3D (ScanNet200): El modelo mejora la precisión de la segmentación de instancias 3D en un 13% mAP sobre el mejor LMM de un solo paso anterior (Grounded-3D-LLM), acercándose al rendimiento de los modelos especialistas inducidos por lenguaje.
Respuesta Visual a Preguntas 3D (VQA): La variante de 7B supera a todos los baselines en ScanQA y SQA3D, mientras que la variante de 3B supera al modelo especialista UniVLG.
Retención de Capacidad 2D: A pesar del ajuste fino 3D, Qwen-3D mantiene un fuerte rendimiento en benchmarks de localización 2D (familia RefCOCO) y RealWorldQA, demostrando que el razonamiento consciente de la geometría puede añadirse sin sacrificar las capacidades multimodales generales.

5. Significado y Reivindicaciones

El artículo afirma que Qwen-3D establece un nuevo estado del arte para los LMM 3D de propósito general, reduciendo efectivamente la brecha de rendimiento entre los modelos generalistas y los sistemas especialistas en percepción 3D.

Los autores argumentan que la limitación principal de los LMM 3D anteriores no era la falta de conciencia 3D en el backbone, sino la interfaz de decodificación. Al alejarse de la decodificación basada en la generación de texto o la selección de propuestas y, en su lugar, acoplar directamente las representaciones visuales densas del backbone con un decodificador de segmentación, Qwen-3D permite una localización 2D y 3D de alta calidad.

El artículo concluye que, si bien las representaciones conscientes de la geometría son necesarias, no son suficientes por sí solas; se requieren mecanismos de decodificación igualmente fuertes y conscientes de la geometría para cerrar la brecha entre el razonamiento lingüístico y la predicción geométrica densa. Este enfoque proporciona una base para futuros modelos multimodales capaces de un razonamiento fluido a través de imágenes, videos y entornos 3D.

Limitaciones señaladas por los autores:

El modelo actual asume un sistema de coordenadas mayormente estático, teniendo dificultades con entornos dinámicos que involucran movimiento no rígido o cambios de topología.
Depende de mapas de profundidad y poses de cámara estimados externamente; los errores en la reconstrucción geométrica limitan en última instancia el rendimiento de la localización.
La mayoría de las tareas involucran un solo paso de localización, mientras que las aplicaciones corporales (embodied) complejas pueden requerir un razonamiento compositivo sobre múltiples entidades.