💻 computer science

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

O Qwen-3D é um novo Modelo Multimodal Grande consciente de geometria que aproveita Embeddings Posicionais Rotativos 3D e um decodificador de segmentação baseado em consultas para unificar o raciocínio espacial, o aterramento referencial e a segmentação de instâncias através de imagens e vídeos, preenchendo efetivamente a lacuna entre a linguagem e as previsões geométricas 3D densas ao superar modelos especialistas e proprietários existentes.

Autores originais: Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

Publicado 2026-08-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a enxergar o mundo. Por muito tempo, esses robôs eram como turistas com uma câmera: eles podiam tirar uma foto de uma sala e dizer a você: "Isso é uma cadeira" ou "Há três pessoas". Isso funciona muito bem para fotos planas ou clipes de vídeo curtos. Mas se você pedir ao robô para caminhar por uma casa inteira, olhar para a mesma cadeira a partir da cozinha, do corredor e do quarto, e depois lhe dizer exatamente onde a cadeira está no espaço 3D, as coisas ficam complicadas. O robô fica confuso porque está tentando costurar milhares de fotos 2D separadas, o que é como tentar construir uma casa colando milhares de cartões-postais planos. É lento, consome muita capacidade cerebral e muitas vezes perde o rastro de onde as coisas realmente estão no mundo real.

Este é o desafio dos "Modelos de Visão-Linguagem 3D". Cientistas querem construir uma IA que não apenas reconheça objetos, mas entenda sua forma, localização e relação com tudo o mais em um ambiente 3D, tudo isso enquanto ouve instruções humanas. A grande questão é: como podemos criar uma IA que possa olhar para uma sala de todos os ângulos, lembrar o layout e apontar para o objeto correto sem se perder em um mar de dados? Se conseguirmos resolver isso, os robôs poderão finalmente navegar em nossas casas, nos ajudar a encontrar chaves perdidas ou até mesmo auxiliar em tarefas complexas de construção, indo além de apenas "ver" para verdadeiramente "compreender" o espaço ao redor deles.

Apresentamos o Qwen-3D, um novo tipo de IA desenvolvido por pesquisadores da Carnegie Mellon University que atua como um mestre arquiteto para esses mundos digitais. Em vez de tratar cada quadro de vídeo como uma imagem plana e separada, o Qwen-3D faz algo inteligente: ele pega todas essas diferentes visões e as "derrete" em um único mapa 3D persistente. Imagine se você pudesse pegar várias fotos de uma escultura de diferentes ângulos e instantaneamente fundi-las em uma estátua sólida e rotativa em sua mente. É isso que este modelo faz com os dados visuais. Ele usa informações de profundidade (o quão longe as coisas estão) e posições de câmera para comprimir um fluxo de vídeo longo e sinuoso em uma representação 3D compacta. Isso permite que a IA raciocine sobre a cena como um todo, em vez de ficar presa olhando para um quadro de cada vez.

O artigo argumenta que as tentativas anteriores de ensinar habilidades 3D à IA tinham um gargalo importante. Modelos antigos tentavam descrever localizações 3D escrevendo-as como texto (como "a cadeira está nas coordenadas 1.2, 0.8, 0.9") ou escolhendo de uma lista pré-fabricada de possíveis objetos. Os autores sugerem que esses métodos são como tentar descrever uma pintura complexa usando apenas um conjunto limitado de emojis ou adivinhando qual adesivo pré-impresso se encaixa melhor. É uma forma estranha e ineficiente de se comunicar. O Qwen-3D resolve isso conectando o "cérebro" da IA (seu raciocínio de linguagem) diretamente a uma "mão" (um decodificador de segmentação) que pode apontar para partes específicas da cena 3D. Em vez de adivinhar coordenadas, ele aprende a destacar a forma exata do objeto sobre o qual o usuário está falando, seja um travesseiro em uma cama ou um semáforo em uma cena de rua.

Os resultados são bastante impressionantes. Quando testado em uma variedade de benchmarks, o Qwen-3D superou os modelos de IA 3D existentes e até venceu vários modelos 2D proprietários de grande escala na compreensão de espaços 3D. Especificamente, os pesquisadores descobriram que o Qwen-3D melhorou o posicionamento visual 3D (encontrar objetos com base em descrições) em 4% e impulsionou a segmentação de instâncias 3D (separar objetos individuais de uma cena) em 13% em comparação com os melhores métodos anteriores. Notavelmente, ele fez tudo isso sem perder sua capacidade de entender imagens e vídeos 2D padrão, provando que você pode ensinar um modelo a ver em 3D sem fazê-lo esquecer como ver em 2D.

No entanto, os autores fazem questão de notar que isso ainda não é uma solução mágica para todas as situações. O modelo atualmente assume que o mundo é majoritariamente estático; ele tem dificuldades com ambientes dinâmicos onde objetos estão se movendo ou mudando de forma rapidamente, como uma rua movimentada com carros passando em alta velocidade. Ele também depende de ferramentas externas para estimar profundidade e posições de câmera, o que significa que, se essas medições iniciais estiverem erradas, a compreensão da IA pode estar ligeiramente incorreta. Embora represente um passo significativo para diminuir a lacuna entre a linguagem e a percepção 3D, os pesquisadores sugerem que trabalhos futuros precisarão enfrentar esses alvos móveis e talvez até aprender a estimar a geometria por conta própria. Por enquanto, o Qwen-3D é uma nova ferramenta poderosa que sugere que a chave para uma melhor IA 3D não é apenas melhores dados, mas uma maneira mais inteligente de conectar o que a IA vê com a forma como ela fala.

Resumo Técnico: Qwen-3D

1. Definição do Problema

Os atuais Grandes Modelos Multimodais (LMMs) destacam-se no processamento de imagens e clipes de vídeo curtos, mas têm dificuldade com fluxos de vídeo de múltiplas vistas e longa duração. Esta limitação decorre do custo computacional quadrático dos mecanismos de atenção sobre a tokenização centrada em quadros e das janelas de contexto restritas, que dificultam o raciocínio espaço-temporal de longo alcance. Embora a geometria 3D (profundidade e poses de câmera) ofereça um mecanismo natural para comprimir fluxos visuais em representações persistentes e alinhadas ao mundo, os LMMs 3D existentes falham em igualar os sistemas especialistas de percepção 3D em tarefas de fundamentação (grounding) e segmentação.

Os autores identificam um gargalo fundamental nas abordagens atuais: a decodificação consciente da geometria. Os métodos atuais tipicamente comunicam previsões 3D através de tokens de linguagem (geração autorregressiva), seleção de propostas ou consultas de fundamentação leves. Estas interfaces criam um severo gargalo de informação entre as representações visuais de alta capacidade do backbone e as previsões geométricas densas necessárias para uma fundamentação 3D precisa. Consequentemente, embora os modelos existentes melhorem o raciocínio espacial de alto nível, eles permanecem significativamente mais fracos do que os sistemas especialistas em tarefas de percepção central, como detecção de objetos e segmentação.

2. Metodologia

Qwen-3D é um Modelo de Visão-Linguagem 3D consciente da geometria, construído sobre o backbone Qwen2.5-VL. Ele aborda os gargalos identificados através de três inovações arquiteturais primárias:

A. Representação de Cena Consciente da Geometria

Em vez de processar tokens de nível de quadro, o Qwen-3D projeta características visuais de múltiplas vistas em um sistema de coordenadas de mundo 3D compartilhado.

Processo: Utilizando o codificador de visão Qwen2.5-VL, as características da imagem são extraídas e projetadas inversamente para coordenadas de espaço de mundo $(x, y, z)$ usando intrínsecos e poses de câmera.
Compressão: Para lidar com a redundância entre as vistas, o modelo aplica fusão de tokens baseada em voxels (tamanho de voxel de 5 cm). As características e coordenadas dentro dos voxels ocupados sofrem média (mean-pooling), resultando em um conjunto compacto e não ordenado de tokens alinhados geometricamente. Isso permite um raciocínio eficiente sobre sequências de múltiplas vistas de longa duração, preservando a consistência espacial.

B. Atenção Visão-Linguagem Consciente da Geometria

O Qwen-3D modifica o mecanismo de atenção para operar diretamente no espaço de mundo 3D, em vez de operar em planos de imagem 2D.

Embeddings de Posição Rotativos 3D (3D RoPE): O modelo adapta o Multimodal RoPE do Qwen para codificar coordenadas espaciais 3D $(x, y, z)$ juntamente com posições temporais. Isso permite que o mecanismo de atenção raciocine sobre relações espaciais através de diferentes vistas e passos de tempo dentro de um sistema de coordenadas unificado.
Mascaramento de Atenção: Ao contrário do mascaramento causal autorregressivo padrão usado para texto, o modelo emprega atenção total sobre os tokens visuais (visto que nuvens de pontos são invariantes à permutação), melhorando o desempenho 3D sem degradar as capacidades originais do backbone.

C. Decodificação Consciente da Geometria

Para eliminar o gargalo de informação da decodificação baseada em texto ou consultas, o Qwen-3D introduz uma arquitetura unificada onde o modelo de linguagem e o decodificador de fundamentação compartilham representações visuais densas.

Arquitetura: Os tokens de visão-linguagem contextualizados do backbone são alimentados diretamente em um decodificador de segmentação estilo Mask2Former.
Mecanismo: Consultas de objetos aprendíveis realizam atenção cruzada tanto com os tokens visuais quanto com os de linguagem. Isso permite que as consultas raciocinem conjuntamente sobre a geometria da cena e o contexto linguístico, mantendo o acesso à representação visual completa.
Saídas: O decodificador prevê máscaras de segmentação (para fundamentação 2D/3D) e pontuações de fundamentação de linguagem simultaneamente. Para perguntas e respostas (QA), o cabeçalho de linguagem original realiza a previsão do próximo token na representação cena-linguagem contextualizada.

D. Treinamento Conjunto 2D-3D

O modelo é treinado conjuntamente em conjuntos de dados 2D e 3D para preservar as capacidades multimodais gerais enquanto aprende o raciocínio 3D.

Estratégia: Dados 2D são ocasionalmente "elevados" para 3D usando modelos de reconstrução (ex: MoGE) para melhorar o alinhamento.
Funções de Perda (Loss Functions): O objetivo de treinamento combina três perdas: (1) Perda de Máscara (BCE + Dice) para segmentação, (2) Perda de fundamentação de span de texto para fundamentação referencial, e (3) Perda de geração de texto para VQA e legendagem.

3. Principais Contribuições

Um Backbone de VLM Consciente da Geometria: Integra estrutura de múltiplas vistas com Embeddings de Posição Rotativos 3D e compressão de tokens baseada em geometria para permitir o raciocínio de longo horizonte de forma eficiente.
Arquitetura de Fundamentação 3D Unificada: Introduz um decodificador de segmentação baseado em consultas que fundamenta a linguagem diretamente no espaço de mundo, compartilhando representações de tokens visuais completos com o backbone para contornar o gargalo do "token especial".
Estrutura de Treinamento de Propósito Geral: Uma estratégia de treinamento conjunto 2D-3D que mantém fortes capacidades de visão-linguagem 2D enquanto melhora significativamente o raciocínio e a fundamentação espacial 3D.
Desempenho de Estado da Arte: Demonstra desempenho superior em benchmarks 3D enquanto retém um forte desempenho multimodal 2D.

4. Resultados Experimentais

O Qwen-3D foi avaliado em um conjunto diversificado de benchmarks, incluindo fundamentação referencial 3D, segmentação de instância e perguntas visuais (VQA).

Fundamentação Referencial 3D (ScanRefer): O Qwen-3D (7B) alcança 62.8% Acc@25, superando o estado da arte anterior de LMM de estágio único (LLaVA-3D) em 12% e o Video-3D-LLM de dois estágios em 4%. Ele se aproxima do desempenho de modelos especialistas como o UniVLG.
Generalização Fora de Domínio (Locate-3D/ScanNet++): No benchmark Locate-3D fora de domínio, o Qwen-3D supera significativamente tanto o UniVLG quanto o Video-3D-LLM, alcançando 55.7% Acc@25 comparado aos 33.2% do Video-3D-LLM.
Segmentação de Instância 3D (ScanNet200): O modelo melhora a precisão de segmentação de instância 3D em 13% mAP sobre o melhor LMM de estágio único anterior (Grounded-3D-LLM), aproximando-se do desempenho de modelos especialistas induzidos por linguagem.
Perguntas e Respostas Visuais 3D (VQA): A variante 7B supera todos os baselines no ScanQA e SQA3D, enquanto a variante 3B supera o modelo especialista UniVLG.
Retenção de Capacidade 2D: Apesar do ajuste fino (fine-tuning) 3D, o Qwen-3D mantém um forte desempenho em benchmarks de fundamentação 2D (família RefCOCO) e RealWorldQA, demonstrando que o raciocínio consciente da geometria pode ser adicionado sem sacrificar as capacidades multimodais gerais.

5. Significância e Alegações

O artigo afirma que o Qwen-3D estabelece um novo estado da arte para LMMs 3D de propósito geral, estreitando efetivamente a lacuna de desempenho entre modelos generalistas e sistemas especialistas de percepção 3D.

Os autores argumentam que a principal limitação dos LMMs 3D anteriores não era a falta de consciência 3D no backbone, mas sim a interface de decodificação. Ao se afastar da decodificação de geração de texto ou seleção de propostas e, em vez disso, acoplar diretamente as representações visuais densas do backbone a um decodificador de segmentação, o Qwen-3D permite uma fundamentação 2D e 3D de alta qualidade.

O artigo conclui que, embora as representações conscientes da geometria sejam necessárias, elas não são suficientes por si só; mecanismos de decodificação igualmente fortes e conscientes da geometria são necessários para fechar a lacuna entre o raciocínio de linguagem e a previsão geométrica densa. Esta abordagem fornece uma base para futuros modelos multimodais capazes de raciocínio contínuo através de imagens, vídeos e ambientes 3D.

Limitações observadas pelos autores:

O modelo atual assume um sistema de coordenadas amplamente estático, tendo dificuldades com ambientes dinâmicos envolvendo movimento não rígido ou mudanças de topologia.
Ele depende de mapas de profundidade e poses de câmera estimados externamente; erros na reconstrução geométrica acabam limitando o desempenho da fundamentação subsequente.
A maioria das tarefas envolve um único passo de fundamentação, enquanto aplicações incorporadas (embodied) complexas podem exigir raciocínio composicional sobre múltiplas entidades.