Resumo Técnico: Modelagem de Visão-Linguagem Espacial 3D Fundamentada (GR3D)

Declaração do Problema

Os Modelos de Visão-Linguagem (VLMs) evoluíram para sistemas de percepção de propósito geral, mas frequentemente carecem de fundamentação espacial confiável, o que é crítico para a inteligência incorporada (por exemplo, navegação, manipulação). Embora avanços recentes tenham melhorado a compreensão espacial 2D e a percepção 3D, dois desafios específicos permanecem subatendidos:

1. Escassez de Fundamentação 2D Implícita: A maioria dos sistemas suporta fundamentação explícita "aponte para X", mas carece de mecanismos para detectar automaticamente entidades mencionadas em texto livre e integrar suas evidências visuais correspondentes durante a geração. A construção de supervisão para isso é difícil, pois exige alinhar menções textuais a regiões visuais latentes e intercalar informações de região no fluxo de linguagem.
2. Fundamentação 3D Monocular Mal Posicionada: Inferir estrutura 3D a partir de uma única visão é inerentemente ambíguo devido à escala entrelaçada do objeto, profundidade e intrínsecas da câmera. Abordagens existentes frequentemente contornam a etapa intermediária de identificar qual instância o texto se refere antes de estimar a extensão 3D, ou dependem de supervisão multivista ou de anotações escassas de caixas 3D.

Metodologia

Os autores introduzem o GR3D, um VLM espacial que integra três capacidades de fundamentação complementares dentro de um framework unificado: fundamentação 2D explícita, fundamentação 2D implícita e fundamentação 3D monoculares.

1. VLM Espacial Fundamental

O GR3D é construído sobre a arquitetura NVILA-8B-Lite.

• Configuração de Visão Única: O codificador visual extrai tokens densos aumentados com embeddings posicionais 2D (coordenadas de pixel) e pistas de profundidade relativa. Esses tokens mantêm o arranjo espacial e são passados por um projetor multimodal.
• Extensão Multivista: O framework se estende a entradas multivista ao embutir todos os tokens de imagem com pistas posicionais baseadas em profundidade e pixel em um espaço de características espaciais unificado, transformando visões subsequentes no sistema de coordenadas do primeiro quadro.
• Design de Prompt de Região: Regiões específicas da imagem podem ser codificadas como tokens de consulta individuais agrupando características dentro de uma caixa delimitadora, permitindo que módulos a jusante referenciem conteúdo localizado.

2. Mecanismos de Fundamentação

Fundamentação 2D Explícita:
O modelo prevê caixas delimitadoras 2D diretamente em um formato textual estruturado estilo HTML (por exemplo, <bbox>[x1, y1, x2, y2]</bbox>) usando o cabeçalho de geração de linguagem padrão, sem ramos de detecção adicionais.

Fundamentação 2D Implícita (Inserção de Região em Streaming):
Este mecanismo permite que o modelo associe menções linguísticas a evidências visuais durante a geração.

• Processo: À medida que o modelo gera uma resposta de Cadeia de Pensamento (CoT), quando uma entidade é mencionada, ele primeiro prevê as coordenadas da caixa delimitadora 2D.
• Inserção: A região de imagem correspondente é codificada em um token de região, que é imediatamente inserido no fluxo de texto.
• Inferência: A geração continua condicionada tanto ao contexto textual quanto ao token de região inserido dinamicamente. Isso permite que o raciocínio evolua sobre evidências visuais fundamentadas sem uma fase de detecção separada.

Fundamentação 3D Monocular via Prompt de Região:
Esta extensão leva a fundamentação 2D para 3D, tratando uma região 2D fundamentada como uma consulta para inferência 3D.

• Formulação de Prompt de Região: O modelo mapeia uma região fundamentada para sua representação 3D (centro, tamanho, orientação) diretamente, evitando localização explícita em múltiplos passos.
• Representação de Caixa 3D: As caixas são parametrizadas pelo centro $(x_c, y_c, z_c)$, tamanho $(w, h, l)$ e ângulos de Euler normalizados. As orientações são padronizadas para minimizar o desvio angular entre os eixos PCA locais e os eixos globais.
• Normalização Intrínseca: Para mitigar a ambiguidade de escala/profundidade, as imagens são redimensionadas com base na distância focal ($W' = \frac{1000}{f_x} \cdot W$), garantindo um campo de visão consistente entre conjuntos de dados sem regredir explicitamente as intrínsecas.
• Supervisão: O modelo é treinado com:
  • Região $\to$ 3D: Previsão de caixas 3D a partir de prompts de região 2D.
  • Texto $\to$ 3D: Localização de entidades via fundamentação textual e regressão de caixas 3D.
  • Supervisão Densa de Pontos: Uma tarefa auxiliar onde o modelo prevê coordenadas 3D para pontos de superfície amostrados aleatoriamente condicionados a prompts de região, escalando a supervisão além de rótulos esparsos de caixas 3D.

3. Construção de Dados

O pipeline de treinamento utiliza:

• Corpus de Fundamentação Implícita: Derivado do RefSpatial, usando Florence-2 para gerar caixas 2D candidatas para menções textuais, seguido por verificação do VLM e reescrita para garantir alinhamento um-para-um.
• Dados de Treinamento: Composto por 97K amostras de CoT fundamentadas, 780K amostras de detecção 3D (Omni3D, EmbodiedScan) e 272K amostras de reconstrução de mapa de pontos (DepthLM). Nenhum dado proprietário é utilizado.

4. Estratégia de Treinamento

• Estágio 1 (Pré-treinamento Espacial): Inicializa o codificador visual, o projetor e o LLM a partir do NVILA-Lite. O codificador visual é congelado enquanto os módulos espaciais são treinados em uma mistura de dados de fundamentação 2D e de região para 3D.
• Estágio 2 (Ajuste Fino de CoT de Detecção): Ajusta finamente apenas o LLM em dados de detecção orientados a CoT (curados do Omni3D) para aprender a estrutura de raciocínio e o formato de previsão 3D autoregressiva.

Contribuições Principais

1. Framework Unificado: O GR3D é o primeiro a integrar fundamentação 2D explícita, fundamentação 2D implícita (via inserção de região em streaming) e fundamentação 3D monoculares em uma única arquitetura VLM.
2. Mecanismo de Fundamentação Implícita: Introduz uma técnica inovadora de "inserção de região em streaming" que permite que o modelo referencie dinamicamente evidências visuais durante a geração de CoT, alinhando o comportamento do modelo com o raciocínio visual humano (identificar e depois raciocinar).
3. Fundamentação 3D Acionada por Região: Propõe uma formulação que condiciona a inferência 3D a regiões 2D fundamentadas, apoiada por normalização consciente de intrínsecas e supervisão geométrica densa, efetivamente desentrelaçando ambiguidades linguísticas e geométricas.
4. Viés Indutivo para Compreensão Espacial: Demonstra que embutir fundamentação dentro da arquitetura do modelo serve como um viés indutivo eficaz, aprimorando a compreensão espacial geral mesmo além de tarefas específicas de fundamentação.

Resultados

O GR3D alcança melhorias consistentes em benchmarks espaciais fundamentados e não fundamentados:

• Detecção de Objetos 3D (Omni3D): O GR3D-8B supera todos os VLMs recentes (por exemplo, Qwen3-VL-8B) e modelos especialistas em visão (por exemplo, DetAny3D, Cube R-CNN) em múltiplos domínios, particularmente em cenas internas. Alcança um mAP de 25,40 no benchmark Omni3D, superando significativamente o próximo melhor VLM (Qwen3-VL-8B).
• Fundamentação 2D: No benchmark Omni3D, o GR3D excede as propostas de região do Cube R-CNN e do Qwen3-VL. No RefCOCO/RefCOCO+/RefCOCOg, desempenha em paridade com os principais VLMs e modelos especializados em visão.
• Raciocínio Espacial (CVBench, ERQA, SAT): O modelo mostra ganhos significativos em benchmarks de raciocínio espacial, com a fundamentação implícita melhorando a precisão do CoT e a consistência espacial.
• Compreensão em Nível de Ponto (BLINK-Depth): O GR3D supera VLMs de Região anteriores que requerem máscaras anotadas manualmente, alcançando desempenho superior com fundamentação automática.
• Compreensão Multivista (VSI-Bench): Quando estendido para configurações multivista, o GR3D alcança uma pontuação média de 67,6, superando todas as linhas de base state-of-the-art, incluindo o SR-3D.

Significado

O artigo afirma que o GR3D demonstra que a fundamentação é um viés indutivo eficaz para fortalecer a compreensão espacial em VLMs. Ao decompor problemas espaciais complexos em percepção 2D fundamentada seguida de inferência 3D, o modelo aprende a localizar, referenciar e raciocinar sobre a estrutura espacial de maneira unificada. O trabalho destaca que:

1. A fundamentação melhora a compreensão espacial geral mesmo sem tarefas explícitas de localização.
2. A supervisão geométrica densa fornece pistas de estrutura escaláveis.
3. Combinar fundamentação implícita com inferência 3D acionada por região desbloqueia um pipeline versátil que suporta fundamentação 3D de instâncias de referência, detecção em nível de categoria e fundamentação de cena de múltiplos objetos.

Os autores posicionam o GR3D como um framework flexível para agentes incorporados, preenchendo a lacuna entre instruções de alto nível e interação física ao fornecer fundamentação espacial confiável.