Resumo Técnico: OneCanvas: Compreensão de Cenas 3D via Reprojeção Panorâmica

Declaração do Problema

Os Modelos de Linguagem-Visão (VLMs) existentes têm dificuldades com a compreensão de cenas 3D, particularmente em tarefas de raciocínio situado (ex: "Quão longe está a cadeira da porta?" ou "O que é visível a partir deste ponto de vista?"). As abordagens atuais geralmente se dividem em duas categorias, ambas as quais incorrem em custos significativos:

1. Complexidade Arquitetônica: Aumentar VLMs 2D pré-treinados com codificadores de geometria dedicados (ex: tokenizadores de nuvem de pontos, codificadores condicionados por profundidade) ou módulos de fusão complexos. Estes exigem treinamento conjunto em escala para alinhar os novos componentes geométricos com o backbone de linguagem.
2. Escalabilidade de Dados: Depender de conjuntos de dados massivos e curados de pares de pergunta-resposta espaciais para ensinar o raciocínio geométrico através de pura exposição.

Auditorias recentes sugerem que, mesmo com essas adaptações, muitos modelos falham em raciocinar genuinamente sobre entradas geométricas, baseando-se, em vez disso, em regularidades estatísticas de templates de perguntas e classes de cenas. Além disso, esses métodos frequentemente processam cenas de forma fragmentada entre frames sem um sistema de coordenadas espaciais unificado, tornando o raciocínio situado a partir de pontos de vista específicos difícil.

Metodologia: OneCanvas

O OneCanvas reformula a compreensão de cenas 3D como raciocínio espacial 2D em uma única tela panorâmica. Ele evita modificar a arquitetura do VLM ou adicionar termos de perda auxiliares. Em vez disso, ele transforma dados RGB-D multiview em uma representação que um VLM pré-treinado pode ingerir como uma imagem padrão.

1. Extração de Características e Elevação 3D (Lifting)

Dado um conjunto de $K$ imagens RGB posicionadas $\{I_k\}$ com mapas de profundidade métrica $\{D_k\}$ e intrínsecos da câmera:

• Um codificador de visão congelado (Qwen3-VL) extrai características de nível de patch de cada visão $F_k$.
• Cada patch $(u, v)$ é "elevado" para uma coordenada de mundo 3D $p_{world}$ usando sua profundidade $z$, intrínsecos da câmera e pose da câmera para o mundo $T_k$.
• Isso resulta em um conjunto de patches elevados $P = \{(p_i, f_i, t_i)\}$, onde $p_i$ é a coordenada 3D no mundo, $f_i$ é a característica e $t_i$ é o índice temporal do frame de origem.

2. Reprojeção Panorâmica

Os patches elevados são agregados em uma única tela panorâmica equirretangular definida por uma origem escolhida $c$ e orientação $R$.

• Posicionamento Contínuo: Ao contrário dos métodos de rasterização que fazem a média ou selecionam patches sobrepostos, o OneCanvas coloca cada patch em sua posição angular contínua (longitude $\theta$ e latitude $\phi$) na tela. Patches colocalizados permanecem como tokens distintos.
• Codificação de Posição: O 3D-RoPE (Rotary Position Embedding) nativo do VLM é usado, onde as dimensões espaciais correspondem à longitude e latitude contínuas, e a dimensão temporal corresponde ao índice do frame de origem.
• Codificação de Posição 3D: Para restaurar a profundidade métrica perdida ao colapsar as coordenadas 3D para posições angulares na tela, um embedding de posição 3D é adicionado ao feature de cada patch. Este embedding codifica o offset métrico $(q_x, q_y, q_z)$ no frame da tela usando codificações senoidais para os eixos, primitivas radiais e direções de raio unitário. Isso permite que o VLM acesse informações de escala métrica através de seu mecanismo de atenção padrão.

3. Treinamento em Duas Etapas

O método emprega um pipeline de treinamento de duas etapas para superar a dificuldade de aprender geometria apenas através de QA (pergunta e resposta) downstream:

• Etapa 1: Currículo de Pré-treinamento Espacial: O modelo é treinado em um currículo gerado proceduralmente onde características de objetos (extraídas de imagens reais) são colocadas em uma tela, de outra forma vazia, em coordenadas 3D específicas. As tarefas incluem medição métrica, direção egocêntrica, navegação, observabilidade, contagem e leitura de bounding-box. Esta etapa força o modelo a aprender o raciocínio geométrico sem depender de atalhos de identidade de classe ou de priors específicos da cena.
• Etapa 2: Adaptação de Alvo: Os pesos da Etapa 1 são fundidos no modelo base. Um novo adaptador LoRA de baixo rank é treinado em datasets de QA espacial downstream (SQA3D, VSI-Bench, ViCA) para adaptar as habilidades de raciocínio geométrico às distribuições de cenas do mundo real.

Principais Contribuições

1. Reprojeção de Características Panorâmica: Um mecanismo que agrega características de patches de todas as visões em uma única tela equirretangular. Isso combina com o formato de entrada de VLMs pré-treinados, não requer modificações arquitetônicas e suporta origens de tela flexíveis para raciocínio situado.
2. Currículo de Pré-treinamento Espacial: Uma estratégia de treinamento inovadora possibilitada pela representação panorâmica. Ao posicionar proceduralmente as características de patches em uma tela vazia, os autores geram supervisão on-the-fly para diversas tarefas espaciais com distribuições de resposta controladas, efetivamente suprimindo atalhos de estatística de dataset.

Resultados

O OneCanvas atinge o estado da arte em desempenho nos principais benchmarks de raciocínio espacial 3D enquanto utiliza significativamente menos computação de treinamento do que métodos concorrentes:

• SQA3D: Alcança 65.3 EM@1 (2.3 pontos acima do recorde anterior), com ganhos significativos nos tipos de perguntas "Qual" e "Pode", que testam o raciocínio situado.
• VSI-Bench: Alcança 70.1 de acurácia média, liderando em planejamento de rota e estimativa de tamanho de sala.
• SPBench: Alcança 72.1 de acurácia geral zero-shot (4.8 pontos acima do segundo melhor), demonstrando forte generalização para dados fora de distribuição (out-of-distribution).
• Eficiência: O método utiliza uma ordem de magnitude a menos de computação de treinamento (aprox. 290 horas-GPU equivalentes a A100) comparado aos métodos concorrentes mais fortes (ex: SenseNova-SI com ~27.648 horas-GPU equivalentes a A100).

Estudos de ablação confirmam que tanto a reprojeção panorâmica quanto o currículo de pré-treinamento espacial são críticos, particularmente para tarefas que exigem raciocínio métrico e navegação de múltiplos passos.

Significância e Limitações

O artigo afirma que o OneCanvas demonstra que uma compreensão de cena 3D de alta qualidade pode ser alcançada sem codificadores de geometria complexos ou datasets curados massivos, desde que a representação de entrada seja estruturada para alinhar-se com as capacidades pré-treinadas do VLM. Ao unificar dados multi-view em um único sistema de coordenadas espaciais e injetar explicitamente embeddings de posição métrica, o método permite que o VLM raciocine sobre o espaço 3D usando seus mecanismos de atenção nativos.

Limitações:

• Dependência de Profundidade e Pose: O método requer profundidade métrica e poses de câmera, o que métodos puramente RGB evitam. Embora a reconstrução feed-forward possa estimar estes, erros podem degradar a tela.
• Trade-off do Panorama Global: Representar a cena como um panorama global único troca precisão espacial fina por compactação, potencialmente limitando o desempenho em cenas muito grandes ou externas.
• Design do Currículo: O currículo de pré-treinamento é elaborado manualmente; introduzir novas habilidades espaciais qualitativas requer escrever novos geradores de tarefas em vez de simplesmente coletar mais dados.
• Requisitos do Backbone: O método assume um backbone com pelo menos codificação de posição 2D (ex: multi-axis RoPE) para carregar longitude e latitude, o que pode não se aplicar a modelos de posição 1D.