LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight

O artigo apresenta o LocateAnything3D, um modelo nativo de visão e linguagem que reformula a detecção 3D como um problema de previsão de tokens usando uma sequência de "Cadeia de Visão" (Chain-of-Sight) para inferir primeiro a localização 2D e depois as propriedades 3D, alcançando resultados state-of-the-art no benchmark Omni3D e generalização zero-shot sem cabeças especializadas.

O essencial

Imagine que você está tentando ensinar um robô a entender o mundo 3D apenas olhando para uma foto. O desafio é enorme: o robô precisa não apenas dizer "vejo um carro", mas também saber exatamente onde ele está no espaço, qual o tamanho dele e para onde está apontando.

Até agora, os modelos de inteligência artificial (chamados de VLMs) eram ótimos em descrever imagens em 2D, mas falhavam feio quando precisavam "medir" o mundo em 3D. Eles precisavam de ferramentas extras e específicas para cada tarefa, como se tivessem que trocar de óculos para cada tipo de problema.

O novo trabalho, chamado LocateAnything3D, muda tudo isso. Ele apresenta uma ideia genial chamada "Cadeia de Visão" (Chain-of-Sight). Vamos usar uma analogia simples para entender como funciona:

1. O Problema: Tentar adivinhar o 3D sem o 2D

Imagine que você está em uma sala escura e alguém te pergunta: "Onde está a cadeira?". Se você tentar adivinhar a posição exata, o tamanho e a rotação da cadeira de uma só vez, sem primeiro vê-la claramente, você provavelmente vai errar. É como tentar desenhar um mapa do tesouro sem primeiro olhar para a paisagem.

Os métodos antigos tentavam fazer esse "pulo" direto do 2D (a foto) para o 3D (o espaço real), e muitas vezes o robô alucinava coisas que não existiam ou errava a distância.

2. A Solução: A "Cadeia de Visão" (Chain-of-Sight)

O LocateAnything3D ensina o robô a pensar como um humano faria, passo a passo, como se fosse um raciocínio em cadeia. A ideia é dividir o problema difícil em passos fáceis:

• Passo 1: O "Onde" (2D): Primeiro, o robô aponta para a foto e diz: "Olha, tem um carro ali, no canto direito". Ele desenha uma caixa 2D na imagem. Isso é fácil e confiável. É como dizer: "Ok, encontrei o alvo na tela".
• Passo 2: O "Como" (3D): Só depois de ter certeza de onde o objeto está na tela, o robô usa essa informação para calcular: "Se está ali, e considerando a perspectiva da câmera, ele deve estar a 5 metros de distância, com 4 metros de comprimento e virado para a esquerda".

Essa sequência (Primeiro 2D, depois 3D) é a Cadeia de Visão. É como se o robô dissesse: "Primeiro, eu vejo. Depois, eu entendo a profundidade." Isso reduz muito os erros e alucinações.

3. A Ordem das Coisas: Do Próximo para o Longe

Outra parte inteligente do sistema é a ordem em que ele aprende. Imagine que você está dirigindo. O que é mais importante? O carro que está logo à frente do seu para-choque ou o carro que está a 100 metros de distância?

O robô aprende a detectar primeiro os objetos mais próximos e depois os mais distantes.

• Por que? Porque os objetos próximos são mais fáceis de ver e dão pistas sobre o tamanho dos objetos distantes. Se você sabe que um caminhão perto de você é grande, você pode usar isso para estimar o tamanho de um caminhão que está longe. Se tentasse adivinhar o longe primeiro, seria como tentar adivinhar o tamanho de um prédio olhando por um buraco de agulha.

4. O Resultado: Um "Super-Robô" Versátil

Com essa técnica, o LocateAnything3D consegue:

• Entender qualquer coisa: Você pode pedir para ele encontrar "uma cadeira vermelha" ou "qualquer copo", mesmo que ele nunca tenha visto esses objetos específicos antes (chamado de zero-shot).
• Ser preciso: Ele bateu todos os recordes anteriores em testes de detecção 3D, superando modelos que usavam informações "mágicas" (que os humanos sabem, mas o robô não deveria ter).
• Ser simples: Não precisa de ferramentas especiais. Tudo acontece dentro de um único cérebro de IA, usando a mesma linguagem que ele usa para conversar.

Resumo em uma frase

O LocateAnything3D é como ensinar um robô a não pular etapas: ele primeiro aponta para o que vê na foto (2D) e só depois calcula onde aquilo está no mundo real (3D), fazendo isso na ordem certa (do perto para o longe) para não se perder. Isso transforma a detecção 3D em algo natural, preciso e capaz de entender o mundo como nós entendemos.

Resumo técnico

Título: LocateAnything3D: Detecção 3D Visão-Linguagem com Chain-of-Sight

1. O Problema

Os Modelos de Visão e Linguagem (VLMs) atuais excelentemente realizam tarefas de descrição e localização de objetos em 2D de forma aberta (open-ended). No entanto, existe uma lacuna significativa na capacidade de detecção 3D multi-objeto direta a partir de imagens monoculares.

• Limitações dos Métodos Atuais: Os detectores 3D monoculares existentes geralmente dependem de cabeças (heads) específicas para a tarefa, espaços de rótulos fechados e câmeras calibradas com cuidado. Eles não herdam a versatilidade, a composicionalidade ou a capacidade de seguir instruções que tornam os VLMs tão poderosos.
• Desafio: Criar um VLM que possa perceber nativamente o mundo em 3D, gerando caixas delimitadoras 3D confiáveis e multi-objeto a partir de uma única imagem, mantendo a capacidade de prompts de texto e visuais livres.

2. Metodologia: LocateAnything3D e Chain-of-Sight (CoS)

A proposta central do trabalho é o LocateAnything3D, uma abordagem nativa de VLM que reformula a detecção 3D como um problema de previsão do próximo token (next-token prediction), utilizando uma nova estratégia de raciocínio chamada Chain-of-Sight (CoS).

A. Chain-of-Sight (CoS)
A ideia fundamental é intercalar a detecção 2D e 3D na sequência de tokens gerada pelo decodificador. Em vez de tentar prever diretamente a caixa 3D, o modelo primeiro "compromete-se" com a localização 2D, servindo como uma evidência visual explícita (uma "cadeia de pensamento visual").

• Sequência: O decodificador emite: Caixa 2D → Caixa 3D correspondente → Caixa 2D → Caixa 3D ... até o token de fim de sequência.
• Benefício: A etapa 2D atua como um passo intermediário de alta confiança que foca a busca nos pixels corretos, reduz alucinações e ancora os tokens 3D subsequentes em evidências visíveis.

B. Currículo de Decodificação (Curriculum Learning)
Para otimizar o aprendizado autoregressivo, o modelo segue duas ordens de "fácil para difícil":

1. Inter-Objeto (Near-to-Far): As detecções são serializadas da mais próxima para a mais distante em relação à câmera.
   • Motivo: Objetos próximos fornecem pistas monoculares mais fortes e são mais críticos para interação e segurança. Além disso, a geometria estabelecida por objetos próximos restringe a escala e profundidade plausíveis para objetos distantes (via oclusão e escala relativa).
2. Intra-Objeto (Center → Size → Rotation): Dentro de cada objeto, a caixa 3D é fatorada em uma tupla semanticamente ordenada:
   • Primeiro o Centro (onde está?), depois as Dimensões (quão grande é?) e por fim a Rotação (como está orientado?).
   • Motivo: Isso reflete a observabilidade das pistas monoculares e estabiliza o aprendizado, permitindo que a localização restrinja as propriedades subsequentes.

C. Curação de Dados (Data Curation)
Os autores criaram um corpus massivo e centrado na câmera, unificando seis conjuntos de dados heterogêneos (ARKitScenes, SUN-RGBD, Hypersim, Objectron, KITTI, nuScenes).

• Formato: Os dados são convertidos em conversas de VLM onde a sequência de treinamento espelha exatamente a sequência de inferência (2D → 3D, perto → longe).
• Anti-Alucinação: Incluem amostras negativas (categorias ausentes) para ensinar o modelo a emitir um token <no_object/> quando necessário, reduzindo falsos positivos.
• Escala: O conjunto final contém aproximadamente 1,74 milhões de exemplos de treinamento.

3. Principais Contribuições

1. Formulação Chain-of-Sight: Transforma a detecção 3D monocular de mundo aberto em um problema nativo de previsão de tokens em VLM, acoplando explicitamente a ancoragem 2D com a decodificação 3D.
2. Currículo e Representação Adaptados: Propõe uma serialização "perto-para-longe" entre objetos e uma tokenização "centro-tamanho-rotação" dentro do objeto, resultando em decodificação consistente e robusta.
3. Dataset Unificado: Um corpus de dados centrado na câmera que unifica fontes heterogêneas, permitindo ablações sistemáticas e treinamento escalável sem cabeças específicas para cada tarefa.

4. Resultados Experimentais

O modelo foi avaliado no benchmark desafiador Omni3D, que cobre cenas internas e externas.

• Desempenho Geral (Omni3D): O LocateAnything3D alcançou 38,90 AP3D (Average Precision 3D), superando o estado da arte anterior em +13,98 pontos absolutos.
  • Nota Importante: O desempenho anterior mais alto (DetAny3D) foi alcançado mesmo quando a linha de base recebia caixas 2D ground-truth como entrada. O LocateAnything3D supera isso predizendo as caixas 2D e 3D de ponta a ponta a partir de uma única imagem.
• Generalização Zero-Shot: O modelo demonstra forte robustez em categorias não vistas durante o treinamento, superando métodos que dependem de detectores 2D externos (como Grounding DINO) para fornecer propostas.
• Grounding 3D: Em tarefas de localização baseada em linguagem (ex: "cadeira à esquerda"), o modelo supera significativamente o Cube-LLM (mesmo treinado em escalas de dados muito maiores), especialmente quando instruções espaciais são fornecidas.
• Eficiência de Dados: Ablações mostram que a abordagem CoS é muito mais eficiente em termos de dados. Com apenas 10% dos dados de treinamento, o modelo CoS supera a versão "pura 3D" (sem etapa 2D intermediária).

5. Significado e Impacto

O LocateAnything3D representa um avanço fundamental na unificação da percepção semântica e métrica dentro de modelos de fundação gerais.

• Simplicidade e Poder: Demonstra que a detecção 3D complexa pode ser resolvida sem arquiteturas especializadas, apenas estruturando o problema de forma que o VLM possa aprender naturalmente (via CoS).
• Inteligência Corporificada (Embodied AI): Ao fornecer uma interface unificada onde um agente pode receber instruções de texto ou visuais (cliques/boxes) e obter estados 3D métricos, o trabalho abre caminho para robôs e agentes autônomos que podem perceber, raciocinar e agir no mundo 3D de forma mais confiável.
• Futuro: A abordagem sugere caminhos para extensões em vídeo, raciocínio multi-visão e planejamento corporificado, estabelecendo uma base prática para escalar a percepção 3D em VLMs de propósito geral.

Em resumo, o trabalho fecha a lacuna entre o reconhecimento de vocabulário aberto e a compreensão métrica 3D, provando que a "cadeia de visão" (Chain-of-Sight) é uma estratégia eficaz para ensinar modelos de linguagem a ver o mundo em três dimensões.