WildDet3D: Scaling Promptable 3D Detection in the Wild

Resumo Técnico: WildDet3D

1. O Problema

A detecção de objetos 3D a partir de uma única imagem monocromática (monocular) é um pilar fundamental para a inteligência espacial, essencial em robótica, veículos autônomos e realidade aumentada (AR/VR). No entanto, os métodos existentes enfrentam três gargalos principais que impedem sua aplicação no "mundo real" (open-world):

1. Falta de Generalização: A maioria dos modelos é treinada em conjuntos de dados fechados (closed-set) com categorias limitadas e ambientes controlados, falhando em cenários do mundo real com categorias de cauda longa e não vistas durante o treinamento.
2. Modalidades de Prompt Rígidas: Os sistemas atuais geralmente suportam apenas um tipo de interação (apenas texto ou apenas caixas 2D), não unificando comandos linguísticos, cliques de pontos ou caixas de delimitação em uma única arquitetura.
3. Ignorância de Cues Geométricos: Muitos métodos não conseguem aproveitar sinais geométricos adicionais (como mapas de profundidade parciais ou LiDAR) quando disponíveis, nem degradam-se graciosamente quando esses sinais estão ausentes. Além disso, a ambiguidade de escala e oclusão inerentes às imagens RGB dificultam a recuperação precisa da métrica 3D.

2. Metodologia

O trabalho apresenta duas contribuições principais: uma nova arquitetura de modelo (WildDet3D) e um novo conjunto de dados em larga escala (WildDet3D-Data).

A. Arquitetura WildDet3D
O modelo é uma arquitetura unificada e consciente da geometria projetada para aceitar prompts flexíveis e sinais de profundidade opcionais.

• Codificadores de Visão Dupla (Dual-Vision Encoders):
  • Um Codificador de Imagem (baseado em ViT-H/SAM3) extrai características semânticas ricas para reconhecimento de objetos.
  • Um Codificador RGBD (baseado em DINOv2) processa a imagem junto com um mapa de profundidade opcional (ou zero preenchido se não houver), gerando "latentes de profundidade" geométricos.
• Módulo de Fusão de Profundidade: Utiliza um design residual estilo ControlNet para injetar os latentes de profundidade nas características da imagem antes da entrada no detector. Isso permite que o modelo use profundidade métrica quando disponível, mas funcione apenas com RGB quando não houver, sem quebrar a arquitetura.
• Detector Promptável (Promptable Detector): Unifica quatro modalidades de entrada em um único espaço de query:
  • Texto: Nomes de categorias (ex: "copo").
  • Ponto: Coordenadas 2D (positivo/negativo).
  • Caixa: Caixas de delimitação 2D.
  • Exemplar: Uma caixa 2D usada para encontrar objetos visualmente similares.
• Cabeça de Detecção 3D: Eleva as características 2D para previsões de caixas 3D completas (centro, dimensões, orientação e confiança).
  • Utiliza uma normalização de rotação não ambígua para resolver a ambiguidade inerente em objetos simétricos (ex: rotação de 180° em objetos simétricos).
  • Inclui uma cabeça de confiança 3D paralela que reclassifica as detecções com base na qualidade geométrica (profundidade e IoU 3D), não apenas na confiança 2D.
• Aprendizado Multi-tarefa: O modelo é treinado com uma combinação de perdas de detecção 3D, estimativa de profundidade, intrínsecas da câmera e detecção 2D auxiliar, utilizando uma estratégia de correspondência "um-para-muitos" (O2M) para acelerar a convergência.

B. Conjunto de Dados WildDet3D-Data
Para superar a escassez de dados 3D em larga escala, os autores criaram o maior conjunto de dados de detecção 3D aberto até hoje.

• Escala: Mais de 1 milhão de imagens cobrindo 13.500 categorias (um aumento de 138x em relação ao Omni3D).
• Pipeline de Criação:
  1. Geração de Candidatos: Cinco modelos complementares (incluindo 3D-MOOD, DetAny3D, SAM-3D, RANSAC-PCA e LabelAny3D) geram caixas 3D candidatas a partir de anotações 2D existentes (COCO, LVIS, Objects365, V3Det).
  2. Filtragem: Filtros baseados em regras geométricas e semânticas removem candidatos implausíveis.
  3. Seleção Híbrida: Uma combinação de seleção por Humanos (para um subconjunto amostrado) e VLMs (Large Vision-Language Models) ajustados (para o restante) seleciona a melhor caixa candidata e avalia sua qualidade.
• Diversidade: Cobre ambientes internos, urbanos e naturais, com anotações verificadas por humanos para garantir qualidade.

3. Resultados Principais

O WildDet3D estabeleceu novos estados da arte (SOTA) em múltiplos benchmarks e configurações:

• WildDet3D-Bench (Open-World):
  • Com prompts de texto: 22.6 AP3D (vs. 2.3 AP do 3D-MOOD).
  • Com prompts de caixa (oracle): 24.8 AP3D.
  • Com profundidade GT disponível: Salto para 41.6 AP3D (texto) e 47.2 AP3D (caixa), demonstrando a eficácia da fusão de profundidade.
• Omni3D (Benchmarks Padrão):
  • Alcançou 34.2 AP3D (texto) e 36.4 AP3D (caixa), superando métodos anteriores como DetAny3D e 3D-MOOD.
  • Eficiência de Treinamento: Alcançou esses resultados em apenas 12 épocas, enquanto concorrentes exigiam 80-120 épocas, graças às representações pré-treinadas de alta qualidade.
• Avaliação Zero-Shot:
  • Generalizou-se para Argoverse 2 (40.3 ODS) e ScanNet (48.9 ODS) sem treinamento específico, superando significativamente os baselines em categorias não vistas.
• Impacto da Profundidade: A incorporação de sinais de profundidade (mesmo esparsos) no momento da inferência resultou em ganhos substanciais, com uma média de +20.7 AP em vários cenários.

4. Contribuições Chave

1. Arquitetura Unificada: Primeiro modelo a aceitar nativamente texto, pontos e caixas 2D em uma única estrutura de detecção 3D monoculares, com suporte opcional a profundidade.
2. WildDet3D-Data: O maior conjunto de dados de detecção 3D "in-the-wild" com anotações verificadas por humanos, cobrindo 13.5K categorias e permitindo generalização em vocabulário aberto.
3. Pipeline de Anotação Escalável: Uma metodologia robusta que combina múltiplos geradores de candidatos, filtros geométricos e seleção híbrida (Humano + VLM) para criar dados 3D de alta qualidade em escala.
4. Desempenho e Eficiência: Demonstra que é possível atingir SOTA com menos épocas de treinamento e generalizar para cenários não vistos, superando a barreira da ambiguidade de escala monoculares.

5. Significado e Aplicações

O WildDet3D representa um avanço significativo na transição da percepção 3D de ambientes controlados para o mundo real.

• Versatilidade: O modelo foi demonstrado em diversos cenários de implantação, incluindo:
  • Dispositivos Móveis: App nativo no iPhone com inferência em tempo real.
  • Realidade Aumentada: Integração com Meta Quest 3 para sobreposição de caixas 3D no mundo físico.
  • Robótica: Manipulação autônoma de objetos baseada em prompts de texto (ex: "pegue o chip verde").
  • Agentes VLM: Atua como um módulo de "levante 3D" (3D lifting) para modelos de linguagem visual, permitindo que eles respondam a perguntas espaciais complexas com precisão métrica 3D.
• Impacto Científico: O trabalho estabelece um novo paradigma para detecção 3D aberta, mostrando que a combinação de dados massivos, arquiteturas flexíveis e fusão de modalidades geométricas é a chave para a inteligência espacial prática.

Em resumo, o WildDet3D resolve o problema da detecção 3D generalizada, oferecendo uma solução que é ao mesmo tempo precisa, flexível na interação e capaz de operar em cenários do mundo real com ou sem sensores de profundidade adicionais.