Boxer: Robust Lifting of Open-World 2D Bounding Boxes to 3D

Título: Boxer: Elevação Robusta de Caixas Delimitadoras 2D de Mundo Aberto para 3D

1. O Problema

A detecção e localização de objetos no espaço 3D são fundamentais para a inteligência artificial contextual, robótica e realidade aumentada (AR). Embora a detecção 2D tenha avançado significativamente, especialmente em cenários de "mundo aberto" (open-world), a localização 3D permanece um desafio não resolvido, principalmente devido a:

• Disparidade de Dados: A anotação de caixas delimitadoras 3D (3DBBs) métricas é cara e complexa, exigindo sensores de profundidade, LiDAR ou sistemas multi-visão calibrados. Isso resulta em conjuntos de dados 3D muito menores e menos diversos do que os conjuntos de dados 2D.
• Falta de Generalização: A maioria dos métodos 3D atuais opera em "conjuntos fechados" (closed-set), limitando-se a categorias pré-definidas, e não consegue lidar com a cauda longa de objetos do mundo real.
• Heterogeneidade de Sensores: Os métodos existentes frequentemente dependem de modalidades específicas (ex: apenas mapas de profundidade densos ou apenas nuvens de pontos esparsas) e modelos de câmera fixos, dificultando a transferência entre diferentes configurações de hardware.
• Dependência de Supervisão 3D: Muitos modelos tentam aprender detecção e localização 3D simultaneamente, exigindo grandes quantidades de dados anotados em 3D, o que é um gargalo.

2. Metodologia: O Algoritmo Boxer

O Boxer propõe uma abordagem em duas etapas para decompor o problema, separando a detecção semântica 2D da elevação geométrica para 3D.

A. Pipeline Geral:

1. Detecção 2D (Mundo Aberto): O sistema utiliza detectores 2D de estado da arte pré-treinados (como DETIC, OWLv2 ou SAM3) para localizar objetos em imagens baseadas em prompts de texto. Isso herda a cobertura semântica vasta e a robustez dos modelos 2D treinados na web.
2. Elevação 2D para 3D (BoxerNet): Um modelo de rede neural (BoxerNet) recebe as caixas 2D propostas, a imagem, a calibração da câmera e informações de profundidade (opcional) para prever caixas 3D métricas.
3. Fusão Multi-visão Temporal: As detecções 3D de cada quadro são fundidas em um mapa global estático, consistente e sem duplicatas, utilizando um algoritmo de fusão geométrica e semântica.

B. Arquitetura do BoxerNet:

• Base Transformer: O núcleo é um encoder baseado em Transformers que processa três modalidades de entrada concatenadas por "patch" (bloco de imagem):
  1. Recursos Visuais: Extraídos de um backbone pré-treinado (DINOv3).
  2. Recursos de Raio (Ray Features): Codificam a calibração da câmera e a pose, permitindo que o modelo entenda a geometria da projeção.
  3. Recursos de Profundidade: Codificação de profundidade baseada em patches (mediana), suportando tanto mapas de profundidade densos quanto nuvens de pontos esparsas (com valores de -1 para patches sem profundidade).
• Decodificador de Caixa: Utiliza atenção cruzada para condicionar as previsões 3D nas caixas 2D de entrada.
• Saídas:
  • Caixa 3D (7-DoF): Posição $(x, y, z)$, dimensões $(w, h, d)$ e rotação em torno do eixo da gravidade $\theta$.
  • Incerteza Aleatória: Um cabeçalho adicional prevê a incerteza $\sigma$, permitindo uma regressão robusta que pondera a perda de treinamento com base na confiança da observação.
• Função de Perda: Combina uma perda de alinhamento geométrico (Chamfer Loss) com a modelagem de incerteza aleatória: $L = L_{chamfer} \cdot e^{-\hat{\sigma}} + \hat{\sigma}$.

C. Fusão Multi-Visão:
O sistema agrega detecções de múltiplos quadros e ângulos de visão:

• Filtra detecções geometricamente incompatíveis (usando um limiar de IoU 3D).
• Garante consistência semântica (usando embeddings de texto).
• Agrupa detecções em componentes conectados (clusters) que representam um único objeto físico.
• Resolve ambiguidades de rotação (simetria de 90°) e aplica NMS (Non-Maximum Suppression) 3D para eliminar duplicatas.

3. Principais Contribuições

1. Boxer: Um algoritmo completo para estimar caixas delimitadoras 3D globais, estáticas e sem duplicatas para objetos de mundo aberto, utilizando vídeo calibrado com profundidade opcional.
2. BoxerNet: Um modelo Transformer que supera a arquitetura CuTR (estado da arte anterior) ao introduzir:
   • Um cabeçalho de incerteza aleatória para regressão robusta.
   • Codificação de profundidade mediana por patch, permitindo treinamento em larga escala com dados esparsos e densos.
   • Capacidade de treinamento em mais de 1,22 milhões de caixas 3D únicas de quatro tipos diferentes de dispositivos (incluindo dados internos do Meta e públicos como CA-1M, ScanNet, SUN-RGBD).
3. Desempenho Superior: O modelo supera as bases de comparação em cenários de mundo aberto, especialmente em configurações sem profundidade densa (egocêntrica).
4. Flexibilidade: O sistema é agnóstico ao modelo de câmera (pode lidar com pinhole e olho de peixe) e adapta-se à disponibilidade de dados geométricos (de nenhum a densos).

4. Resultados Experimentais

Os experimentos foram realizados em conjuntos de dados como NymeriaPlus, Aria Digital Twin, CA-1M e Omni3D.

• Comparação com CuTR (Sem Profundidade Densa): No conjunto NymeriaPlus (apenas nuvem de pontos esparsa do SLAM), o Boxer com GT 2D atingiu 0,532 mAP, enquanto o CuTR obteve apenas 0,010 mAP. Isso demonstra a incapacidade do CuTR de generalizar para dados egocêntricos sem profundidade densa.
• Comparação com Profundidade Densa (CA-1M): Com profundidade densa disponível, o Boxer (GT 2D) atingiu 0,412 mAP, superando o CuTR (0,250 mAP).
• Análise por Tamanho de Objeto: O Boxer mostra ganhos significativos, especialmente em objetos pequenos, onde a precisão métrica é mais crítica e difícil de obter.
• Robustez: A ablação mostrou que a remoção da entrada de profundidade ou da incerteza aleatória degrada o desempenho, mas o modelo mantém robustez razoável mesmo sem profundidade, graças aos priors de profundidade monocular do DINOv3.

5. Significado e Impacto

O trabalho do Boxer é significativo porque:

• Ponte entre 2D e 3D: Ele estabelece uma interface universal que conecta a riqueza semântica dos modelos de visão-linguagem 2D (treinados na web) com a geometria métrica 3D, sem exigir anotações 3D massivas para novas categorias.
• Escalabilidade: Ao focar apenas no "levantamento" (lifting) geométrico e não na detecção, o modelo pode ser treinado em escala web, superando a escassez de dados 3D.
• Aplicabilidade Prática: Oferece uma solução viável para aplicações de AR, robótica e gêmeos digitais, onde a capacidade de identificar e localizar objetos arbitrários em tempo real é crucial, independentemente do sensor disponível (câmera RGB, RGB-D ou SLAM).
• Reprodutibilidade: O código e os modelos foram liberados, permitindo que a comunidade utilize o BoxerNet como um módulo de substituição ("drop-in") em pipelines de detecção existentes para melhorar a precisão 3D.

Em resumo, o Boxer resolve o gargalo de dados 3D ao desacoplar a detecção semântica da estimativa geométrica, utilizando a força dos modelos 2D modernos e aprendendo a mapear essas detecções para o espaço 3D métrico de forma robusta e generalizável.