Resumo Técnico: Every9D-21M

Declaração do Problema

Estimar a pose 9D (rotação 3D, translação 3D e extensão 3D do objeto) de objetos cotidianos a partir de uma única imagem do mundo real permanece um desafio significativo na visão computacional. Essa dificuldade decorre principalmente da falta de supervisão em grande escala e do mundo real. Os conjuntos de dados existentes sofrem de um compromisso entre diversidade de categorias e escala de instâncias: eles dependem fortemente de renderizações sintéticas, que têm dificuldade em generalizar para ruídos e oclusões do mundo real, ou fornecem cobertura limitada de objetos do mundo real. Por exemplo, o maior conjunto de dados existente de pose 9D do mundo real (Objectron) contém apenas 17.000 objetos anotados em 9 categorias, enquanto o maior conjunto de dados de pose 3D em nível de imagem (ImageNet3D) cobre 200 categorias, mas apenas 86.000 imagens. Além disso, a anotação manual de poses 9D é proibitivamente cara e frequentemente ambígua a partir de vistas únicas, dificultando o desenvolvimento de modelos fundamentais robustos para robótica, RA/RV e modelagem generativa 3D.

Metodologia

Os autores propõem Every9D-21M, um framework para gerar anotações de pose 9D para 21,8 milhões de imagens do mundo real em 700 categorias de objetos. A estratégia central aproveita vídeos centrados no objeto para superar ambiguidades de vista única e escalar os esforços de anotação. O pipeline consiste em cinco etapas iterativas:

1. Agrupamento: Vídeos centrados no objeto (obtidos do uCO3D) são agrupados usando k-means em características DINOv3 médias extraídas de quadros amostrados uniformemente. Essa abordagem agnóstica a categorias agrupa instâncias visualmente semelhantes, permitindo alinhamento entre categorias e reduzindo a dependência de rótulos de categoria manuais.
2. Seleção de Referência: Para cada agrupamento, um vídeo "medoide" representativo é selecionado como a instância de referência. Essa escolha, baseada no vídeo com a menor distância média de características em relação aos outros no agrupamento, produz maior precisão de alinhamento do que a seleção aleatória.
3. Anotação de Referência: Um pequeno conjunto de objetos de referência (menos de 0,01% do total de imagens, aproximadamente 1.000 objetos) é anotado manualmente. Os anotadores usam uma ferramenta interativa para alinhar uma caixa delimitadora 3D a uma nuvem de pontos 3D esparsa (reconstruída via VGGSfM) usando mascaramento multi-visão (LangSAM + XMem). Crucialmente, os autores definem regras de orientação entre categorias baseadas em propriedades intrínsecas, interação humano-objeto e interação objeto-objeto para garantir quadros canônicos consistentes (por exemplo, definir a "frente" de uma cadeira como oposta ao encosto).
4. Alinhamento entre Instâncias: Os vídeos restantes em um agrupamento são alinhados à instância de referência. Isso envolve reconstruir uma superfície 3D (via formas alfa) e projetar características DINO multi-visão sobre ela. Uma transformação rígida (rotação, translação, escala) é estimada usando inicialização RANSAC seguida de refinamento baseado em gradiente, minimizando uma combinação ponderada de distâncias geométricas (distância de Chamfer) e de aparência (vizinho mais próximo no espaço de características).
5. Verificação: Todas as poses propagadas são verificadas a partir de múltiplas vistas canônicas (frente, topo, direita). Sequências são filtradas (removidas devido a geometria pobre ou vazamento de múltiplos objetos) ou puladas (reprocessadas em iterações subsequentes devido a incompatibilidades de referência).

As poses canônicas resultantes são propagadas para todos os quadros dentro dos vídeos centrados no objeto, gerando anotações 9D densas.

Contribuições Principais

1. Canonização Escalável de Pose 9D do Mundo Real: Os autores introduzem um framework iterativo baseado em referência que aproveita vídeos centrados no objeto para reconstrução 3D multi-visão e alinhamento entre instâncias. Essa abordagem propaga quadros canônicos de uma fração ínfima de referências anotadas manualmente para milhões de imagens, com cada pose propagada verificada a partir de múltiplas vistas.
2. Conjunto de Dados Every9D-21M: Um conjunto de dados em grande escala composto por 21,8 milhões de imagens, 109.000 objetos anotados e 700 categorias. É duas ordens de magnitude maior que benchmarks anteriores de pose 9D do mundo real tanto em contagem de imagens quanto em diversidade de categorias. Todo o conjunto de dados foi curado com aproximadamente 199 horas de esforço humano (67 horas para anotação, 132 horas para verificação).
3. Benchmark e Baselines: O artigo estabelece protocolos de avaliação padronizados e conscientes de simetria e fornece modelos baseline treinados no Every9D-21M. Esses baselines demonstram que o treinamento neste conjunto de dados melhora o desempenho em benchmarks existentes (PASCAL3D+, ImageNet3D) e produz generalização substancialmente melhor para o conjunto de dados HANDAL em comparação com modelos treinados exclusivamente no ImageNet3D.

Resultados

Experimentos validam a eficácia do conjunto de dados e do framework de canonização:

• Desempenho no Every9D-21M: Modelos treinados no Every9D-21M superam significativamente modelos fundamentais de última geração (OrientAnythingV1, OrientAnythingV2, WildDet3D) na divisão de teste. Especificamente, o modelo proposto melhora a precisão de rotação grosseira (Acc@30°) em 16,6 a 17,7 pontos percentuais sobre o OrientAnythingV2 tanto em configurações sem consciência de simetria quanto com consciência de simetria.
• Generalização: O treinamento no Every9D-21M leva a uma generalização mais forte para o conjunto de dados HANDAL (um conjunto de dados de objetos manipuláveis do mundo real) em comparação com o treinamento no ImageNet3D, apesar da lacuna de domínio.
• Complementaridade: O treinamento conjunto com Every9D-21M e ImageNet3D melhora consistentemente o desempenho no PASCAL3D+ e ImageNet3D, sugerindo que os conjuntos de dados são complementares.
• Melhorias Qualitativas: Comparações visuais indicam maior robustez a orientações incomuns de objetos, estimativa mais precisa de diferenças angulares sutis e melhor resiliência sob condições de iluminação desafiadoras em comparação com métodos anteriores.

Significado

O artigo posiciona o Every9D-21M como um recurso crítico para avançar a estimativa de pose 9D e a compreensão 3D em ambientes do mundo real não restritos. Ao fornecer um conjunto de dados massivo do mundo real com quadros canônicos consistentes, o trabalho aborda a lacuna "sim-to-real" que limitou a generalização de modelos treinados em dados sintéticos. Os autores argumentam que a supervisão canonizada escalável é essencial para:

• Robótica e RA/RV: Habilitar o raciocínio espacial e a interação física inferindo quadros de coordenadas centrados no objeto consistentes.
• Modelagem Generativa 3D: Fornecer dados de treinamento alinhados à orientação para melhorar a controlabilidade e a consistência geométrica em sistemas de texto-para-3D e imagem-para-3D.
• Aprendizado de Correspondência: Garantir alinhamento estável entre instâncias para modelagem 3D deformável.

O trabalho demonstra que supervisão 9D de alta qualidade pode ser alcançada em escala com esforço humano mínimo através do uso estratégico de vídeos centrados no objeto e alinhamento entre instâncias, estabelecendo um novo padrão para benchmarks de pose 3D do mundo real.