IndustryShapes: An RGB-D Benchmark dataset for 6D object pose estimation of industrial assembly components and tools

Resumo Técnico: IndustryShapes

Definição do Problema
A estimativa de pose de objetos 6D para robótica é fundamental para a automação industrial, particularmente em ambientes de manufatura flexível e colaborativa. No entanto, os benchmarks existentes frequentemente dependem de configurações de laboratório controladas, objetos domésticos ou cenários específicos de coleta em caixas (bin-picking) que falham em capturar as complexidades da montagem industrial do mundo real. Ferramentas e componentes industriais exibem frequentemente propriedades desafiadoras, como texturas fracas ou ausentes, superfícies metálicas e reflexivas, simetrias e estruturas finas. Além disso, os conjuntos de dados atuais carecem de suporte para a estimativa de pose de "novos objetos" (generalização para objetos não vistos) e não fornecem as modalidades de dados específicas, como sequências estáticas de integração (onboarding), necessárias para abordagens modernas livres de modelo (model-free). Essa lacuna entre a pesquisa baseada em laboratório e a implantação no mundo real leva a discrepâncias de desempenho quando os métodos são aplicados em cenários de manufatura reais.

Metodologia e Composição do Conjunto de Dados
Os autores introduzem o IndustryShapes, um novo benchmark de RGB-D projetado para preencher essa lacuna. O conjunto de dados foca em cinco ferramentas e componentes industriais selecionados por suas propriedades geométricas e de superfície desafiadoras. Os dados são organizados em dois conjuntos complementares:

1. Conjunto Clássico (Classic Set): Projetado para estimativa de pose ao nível de instância. Contém 4.623 imagens (3.700 de treinamento, 923 de teste) e aproximadamente 6.000 poses anotadas. Os dados de treinamento incluem tanto capturas de mesa giratória de laboratório quanto cenas industriais reais, enquanto o conjunto de teste apresenta ambientes industriais complexos e obstruídos com oclusões e múltiplas instâncias de objetos.
2. Conjunto Estendido (Extended Set): Adaptado para estimativa de pose de novos objetos (tanto baseada em modelo quanto livre de modelo). Este conjunto inclui:
   • Sequências de Integração Estática RGB-D: Tanto quanto é do conhecimento dos autores, é o primeiro conjunto de dados a fornecer estas sequências. Consiste em 10 sequências (2 por objeto) capturadas com uma câmera portátil para apoiar a fase de "integração" (onboarding) de pipelines livres de modelo.
   • Cenas de Teste Estendidas: Três cenas contendo todos os cinco objetos em um ambiente de escritório com iluminação não controlada e distratores.

O conjunto de dados compreende um total de mais de 22.400 anotações em 34 cenas. Os dados foram capturados usando câmeras RGB-D Intel RealSense (D455 e D405) na resolução de 640x480. As poses 6D de verdade (ground truth) foram anotadas usando uma combinação de métodos baseados em marcadores (ArUco) e um pipeline semiautomático utilizando Structure-from-Motion (SfM) e pontos de ancoragem de modelos CAD. A precisão da anotação foi validada comparando a profundidade renderizada com a profundidade capturada, mostrando erros absolutos de menos de 12 mm para o conjunto clássico e aproximadamente 5 mm para o conjunto estendido.

Principais Contribuições

• Benchmark Industrial Realista: Fornece um banco de testes com cinco tipos de objetos desafiadores (reflexivos, simétricos, sem textura) capturados em configurações de montagem industrial realistas, indo além de cenários limpos de mesa ou domésticos.
• Arquitetura de Conjunto Duplo: Suporta exclusivamente tanto métodos de nível de instância (via o Conjunto Clássico) quanto métodos de novos objetos (via o Conjunto Estendido).
• Novas Modalidades de Dados: Introduz as primeiras sequências de integração estática RGB-D, permitindo explicitamente a avaliação de pipelines de estimativa de pose livres de modelo.
• Benchmarking Abrangente: O conjunto de dados inclui anotações ricas (poses, máscaras de segmentação) formatadas de acordo com as especificações do BOP, facilitando a avaliação de detecção, segmentação e estimativa de pose.

Resultos e Avaliação
Os autores avaliaram o conjunto de dados usando um conjunto representativo de métodos de última geração:

• Nível de Instância: EPOS, DOPE e ZebraPose.
• Novo Objeto: FoundPose (baseado em modelo) e FoundationPose (baseado em modelo e livre de modelo).
• Detecção/Segmentação: CNOS e SAM-6D.

Descobertas:

• Lacuna de Desempenho: A natureza desafiadora do conjunto de dados resultou em um desempenho geralmente baixo para a maioria dos métodos, destacando a dificuldade da estimativa de pose industrial.
• Novo Objeto vs. Instância: Abordagens recentes de novos objetos alcançaram desempenho comparável aos métodos de nível de instância, particularmente o FoundationPose (Baseado em Modelo), que alcançou o maior Average Recall (AR) de 0,67 no Conjunto Clássico e 0,69 no Conjunto Estendido.
• Variabilidade de Objetos: O desempenho variou significativamente com base nas características dos objetos. Por exemplo, o Objeto 5 (reflexivo, fino) apresentou precisão significativamente menor que o Objeto 1 em todos os métodos.
• Detecção e Segmentação: O SAM-6D demonstrou desempenho de segmentação superior no Conjunto Clássico em comparação ao CNOS, embora ambos tenham mostrado capacidades de detecção moderadas.

Significância e Alegações
O artigo afirma que o IndustryShapes aborda uma lacuna crítica no campo ao fornecer um banco de testes realista e relevante para aplicações que reflete a complexidade da robótica industrial. Ao incluir sequências de integração e suportar tanto o paradigma de nível de instância quanto o de novos objetos, o conjunto de dados facilita o desenvolvimento de métodos que podem generalizar além de ambientes controlados. Os resultados da avaliação demonstram que, embora os métodos de última geração mostrem promessa, há um espaço significativo para melhorias no tratamento dos desafios específicos dos componentes industriais, reforçando o papel do conjunto de dados como um benchmark robusto para pesquisas futuras. Os autores observam limitações relativas à distribuição desigual de quadros em algumas cenas de teste e à variação na complexidade de treinamento, sugerindo que trabalhos futuros devem focar em diversificar os dados de treinamento e aumentar a contagem de quadros em cenários sub-representados.