IndustryShapes: An RGB-D Benchmark dataset for 6D object pose estimation of industrial assembly components and tools

Resumen Técnico: IndustryShapes

Declaración del Problema
La estimación de la pose de objetos en 6D para robótica es fundamental para la automatización industrial, particularmente en entornos de fabricación flexible y colaborativa. Sin embargo, los benchmarks existentes suelen basarse en entornos controlados de laboratorio, objetos domésticos o escenarios específicos de recogida de piezas de contenedores (bin-picking), los cuales no logran capturar las complejidades de la fabricación industrial real. Las herramientas y componentes industriales presentan con frecuencia propiedades desafiantes como texturas débiles o ausentes, superficies metálicas y reflectantes, simetrías y estructuras delgadas. Además, los conjuntos de datos actuales suelen carecer de soporte para la estimación de la pose de "objetos novedosos" (generalización a objetos no vistos) y no proporcionan las modalidades de datos específicas, como las secuencias estáticas de incorporación (onboarding), requeridas por los enfoques modernos sin modelo (model-free). Esta brecha entre la investigación basada en laboratorios y el despliegue en el mundo real provoca discrepancias de rendimiento cuando los métodos se aplican en escenarios de fabricación reales.

Metodología y Composición del Conjunto de Datos
Los autores presentan IndustryShapes, un nuevo conjunto de datos de referencia RGB-D diseñado para cerrar esta brecha. El conjunto de datos se centra en cinco herramientas y componentes industriales seleccionados por sus desafiantes propiedades geométricas y de superficie. Los datos se organizan en dos conjuntos complementarios:

1. Conjunto Clásico (Classic Set): Diseñado para la estimación de la pose a nivel de instancia. Contiene 4.623 imágenes (3.700 de entrenamiento, 923 de prueba) y aproximadamente 6.000 poses anotadas. Los datos de entrenamiento incluyen tanto capturas de mesa giratoria de laboratorio como escenas industriales reales, mientras que el conjunto de prueba presenta entornos industriales complejos, con oclusiones y múltiples instancias de objetos.
2. Conjunto Extendido (Extended Set): Adaptado para la estimación de la pose de objetos novedosos (tanto basados en modelos como sin modelos). Este conjunto incluye:
   • Secuencias de Incorporación Estática RGB-D: Según los autores, es el primer conjunto de datos en proporcionar esto. Consta de 10 secuencias (2 por objeto) capturadas con una cámara de mano para dar soporte a la fase de "incorporación" (onboarding) de los procesos sin modelo.
   • Escenas de Prueba Extendidas: Tres escenas que contienen los cinco objetos en un entorno de oficina con iluminación no restringida y elementos distractores.

El conjunto de datos comprende un total de más de 22.400 anotaciones en 34 escenas. Los datos fueron capturados utilizando cámaras RGB-D Intel RealSense (D455 y D405) a una resolución de 640x480. Las poses 6D de referencia (ground truth) fueron anotadas mediante una combinación de métodos basados en marcadores (ArUco) y un proceso semiautomático que utiliza Estructura a partir del Movimiento (SfM) y puntos de anclaje de modelos CAD. La precisión de la anotación fue validada comparando la profundidad renderizada contra la profundidad capturada, mostrando errores absolutos de menos de 12 mm para el conjunto clásico y aproximadamente 5 mm para el conjunto extendido.

Contribuciones Clave

• Benchmark Industrial Realista: Proporciona un banco de pruebas con cinco tipos de objetos desafiantes (reflectantes, simétricos, sin textura) capturados en entornos de ensamblaje industrial realistas, yendo más allá de los escenarios limpios de mesa o domésticos.
• Arquitectura de Doble Conjunto: Únicamente soporta tanto métodos de nivel de instancia (mediante el conjunto Clásico) como métodos de objetos novedosos (mediante el conjunto Extendido).
• Nuevas Modalidades de Datos: Introduce las primeras secuencias de incorporación estática RGB-D, permitiendo explícitamente la evaluación de procesos de estimación de pose sin modelo.
• Benchmarking Exhaustivo: El conjunto de datos incluye anotaciones ricas (poses, máscaras de segmentación) formateadas según las especificaciones de BOP, facilitando la evaluación de detección, segmentación y estimación de pose.

Resultados y Evaluación
Los autores evaluaron el conjunto de datos utilizando un conjunto representativo de métodos de vanguardia:

• Nivel de Instancia: EPOS, DOPE y ZebraPose.
• Objeto Novedoso: FoundPose (basado en modelo) y FoundationPose (basado en modelo y sin modelo).
• Detección/Segmentación: CNOS y SAM-6D.

Hallazgos:

• Brecha de Rendimiento: La naturaleza desafiante del conjunto de datos resultó en un rendimiento generalmente bajo en la mayoría de los métodos, resaltando la dificultad de la estimación de pose industrial.
• Novedoso vs. Instancia: Los enfoques recientes de objetos novedosos lograron un rendimiento comparable al de los métodos de nivel de instancia, particularmente FoundationPose (Basado en Modelo), que alcanzó el mayor Recall Promedio (AR) de 0.67 en el conjunto Clásico y 0.69 en el Extendido.
• Variabilidad de los Objetos: El rendimiento varió significativamente según las características del objeto. Por ejemplo, el Objeto 5 (reflectante, delgado) produjo una precisión significativamente menor que el Objeto 1 en todos los métodos.
• Detección y Segmentación: SAM-6D demostró un rendimiento de segmentación superior en el conjunto Clásico en comparación con CNOS, aunque ambos mostraron capacidades de detección moderadas.

Significancia y Reivindicaciones
El artículo afirma que IndustryShapes aborda una brecha crítica en el campo al proporcionar un banco de pruebas realista y relevante para la aplicación que refleja la complejidad de la robótica industrial. Al incluir secuencias de incorporación y soportar tanto el paradigma de instancias como el de objetos novedosos, el conjunto de datos facilita el desarrollo de métodos que pueden generalizarse más allá de los entornos controlados. Los resultados de la evaluación demuestran que, si bien los métodos de vanguardia son prometedores, existe un margen de mejora significativo para manejar los desafíos específicos de los componentes industriales, reforzando el papel del conjunto de datos como un benchmark robusto para la investigación futura. Los autores señalan limitaciones respecto a la distribución desigual de fotogramas en algunas escenas de prueba y la variabilidad en la complejidad de entrenamiento, sugiriendo que el trabajo futuro debería centrarse en diversificar los datos de entrenamiento y aumentar el recuento de fotogramas en los escenarios subrepresentados.