Resumen Técnico: Conjunto de Datos SteelDS

Enunciado del Problema

El reciclaje de metales, particularmente la separación de impurezas de cobre de chatarra de acero triturado de grado E40, es un cuello de botella crítico en la clasificación post-magnética industrial. Si bien la clasificación basada en sensores (SBS) que utiliza transmisión de rayos X (XRT) o imágenes hiperespectrales (HSI) es efectiva, estas modalidades requieren una gran inversión de capital y ofrecen resoluciones espaciales más bajas. Por el contrario, la clasificación basada en visión estándar que utiliza aprendizaje profundo y cámaras RGB ofrece una alternativa rentable, pero carece de conjuntos de datos especializados y de alta fidelidad para este dominio específico.

Los conjuntos de datos existentes de residuos (por ejemplo, TACO, TrashNet, ZeroWaste) se centran en residuos domésticos o municipales macroscópicos e intactos, sin abordar la naturaleza mecánicamente triturada, microscópica y estocásticamente deformada de la chatarra industrial. Además, los intentos anteriores de clasificar chatarra de metal triturado se basaron en cajas delimitadoras gruesas o anotaciones a nivel de imagen, que no pueden delimitar los límites altamente irregulares y los hilos finos típicos de la chatarra deformada. Existe una brecha significativa en los puntos de referencia de segmentación a nivel de instancia disponibles públicamente para la separación de acero-cobre en una corriente heterogénea post-magnética.

Metodología

Adquisición de Datos

El conjunto de datos SteelDS fue capturado en un entorno de laboratorio controlado en la Universidad Técnica de Leoben para replicar las condiciones de una cinta transportadora industrial.

• Fuente de Material: 497 objetos metálicos triturados (396 de acero, 101 de cobre) obtenidos de Scholz Austria GmbH. El material representa la fracción post-magnética de chatarra de acero de grado E40 (acero viejo fragmentado de vehículos y electrodomésticos al final de su vida útil).
• Configuración Física: Una cinta transportadora de 1,0 m de ancho operó a 0,4–0,5 m/s. Los objetos se dispusieron en dos configuraciones: partículas aisladas (separación mínima de 1 cm) y grupos densos (sin separación forzada) para simular densidades y oclusiones industriales variables.
• Captura de Imágenes: Una cámara GoPro Hero 11 capturó video 4K Ultra HD (3680 × 2160) a 100 fps desde una perspectiva estrictamente cenital (de arriba hacia abajo). La iluminación LED difusa minimizó los reflejos en las superficies metálicas y un recinto bloqueó la luz ambiental.
• Limitaciones: La configuración 2D de vista única oculta inherentemente los componentes de cobre ubicados en el lado inferior de las partículas, una restricción estándar en la clasificación óptica industrial 2D.

Anotación y Preprocesamiento

• Extracción de Cuadros: El video crudo de 100 fps se redujo a 20 fps y los cuadros se extrajeron como imágenes PNG sin pérdida.
• Herramienta de Anotación: Una herramienta semiautónoma personalizada (FOST) generó propuestas de máscaras, las cuales fueron corregidas y verificadas manualmente por anotadores humanos.
• Reglas de Anotación: Se aplicaron directrices estrictas a nivel de píxel. Las máscaras trazaron los límites físicos, excluyendo sombras proyectadas y estelas de desenfoque de movimiento. Los fragmentos resultantes de roturas durante el transporte se etiquetaron como instancias independientes.
• Clases: Los objetos se categorizaron en dos clases principales: Acero (componentes ferrosos) y Cobre (conteniendo componentes de cobre visibles). Además, los objetos se agruparon heurísticamente por tamaño (S1–S5 para acero, C1–C3 para cobre) basándose en la inspección visual y el peso de manejo, aunque estos grupos de tamaño no son clases de verdad fundamental distintas.

Estructura del Conjunto de Datos

El conjunto de datos comprende 24.297 cuadros etiquetados en cinco subconjuntos (a1–a5) con complejidad creciente:

• Subconjuntos a1–a3: Inclusión acumulativa de objetos con separación >1 cm.
• Subconjunto a4: Grupos densos sin separación (alta oclusión).
• Subconjunto a5: Un conjunto de evaluación holístico que combina todos los materiales y ambas configuraciones de separación.
• Divisiones: Se impone un aislamiento estricto entre los conjuntos de entrenamiento, validación y prueba; los objetos nunca se comparten entre divisiones.

Contribuciones Clave

1. Punto de Referencia de Segmentación a Nivel de Instancia: SteelDS proporciona el primer conjunto de datos de video de alta resolución disponible públicamente específicamente para la segmentación de instancias de chatarra de acero E40 y cobre triturados mecánicamente.
2. Complejidad Industrial Realista: A diferencia de conjuntos de datos anteriores que presentan objetos intactos, SteelDS captura la deformación estocástica, los bordes desgarrados y la fragmentación estructural inherentes al triturado industrial.
3. Verdad Fundamental a Nivel de Píxel: El conjunto de datos ofrece máscaras de segmentación precisas a nivel de píxel, permitiendo el entrenamiento de modelos para la delimitación de límites detallados en lugar de solo la detección gruesa.
4. Simulación de Mundo Abierto: Al incluir densidades de objetos variables, oclusiones y topologías complejas (por ejemplo, cables de cobre incrustados en acero), el conjunto de datos aborda el desafío del "mundo abierto" donde los modelos deben manejar formas impredecibles y materiales mezclados.

Resultados Experimentales

Los autores establecieron líneas base utilizando modelos de detección de objetos y segmentación de instancias de última generación: YOLOv8n-seg, YOLO11n-seg, YOLO12n-seg, YOLO26n-seg y Mask R-CNN (ResNet-50). Los modelos se entrenaron con 5 semillas aleatorias diferentes para garantizar la reproducibilidad.

• Jerarquía de Rendimiento: Mask R-CNN superó consistentemente a todas las arquitecturas nano de YOLO en todos los subconjuntos. Por ejemplo, en el subconjunto a1, Mask R-CNN logró una puntuación de Fitness combinada de 189,65, en comparación con un máximo de 168,74 para YOLOv8n. Esta brecha se atribuye a la arquitectura de dos etapas de Mask R-CNN y su superior preservación de características espaciales.
• Detección vs. Segmentación: La detección de cajas delimitadoras (mAP50-95) superó consistentemente a la segmentación de instancias (mAP50-95). Para el subconjunto a1, el mAP de detección fue del 86,63%, mientras que el mAP de segmentación fue del 81,67%.
• Disparidades de Material:
  • Acero: Generalmente más fácil de detectar debido a estructuras rígidas y voluminosas.
  • Cobre: Más desafiante para la segmentación debido al alto reflejo especular, haces de cables enredados y ensamblajes de materiales mixtos (por ejemplo, clavijas de acero en redes de cobre). Sin embargo, el rendimiento de detección de cobre fue comparable al del acero en algunas métricas, lo que sugiere que las cajas delimitadoras son robustas a la textura de la superficie, mientras que la segmentación lucha con los límites finos.
• Sensibilidad a la Escala: El rendimiento disminuyó significativamente para objetos de tamaño mediano en comparación con los objetos grandes. Los objetos pequeños se omitieron de las métricas ya que el conjunto de datos carece de instancias de verdad fundamental en esa dimensión.
• Modos de Fallo: Los modelos exhibieron errores específicos, que incluyen:
  • Segmentar incorrectamente el fondo interno de objetos en forma de anillo como parte del objeto.
  • Fragmentar varillas largas y retorcidas o láminas arrugadas en múltiples instancias.
  • Dificultad con haces de cables de cobre debido a hilos finos y multidireccionales.

Significado y Afirmaciones

El artículo posiciona a SteelDS como un recurso fundamental para avanzar en la clasificación automatizada en el reciclaje de metales. Su importancia radica en:

• Cerrando la Brecha de Datos: Aborda la escasez de recursos especializados para chatarra de metal industrial, particularmente para la separación de acero-cobre, que ha sido obstaculizada por restricciones de datos propietarios.
• Habilitando la Percepción Avanzada: Al proporcionar líneas base a nivel de píxel para objetivos conocidos en una corriente heterogénea, el conjunto de datos apoya el desarrollo de arquitecturas de clasificación de mundo abierto robustas capaces de manejar una variación intraclase extrema.
• Utilidad de Puntuación de Referencia: El conjunto de datos sirve como un campo de pruebas riguroso para evaluar los límites de los modelos actuales de visión por computadora al manejar materiales industriales estocásticamente deformados y de alta reflectividad.

Los autores señalan que, aunque los modelos base muestran promesa, el conjunto de datos revela desafíos específicos (formas complejas, partes ocultas, materiales mixtos) que siguen siendo problemas abiertos para el campo, motivando más investigación en algoritmos de segmentación y clasificación más robustos.