Speeding up the annotation process in semantic segmentation industrial applications

Resumen Técnico: Aceleración del proceso de anotación en aplicaciones industriales de segmentación semántica

Planteamiento del problema
El artículo aborda un cuello de botella crítico en las aplicaciones de aprendizaje automático industrial, específicamente dentro de la ciencia de materiales: la naturaleza laboriosa y propensa a errores de la anotación de datos. Mientras que los modelos de aprendizaje automático requieren grandes conjuntos de datos bien anotados, el proceso de etiquetado manual de imágenes de alta resolución píxel por píxel (segmentación semántica) es sumamente lento. En contextos industriales como la caracterización de microestructuras de acero, esta tarea es particularmente compleja debido a las altas resoluciones de imagen (por ejemplo, 1280×959), los intrincados límites entre fases y el desequilibrio significativo de clases. Los autores señalan que la anotación manual de tales conjuntos de datos puede tomar cientos de horas, y los errores en el etiquetado (errores de clasificación) pueden degradar severamente el rendimiento del modelo. Las soluciones existentes, como el aprendizaje activo o la supervisión débil, aún requieren una interacción humana sustancial antes de que se produzca la primera máscara, fallando en automatizar completamente la fase inicial, la más tediosa, del flujo de trabajo.

Metodología
El estudio propone y valida un flujo de trabajo de anotación semiautomático que aprovecha algoritmos de visión computacional no supervisados para generar pre-anotaciones, las cuales son posteriormente refinadas por expertos humanos. La metodología compara dos estrategias:

1. Etiquetado desde cero: Los expertos anotan manualmente cada píxel de una imagen sin asistencia.
2. Etiquetado a partir de pre-anotaciones: Los expertos refinan las máscaras iniciales generadas por algoritmos no supervisados.

La fase de pre-anotación utiliza cinco técnicas no supervisadas distintas evaluadas por su eficiencia computacional y calidad de máscara:

• Métodos Clásicos: Umbralización Multi-Otsu, segmentación de superpíxeles basada en grafos y agrupamiento K-means. Estos se ejecutan en CPU con una latencia insignificante (<1s a 5s por imagen).
• Métodos de Aprendizaje Profundo (Deep Learning): Una red neuronal convolucional totalmente no supervisada (entrenada por imagen sin pre-entrenamiento) y el Segment Anything Model (SAM). Estos se ejecutan en GPU (1s a 20s por imagen).

Los autores seleccionaron el método de DL no supervisado como el motor principal de pre-anotación debido a su capacidad superior para manejar límites complejos y clases mezcladas, a pesar de que SAM funciona bien en objetos más simples y bien definidos. Las pre-anotaciones refinadas se cargan en la plataforma Labelbox, donde expertos en ciencia de materiales realizan las correcciones necesarias. El estudio cuantifica el tiempo ahorrado comparando los tiempos de anotación medianos de ambas estrategias a través de 82 imágenes de alta resolución de microestructuras de acero.

Contribuciones Clave

1. Ganancias de Eficiencia Cuantificadas: El artículo proporciona el primer estudio que cuantifica explícitamente la reducción de tiempo lograda mediante el uso de pre-anotaciones no supervisadas en comparación con el etiquetado manual desde cero.
2. Conjunto de Datos MicroSteel: Los autores crearon y liberaron el conjunto de datos de segmentación semántica para microestructuras de acero más grande disponible públicamente hasta la fecha. Contiene 82 imágenes de alta resolución (1280×959 y 960×703) totalmente anotadas que cubren tres tipos de procesamiento industrial. El conjunto de datos está disponible bajo la Licencia MIT con un DOI permanente.
3. Referencia Industrial: Se proporciona un modelo de Aprendizaje Profundo (DeepLabV3+ con columna vertebral EfficientNet-b0) entrenado en este conjunto de datos, validado por expertos de campo y desplegado en un entorno industrial.

Resultos

• Reducción de Tiempo: El uso de pre-anotaciones no supervisadas redujo el tiempo total de etiquetado del conjunto de datos de 170 horas a 37 horas, lo que representa una reducción aproximada del 78% en el esfuerzo.
  • Imágenes Tipo I: 80.39% de tiempo ahorrado (58h → 10h).
  • Imágenes Tipo II: 82.81% de tiempo ahorrado (36h → 6h).
  • Imágenes Tipo III: 72.66% de tiempo ahorrado (76h → 21h).
• Calidad de Anotación: Las pre-anotaciones de DL no supervisado lograron puntuaciones de Intersección sobre Unión (IoU) elevadas para las clases mayoritarias (por ejemplo, Alpha, FeTiB, Fe2B), que constituyen más del 95% de los píxeles en la mayoría de los tipos de imágenes. Aunque las clases minoritarias (por ejemplo, TiN) y los límites complejos requirieron refinamiento experto, las pre-anotaciones redujeron significativamente la necesidad de trazado manual de contornos.
• Rendimiento del Modelo: Los modelos supervisados entrenados en el conjunto de datos demostraron que los modelos específicos de tipo superan a los modelos generales entrenados con todos los datos, resaltando la importancia de distinguir entre diferentes rutas de procesamiento industrial. Sin embargo, las clases minoritarias como TiN siguieron siendo un desafío debido al desequilibrio extremo de clases (0.17% de los píxeles) y al ruido en la microscopía óptica.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en demostrar que los algoritmos no supervisados pueden acelerar eficazmente el proceso de anotación de datos para problemas industriales complejos, haciendo factible la generación de conjuntos de datos a gran escala donde anteriormente era demasiado laborioso. Al reducir el esfuerzo manual de 6 días y 18 horas a 1 día y 13 horas, la metodología propuesta permite la creación de modelos robustos para la caracterización automática de materiales. Los autores posicionan el conjunto de datos MicroSteel como un recurso vital para la comunidad, llenando un vacío en los datos de metalografía totalmente anotados disponibles públicamente. Enfatizan que, si bien la reducción del 78% es específica para este dominio y conjunto de datos, el principio de utilizar pre-anotaciones no supervisadas para manejar las clases mayoritarias permite que los expertos se concentren en refinar las regiones críticas de las clases minoritarias, optimizando así el flujo de trabajo de humano en el bucle (human-in-the-loop).