Speeding up the annotation process in semantic segmentation industrial applications

Resumo Técnico: Acelerando o processo de anotação em aplicações industriais de segmentação semântica

Declaração do Problema
O artigo aborda um gargalo crítico em aplicações de aprendizado de máquina industrial, especificamente dentro da ciência dos materiais: a natureza laboriosa e propensa a erros da anotação de dados. Embora os modelos de aprendizado de máquina exijam grandes conjuntos de dados bem anotados, o processo de rotular manualmente imagens de alta resolução pixel por pixel (segmentação semântica) é demorado. Em contextos industriais como a caracterização de microestruturas de aço, esta tarefa é particularmente complexa devido às altas resoluções de imagem (ex: 1280×959), fronteiras intrincadas entre fases e desequilíbrio significativo de classes. Os autores observam que a anotação manual de tais conjuntos de dados pode levar centenas de horas, e erros na rotulagem (rotulagem incorreta) podem degradar severamente o desempenho do modelo. Soluções existentes, como aprendizado ativo ou supervisão fraca, ainda exigem uma interação humana substancial antes que a primeira máscara seja produzida, falhando em automatizar totalmente a fase inicial, mais tediosa, do fluxo de trabalho.

Metodologia
O estudo propõe e valida um fluxo de trabalho de anotação semiautomático que utiliza algoritmos de visão computacional não supervisionados para gerar pré-anotações, que são subsequentemente refinadas por especialistas humanos. A metodologia compara duas estratégias:

1. Rotulagem do Zero: Especialistas anotam manualmente cada pixel de uma imagem sem assistência.
2. Rotulagem a partir de Pré-anotações: Especialistas refinam máscaras iniciais geradas por algoritmos não supervisionados.

A fase de pré-anotação utiliza cinco técnicas distintas não supervisionadas avaliadas quanto à sua eficiência computacional e qualidade de máscara:

• Métodos Clássicos: Limiarização Multi-Otsu, segmentação de superpixels baseada em grafos e agrupamento K-means. Estes rodam em CPU com latência desprezível (<1s a 5s por imagem).
• Métodos de Aprendizado Profundo (Deep Learning): Uma rede neural convolucional totalmente não supervisionada (treinada por imagem sem pré-treinamento) e o Segment Anything Model (SAM). Estes rodam em GPU (1s a 20s por imagem).

Os autores selecionaram o método de DL não supervisionado como o motor principal de pré-anotação devido à sua capacidade superior de lidar com fronteiras complexas e classes misturadas, apesar de o SAM apresentar bom desempenho em objetos mais simples e bem definidos. As pré-anotações refinadas são carregadas na plataforma Labelbox, onde especialistas em ciência dos materiais realizam as correções necessárias. O estudo quantifica o tempo economizado comparando os tempos medianos de anotação de ambas as estratégias através de 82 imagens de alta resolução de microestruturas de aço.

Principais Contribuições

1. Ganhos de Eficiência Quantificados: O artigo fornece o primeiro estudo que quantifica explicitamente a redução de tempo alcançada pelo uso de pré-anotações não supervisionadas em comparação com a rotulagem manual do zero.
2. Conjunto de Dados MicroSteel: Os autores criaram e disponibilizaram o maior conjunto de dados de segmentação semântica para microestruturas de aço disponível publicamente até o momento. Ele contém 82 imagens de alta resolução (1280×959 e 960×703) totalmente anotadas, cobrindo três tipos de processamento industrial. O conjunto de dados está disponível sob a Licença MIT com um DOI permanente.
3. Benchmark Industrial: Um modelo de Deep Learning (DeepLabV3+ com backbone EfficientNet-b0) treinado neste conjunto de dados é fornecido como um benchmark, validado por especialistas de campo e implantado em um ambiente industrial.

Resultos

• Redução de Tempo: O uso de pré-anotações não supervisionadas reduziu o tempo total de rotulagem do conjunto de dados de 170 horas para 37 horas, representando uma redução de esforço de aproximadamente 78%.
  • Imagens Tipo I: 80,39% de tempo economizado (58h → 10h).
  • Imagens Tipo II: 82,81% de tempo economizado (36h → 6h).
  • Imagens Tipo III: 72,66% de tempo economizado (76h → 21h).
• Qualidade da Anotação: As pré-anotações baseadas em DL não supervisionado alcançaram altos escores de Interseção sobre União (IoU) para as classes majoritárias (ex: Alpha, FeTiB, Fe2B), que constituem mais de 95% dos pixels na maioria dos tipos de imagem. Embora as classes minoritárias (ex: TiN) e as fronteiras complexas tenham exigido refinamento especializado, as pré-anotações reduziram significativamente a necessidade de rastreamento manual de contornos.
• Desempenho do Modelo: Modelos supervisionados treinados no conjunto de dados demonstraram que modelos específicos por tipo superam modelos gerais treinados em todos os dados, destacando a importância de distinguir entre diferentes rotas de processamento industrial. No entanto, classes minoritárias como TiN permaneceram desafiadoras devido ao extremo desequilíbrio de classes (0,17% dos pixels) e ao ruído na microscopia óptica.

Significância e Alegações
O artigo afirma que sua principal significância reside em demonstrar que algoritmos não supervisionados podem efetivamente acelerar o processo de anotação de dados para problemas industriais complexos, tornando viável a geração de grandes conjuntos de dados onde anteriormente era muito demorado. Ao reduzir o esforço manual de 6 dias e 18 horas para 1 dia e 13 horas, a metodologia proposta permite a criação de modelos robustos para caracterização automática de materiais. Os autores posicionam o conjunto de dados MicroSteel como um recurso vital para a comunidade, preenchendendo uma lacuna em dados de metalografia totalmente anotados e públicos. Eles enfatizam que, embora a redução de 78% seja específica para este domínio e conjunto de dados, o princípio de usar pré-anotações não supervisionadas para lidar com classes majoritárias permite que os especialistas foquem sua expertise no refinamento de regiões críticas, otimizando assim o fluxo de trabalho de humano no ciclo (human-in-the-loop).