Speeding up the annotation process in semantic segmentation industrial applications

Sintesi Tecnica: Accelerare il processo di annotazione nelle applicazioni industriali di segmentazione semantica

Definizione del Problema
Il documento affronta un collo di bottiglia critico nelle applicazioni di machine learning industriale, specificamente all'interno della scienza dei materiali: la natura laboriosa e soggetta a errori dell'annotazione dei dati. Mentre i modelli di machine learning richiedono dataset ampi e ben annotati, il processo di etichettatura manuale di immagini ad alta risoluzione pixel per pixel (segmentazione semantica) è estremamente dispendioso in termini di tempo. In contesti industriali come la caratterizzazione della microstruttura dell'acciaio, questo compito è particolarmente complesso a causa delle elevate risoluzioni delle immagini (ad es. 1280×959), dei confini intricati tra le fasi e del significativo squilibrio delle classi. Gli autori rilevano che l'annotazione manuale di tali dataset può richiedere centinaia di ore, ed errori nell'etichettatura (mislabeling) possono degradare severamente le prestazioni del modello. Le soluzioni esistenti, come l'apprendimento attivo (active learning) o la supervisione debole (weak supervision), richiedono comunque una sostanziale interazione umana prima che venga prodotta la prima maschera, non riuscendo a automatizzare completamente la fase iniziale, la più tediosa, del flusso di lavoro.

Metodologia
Lo studio propone e valida un flusso di lavoro di annotazione semi-automatico che sfrutta algoritmi di computer vision non supervisionati per generare pre-annotazioni, che vengono successivamente perfezionate da esperti umani. La metodologia confronta due strategie:

1. Etichettatura da zero (Labeling from Scratch): Gli esperti annotano manualmente ogni pixel di un'immagine senza assistenza.
2. Etichettatura da pre-annotazioni (Labeling from Pre-annotations): Gli esperti perfezionano le maschere iniziali generate da algoritmi non supervisionati.

La fase di pre-annotazione utilizza cinque diverse tecniche non supervisionate valutate per la loro efficienza computazionale e la qualità delle maschere:

• Metodi Classici: Soglia Multi-Otsu, segmentazione di superpixel basata su grafi e clustering K-means. Questi girano su CPU con una latenza trascurabile (<1s a 5s per immagine).
• Metodi di Deep Learning: Una rete neurale convoluzionale completamente non supervisionata (addestrata per singola immagine senza pre-addestramento) e il Segment Anything Model (SAM). Questi girano su GPU (1s a 20s per immagine).

Gli autori hanno selezionato il metodo basato su DL non supervisionato come motore principale per la pre-annotazione grazie alla sua capacità superiore di gestire confini complessi e classi intermixate, nonostante SAM offra buone prestazioni su oggetti più semplici e ben definiti. Le pre-annotazioni perfezionate vengono caricate nella piattaforma Labelbox, dove esperti di scienza dei materiali eseguono le correzioni necessarie. Lo studio quantifica il tempo risparmiato confrontando i tempi mediani di annotazione di entrambe le strategie su 82 immagini ad alta risoluzione di microstrutture di acciaio.

Contributi Chiave

1. Guadagni di Efficienza Quantificati: Il documento fornisce il primo studio che quantifica esplicitamente la riduzione di tempo ottenuta utilizzando pre-annotazioni non supervisionate rispetto all'etichettatura manuale da zero.
2. Dataset MicroSteel: Gli autori hanno creato e rilasciato il più grande dataset di segmentazione semantica per microstrutture di acciaio disponibile pubblicamente ad oggi. Contiene 82 immagini ad alta risoluzione (1280×959 e 960×703) completamente annotate, che coprono tre tipi di lavorazione industriale. Il dataset è disponibile sotto licenza MIT con un DOI permanente.
3. Benchmark Industriale: Un modello di Deep Learning (DeepLabV3+ con backbone EfficientNet-b0) addestrato su questo dataset viene fornito come benchmark, validato da esperti di settore e implementato in un contesto industriale.

Risultati

• Riduzione del Tempo: L'uso di pre-annotazioni non supervisionate ha ridotto il tempo totale di etichettatura del dataset da 170 ore a 37 ore, rappresentando una riduzione dell'impegno di circa il 78%.
  • Immagini di Tipo I: 80,39% di tempo risparmiato (58h → 10h).
  • Immagini di Tipo II: 82,81% di tempo risparmiato (36h → 6h).
  • Immagini di Tipo III: 72,66% di tempo risparmiato (76h → 21h).
• Qualità dell'Annotazione: Le pre-annotazioni basate su DL non supervisionato hanno raggiunto elevati punteggi di Intersection over Union (IoU) per le classi maggioritarie (ad es. Alpha, FeTiB, Fe2B), che costituiscono oltre il 95% dei pixel nella maggior parte dei tipi di immagine. Sebbene le classi minoritarie (ad es. TiN) e i confini complessi richiedessero il perfezionamento degli esperti, le pre-annotazioni hanno ridotto significativamente la necessità di tracciamento manuale dei contorni.
• Prestazioni del Modello: I modelli supervisionati addestrati sul dataset hanno dimostrato che i modelli specifici per tipo superano i modelli generali addestrati su tutti i dati, evidenziando l'importanza di distinguere tra diversi percorsi di lavorazione industriale. Tuttavia, le classi minoritarie come il TiN sono rimaste problematiche a causa dell'estremo squilibrio delle classi (0,17% dei pixel) e del rumore nella microscopia ottica.

Significatività e Rivendicazioni
Il documento afferma che la sua principale significatività risiede nel dimostrare che gli algoritmi non supervisionati possono accelerare efficacementamente il processo di annotazione dei dati per problemi industriali complessi, rendendo fattibile la generazione di dataset su larga scala dove prima era troppo dispendioso in termini di tempo. Riducendo lo sforzo manuale da 6 giorni e 18 ore a 1 giorno e 13 ore, la metodologia proposta consente la creazione di modelli robusti per la caratterizzazione automatica dei materiali. Gli autori posizionano il dataset MicroSteel come una risorsa vitale per la comunità, colmando una lacuna nei dati di metallografia completamente annotati disponibili pubblicamente. Essi sottolineano che, sebbene la riduzione del 78% sia specifica per questo dominio e dataset, il principio di utilizzare pre-annotazioni non supervisionate per gestire le classi maggioritarie permette agli esperti di concentrare la propria competenza sul perfezionamento delle regioni critiche delle classi minoritarie, ottimizzando così il flusso di lavoro human-in-the-loop.