An Explainable Deep Learning Framework for Integrated Steel Microstructure Classification and Surface Defect Analysis

Sintesi Tecnica: Un Framework di Deep Learning Spiegabile per la Classificazione Integrata della Microstruttura dell'Acciaio e l'Analisi dei Difetti Superficiali

Problematica
Il controllo qualità automatizzato nella produzione dell'acciaio richiede l'analisi simultanea di due aspetti distinti ma complementari: la microstruttura interna (che determina le proprietà meccaniche) e i difetti superficiali (che compromettono l'integrità strutturale). Gli approcci esistenti trattano tipicamente questi aspetti come compiti isolati utilizzando modelli e flussi di lavoro separati, limitando la loro applicabilità pratica nei sistemi di ispezione integrati. Inoltre, molti studi riportano metriche di prestazione di singola esecuzione senza validazione statistica, e pochi incorporano la spiegabilità o la stima della severità in un unico pipeline. Questa mancanza di integrazione costringe gli ingegneri a riconciliare output disconnessi, mentre la natura "black-box" dei modelli di deep learning ostacola la fiducia negli ambienti industriali regolamentati.

Metodologia
Lo studio propone un framework di deep learning unificato a doppia modalità che integra quattro componenti core in un unico pipeline:

1. Classificazione della Microstruttura: Utilizzando il dataset dell'Acciaio ad Altissimo Contenuto di Carbonio (UHCS), il sistema impiega il transfer learning con un backbone ResNet50 per classificare sei classi microstrutturali (ad esempio, spheroidite, perlite e le loro combinazioni). Per affrontare lo sbilanciamento delle classi (in particolare un rapporto di 74:1 tra spheroidite e perlite+widmanstätten), è stata applicata una perdita di cross-entropy pesata. Il sistema restituisce le prime 3 predizioni (Top-3) con punteggi di confidenza per gestire l'ambiguità visiva.
2. Rilevamento dei Difetti Superficiali: Utilizzando il dataset dei difetti superficiali NEU, il framework impiega un modello di object detection YOLOv8 per localizzare e classificare sei tipi di difetti (crazing, inclusioni, patch, superficie butterata, scaglia arrotolata e graffi).
3. Stima della Severità Basata su Regole: Un modulo trasparente converte gli output di rilevamento in livelli di severità azionabili (LOW, MEDIUM, HIGH). Questa logica si basa sul numero di bounding box rilevati e sui loro punteggi di confidenza medi, piuttosto che su un modello di severità appreso.
4. Spiegabilità (Grad-CAM): La tecnica Gradient-weighted Class Activation Mapping è integrata nella branca di classificazione per visualizzare le regioni dell'immagine che influenzano le decisioni del modello, garantendo che il modello si concentri su caratteristiche microstrutturali fisicamente significative.

Il sistema opera in una configurazione controllata a doppia modalità (modalità UHCS per classificazione/spiegabilità; modalità NEU per rilevamento/severità) gestita da un controller centrale. Per garantire il rigore statistico, tutti i modelli sono stati addestrati e valutati attraverso tre esecuzioni indipendenti con diversi seed casuali.

Risultati Chiave

• Prestazioni di Classificazione: Il modello ResNet50 con transfer learning ha raggiunto un'accuratezza dell'88,52% ± 1,05% e un F1-score dell'88,59% ± 1,09% su tre esecuzioni. Questo ha superato significativamente un baseline CNN addestrato da zero (accuratezza 76,67%) ed EfficientNetB3 (87,04% di accuratezza). Tuttavia, il modello ha avuto difficoltà con la classe "perlite+widmannstätten" a causa dell'estrema scarsità di dati (solo 10 campioni totali), ottenendo un'accuratezza dello 0,0% in diverse esecuzioni.
• Prestazioni di Rilevamento: Il modello YOLOv8 ha raggiunto una mean Average Precision (mAP@0.5) di 0,715 ± 0,005. Le prestazioni variano per tipo di difetto; difetti distinti come "inclusioni" e "graffi" hanno performato bene, mentre il "crazing" si è rivelato problematico, risultando in un recall di 0,000 (sebbene la precision fosse di 1,000, indicando che il modello raramente lo rileva, ma è corretto quando lo fa).
• Severità e Spiegabilità: La stima della severità basata su regole è rimasta stabile sotto analisi di sensibilità, con l'87% delle assegnazioni coerente sotto perturbazioni della soglia di ±0,05. Le visualizzazioni Grad-CAM hanno confermato che il modello prestava attenzione alle caratteristiche microstrutturali rilevanti (ad esempio, bordi di grano e reti di carburi) piuttosto che ad artefatti di sfondo. I punteggi di confidenza correlavano con la complessità metallurgica, con classi distinte che raggiungevano una confidenza di 1,000 e classi ambigue che ottenevano punteggi inferiori (ad esempio, 0,674 per perlite+widmannstätten).

Contributi Chiave
Il contributo primario di questo lavoro è l'integrazione della classificazione della microstruttura, del rilevamento dei difetti superficiali, della stima della severità e della spiegabilità in un unico framework modulare valutato su due dataset distinti di acciaio. A differenza dei lavori precedenti che affrontano questi compiti indipendentemente, questo sistema fornisce un workflow coerente per la valutazione automatizzata della qualità dell'acciaio. Inoltre, lo studio enfatizza l'affidabilità statistica riportando media e deviazione standard attraverso tre esecuzioni di addestramento indipendenti, affrontando una lacuna comune nella riproducibilità della letteratura sull'IA applicata alla scienza dei materiali.

Significatività e Rivendicazioni
Gli autori affermano che questo framework va oltre le semplici predizioni isolate dei modelli per fornire uno strumento di ispezione pratico e interpretabile, adatto alla valutazione automatizzata della qualità dell'acciaio. L'integrazione di Grad-CAM e della stima della severità basata su regole risponde alla necessità industriale di processi decisionali verificabili e trasparenti. Lo studio postula che, sebbene i singoli componenti (come Resnet50 o YOLOv8) non siano nuovi in isolamento, la loro combinazione in un unico pipeline a doppia modalità con validazione statistica rappresenti un passo significativo verso l'IA industriale implementabile. Gli autori riconoscono i limiti, in particolare la scarsità di dati per specifiche microstrutture e la difficoltà di rilevare difetti basati sulla texture come il crazing, suggerendo che i miglioramenti futuri dovrebbero concentrarsi sull'augmentation dei dati e su modelli di severità appresi piuttosto che su euristiche basate su regole.