AM-DefectNet: Additive Manufacturing Defect Classification Using Machine Learning -- A comparative Study

Questo studio introduce AM-DefectNet, un quadro completo che valuta 15 modelli di apprendimento automatico per la classificazione dei difetti nella produzione additiva, rivelando che l'algoritmo CatBoost supera gli altri con un'accuratezza del 92,47% nella caratterizzazione della pozza di fusione.

L'essenziale

Immagina di cuocere il pane perfetto. In passato, ti affidavi ai tuoi sensi: osservando la crosta, annusando l'aroma e toccando la consistenza. Ma nel mondo high-tech della Manufacturing Additiva (AM), o stampa 3D, il "pane" viene costruito strato per strato partendo da polvere metallica utilizzando laser intensi. Il problema? È difficile vedere cosa succede all'interno del metallo caldo e fuso (chiamato melt pool) mentre il laser si muove velocemente. Se il calore è troppo alto, si forma un "keyhole" (una bolla profonda e instabile); se è troppo basso, gli strati non si attaccano ("lack of fusion"); oppure, se è giusto, si ottiene un pezzo perfetto e solido.

Questo articolo presenta un nuovo strumento chiamato AM-DefectNet. Pensa ad AM-DefectNet come a un "super-assaggiatore" per le stampanti 3D. Invece di un cuoco umano che indovina se il pane è bruciato, questo strumento utilizza il Machine Learning (ML) per assaggiare i dati e dirti immediatamente se il pezzo metallico è perfetto o difettoso.

Ecco una semplice spiegazione di come hanno costruito questo strumento e cosa hanno scoperto:

1. Raccolta degli Ingredienti (I Dati)

Per insegnare a un computer a individuare i difetti, serve un enorme ricettario di esempi. I ricercatori non hanno eseguito un solo esperimento; sono andati in biblioteca e hanno raccolto dati da decine di altri studi scientifici.

• La Ricetta: Hanno raccolto informazioni sugli "ingredienti" (come il tipo di lega metallica, la temperatura del laser, la velocità di movimento e lo spessore degli strati).
• Il Risultato: Hanno finito per avere circa 2.000 punti dati. Ogni punto era un'istantanea di un momento di stampa 3D, etichettato come "Desiderabile" (perfetto), "Balling" (il metallo si è arrotolato in piccole sfere invece di formare uno strato piatto), "Keyhole" (troppa energia) o "Lack of Fusion" (poca energia).

2. La Degustazione (I Modelli)

I ricercatori non hanno usato una sola ricetta per prevedere l'esito. Hanno preparato 15 diversi modelli di Machine Learning per vedere quale fosse il miglior cuoco.

• I Cuochi "Lineari": Erano modelli semplici (come la Regressione Logistica) che cercavano di tracciare una linea retta per separare i pezzi buoni da quelli cattivi. Immagina di cercare di ordinare biglie rosse e blu con un solo righello dritto. L'articolo ha scoperto che questi cuochi faticavano perché la relazione tra le impostazioni del laser e i difetti è disordinata e curva, non dritta.
• I Cuochi "Basati su Alberi": Questi modelli (come Decision Trees, Random Forests e Gradient Boosting) sono come un diagramma di flusso. Fanno una serie di domande sì/no: "La potenza del laser era alta?" -> "Sì." -> "La velocità era bassa?" -> "Sì." -> "Risultato: Keyhole."
• Il Cuoco "Deep Neural Network": Questo è un cervello complesso e multistrato che cerca di imparare i modelli da solo, in modo simile a come un umano impara a riconoscere un volto.

3. I Risultati: Chi ha vinto il concorso di cucina?

Dopo aver fornito tutti i dati a questi 15 modelli, i risultati sono stati chiari:

• Il Campione: CatBoost ha preso il primo posto con un'accuratezza del 92,47%. È stato il migliore nell'identificare correttamente tutti e quattro i tipi di esiti (perfetto, balling, keyhole o lack of fusion).
• I Finalisti: Altri due cuochi basati su alberi, LGBM e XGBoost, sono arrivati secondi e terzi, ottenendo punteggi intorno al 91% e 90%.
• Il Contendente Deep Learning: Il complesso Deep Neural Network (DNN) ha fatto un buon lavoro (88,55%), ma non ha battuto i modelli basati su alberi. In effetti, l'articolo nota che per questo specifico set di dati, i modelli basati su alberi più semplici erano più efficienti e accurati.
• I Perdenti: I semplici modelli "Lineari" e alcuni metodi più vecchi (come certi tipi di Support Vector Machines) hanno performato male, spesso confusi dalla fisica complessa della fusione del metallo.

4. Cosa hanno detto le "Curve di Apprendimento"

I ricercatori hanno anche esaminato le "Curve di Apprendimento", che sono come grafici che mostrano quanto uno studente migliora studiando più pagine di un libro di testo.

• Hanno scoperto che per i modelli migliori (come CatBoost), la curva non si era ancora appiattita completamente. Questo significa che se avessero fornito al modello ancora più dati, potrebbe diventare ancora migliore.
• Tuttavia, per alcuni altri modelli, la curva ha mostrato che stavano "sovra-adattandosi" (overfitting) — essenzialmente memorizzando le risposte del libro di testo invece di imparare i concetti, il che li ha fatti fallire su nuovi problemi mai visti prima.

La Conclusione

L'articolo conclude che la Manufacturing Additiva è un puzzle complesso e multifisico troppo difficile da risolvere con una logica semplice e lineare. Tuttavia, i modelli di Machine Learning non lineari e basati su alberi (in particolare CatBoost) sono eccellenti nel risolvere questo puzzle.

Utilizzando AM-DefectNet, gli ingegneri possono ora affidarsi a questi algoritmi intelligenti per prevedere i difetti nei pezzi metallici stampati in 3D con alta accuratezza, agendo come un ispettore digitale affidabile del controllo qualità che impara da migliaia di esempi passati. Lo studio dimostra che non dobbiamo indovinare se un pezzo è buono; possiamo lasciare che siano i dati a dircelo.

Sommario tecnico

Sintesi Tecnica: AM-DefectNet

Enunciato del Problema
La Manifattura Additiva (AM), in particolare processi come la Fusione a Letto di Polvere con Laser (LPBF) e la Deposizione di Energia Diretta, affronta sfide significative nel garantire la qualità della produzione a causa della natura complessa e multifisica della dinamica del bagno di fusione. Difetti come la mancanza di fusione (LOF), la porosità da chiave, e il fenomeno del balling compromettono l'integrità strutturale delle parti stampate. Sebbene il monitoraggio tradizionale si basi su tecniche in-situ (ad esempio, sensori acustici, termografia) ed ex-situ (ad esempio, raggi X, TC), questi metodi possono essere costosi, richiedere molto tempo e necessitare di una calibrazione estesa. Inoltre, le relazioni intricate tra i parametri di processo (potenza del laser, velocità di scansione, spaziatura dell'hatch), le proprietà del materiale e la geometria del bagno di fusione rendono difficile stabilire modelli predittivi affidabili basati sulla fisica. Vi è un bisogno critico di approcci guidati dai dati in grado di classificare accuratamente i difetti basandosi su dataset sperimentali per ottimizzare i parametri di processo e migliorare la qualità delle parti.

Metodologia
Gli autori introducono AM-DefectNet, un quadro di riferimento completo per il benchmarking progettato per valutare l'efficacia di vari modelli di Apprendimento Automatico (ML) nella classificazione dei difetti AM. La metodologia prevede i seguenti passaggi chiave:

• Raccolta e Curazione dei Dati: Lo studio utilizza un dataset compilato dalla letteratura scientifica sottoposta a revisione paritaria, facendo principalmente riferimento al lavoro di Akbari et al. Il dataset comprende circa 2.019 punti dati, suddivisi in 1.514 per l'addestramento e 505 per il test. Le caratteristiche di input includono i parametri di processo (potenza del laser, velocità di scansione, spessore dello strato, diametro del fascio, spaziatura dell'hatch) e le proprietà del materiale (conduttività termica, calore specifico, punto di fusione, composizione chimica). L'output target è una classificazione a quattro classi: Desiderabile (nessun difetto), Keyhole, Mancanza di Fusione (LOF) e Balling.
• Featurizzazione e Preprocessing: Le variabili categoriali (ad esempio, tipo di processo: SLM vs EBM) vengono convertite utilizzando la codifica one-hot. Sia gli input categoriali che quelli numerici subiscono una normalizzazione min-max. Il dataset viene partizionato utilizzando una strategia di validazione incrociata a 11 pieghe per mitigare l'overfitting e garantire una stima robusta delle prestazioni.
• Selezione del Modello: Lo studio valuta 15 distinti modelli ML, categorizzati in:
  • Algoritmi Lineari: Regressione Logistica e Macchine a Vettori di Supporto (SVM) con kernel lineare.
  • Algoritmi Non Lineari Basati su Alberi: Alberi Decisionali, Random Forest, AdaBoost, Bagging, Voting e varianti di Gradient Boosting (XGBoost, LGBM, CatBoost).
  • Reti Neurali: Perceptron a Strati Multipli (MLP/DNN) e vari kernel SVM (RBF, Polinomiale, Sigmoide).
  • Apprendimento Basato su Istanza: k-Nearest Neighbors (k-NN).
• Metriche di Valutazione: Le prestazioni del modello sono valutate utilizzando Accuratezza, Precisione, Recall e Punteggio F1, calcolati tramite medie macro, micro e ponderate per tenere conto della distribuzione delle classi. Vengono inoltre utilizzate curve di apprendimento per analizzare la convergenza del modello e i requisiti di dati.

Contributi Chiave

1. Quadro AM-DefectNet: Il documento stabilisce un benchmark standardizzato per il confronto dei modelli ML specificamente per la caratterizzazione del bagno di fusione e la classificazione dei difetti nell'AM, un confronto non precedentemente esplorato in questa modalità completa.
2. Confronto Completo dei Modelli: Lo studio valuta sistematicamente 15 algoritmi, che vanno dai classificatori lineari tradizionali ai metodi di ensemble avanzati e al deep learning, fornendo una chiara gerarchia delle prestazioni per questo specifico dominio.
3. Identificazione degli Algoritmi Ottimali: La ricerca identifica che i metodi di ensemble non lineari basati su alberi, in particolare CatBoost, LGBM e XGBoost, superano significativamente i modelli lineari e altri classificatori in questo contesto.
4. Analisi delle Curve di Apprendimento: Gli autori forniscono approfondimenti sul comportamento del modello rispetto alla dimensione del dataset, evidenziando quali modelli hanno raggiunto la convergenza e quali potrebbero beneficiare di dati aggiuntivi.

Risultati
I risultati del benchmark dimostrano una chiara gerarchia delle prestazioni tra i modelli testati:

• Migliori Prestazioni: CatBoost ha raggiunto la massima accuratezza del 92,47%, seguito da LGBM al 91,08% e XGBoost al 90,89%. Questi modelli hanno anche mostrato precisione, recall e punteggi F1 superiori attraverso le classi di difetti.
• Prestazioni del Deep Learning: La Rete Neurale Profonda (DNN/MLP) ha dimostrato prestazioni competitive con un'accuratezza del 88,55%, sebbene richiedesse un'attenta regolazione degli iperparametri (inclusa la normalizzazione in batch e il dropout) per mitigare l'overfitting.
• Modelli con Prestazioni Inferiori: I modelli lineari, come la Regressione Logistica (62,17% di accuratezza) e le SVM con kernel lineare (70,29% di accuratezza), hanno faticato a catturare le relazioni complesse e non lineari intrinseche nei processi AM. Le SVM con kernel non lineari (RBF, Polinomiale) hanno mostrato un miglioramento ma non hanno eguagliato le prestazioni dei migliori ensemble basati su alberi.
• Analisi della Matrice di Confusione: L'analisi visiva delle matrici di confusione ha confermato che CatBoost e LGBM hanno efficacemente minimizzato le classificazioni errate tra i tipi di difetti rispetto ad altri algoritmi.

Significato e Affermazioni
Il documento afferma che lo studio evidenzia l'efficacia dell'Apprendimento Automatico, in particolare degli algoritmi non lineari basati su alberi come CatBoost, nell'affrontare le sfide del rilevamento dei difetti nella Manifattura Additiva. Stabilendo il benchmark AM-DefectNet, gli autori forniscono una base validata per l'ottimizzazione del processo. I risultati suggeriscono che gli approcci guidati dai dati possono servire come alternativa economica ed efficiente al monitoraggio sperimentale tradizionale per prevedere le caratteristiche del bagno di fusione e identificare difetti come LOF, balling e formazione di chiave. Lo studio conclude che questi modelli ML gettano le basi per migliorare la ripetibilità e ridurre i tassi di difetti nella produzione AM, sebbene noti modestamente che potrebbero essere necessari ulteriori dati per far convergere completamente determinati modelli e che la complessità della fisica AM rimane una sfida per gli approcci lineari.