AM-DefectNet: Additive Manufacturing Defect Classification Using Machine Learning -- A comparative Study

Deze studie introduceert AM-DefectNet, een uitgebreid raamwerk dat 15 machine learning-modellen voor de classificatie van defecten in additieve productie benchmarkt en aantoont dat het CatBoost-algoritme de anderen overtreft met een nauwkeurigheid van 92,47% bij de karakterisering van smeltbaden.

De kern

Stel je voor dat je het perfecte brood bakt. In de oude tijden vertrouwde je op je zintuigen: kijken naar de korst, ruiken aan het aroma en voelen aan de textuur. Maar in de high-tech wereld van Additieve Fabricage (AF), of 3D-printen, wordt het "brood" laag voor laag opgebouwd uit metaalpoeder met behulp van intense lasers. Het probleem? Het is moeilijk om te zien wat er gebeurt binnenin het hete, gesmolten metaal (het smeltbad genoemd) terwijl de laser razendsnel rondvliegt. Is de hitte te hoog, dan krijg je een "sleutelgat" (een diepe, onstabiele bubbel); is het te laag, dan plakken de lagen niet goed aan elkaar ("geen fusie"); of is het precies goed, dan krijg je een perfect, massief onderdeel.

Dit artikel introduceert een nieuw hulpmiddel genaamd AM-DefectNet. Denk aan AM-DefectNet als een "super-proever" voor 3D-printers. In plaats van dat een menselijke chef gokt of het brood verbrand is, gebruikt dit hulpmiddel Machine Learning (ML) om de data te proeven en je direct te vertellen of het metalen onderdeel perfect of gebrekkig is.

Hier is een eenvoudige uiteenzetting van hoe ze dit hulpmiddel hebben gebouwd en wat ze hebben gevonden:

1. Het verzamelen van de ingrediënten (De data)

Om een computer te leren hoe je defecten opspoort, heb je een enorm kookboek met voorbeelden nodig. De onderzoekers draaiden niet zomaar één experiment; ze gingen naar de bibliotheek en verzamelden data uit tientallen andere wetenschappelijke studies.

• Het recept: Ze verzamelden informatie over de "ingrediënten" (zoals het type metaallegering, hoe heet de laser was, hoe snel deze bewoog en hoe dik de lagen waren).
• Het resultaat: Ze eindigden met ongeveer 2.000 datapunten. Elk punt was een momentopname van een 3D-printmoment, gelabeld als "Wenselijk" (perfect), "Ballen" (het metaal rolde samen tot kleine balletjes in plaats van een vlakke laag), "Sleutelgat" (te veel energie) of "Geen fusie" (niet genoeg energie).

2. De proeverij (De modellen)

De onderzoekers gebruikten niet zomaar één recept om het resultaat te voorspellen. Ze bereidden 15 verschillende Machine Learning-modellen op om te zien welke de beste chef was.

• De "Lineaire" chefs: Dit waren eenvoudige modellen (zoals Logistische Regressie) die probeerden een rechte lijn te trekken om goede onderdelen van slechte te scheiden. Stel je voor dat je rode en blauwe knikkers sorteert met een enkele rechte liniaal. Het artikel vond dat deze chefs worstelden, omdat de relatie tussen laserinstellingen en defecten rommelig en gebogen is, niet recht.
• De "Op bomen gebaseerde" chefs: Deze modellen (zoals Beslissingsbomen, Random Forests en Gradient Boosting) werken als een stroomschema. Ze stellen een reeks ja/nee-vragen: "Was het laservermogen hoog?" -> "Ja." -> "Was de snelheid laag?" -> "Ja." -> "Resultaat: Sleutelgat."
• De "Diep Neuraal Netwerk"-chef: Dit is een complex, meerlagig brein dat probeert patronen zelf te leren, vergelijkbaar met hoe een mens leert een gezicht te herkennen.

3. De resultaten: Wie won het kookwedstrijd?

Nadat alle data aan deze 15 modellen was gevoerd, waren de resultaten duidelijk:

• De kampioen: CatBoost nam de toppositie in met een nauwkeurigheid van 92,47%. Het was het beste in het correct identificeren van alle vier soorten uitkomsten (perfect, ballen, sleutelgat of geen fusie).
• De nummers twee: Twee andere op bomen gebaseerde chefs, LGBM en XGBoost, eindigden tweede en derde, met scores van ongeveer 91% en 90%.
• De Deep Learning-uitdager: Het complexe Diepe Neuronale Netwerk (DNN) deed het aardig (88,55%), maar versloeg de op bomen gebaseerde modellen niet. Sterker nog, het artikel merkt op dat voor deze specifieke dataset de eenvoudigere op bomen gebaseerde modellen efficiënter en accurater waren.
• De verliezers: De eenvoudige "Lineaire" modellen en sommige oudere methoden (zoals bepaalde typen Support Vector Machines) presteerden slecht en raakten vaak in de war door de complexe fysica van het smeltende metaal.

4. Wat de "leercurves" hen vertelden

De onderzoekers keken ook naar "leercurves", die lijken op grafieken die laten zien hoeveel een student verbetert naarmate hij meer pagina's van een leerboek bestudeert.

• Ze ontdekten dat voor de best presterende modellen (zoals CatBoost) de curve nog niet helemaal afgevlakt was. Dit betekent dat als ze het model nog meer data zouden geven, het misschien nog beter zou worden.
• Voor sommige andere modellen toonde de curve echter dat ze "overfitten" - in wezen het memoriseren van de antwoorden in het leerboek in plaats van de concepten te leren, waardoor ze faalden bij nieuwe, ongezette problemen.

De bottom line

Het artikel concludeert dat Additieve Fabricage een complex, multi-fysisch puzzelstuk is dat te moeilijk is om op te lossen met simpele, rechte lijn-logica. Echter, niet-lineaire, op bomen gebaseerde Machine Learning-modellen (specifiek CatBoost) zijn uitstekend in het oplossen van deze puzzel.

Door AM-DefectNet te gebruiken, kunnen ingenieurs nu vertrouwen op deze slimme algoritmen om defecten in 3D-geprinte metalen onderdelen met hoge nauwkeurigheid te voorspellen, fungerend als een betrouwbare digitale kwaliteitscontrole-inspecteur die leert van duizenden eerdere voorbeelden. De studie bewijst dat we niet hoeven te gokken of een onderdeel goed is; we kunnen de data het laten vertellen.

Technische samenvatting

Technische Samenvatting: AM-DefectNet

Probleemstelling
Additieve Fabricage (AM), met name processen zoals Laser Powder Bed Fusion (LPBF) en Directed Energy Deposition, staat voor aanzienlijke uitdagingen bij het waarborgen van productiekwaliteit vanwege de complexe, multi-fysische aard van de smeltbad-dynamiek. Defecten zoals gebrekkige fusie (LOF), keyhole-porositeit en balling-verschijnselen compromitteren de structurele integriteit van geprinte onderdelen. Hoewel traditionele monitoring vertrouwt op in-situ (bijvoorbeeld akoestische sensoren, thermografie) en ex-situ (bijvoorbeeld röntgenstraling, CT) technieken, kunnen deze methoden kostbaar, tijdrovend zijn en uitgebreide kalibratie vereisen. Bovendien maken de ingewikkelde relaties tussen procesparameters (laservermogen, scansnelheid, hachruimte), materiaaleigenschappen en smeltbadgeometrie het moeilijk om betrouwbare, op fysica gebaseerde voorspellende modellen te ontwikkelen. Er is een kritieke behoefte aan datagedreven benaderingen die defecten nauwkeurig kunnen classificeren op basis van experimentele datasets om procesparameters te optimaliseren en de kwaliteit van onderdelen te verbeteren.

Methodologie
De auteurs introduceren AM-DefectNet, een uitgebreid benchmarkkader dat is ontworpen om de effectiviteit van diverse Machine Learning (ML)-modellen te evalueren bij het classificeren van AM-defecten. De methodologie omvat de volgende belangrijkste stappen:

• Dataverzameling en -curatie: De studie maakt gebruik van een dataset die is samengesteld uit gepubliceerd, peer-reviewed literatuur, waarbij voornamelijk wordt verwezen naar werk van Akbari et al. De dataset omvat ongeveer 2.019 datapunten, verdeeld in 1.514 voor training en 505 voor testen. Invoerfeatures omvatten verwerkingsparameters (laservermogen, scansnelheid, laagdikte, bundeldiameter, hachruimte) en materiaaleigenschappen (warmtegeleidingsvermogen, soortelijke warmte, smeltpunt, chemische samenstelling). De doeloutput is een vier-klassen classificatie: Gewenst (geen defect), Keyhole, Gebrekkige Fusie (LOF) en Balling.
• Feature-extractie en Preprocessing: Categorievariabelen (bijvoorbeeld procestype: SLM versus EBM) worden omgezet met one-hot encoding. Zowel categorische als numerieke invoer ondergaan min-max schaling. De dataset wordt gepartitioneerd met een 11-voudige cross-validatiestrategie om overfitting te mitigeren en een robuuste prestatieschatting te waarborgen.
• Modelselectie: De studie evalueert 15 verschillende ML-modellen, ingedeeld in:
  • Lineaire Algoritmen: Logistische Regressie en Support Vector Machines (SVM) met een lineaire kernel.
  • Niet-lineaire, op Bomen gebaseerde Algoritmen: Decision Trees, Random Forest, AdaBoost, Bagging, Voting en Gradient Boosting-varianten (XGBoost, LGBM, CatBoost).
  • Neurale Netwerken: Multi-Layer Perceptrons (MLP/DNN) en diverse SVM-kernels (RBF, Polynoom, Sigmoid).
  • Instance-Based Learning: k-Nearest Neighbors (k-NN).
• Evaluatiemetrics: De modelprestaties worden beoordeeld aan de hand van Nauwkeurigheid (Accuracy), Precisie, Recall en F1-Score, berekend via macro-, micro- en gewogen gemiddelden om rekening te houden met de klassenverdeling. Leercurves worden ook ingezet om modelconvergentie en data-eisen te analyseren.

Belangrijkste Bijdragen

1. AM-DefectNet Kader: Het artikel vestigt een gestandaardiseerde benchmark voor het vergelijken van ML-modellen specifiek voor smeltbadkarakterisering en defectclassificatie in AM, een vergelijking die tot nu toe niet op deze uitgebreide manier is onderzocht.
2. Uitgebreide Modelvergelijking: De studie evalueert systematisch 15 algoritmen, variërend van traditionele lineaire classifiers tot geavanceerde ensemble-methoden en deep learning, en biedt een duidelijke hiërarchie van prestaties voor dit specifieke domein.
3. Identificatie van Optimale Algoritmen: Het onderzoek identificeert dat niet-lineaire, op bomen gebaseerde ensemble-methoden, specifiek CatBoost, LGBM en XGBoost, aanzienlijk beter presteren dan lineaire modellen en andere classifiers in deze context.
4. Analyse van Leercurves: De auteurs bieden inzichten in modelgedrag ten opzichte van de datasetgrootte, waarbij wordt benadrukt welke modellen convergentie hebben bereikt en welke mogelijk baat hebben bij extra data.

Resultaten
De benchmarkresultaten tonen een duidelijke prestatiehiërarchie onder de geteste modellen:

• Toppresteerders: CatBoost behaalde de hoogste nauwkeurigheid van 92,47%, gevolgd door LGBM met 91,08% en XGBoost met 90,89%. Deze modellen vertoonden ook superieure precisie, recall en F1-scores over de defectklassen heen.
• Deep Learning Prestaties: Het Diepe Neuronale Netwerk (DNN/MLP) toonde concurrerende prestaties met een nauwkeurigheid van 88,55%, hoewel het zorgvuldige hyperparameter-tuning vereiste (inclusief batch-normalisatie en dropout) om overfitting te mitigeren.
• Onderpresterende Modellen: Lineaire modellen, zoals Logistische Regressie (62,17% nauwkeurigheid) en SVM met een lineaire kernel (70,29% nauwkeurigheid), hadden moeite om de complexe, niet-lineaire relaties die inherent zijn aan AM-processen te vangen. SVM's met niet-lineaire kernels (RBF, Polynoom) toonden verbetering, maar haalden de prestaties van de top op bomen gebaseerde ensemble-methoden niet.
• Confusiematrix-analyse: Visuele analyse van confusiematrices bevestigde dat CatBoost en LGBM misclassificaties tussen defecttypes effectief minimaliseerden in vergelijking met andere algoritmen.

Betekenis en Beweringen
Het artikel beweert dat de studie de effectiviteit van Machine Learning, met name niet-lineaire, op bomen gebaseerde algoritmen zoals CatBoost, benadrukt bij het aanpakken van de uitdagingen van defectdetectie in Additieve Fabricage. Door het AM-DefectNet-benchmarkkader te vestigen, bieden de auteurs een gevalideerde basis voor procesoptimalisatie. De resultaten suggereren dat datagedreven benaderingen kunnen dienen als een kosteneffectief en efficiënt alternatief voor traditionele experimentele monitoring voor het voorspellen van smeltbadkarakteristieken en het identificeren van defecten zoals LOF, balling en keyhole-vorming. De studie concludeert dat deze ML-modellen de grondslag leggen voor het verbeteren van herhaalbaarheid en het verminderen van defectpercentages in AM-productie, ofschoon het nederig opmerkt dat mogelijk nog meer data vereist is om bepaalde modellen volledig te laten convergeren en dat de complexiteit van AM-fysica een uitdaging blijft voor lineaire benaderingen.