AM-DefectNet: Additive Manufacturing Defect Classification Using Machine Learning -- A comparative Study

본 연구는 적층 제조 결함 분류를 위해 15 개의 머신러닝 모델을 평가하는 포괄적인 프레임워크인 AM-DefectNet 을 소개하며, CatBoost 알고리즘이 용융 풀 특성화에서 92.47% 의 정확도로 다른 모델들을 능가함을 밝혀냈습니다.

핵심

완벽한 빵 한 덩어리를 굽는다고 상상해 보세요. 옛날에는 빵 껍질을 보고, 향기를 맡고, 질감을 만지는 등 오감에 의존했습니다. 하지만 적층 제조 (AM) 또는 3D 프린팅이라는 첨단 기술 세계에서는 "빵"이 고출력 레이저를 이용해 금속 분말을 층층이 쌓아 만들어집니다. 문제는 레이저가 빠르게 움직이는 동안 뜨거운 용융 금속 (이를 **용융 풀 (melt pool)**이라고 부름) 내부에서 무슨 일이 일어나고 있는지 파악하기 어렵다는 점입니다. 열이 너무 높으면 "키홀 (keyhole)"이라는 깊고 불안정한 기포가 생기고, 너무 낮으면 층들이 서로 붙지 않아 "융합 부족 (lack of fusion)"이 발생하며, 적절하면 완벽한 고체 부품이 만들어집니다.

이 논문은 AM-DefectNet이라는 새로운 도구를 소개합니다. AM-DefectNet을 3D 프린터를 위한 "수퍼 미각"으로 생각하세요. 빵이 타는지 여부를 인간 요리사가 추측하는 대신, 이 도구는 **머신러닝 (ML)**을 활용해 데이터를 "맛보고" 금속 부품이 완벽한지 결함이 있는지 즉시 알려줍니다.

이 도구를 어떻게 구축했고 무엇을 발견했는지 간단히 정리해 보겠습니다.

1. 재료 모으기 (데이터)

컴퓨터에게 결함을 찾아내는 법을 가르치려면 방대한 예제 요리책이 필요합니다. 연구자들은 단순히 한 번의 실험을 수행한 것이 아니라, 도서관으로 가서 수십 편의 다른 과학 연구에서 데이터를 수집했습니다.

• 레시피: 그들은 "재료"에 대한 정보를 수집했습니다 (금속 합금의 종류, 레이저의 온도, 이동 속도, 층의 두께 등).
• 결과: 약 2,000 개의 데이터 포인트를 확보했습니다. 각 포인트는 3D 프린팅 순간의 스냅샷으로, "이상적 (Desirable)"(완벽함), "볼링 (Balling)"(금속이 평평한 층 대신 작은 공으로 뭉침), "키홀 (Keyhole)"(에너지 과다), 또는 "융합 부족 (Lack of Fusion)"(에너지 부족) 중 하나로 레이블이 지정되었습니다.

2. 맛보기 테스트 (모델)

연구자들은 결과를 예측하기 위해 단일 레시피만 사용하지 않았습니다. 어떤 요리사가 가장 뛰어난지 확인하기 위해 15 가지 다른 머신러닝 모델을 개발했습니다.

• "선형 (Linear)" 요리사들: 로지스틱 회귀와 같은 단순한 모델로, 좋은 부품과 나쁜 부품을 분리하기 위해 직선을 그리려고 시도했습니다. 빨간색과 파란색 구슬을 자로 한 줄로 분류해 보라고 상상해 보세요. 논문은 레이저 설정과 결함 사이의 관계가 직선이 아니라 복잡하고 곡선적이기 때문에 이러한 요리사들이 어려움을 겪었다고 밝혔습니다.
• "트리 기반 (Tree-Based)" 요리사들: 의사결정 트리, 랜덤 포레스트, 그래디언트 부스팅과 같은 모델들은 흐름도처럼 작동합니다. 일련의 예/아니오 질문을 던집니다: "레이저 출력이 높았습니까?" -> "예." -> "속도가 느렸습니까?" -> "예." -> "결과: 키홀."
• "딥 뉴럴 네트워크 (Deep Neural Network)" 요리사: 이는 인간이 얼굴을 인식하는 법을 배우는 것과 유사하게 스스로 패턴을 학습하려는 복잡하고 다층적인 두뇌입니다.

3. 결과: 누가 요리 대회를 이겼나?

모든 데이터를 이 15 개 모델에 입력한 후, 결과는 명확했습니다.

• 챔피언: CatBoost가 **92.47%**의 정확도로 1 위를 차지했습니다. 네 가지 결과 유형 (이상적, 볼링, 키홀, 융합 부족) 을 모두 올바르게 식별하는 데 가장 뛰어났습니다.
• 준우승자: LGBM과 XGBoost라는 두 가지 다른 트리 기반 요리사가 각각 2 위와 3 위를 차지하여 약 **91%**와 **90%**의 점수를 기록했습니다.
• 딥러닝 도전자: 복잡한 **딥 뉴럴 네트워크 (DNN)**는 괜찮은 성적을 거두었습니다 (88.55%). 하지만 트리 기반 모델을 이기지는 못했습니다. 사실, 논문은 이 특정 데이터셋의 경우 더 단순한 트리 기반 모델이 더 효율적이고 정확했다고 지적합니다.
• 패자: 단순한 "선형" 모델과 일부 기존 방법 (특정 유형의 서포트 벡터 머신 등) 은 성능이 저조했습니다. 종종 용융 금속의 복잡한 물리 현상에 혼란을 겪었습니다.

4. "학습 곡선"이 알려준 것

연구자들은 또한 "학습 곡선"을 살펴보았는데, 이는 학생이 교과서 페이지를 더 많이 읽을수록 얼마나 향상되는지를 보여주는 그래프와 같습니다.

• 그들은 CatBoost와 같은 최상위 모델의 경우 곡선이 아직 완전히 수평으로 변하지 않았음을 발견했습니다. 이는 모델에 더 많은 데이터를 입력하면 성능이 더 향상될 수 있음을 의미합니다.
• 반면, 일부 다른 모델의 경우 곡선이 "과적합 (overfitting)"을 보여주고 있었습니다. 즉, 개념을 배우기보다 교과서 답안을 암기하는 수준으로, 새로운 보지 못한 문제에서는 실패했습니다.

결론

이 논문은 적층 제조가 복잡한 다중 물리 퍼즐이며, 단순한 직선 논리로는 해결하기 너무 어렵다고 결론 내립니다. 그러나 비선형 트리 기반 머신러닝 모델 (특히 CatBoost)은 이 퍼즐을 해결하는 데 탁월합니다.

AM-DefectNet을 사용하면 엔지니어들은 이제 이러한 스마트 알고리즘에 의존하여 3D 프린팅 금속 부품의 결함을 높은 정확도로 예측할 수 있습니다. 이는 수천 개의 과거 사례에서 학습하는 신뢰할 수 있는 디지털 품질 관리 검사관 역할을 합니다. 이 연구는 부품이 좋은지 여부를 추측할 필요가 없으며, 데이터가 알려준다는 것을 입증합니다.

기술 요약

기술 요약: AM-DefectNet

문제 제기
적층 제조 (AM), 특히 레이저 분말 베드 융합 (LPBF) 과 방향성 에너지 증착과 같은 공정은 용융 풀 역학의 복잡하고 다물리적인 특성으로 인해 생산 품질 보장에 상당한 어려움을 겪고 있습니다. 융합 부족 (LOF), 키홀 기공, 볼링 현상과 같은 결함은 인쇄된 부품의 구조적 무결성을 훼손합니다. 기존 모니터링은 인시튜 (예: 음향 센서, 열화상) 및 엑시튜 (예: X 선, CT) 기술에 의존하지만, 이러한 방법들은 비용이 많이 들고 시간이 소요되며 광범위한 보정이 필요합니다. 또한, 공정 매개변수 (레이저 출력, 스캔 속도, 해치 간격), 재료 특성, 용융 풀 기하학 사이의 복잡한 관계로 인해 신뢰할 수 있는 물리 기반 예측 모델을 수립하기 어렵습니다. 공정 매개변수를 최적화하고 부품 품질을 향상시키기 위해 실험 데이터셋을 기반으로 결함을 정확하게 분류할 수 있는 데이터 기반 접근법의 시급한 필요성이 있습니다.

방법론
저자들은 다양한 머신러닝 (ML) 모델이 AM 결함을 분류하는 데 있어 효과를 평가하도록 설계된 포괄적인 벤치마킹 프레임워크인 AM-DefectNet을 소개합니다. 방법론은 다음과 같은 주요 단계를 포함합니다:

• 데이터 수집 및 관리: 본 연구는 Akbari 등의 작업을 주로 참조하여 동료 검토된 문헌에서 수집된 데이터셋을 활용합니다. 데이터셋은 약 2,019 개의 데이터 포인트로 구성되며, 1,514 개는 학습용, 505 개는 테스트용으로 분할됩니다. 입력 특징에는 공정 매개변수 (레이저 출력, 스캔 속도, 층 두께, 빔 직경, 해치 간격) 와 재료 특성 (열전도도, 비열, 녹는점, 화학 조성) 이 포함됩니다. 목표 출력은 네 가지 클래스 분류입니다: 바람직함 (결함 없음), 키홀, 융합 부족 (LOF), 볼링.
• 특성화 및 전처리: 범주형 변수 (예: 공정 유형: SLM 대 EBM) 는 원-핫 인코딩을 사용하여 변환됩니다. 범주형 및 수치형 입력 모두 최소 - 최대 스케일링을 거칩니다. 과적합을 완화하고 견고한 성능 추정을 보장하기 위해 11 교차 검증 전략을 사용하여 데이터셋을 분할합니다.
• 모델 선택: 본 연구는 다음 범주로 분류된 15 개의 서로 다른 ML 모델을 평가합니다:
  • 선형 알고리즘: 로지스틱 회귀와 선형 커널을 가진 서포트 벡터 머신 (SVM).
  • 비선형 트리 기반 알고리즘: 의사결정나무, 랜덤 포레스트, AdaBoost, 배깅, 투표, 그리고 그래디언트 부스팅 변형 (XGBoost, LGBM, CatBoost).
  • 신경망: 다층 퍼셉트론 (MLP/DNN) 과 다양한 SVM 커널 (RBF, 다항식, 시그모이드).
  • 인스턴스 기반 학습: k-최근접 이웃 (k-NN).
• 평가 지표: 모델 성능은 클래스 분포를 고려하기 위해 매크로, 마이크로, 가중 평균을 통해 계산된 정확도, 정밀도, 재현율, F1 점수를 사용하여 평가됩니다. 또한 모델 수렴과 데이터 요구 사항을 분석하기 위해 학습 곡선이 사용됩니다.

주요 기여

1. AM-DefectNet 프레임워크: 이 논문은 AM 에서의 용융 풀 특성화 및 결함 분류를 위해 ML 모델을 비교하는 표준화된 벤치마크를 수립하며, 이는 이전까지 이러한 포괄적인 방식으로 탐구된 바가 없습니다.
2. 포괄적인 모델 비교: 본 연구는 전통적인 선형 분류기부터 고급 앙상블 방법 및 딥러닝에 이르기까지 15 개 알고리즘을 체계적으로 평가하여 해당 특정 도메인에 대한 명확한 성능 계층 구조를 제공합니다.
3. 최적 알고리즘 식별: 연구 결과에 따르면, 비선형 트리 기반 앙상블 방법, 특히 CatBoost, LGBM, XGBoost가 이 맥락에서 선형 모델 및 기타 분류기보다 훨씬 우수한 성능을 보입니다.
4. 학습 곡선 분석: 저자들은 데이터셋 크기에 따른 모델 행동에 대한 통찰력을 제공하여, 어떤 모델이 수렴에 도달했는지 그리고 어떤 모델이 추가 데이터의 혜택을 받을 수 있는지를 강조합니다.

결과
벤치마킹 결과는 테스트된 모델 간에 명확한 성능 계층 구조를 보여줍니다:

• 최상위 수행 모델: CatBoost가 **92.47%**의 최고 정확도를 달성했으며, 이어 LGBM이 91.08%, XGBoost가 **90.89%**를 기록했습니다. 이러한 모델들은 결함 클래스 전반에 걸쳐 우수한 정밀도, 재현율 및 F1 점수를 나타냈습니다.
• 딥러닝 성능: 심층 신경망 (DNN/MLP) 은 **88.55%**의 정확도로 경쟁력 있는 성능을 보였으나, 과적합을 완화하기 위해 배치 정규화 및 드롭아웃을 포함한 신중한 하이퍼파라미터 튜닝이 필요했습니다.
• 부진한 모델: 로지스틱 회귀 (62.17% 정확도) 와 선형 커널을 가진 SVM(70.29% 정확도) 과 같은 선형 모델들은 AM 공정에 내재된 복잡하고 비선형적인 관계를 포착하는 데 어려움을 겪었습니다. 비선형 커널 (RBF, 다항식) 을 가진 SVM 은 개선을 보였으나 최상위 트리 기반 앙상블의 성능에는 미치지 못했습니다.
• 혼동 행렬 분석: 혼동 행렬의 시각적 분석은 CatBoost 와 LGBM 이 다른 알고리즘에 비해 결함 유형 간의 오분류를 효과적으로 최소화했음을 확인시켜 주었습니다.

의의 및 주장
이 논문은 머신러닝, 특히 CatBoost 와 같은 비선형 트리 기반 알고리즘이 적층 제조의 결함 탐지 문제를 해결하는 데 효과적임을 강조한다고 주장합니다. AM-DefectNet 벤치마크를 수립함으로써 저자들은 공정 최적화를 위한 검증된 기반을 제공합니다. 결과는 데이터 기반 접근법이 용융 풀 특성 예측 및 LOF, 볼링, 키홀 형성 등의 결함 식별을 위한 전통적인 실험 모니터링에 비해 비용 효율적이고 효율적인 대안이 될 수 있음을 시사합니다. 본 연구는 이러한 ML 모델이 AM 생산에서 재현성 향상과 결함률 감소를 위한 토대를 마련한다고 결론지으며, 다만 일부 모델을 완전히 수렴시키기 위해 더 많은 데이터가 필요할 수 있으며 AM 물리의 복잡성은 여전히 선형 접근법에게 도전 과제로 남아 있음을 겸손하게 지적합니다.