Multi-scale closed-loop melt pool control for LPBF via policy optimization

금속 블록을 깎아내는 것이 아니라, 초고온 레이저로 미세한 가루를 한 층씩 쌓아 올리며 복잡한 금속 물체를 만들어내는 로봇 공장을 상상해 보십시오. 레이저 분말 베드 융합(Laser Powder Bed Fusion, LPBF)이라고 불리는 이 공정은 플라스틱 대신 강철이나 티타늄을 사용하는 고도의 3D 프린팅 기술과 같습니다. 마법은 레이저 빔이 아주 작은 분말 지점을 녹여 아래층에 결합시키는 순간 일어납니다. 만약 레이저가 너무 약하면 금속이 서로 붙지 않고(결함 명칭: 용융 부족), 너무 강하면 금속이 끓어올라 미세한 기포가 생기거나 심지어 부품에 균열이 생깁니다(결함 명칭: 키홀링).

문제는 이 공정이 믿을 수 없을 정도로 민감하다는 점입니다. 로봇이 출력하는 동안 금속은 식지 않는 프라이팬처럼 점점 더 뜨거워집니다. 만약 로봇이 즉각적으로 열을 조절하지 못하면, 부품이 뒤틀리거나 균열이 생기거나 쓸모없는 덩어리로 변해버립니다. 전통적으로 엔지니어들은 전력과 속도의 적절한 균형을 맞추기 위해 시행착오를 거치며 수동으로 설정을 조정해야 했습니다. 이는 특히 복잡한 형상을 만들 때 매우 느리고 비용이 많이 드는 작업입니다. 이 논문은 로봇에게 열을 "느끼게" 하고 스스로 실시간 조절하도록 가르치는 스마트한 두 부분 제어 시스템을 사용하여 이러한 골칫거리를 해결합니다. 이 시스템은 실수로부터 배우고 혼돈에 적응합니다.

금속을 녹이는 두 개의 뇌 솔루션

ETH 취리히(ETH Zürich)와 inspire AG의 연구진은 3D 프린터의 듀얼 브레인 시스템처럼 작동하는 정교하고 새로운 제어 방식을 개발했습니다. 이 시스템은 단순히 열이 발생하는 것에 반응하는 것을 넘어, 두 개의 뚜렷한 "뇌"가 협력하도록 설계되었습니다. 하나는 빠르게 생각하는 뇌(층 내 제어)이고, 다른 하나는 전략적으로 생각하는 뇌(층 간 제어)입니다.

빠른 뇌: 순간적인 반응
당신이 울퉁불퉁한 도로 위를 운전하고 있다고 상상해 보십시오. 당신의 반사 신경은 "빠른 뇌"입니다. 포트홀을 만났을 때, 당신은 차를 안정적으로 유지하기 위해 즉시 핸들을 꺾거나 브레이크를 밟습니다. 프린터에서 이것은 **층 내 제어기(in-layer controller)**입니다. 레이저가 단일 분말 층을 스캔할 때, 고속 센서(파이로미터)가 초당 수천 번 온도를 측정합니다. 금속이 너무 뜨거워지면 이 제어기는 즉시 레이저 출력을 낮추고, 너무 차가우면 출력을 높입니다.

하지만 이러한 반사 신경을 튜닝하는 것은 까رض겁습니다. 너무 민감하게 설정하면 레이저가 심하게 떨릴 수 있고, 너무 느리면 부품이 타버릴 수 있습니다. 저자들은 완벽한 "반사 신경"을 찾기 위해 **정책 최적화(policy optimization)**라는 인공지능 학습법을 사용했습니다. 그들은 단순히 추측한 것이 아니라, 컴퓨터 시뮬레이션 속에서 무작위 오류와 노이즈를 투입하며 어떤 방식이 가장 효과적인지 수천 번 테스트했습니다. 그 결과, 실제 세계가 컴퓨터 모델과 완벽히 일치하지 않더라도 프린터가 안정성을 유지할 수 있는 규칙 세트를 찾아냈습니다.

전략적 뇌: 이전 층으로부터의 학습
이제 동일한 자동차를 운전하고 있지만, 당신에게는 앞길의 지도도 있다고 상상해 보십시오. 가파른 언덕이 다가오고 있다는 것을 알기에, 언덕에 도달하기 전에 미리 속도를 줄입니다. 이것이 **층 간 제어기(layer-to-layer controller)**입니다. 3D 프린팅에서는 한 층의 작업이 끝나면 로봇이 새로운 분말 층을 펼치기 위해 대기합니다. 이 일시 정지 시간이 "전략적 뇌"가 생각할 시간을 줍니다. 이 뇌는 이전 층이 어떻게 만들어졌는지 살펴봅니다. 너무 뜨거웠나요? 금속이 부풀어 올랐나요? 그런 다음 축적된 열을 보상하기 위해 기초 레이저 출력을 조정하여 다음 층을 위한 새로운 "계획"을 계산합니다.

이 시스템의 일부는 반복 학습 제어(Iterative Learning Control, ILC) 기술을 사용합니다. 이는 마치 학생이 시험을 보고 성적을 받은 뒤, 실수를 공부하여 다음 시험에서 더 잘하려고 노력하는 것과 같습니다. 이 장기적인 계획과 첫 번째 뇌의 빠른 반사 신경을 결합함으로써, 시스템은 매우 견고한 "폐쇄 루프(closed-loop)"를 형성합니다.

연구 결과: 더 매끄러운 용융과 더 적은 실수

연구팀은 두 가지 방식으로 아이디어를 테스트했습니다. 첫째는 상세한 컴퓨터 시뮬레이션이었고, 둘째는 실험실의 실제 금속 3D 프린터였습니다.

시뮬레이션에서:
그들은 레이저가 모서리에서 멈추고 급격히 회전해야 하므로 열이 쌓이기 쉬운, 난도가 높은 "스퀘어-스파이럴(square-spiral)" 경로를 따라 6개 층의 금속을 출력하는 상황을 시뮬레이션했습니다. 그들은 이 듀얼 브레인 시스템을 두 가지 다른 방식, 즉 "빠른 뇌"만 있는 방식(층 내 제어만 수행) 및 "전략적 뇌"만 있는 방식(층 간 제어만 수행)과 비교했습니다.

결과는 명확했습니다. 단일 뇌 시스템은 어려움을 겪었습니다. "빠른 뇌"만 있는 경우 여러 층에 걸쳐 축적되는 열을 막지 못했고, "전략적 뇌"만 있는 경우 갑작스러운 온도 상승에 대응하기에는 너무 느렸습니다. 하지만 듀얼 루프 제어기는 실제 세계의 불확실성을 모사하기 위해 상당한 오류를 주입했음에도 불구하고, 목표 온도에서 약 20 켈빈(Kelvin) 이내의 오차를 유지하며 온도를 일정하게 유지했습니다.

실제 환경에서:
물리적인 장비로 옮겨가면서, 연구진은 실제 프린터 하드웨어가 컴퓨터 시뮬레이션만큼 빠르게 설정을 변경할 수 없었기 때문에 시스템을 단순화해야 했습니다. 그들은 고정된 "피드포워드(feedforward)" 계획을 가진 표준 "PI 제어기"(흔히 쓰이는 산업용 제어기 유형)를 사용하도록 시스템을 적응시켰습니다. 그들은 이 단순화된 버전을 AI 방법론으로 튜닝했지만, 데이터는 단 한 번의 제어되지 않은 테스트 출력에서만 가져왔습니다.

실제 금속 웨지(열이 매우 많이 발생하는 형상)를 출력했을 때 결과는 인상적이었습니다.

• 더 나은 정확도: 이 방식은 최첨단 방식인 베이지안 최적화(Bayesian Optimization, BO)와 비교했을 때 평균 추적 오차(목표 온도와 실제 온도의 차이)를 3.4% 줄였습니다.
• 위험한 스파이크 감소: 가장 중요한 점은, "입력 제약 위반(input-constraint violation)"을 **47.5%**나 줄였다는 것입니다. 이는 레이저 출력이 안전 구역 내에 훨씬 더 잘 머물렀음을 의미합니다. BO 방식에서는 레이저 출력이 너무 높게 뛰거나(키홀링 위험) 너무 낮게 떨어지는(용융 부족 위험) 현상이 빈번했습니다. 이 제어기는 레이저를 "골디락스(Goldilocks)" 존(적절한 상태)에 훨씬 더 자주 유지시켰습니다.
• 더 매끄러운 표면: 현미경으로 출력된 금속을 관찰했을 때 흥사로운 점을 발견했습니다. 제어되지 않은 출력물과 BO 출력물에서는 레이저 선이 시작될 때 금속이 쌓이는 "벡터 헤드 스웰링(vector head swelling)" 현상이 나타났습니다. 하지만 이 제어기는 이 부풀어 오름 현상을 거의 제거하여, 부품이 원래의 디지털 설계와 훨씬 더 유사하게 보이도록 만들었습니다.

놀라운 발견: "지터(Jitter)"의 힘

예상치 못한 재미있는 발견 중 하나는 레이저 출력의 급격한 변화를 제한하지 않는 버전의 제어기를 테스트했을 때 나타났습니다. 이로 인해 레이저가 2~4 kHz의 매우 높은 빈도로 진동(지터 현 현상)하게 되었습니다.

보통 엔지니어들은 레이저 출력을 부드럽고 일정하게 유지하려 합니다. 하지만 여기서 "지터가 발생하는" 레이저는 오히려 부드러운 버전보다 선의 시작 부분에서 발생하는 부풀어 오름 현상을 더 효과적으로 줄였습니다. 저자들은 이러한 급격한 변동이 용융된 금속의 유체 역학에 영향을 주어, 시작 부분에 금속이 쌓이는 것을 방지하는 것일 수 있다고 제안합니다. 아직 물리적 원인을 완전히 이해하지는 못했지만, 이는 새로운 문을 열어주었습니다. 즉, 통제된 혼돈이 금속 용융 풀을 안정시키는 데 정확히 필요한 요소일 수도 있다는 것입니다.

결론

이 논문은 금속 프린터의 행동을 가르치기 위해 방대한 양의 실제 데이터가 필요하지 않다는 것을 보여줍니다. 스마트한 시뮬레이션을 사용하여 제어기를 훈련하고 이를 실제 기계로 전이함으로써, 연구진은 기존의 최고 방법들과 대등하거나 능가하는 결과를 얻었습니다. 그들은 빠른 반응의 반사 신경과 느리게 생각하는 전략을 결합하는 것이 정확할 뿐만 아니라, 녹아내리는 금속의 무질서하고 예측 불가능한 특성에 대해서도 매우 견고한 시스템을 만든다는 것을 입증했습니다.

"지터"가 발생하는 레이저 효과는 여전히 풀어야 할 미스터리로 남아 있지만, 핵심 메시지는 분명합니다. 열을 제어하는 듀얼 브레인 접근 방식은 3D 프린팅된 금속 부품을 더 강하고, 정밀하며, 결함 발생 가능성이 낮게 만듭니다. 이는 프린터가 단순히 명령을 따르는 것을 넘어, 자신이 만들고 있는 재료의 물리 법칙을 실제로 이해하게 만드는 단계로 나아가는 길입니다.