Integral modelling and Reinforcement Learning control of 3D liquid metal coating on a moving substrate

본 연구는 기체 제트와 전자기 액추에이터를 조율하여 파도의 마루를 밀어내고 골을 들어올림으로써 계면 불안정성을 효과적으로 감소시키는 방식으로 이동 기판 위의 3 차원 액체 금속 박막을 안정화시키기 위해 근접 정책 최적화를 활용한 강화 학습 제어 전략을 개발한다.

핵심

긴 움직이는 컨베이어 벨트에 두꺼운 용융 금속 소스를 바르려고 상상해 보세요. 소스가 완벽하게 매끄럽고 균일한 층으로 퍼지기를 원합니다. 하지만 문제가 있습니다: 벨트가 너무 빠르게 움직이면 소스가 평평하게 머무르지 않습니다. 대신 바람에 펄럭이는 깃발처럼 물결치고 파동을 일으키기 시작합니다. 이 물결들은 최종 제품의 품질을 망칩니다.

이 논문은 컴퓨터가 스스로 문제를 해결하는 방법을 학습하도록 안내하여, 공기 제트와 자석을 결합해 이러한 물결을 매끄럽게 만드는 새로운 방법에 관한 것입니다.

다음은 간단한 비유를 통해 그들이 어떻게 이를 수행했는지의 개요입니다:

1. 문제: "흔들리는 소스"

아연도금 강철 제조와 같은 산업에서 금속 시트를 용융 아연에 담갔다가 꺼냅니다. 적절한 두께를 얻기 위해 엔지니어들은 젖은 금속에 공기 제트를 불어 과잉분을 닦아냅니다. 그러나 시트가 너무 빠르게 이동하면 공기와 액체가 서로 싸워 표면 위에 불안정한 파동 (물결) 을 생성합니다.

2. 지도: 액체를 위한 "단순화된 GPS"

이러한 파동을 제어하려면 액체가 어떻게 행동할지 정확히 알아야 합니다. 보통 자석을 이용해 용융 금속을 시뮬레이션하는 것은 폭풍우 속의 모든 빗방울의 비행 경로를 계산하려는 것과 같습니다. 실시간으로 컴퓨터가 처리하기에는 너무 무겁습니다.

저자들은 **"단순화된 GPS"(적분 경계층 모델)**를 만들었습니다. 이 모델은 모든 방울을 추적하는 대신 액체 필름의 "평균" 행동을 추적합니다. 마치 개별 차량을 세는 대신 고속도로의 교통 흐름을 보는 것과 같습니다. 이를 통해 그들은 다양한 제어 전략을 테스트하기 위해 수천 번의 시뮬레이션을 빠르게 실행할 수 있었습니다.

3. 교사: 공기와 자석

연구자들은 파동을 매끄럽게 만들기 위해 두 가지 도구를 테스트했습니다:

• 공기 제트: 액체 위에 강한 팬을 불어넣는 것과 같습니다. 이는 파동의 높은 부분 (마루) 을 아래로 밀어냅니다.
• 전자석: 이것이 더 까다로운 도구입니다. 움직이는 용융 금속에 자기장을 가하면 로런츠 힘이라는 보이지 않는 힘이 생성되어 "자성 손"처럼 작용합니다. 이 손은 액체를 밀지만, 특정한 방식으로: 파동의 낮은 부분 (골) 을 들어 올리는 경향이 있습니다.

4. 학생: AI 코치 (강화 학습)

공기와 자석을 사용하는 방법에 대한 복잡한 매뉴얼 규칙을 작성하는 대신, 연구자들은 컴퓨터 프로그램 (AI) 이 시행착오를 통해 학습하도록 가르쳤습니다. 이를 강화 학습이라고 합니다.

• 게임: AI 는 코치 역할을 합니다. "눈"(센서) 을 통해 액체 필름을 관찰하고 공기를 불거나 자석을 켜는지 결정합니다.
• 점수: 파동이 작아지면 AI 는 "점수"(보상) 를 얻습니다. 파동이 커지면 점수를 잃습니다.
• 학습: AI 는 이 게임을 300 회 병렬로 플레이하며 공기 및 자석 설정의 수백만 가지 조합을 시도했습니다. 시간이 지남에 따라 완벽한 춤을 찾아냈습니다.

5. 발견: 완벽한 춤

AI 는 어느 한 도구도 혼자서는 할 수 없는 교묘한 전략을 발견했습니다:

• 공기 제트는 다림질처럼 작용하여 파동의 마루를 아래로 누릅니다.
• 전자석은 리프터처럼 작용하여 파동의 골을 위로 들어 올립니다.

함께 작동함으로써 그들은 파동을 위와 아래에서 모두 눌러 액체 필름을 단일 도구만 사용할 때보다 훨씬 더 잘 평평하게 만듭니다. 논문은 이를 두 작동기가 완벽하게 상호 보완하는 "새로운 메커니즘"이라고 부릅니다.

6. 함정: "무거운" 자석

이 연구는 자기장 방식이 컴퓨터 시뮬레이션에서는 훌륭하게 작동하지만, 현실 세계에서는 효과를 내기 위해 매우 강력한 자기장이 필요하다는 것을 발견했습니다. 논문은 이 강도를 달성하려면 막대한 양의 에너지가 필요하고 (토스터에 스테로이드를 투여한 것처럼) 위험한 열을 생성할 수 있어 현재 실제 공장에서 구현하기에는 너무 어려울 수 있다고 지적합니다.

요약

이 논문은 단순화된 수학적 모델과 학습하는 AI를 결합함으로써 물결치는 용융 금속을 매끄럽게 만드는 방법을 찾을 수 있음을 증명합니다. AI 는 흔들리는 파동을 고치는 가장 좋은 방법은 공기로 높은 부분을 아래로 누르고 자석으로 낮은 부분을 위로 들어 올리는 것임을 학습하여 완벽하게 평평한 표면을 만들어냈습니다. 현재 자기 부분은 즉시 공장 사용에 너무 많은 에너지를 소비하지만, 이 방법은 유체를 제어하는 새로운 강력한 방식으로 "팀워크" 접근법을 증명합니다.

기술 요약

"이동 기판 위 3 차원 액체 금속 코팅의 적분 모델링 및 강화 학습 제어" 논문에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

본 연구는 열침적 아연도금 공정 중 액체 금속 필름에서 발생하는 요동 불안정성 (파동) 을 제어하는 과제를 다룹니다. 이 산업 공정에서는 부식을 방지하기 위해 강철 스트립에 용융 아연을 코팅합니다. 스트립이 고속 (일반적으로 2 m/s 이상) 으로 욕조에서 인출될 때, 과도한 액체를 닦아내기 위해 충격 가스 제트가 사용됩니다. 그러나 이러한 제트는 종종 액체 필름에 진동을 유발하여 이동 파동을 생성하고, 이로 인해 코팅 두께가 고르지 못해 표면 품질이 저하됩니다.

전통적인 제어 방법 (예: 선형 2 차 레귤레이터 또는 모델 예측 제어) 은 다음과 같은 이유로 이러한 환경에서 어려움을 겪습니다:

• 높은 레이놀즈 수와 복잡한 유체 역학.
• 강한 노이즈 및 측정 불확실성.
• 모델링되지 않은 물리적 효과 (온도 구배, 산화, 기판 진동).
• 모델 기반 제어를 위해 필요한 고충실도 시뮬레이션 (DNS/LES) 의 높은 계산 비용.

저자들은 전통적인 가스 제트와 함께 전자기 액추에이터를 통합한 축소 차원 3 차원 적분 경계층 (IBL) 모델과 결합된 모델 없는 제어 전략을 강화 학습 (RL) 을 통해 제안합니다.

2. 방법론

A. 물리 모델링 (3 차원 적분 경계층)

저자들은 횡방향 효과와 전자기 상호작용을 포착하기 위해 기존 2 차원 IBL 모델을 3 차원 프레임워크로 확장했습니다.

• ** 지배 방정식:** 이 모델은 장파 근사를 사용하여 자기유체역학 (MHD) 나비에 - 스토크스 방정식에서 유도되었으며, 필름 두께 ($h$) 와 유량 ($q_x, q_z$) 을 추적합니다.
• 전자기 효과: 모델은 다음을 포함합니다:
  • 로런츠 힘: 액체 금속의 벌크 내에서 작용하여 ($f_L = j \times b$) 흐름을 방해합니다.
  • 맥스웰 응력: 자유 표면에서 작용합니다.
• 액추에이터:
  • 가스 제트: 충격 제트에 대한 압력 및 전단 응력 분포의 실험적 상관관계를 사용하여 모델링됩니다.
  • 전자석: 로런츠 힘을 유도하는 시간 변화 가우스 자기장으로 모델링됩니다.
• 수치 해법: 방정식은 공간 이산화를 위한 푸리에 의사 스펙트럴 방법과 시간 적분을 위한 명시적 오일러 적분법을 사용하여 해결됩니다. 개방 흐름 조건을 시뮬레이션하고 outgoing 파동을 흡수하기 위해 경계에 완전 정합 층 (PML) 이 구현됩니다.

B. 제어 전략 (강화 학습)

제어 문제는 근접 정책 최적화 (PPO) 알고리즘을 사용하여 해결되는 마르코프 결정 과정 (MDP) 으로 공식화됩니다.

• 상태 공간 ($s$): 액추에이터 상류의 특정 지점에서 관측된 액체 필름 두께.
• 행동 공간 ($a$): 가스 제트出口 속도 ($U_j$) 와 전자기장 세기 ($b$) 에 대한 제어 신호.
• 보상 함수 ($r$): 특정 "보상 영역" 내 필름 두께의 표준 편차의 음의 지수함수로 정의됩니다. 보상을 최대화하는 것은 요동 파동의 진폭을 최소화하는 것과 동일합니다.
• 훈련: 에이전트는 30 개의 병렬 수치 환경과 상호작용합니다. 파동 진폭을 최소화하는 최적 정책 $\pi(a|s)$ 을 찾기 위해 시행착오를 통해 학습합니다.
• 정책 유형: 두 가지 전략이 테스트되었습니다:
  1. 조화 정책: 에이전트가 정현파 제어 신호에 대한 진폭, 주파수, 위상을 학습합니다.
  2. 비조화 정책: 에이전트가 즉각적인 관측에 기반하여 연속적인 제어 신호를 직접 출력합니다 (완전 적응형).

3. 주요 기여

1. 새로운 3 차원 MHD-IBL 모델: 유체역학적 필름 역학과 전자기력 (로런츠 힘 및 맥스웰 응력) 을 결합한 계산 효율적인 3 차원 축소 차원 모델 개발. 점근적 한계 및 이전 DNS 데이터에 대해 검증됨.
2. MHD 유동을 위한 RL 기반 제어: 시스템 역학에 대한 명시적 분석 모델 없이 복잡한 자기유체역학 코팅 흐름을 제어하기 위해 PPO 를 사용하는 것을 시연.
3. 새로운 제어 메커니즘의 발견: RL 에이전트가 시너지 제어 전략을 식별했습니다:
   • 가스 제트는 (증가된 전단/압력을 통해) 파동 마루를 밀어내어 낮추는 역할을 합니다.
   • 전자석은 (로런츠 힘으로 액체를 골짜기로 밀어넣어) 파동 골짜기를 들어올리는 역할을 합니다.
4. 불확실성에 대한 강건성: 연구는 산업적 아연도금에서 전형적인 높은 노이즈와 모델링되지 않은 물리학을 처리하는 데 있어 모델 기반 방법보다 RL 의 우월성을 강조합니다.

4. 주요 결과

• 단일 액추에이터 성능:
  • 가스 제트: 조화 및 비조화 정책 모두 파동 진폭을 성공적으로 감소시켰습니다. 비조화 정책은 제어되지 않은 경우보다 평균 보상이 약 24% 더 높았습니다.
  • 전자석: 조화 정책은 필름을 안정화하지 못했습니다 (제어되지 않은 경우보다 보상 낮음). 그러나 비조화 정책은 골짜기를 주로 들어올리는 효과적인 "뱅 - 뱅 (bang-bang)" 스타일 제어를 발견하여 제어되지 않은 경우보다 약 8% 더 높은 보상을 달성했습니다.
• 결합 액추에이터 성능 (연속 배치):
  • 가스 제트와 전자기석이 함께 사용될 때, RL 에이전트는 (마루를 밀어내고 골짜기를 들어올리는) 상보적 메커니즘을 학습했습니다.
  • 이 결합 접근법은 최상의 결과를 산출했습니다: 제어되지 않은 경우 대비 평균 보상 13% 증가 및 표준 편차 20% 감소로, 우수한 안정성과 강건성을 나타냅니다.
• 물리적 통찰:
  • 연구는 이 영역에서 중력과 관성을 효과적으로 상쇄하기 위해 자기장이 필요하려면 하트만 수 ($Ha$) 가 약 16 이어야 함을 밝혔습니다. 현재의 산업 설비 ($Ha \approx 6$) 는 최적이지 않으며, 제어 로직은 작동하지만 산업적 타당성을 위해 물리적 액추에이션 강도가 더 높아야 함을 시사합니다.
  • 자기장은 표면 파동의 위상 속도를 변경하여, 흐름을 대류적으로 불안정한 영역에서 절대적으로 불안정한 영역으로 전환시킬 수 있습니다.

5. 중요성 및 향후 전망

• 산업적 영향: 이 작업은 고속 제조에서 액체 금속 코팅의 능동 제어에 대한 개념 증명입니다. 공압 및 전자기 액추에이터를 결합하면 코팅 균일성을 크게 향상시켜 재료 낭비와 에너지 소비를 줄일 수 있음을 시사합니다.
• 계산 효율성: IBL 모델의 사용은 직접 수치 시뮬레이션 (DNS) 에 필요한 시간의 일부로 수천 개의 훈련 에피소드를 가능하게 하여, 복잡한 유체 문제에 대한 RL 훈련을 실현 가능하게 합니다.
• 향후 작업:
  • 하드웨어 구현: 과도한 줄 가열 없이 더 강한 자기장 (더 높은 $Ha$) 을 생성하는 과제를 해결하면서 물리적 설정에서 제어 법칙을 테스트.
  • 열 결합: 전자기장에 의해 생성된 열적 효과 (마라고니 힘) 를 통합하여 필름을 더 안정화할 수 있도록 함.
  • 이력 모델링: 코어 이력과 응답 지연을 포함하도록 자기 액추에이터 모델을 정교화.
  • 광범위한 적용: 핵융합로 (토카막) 의 액체 금속 벽이나 플라즈마 가둠과 같은 다른 MHD 응용 분야로 이 접근법 확장.

결론적으로, 이 논문은 축소 차원 MHD 모델을 활용하여 3 차원 액체 금속 필름에 대한 정교하고 직관적이지 않은 제어 법칙을 강화 학습이 발견할 수 있음을 성공적으로 시연하며, 차세대 산업 코팅 공정을 위한 유망한 길을 제시합니다.