SAC-enhanced iterative learning control with two-layer barrier mapping for nonlinear MIMO systems with asymmetric input constraints

로봇 공학과 자동화 기계의 세계에는 한 번 움직이는 기계와 수천 번 작업을 반복하는 기계 사이에는 뚜렷한 차이가 존재한다. 로봇 팔이 자동차 프레임을 용접해야 하거나 프린터가 완벽한 정밀도로 플라스틱 층을 쌓아야 할 때, 그것은 동일한 동작을 반복해서 수행한다. 엔지니어들은 기계가 첫 번째 시도에서 작은 실수를 했다면, 다음번에는 이를 바로잡기 위해 그 오류로부터 배울 수 있다는 사실을 오래전부터 알고 있었다. 반복 학습(iterative learning)이라고 알려진 이 접근 방식은 모든 반복을 하나의 교훈으로 취급하여, 경로가 매끄럽고 정확해질 때까지 시스템이 움직임을 개선할 수 있도록 한다. 그러나 실제 세계의 기계는 완벽하지 않다. 기계는 예측 불가능한 충격, 변화하는 부하, 그리고 모터가 밀어낼 수 있는 힘의 물리적 한계에 직면한다. 만약 기계가 오류를 수정하기 위해 너무 강하게 밀어붙이려 한다면, 물리적인 벽에 부딪혀 스스로나 제품에 손상을 입힐 수 있다. 과제는 기계가 자신의 물리적 경계를 엄격히 준수하면서도 실수로부터 배울 수 있도록 가르치는 것이며, 특히 환경이 매 시도마다 예측 불가능하게 변할 때 더욱 그러하다.

강남대학교와 제를로나 구라 대학교(University of Zielona Góra)의 연구팀은 다수의 움직이는 부품을 가진 복잡한 기계를 위한 이 특정 문제를 해결하기 위한 새로운 방법을 개발했다. 그들은 전통적인 학습 알고리즘과 소프트 액터-크리틱(soft actor-critic)이라 불리는 현대적인 인공지능 기술을 결합한 제어 시스템을 만들었다. 이 하이브리드 시스템은 작업을 반복해야 하지만 두 가지 어려운 조건에 직면한 기계를 위해 설계되었다. 즉, 작업을 수행할 때마다 환경이 미세하게 변하고, 기계가 가할 수 있는 힘의 한계가 불균일하고 엄격하다는 점이다. 많은 실제 시나리오에서 기계는 특정 강도로 앞으로 밀 수 있지만 뒤로 당겨지는 한계는 다를 수 있으며, 혹은 방향에 따라 서로 다른 한계를 가질 수도 있다. 연구진의 목표는 학습 과정 자체가 너무 강한 움직임을 제안하더라도, 기계가 안전 한계를 절대 위반하지 않으면서 효과적으로 학습하도록 보장하는 것이었다.

그들의 솔루션의 핵심은 그들이 이중 레이어 장벽(double-layer barrier)이라고 설명하는 2단계 안전 점검을 포함한다. 기계가 방금 작업을 마치고 다음 작업을 준비하고 있다고 상상해 보자. 먼저, 시스템은 이전 실행에서의 오류를 바탕으로 개선된 새로운 움직임 계획을 계산한다. 이 계획이 향후 사용을 위해 저장되기 전에, 그것은 첫 번째 안전 레이어를 통과한다. 이 레이어는 저장된 움직임의 기억이 안전한 경계 내에 머물도록 보장하는 필터 역할을 하며, 실행 불가능하거나 위험한 명령을 기계가 "기억"하는 것을 방지한다. 그 후, 기계가 실제로 작업을 수행할 때, 인공지능 구성 요소로부터 실시간 조정을 받는다. 이 AI는 바람이나 마찰과 같은 예상치 못한 방해 요소를 감지하고 미세하고 신속한 수정을 수행하는 스마트 보정기 역할을 한다. 그러나 이러한 수정 작업 또한 기계를 한계로 몰아넣을 수 있다. 따라서 이 신호는 모터에 도달하기 직전에 두 번째 안전 레이어를 통과한다. 이 두 번째 필터는 AI의 제안이 아무리 강력하거나 외부 방해가 있더라도, 기계에 전달되는 최종 명령이 결코 기계의 물리적 능력을 초과하지 않도록 보장한다.

이 접근 방식을 테스트하기 위해, 연구진은 스프링과 댐퍼로 연결된 두 개의 질량으로 구성된 복잡한 기계 시스템을 시뮬레이션했는데, 이는 결합된 부품들이 함께 움직이는 방식을 이해하는 데 흔히 쓰이는 모델이다. 그들은 매 시도마다 무작위로 변하는 비반복적인 방해 요인을 가하면서 시스템이 특정 경로를 따르도록 프로그래밍했다. 그들은 표준 학습 제어기와 다른 고급 제약 조건 처리 방식들을 포함하여 자신들의 새로운 방법과 기존의 여러 기술을 비교했다. 결과는 이 이중 레이어 장벽 시스템이 다른 방식들을 유의미하게 능가했다는 것을 보여주었다. 마지막 실험 세트에서, 새로운 방법은 차순위 대안보다 평균 추적 오차를 절반 이상 줄였다. 결정적으로, 다른 방법들은 가끔 기계의 안전 한계를 위반하는 움직임을 제안했지만, 새로운 시스템은 단 한 건의 위반도 없는 완벽한 기록을 유지했다. 저장된 학습 명령과 기계에 가해진 실제 힘은 실험 내내 엄격하게 안전 구역 내에 머물렀다.

연구는 또한 각 시스템 구성 요소가 성공에 어떻게 기여했는지에 대한 상세한 분석을 포함했다. 특정 구성 요소를 꺼둠으로써, 연구진은 첫 번째 안전 레이어가 기계의 기억을 안전하게 유지하는 데 필수적이며, 두 번째 레이어는 AI가 조정을 수행할 때 실제 물리적 움직임을 안전하게 유지하는 데 필요하다는 것을 증명했다. 두 레이어가 함께 작동하지 않는다면, 시스템은 위험한 명령을 저장할 위험이 있거나, 규칙을 어기지 않고 필요한 수정을 적용하는 데 실패하게 된다. 인공지능 구성 요소는 무작위적인 방해 요인에 대항하는 수정을 생성하는 법을 성공적으로 학습하여, 이를 효과적으로 상쇄했다. 연구진은 시스템의 학습 및 적응 능력이 단순한 시뮬레이션상의 결과물이 아니라, 기계가 예측 가능한 오차 범위 내에 머물 것임을 보장하는 엄격한 수학적 분석으로부터 도출된 견고한 결과라는 것을 발견했다. 이 연구는 기계가 물리적 경계를 넘어서지 않으면서도 복잡하고 변화하는 환경으로부터 학습할 수 있는, 고도의 적응성과 엄격한 안전성을 동시에 갖춘 시스템을 구축하는 것이 가능하다는 것을 보여준다.