Trajectory-Tracking Control of Multi-DOF Manipulators Subject to Payload Variations using Deep Reinforcement Learning

로봇이 자동차 부품을 용접하거나, 잔해 속에서 사람을 구조하거나, 창고에서 상자를 쌓는 등 궁극의 조력자가 될 수 있는 세상을 상상해 보십시오. 하지만 로봇이 진정으로 도움이 되려면, 자신의 팔을 어떻게 움직여야 하는지 정확히 알아야 합니다. 이것이 바로 로봇의 관절이 어디로 가야 할지 알려주는 두뇌인 '제어기(controller)'가 하는 일입니다. 보통 이 로봇들은 도구, 무거운 상자, 또는 분사할수록 가벼워지는 소화기 같은 것들을 들고 다닙니다. 문제는 로봇의 손에 든 무게가 변할 때, 팔이 움직이는 방식도 함께 변한다는 것입니다. 이는 마치 갑자기 무거운 배낭을 멘 자전거를 타는 것과 같습니다. 경로를 유지하기 위해 더 세게 페달을 밟고 조향을 다르게 해야 하죠.

수년 동안 과학자들은 고전적인 수학적 기법을 사용하여 로봇에게 이러한 무게 변화를 처리하는 법을 가르치려 노력해 왔습니다. 이러한 방식은 로봇에게 "무거워지면 더 세게 밀어라"와 같은 경직된 규칙을 주는 것과 같습니다. 하지만 이러한 규칙들은 무게가 갑작스럽거나 급격하게 변할 때 종종 실패하며, 이로 인해 로봇이 흔들리거나, 목표치를 지나치거나, 심지 even 스스로를 파괴할 정도로 떨리게 만듭니다. 이때 등장한 것이 더 새롭고 화려한 아이디어인 '심층 강화 학습(Deep Reinforcement Learning, DRL)'입니다. 이것은 로봇에게 규칙 책을 주는 대신, 비디오 게임을 반복해서 플레이하도록 하여 가르치는 것과 같습니다. 로봇은 움직임을 시도하고, 잘했을 때 '점수'를 받으며, 숙련된 플레이어가 될 때까지 실수를 통해 배웁니다. 이 논문은 이 "게임 플레이" 방식이 무게가 끊임없이 변하거나, 줄어들거나, 혹은 튀어 오르는 상황에서도 로봇이 움직이는 목표물을 완벽하게 추적하도록 가르칠 수 있는지 파헤칩니다.

이 연구의 연구진은 이 아이디어를 인기 있는 6축 로봇인 UR5e에 적용하여 테스트하기로 했습니다. 그들은 '소프트 액터-크리틱(Soft Actor-Critic, SAC)'이라는 특정 유형의 게임 플레이 알고리즘을 사용하여 이 로봇을 훈련시킬 수 있는지 확인하고자 했습니다. 큰 과제는 로봇이 아무것도 없는 상태(0kg)부터 무거운 5kg에 이르는 하중을 운반하면서 빠르고 구불구불한 경로를 따라가야 한다는 점이었습니다.

로봇이 어떤 무게도 처리할 수 있을 만큼 똑똑하게 만들기 위해, 팀은 단순히 하나의 특정 하중으로만 훈련시키지 않았습니다. 대신 그들은 '도메인 무작위화(domain randomization)'라는 기술을 사용했습니다. 레벨 디자이너가 새로운 게임을 시작할 때마다 중력, 마찰력, 또는 캐릭터의 무게를 무작위로 바꾸는 비디오 게임을 상상해 보십시오. 이 혼란스럽고 끊임없이 변하는 환경에서 로봇을 훈련시킴으로써, 로봇은 단 하나의 특정 하중에 대한 해결책을 암기하는 대신, 어떠한 무게에도 작동하는 유연한 전략을 학습하게 됩니다. 또한 그들은 로봇에게 현재 위치뿐만 아니라 잠시 전의 위치와 다음에 가야 할 곳까지 입력값으로 제공함으로써 특별한 '기억'을 부여했습니다. 이는 로봇이 발밑의 물만 바라보는 서퍼가 아니라 다음 파도를 미리 내다보는 서퍼처럼, 팔의 물리적 변화를 예측할 수 있도록 돕습니다.

시뮬레이션 결과는 매우 인상적이었습니다. 그들이 이 새로운 "게임 훈련" 로봇을 전통적인 제어기(표준 PID 제어기, 즉 고전적인 규칙 책 방식)와 비교했을 때 차이는 극명했습니다. 전통적인 제어기는 무게가 변할 때 매우 힘겨워했습니다. 만약 로봇이 무거운 하중을 들고 있다가 무게가 갑자기 줄어들거나, 무게가 없는 상태에서 시작했다가 갑자기 무거워지면, 기존 제어기는 혼란에 빠졌습니다. 목표치를 지나치고, 격렬하게 흔들리며, 거대한 추적 오차를 발생시켰습니다. 가장 어려운 테스트, 즉 페이로드가 복잡한 방식으로 변하는(정지해 있다가, 천천히 변하다가, 갑자기 튀는 경우) 상황에서 기존 제어기의 평균 오차는 19.41도라는 엉망이었고, 매우 불규칙하고 비효율적인 에너지를 사용했습니다.

반면, 새로운 DRL 제어기는 능숙한 운영자였습니다. 이 제로는 평균 오차 단 1.41도로 경로를 유지했습니다. 이는 약 92.72%의 엄청난 개선입니다. 정확도가 높았을 뿐만 아니라 훨씬 더 부드러웠습니다. 기존 제어기의 토크(관절에 가해지는 힘)는 평균 5.26 Nm만큼 격렬하게 요동친 반면, 새로운 제어기는 이러한 변동을 1.72 Nm로 낮췄습니다. 이는 로봇이 우아하게 움직이며, 에너지를 덜 사용하고 모터에 가해지는 스트레스를 줄였다는 것을 의미합니다.

연구는 또한 이 "무작위 훈련"이 핵심 비결임을 보여주었습니다. 로봇을 단 하나의 고정된 무게로만 훈련시킨 뒤 다른 무게로 테스트했을 때는 오차가 치솟으며 처참하게 실패했습니다. 하지만 다양한 무게가 섞인 환경에서 훈련했기 때문에, 로봇은 어디서나 작동하는 일반적인 기술을 배웠습니다. 연구진은 로봇의 "성적표(보상 함수)"를 설계하는 방식 또한 결정적이었다는 것을 발견했습니다. 그들은 목표를 맞추는 것에 대한 점수, 부드럽게 움직이는 것에 대한 점수, 그리고 에너지를 낭비하지 않는 것에 대한 점수 사이의 균형을 맞춰야 했습니다. 만약 목표를 맞추는 데만 신경을 썼다면 로봇은 스스로를 떨게 만들었을 것이고, 부드러움에만 신경을 썼다면 경로를 수정하는 데 둔감했을 것입니다. 이러한 보상들의 완벽한 조합이 로봇이 정밀하면서도 부드럽게 움직이도록 가르쳤습니다.

물론, 이 모든 것은 현재 컴퓨터 시뮬레이션 상에서 일어나고 있습니다. 저자들은 로봇이 가상 세계에서는 챔피언이 되었지만, 실제 세계에서 챔피언이 되기 전에는 여전히 장애물이 있다는 점을 주의 깊게 언급했습니다. 하나는 로봇이 훈련 중에 갑자기 이상한 실수를 하는 '나쁜 날'을 겪기도 한다는 점인데, 그들은 더 나은 기억(예: 장기 기억 네트워크)을 제공하는 것이 도움이 될 수 있다고 의심합니다. 또한, 실제 세계에서 로봇이 무작위로 탐색하게 하는 것은 위험할 수 있으므로, 이러한 가상의 기술을 물리적인 기계로 안전하게 전이하는 방법을 찾아내야 한다고 경고합니다.

요약하자면, 이 논문은 규칙(무게)이 끊임없이 변하는 게임을 통해 로봇을 가르침으로써, 기존 방식보다 훨씬 더 적응력이 뛰어나고 정밀한 제어기를 만들 수 있음을 시사합니다. 이는 인간이 끊임없이 설정을 조정할 필요 없이, 복잡하고 예측 불가능한 현실 세계를 다룰 수 있는 로봇을 향한 유망한 단계입니다.