Robust Optimal Tracking Control for Center-of-Mass-Offset Mecanum Mobile Robots Using Off-Policy Integral Reinforcement Learning

로봇 공학의 세계에서 움직임은 종종 절충의 문제입니다. 표준적인 바퀴형 로봇은 앞으로 가거나 회전할 수 있지만, 옆으로 이동하려면 몸체 전체를 먼저 돌려야 합니다. 이러한 한계는 붐비는 창고나 좁은 공장 통로와 같은 좁은 공간을 항해하는 것을 느리고 서투른 일로 만듭니다. 이를 해결하기 위해 엔지니어들은 메카넘 휠(Mecanum wheel)을 개발했습니다. 이것은 작은 경사형 롤러들이 고리 모양으로 박힌 표준 바퀴입니다. 이 간단한 추가 덕분에 로봇은 전면 방향을 전혀 바꾸지 않고도 앞, 뒤, 옆, 심지어 대각선 방향으로 미끄러지듯 움직일 수 있습니다. 이는 자동화를 위한 강력한 도구이며, 기계가 번잡한 군중 속을 걷는 사람처럼 장애물 사이를 민첩하게 헤쳐 나갈 수 있게 해줍니다.

하지만 이러한 로봇을 정밀하게 움직이게 만드는 것은 보기보다 훨씬 더 어렵습니다. 메카넘 로봇의 물리학은 두 가지 주요 요인에 의해 복잡해집니다. 첫째, 바퀴 자체가 미끄러지기 쉽다는 점입니다. 롤러가 지면을 완벽하게 움켜쥐지 못해 작고 예측 불가능한 움직임의 오차를 유발합니다. 둘째, 아마도 더 결정적일 문제는 균형의 문제입니다. 로봇이 상자나 로봇 팔과 같은 하중을 실을 때, 무게 중심은 기하학적 중앙에서 벗어나기 쉽습니다. 이러한 변화는 로봇이 회전에 저항하는 방식과 네 개의 바퀴에 무게가 분산되는 방식을 변화시킵니다. 만약 제어 시스템이 이러한 무게 이동과 필연적인 바퀴 미끄러짐을 고려하지 않는다면, 로봇은 경로를 벗어나거나, 진동하거나, 의도한 경로를 따르는 데 실패할 것입니다.

베트남 하노이에 위치한 전력대학교(Electric Power University)의 연구진은 이 문제를 해결하기 위해 로봇에게 경로를 유지하는 법을 가르치는 새로운 방법을 개발했습니다. 그들의 연구는 로봇의 물리학에 대한 완벽하고 계산된 지도에 의존하기보다는 경험으로부터 배우는 특정 유형의 지능형 제어에 초점을 맞추고 있습니다. 연구진은 4륜 메카넘 로로봇이 로봇의 무게 분포가 끊임없이 변하고 바퀴가 미끄러지는 상황에서도 높은 정밀도로 원하는 경로를 추적할 수 있도록 하는 시스템을 만들었습니다. 그들은 오프-폴리시 적분 강화 학습(off-policy integral reinforcement learning)이라는 방법을 사용하여 성과를 거두었는데, 이 기술은 로봇이 자신의 모든 역학적 세부 사항을 미리 알 필요 없이 운영 중에 수집된 데이터를 관찰함으로써 최선의 움직임을 배울 수 있게 해줍니다.

연구진이 다룬 핵심 과제는 현실 세계의 로봇은 무질서하다는 점입니다. 이론적 모델은 완벽한 조건을 가정하지만, 현실에서 로봇은 움직이는 동안 무게 중심이 변하는 무거운 짐을 실을 수도 있고, 바퀴가 매끄러운 바닥에서 접지력을 잃을 수도 있습니다. 전통적인 제어 방식은 이러한 불확실성 때문에 어려움을 겪으며, 엔지니어가 시스템을 보수적으로 조정하거나 로봇의 무게와 마찰에 대한 정확한 지식을 항상 갖추어야 합니다. 이 논문에서 제안된 새로운 접근 방식은 제어 문제를 두 가지 상반된 힘 사이의 게임으로 취급합니다. 한쪽에는 경로를 유지하기 위해 필요한 노력을 최소화하려는 로봇의 제어기가 있고, 다른 한쪽에는 미끄러짐이나 무게 이동으로 인해 발생하는 최대 가능한 오차를 나타내는 '최악의 경우'의 방해 요소가 있습니다. 목표는 환경이 로봇을 경로에서 밀어내기 위해 최대한 노력하는 상황에서도 가장 잘 작동하는 전략을 찾는 것입니다.

이를 해결하기 위해 연구진은 해밀턴-자코비-이삭스(Hamilton–Jacobi–Isaals) 방정식으로 알려진 수학적 프레임워크를 사용했습니다. 이 방정식은 실제 로봇을 위한 단순한 공식으로 풀기에는 너무 복잡하기 때문에, 팀은 인공지능을 이용한 영리한 우회 방법을 사용했습니다. 그들은 인간의 뇌를 모델로 한 세 가지 신경망을 사용하여 솔루션을 학습시켰습니다. 하나의 네트워크는 비평가(critic)로서 로봇이 얼마나 잘 수행하고 있는지를 평가합니다. 두 번째 네트워크인 제어 액터(control actor)는 바퀴에 보낼 모터 명령을 결정합니다. 세 번째 네트워크인 방해 액터(disturbance actor)는 환경이 로봇에게 던질 수 있는 최악의 오류를 예측하는 법을 배웁니다. 이 네트워크들을 함께 훈련함으로써, 시스템은 부드러운 움직임과 방해에 저항하는 능력 사이의 균형을 맞추는 견고한 전략을 학습합니다.

연구진은 컴퓨터 시뮬레이션을 사용하여 두 가지 뚜렷한 시나리오에서 새로운 제어기를 테스트했습니다. 첫 번째 시나리오에서는 움직이지 않는 무거운 상자를 운반하는 것과 유사하게, 고정되고 변하지 않는 무게 오프셋을 가진 로봇을 시뮬레이션했습니다. 이 안정적인 환경에서 새로운 제어기는 표준 학습 방법만큼 잘 작동하여 로봇이 원형 경로를 매우 정확하게 따라갔습니다. 로봇의 모터는 부드럽고 일정한 토크를 생성했으며, 시스템은 불안정해지지 않고 빠르게 학습되었습니다. 이는 새로운 방법이 로봇의 물리적 특성이 이상적인 설계와 다르더라도 효과적임을 확인시켜 주었습니다.

두 번째 시나리오는 훨씬 더 까다로웠습니다. 여기서 연구진은 로봇이 자신의 무게를 스스로 움직이는 로봇 팔을 운반하는 것처럼 무게 중심이 끊임없이 이동하는 로봇을 시뮬레이션했습니다. 또한 시간 가변적인 바퀴 미끄러짐과 로봇의 총 중량 변화를 도입하여, 기계가 무거운 짐을 들어 올리고 내려놓는 상황을 모사했습니다. 이 혼란스러운 환경에서 표준 학습 방법은 어려움을 겪기 시작하여, 로봇의 헤딩(heading) 오차가 커지고 제어가 덜 부드러워졌습니다. 반면, 새로운 오프-폴리시 제어기는 원하는 경로를 꽉 잡고 있었습니다. 이 시스템은 변화하는 무게와 미끄러지는 바퀴를 성공적으로 보정하여, 추적 오차를 작게 유지하고 모터 명령을 부드럽게 유지했습니다. 시뮬레이션 결과, 새 제어기는 표준 방법보다 로봇의 헤딩 각도 오차를 더 효과적으로 줄였으며, 이는 복잡하고 변화하는 불확실성을 처리하는 데 있어 우월한 능력을 입증했습니다.

본 연구는 이 새로운 접근 방식이 예측 불가능한 환경에서 작동하는 이동 로봇에 상당한 개선을 제공한다고 결론짓습니다. 최악의 방해 요소를 명시적으로 고려하고 완벽한 모델에 의존하는 대신 데이터로부터 학습함으로써, 시스템은 전통적인 방식이 갖지 못한 견고함을 달 Achieve 합니다. 연구진은 이 시스템이 심각한 불확실성 아래에서도 안정성을 유지하며 학습 과정이 불안정한 행동으로 이어지지 않음을 검증했습니다. 현재까지의 결과는 컴퓨터 시뮬레이션에 기반하고 있지만, 이는 향후 연구를 위한 강력한 토대를 제공합니다. 다음 단계는 이 제어기를 실제 로봇에 테스트하여 디지털 시뮬레이션의 안전함을 넘어, 복잡하고 예측 불가능한 실제 공장 현장으로 나아가는 것입니다. 성공한다면, 이 기술은 메카넘 로봇이 자동화 창고부터 조건이 끊임없이 변하는 서비스 환경에 이르기까지 역동적인 설정에서 더욱 자율적이고 신뢰성 있게 운영될 수 있도록 할 것입니다.