Learning the Right Abstraction: Neural Reduced Dynamics for Complex Robot Control
이 논문은 단순화된 모델에서 신속하고 높은 처리량의 정책 학습을 가능하게 하는 최적의 상태 추상화를 학습하여, 복잡하고 고충실도의 로봇 시뮬레이션에서 성공적인 제로샷 전이와 우수한 제어 성능을 달성하는 신경 축약 역학(Neural Reduced Dynamics, NRD) 프레임워크를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
실제 세계를 가로질러 움직이는 로봇들은 근본적인 문제에 직면합니다. 바로 그 움직임의 물리학이 믿기지 않을 정도로 복잡하다는 점입니다. 바퀴 달린 차량이 부드러운 흙 위를 주행하거나, 궤도형 플랫폼이 바위가 많은 언덕을 오를 때, 지면은 예측하기 어려운 방식으로 반작용을 일으킵니다. 이러한 조건을 처리할 수 있는 로봇을 만들기 위해 엔지니어들은 종-종 실제 세계를 극도로 정밀하게 모사하는 컴퓨터 시뮬레이션에 의존합니다. 이 시뮬레이션은 모든 바퀴, 모든 트랙 링크, 그리고 모든 모래알이 어떻게 상호작용하는지를 계산합니다. 하지만 이러한 정밀함에는 막대한 대가가 따릅니다. 이 상세한 시뮬레이션을 실행하는 속도가 너무 느려서, 컴퓨터가 자동차를 들판 가로질러 운전하는 것과 같은 간단한 과업을 배우는 데만도 몇 년이 걸릴 수 있습니다. 왜냐하면 컴퓨터가 수백만 번의 다양한 시도를 해볼 수 있을 만큼 빠르게 실행될 수 없기 때문입니다.
이를 해결하기 위해 연구자들은 로봇에게 단순화된 버전의 세계를 사용하여 가르치는 다른 접근 방식에 주목했습니다. 이는 조종사가 공기 분자 하나하나를 모델링할 필요 없이 비행의 느낌만을 담아낸 비행 시뮬레이터에서 훈련하는 것과 유사합니다. 문제는 무엇을 남기고 무엇을 버릴지 정확히 아는 데 있습니다. 만약 시뮬레이션이 너무 단순하면 로봇은 현실에서 실패하는 나쁜 습관을 배우게 됩니다. 반대로 너무 복잡하면 학습 속도가 너무 느려집니다. 질문은 이것입니다. 로봇을 똑똑하면서도 빠르게 만들기 위한 적절한 세부 수준은 무엇인가?
위스콘신 대학교 매디슨 캠퍼스의 연구팀은 이 질문에 답하기 위한 새로운 방법을 개발했습니다. 그들은 로봇의 물리학 중 '축소된(reduced)' 버전을 학습하는 시스템을 만들었습니다. 복잡한 기계의 모든 세부 사항을 예측하려고 노력하는 대신, 그들의 시스템은 당면한 과업에 중요한 특정 변수들만을 추적하도록 학습합니다. 차량의 경우, 이는 엔진의 모든 나사의 정확한 위치는 무시하면서 바퀴가 얼마나 빨리 회전하고 있는지와 바퀴에 가해지는 무게가 얼마인지를 추적하는 것을 의미할 수 있습니다. 로팔(arm)의 경우, 관절의 각도를 추적하면서 학습 과정 외부의 단순한 수학을 사용하여 손의 위치를 계산하는 것을 의미할 수 있습니다. 이를 통해 컴퓨터는 이전보다 수천 배 더 빠르게 시뮬레이션을 실행할 수 있으며, 이는 로봇을 수년이 아닌 단 몇 분 만에 시행착오를 통해 훈련하는 것을 가능하게 합니다.
연구진은 이 아이디어를 매우 다른 두 종류의 로봇에 테스트했습니다. 첫 번째는 거칠고 불규칙한 지형을 주행하도록 설계된 군사용 차량이었습니다. 그들은 이 빠르고 단순화된 모델 안에서 특정 경로를 따라가는 제어 시스템을 훈련시켰습니다. 경로는 평평하고 딱딱한 지면, 바퀴가 빠지는 부드러운 흙, 그리고 로봇이 한 번도 경험해보지 못한 울퉁불퉁한 딱딱한 지면의 세 가지 유형의 지형을 통과하도록 설정되었습니다. 훈련된 로봇을 다시 느리고 고정밀인 시뮬레이터에 넣어 실제로 임무를 수행할 수 있는지 확인했을 때, 로봇은 성공했습니다. 로봇은 세 가지 표면 모두에서 높은 정밀도로 경로를 따라갔습니다. 놀랍게도, 단순화된 모델로 훈련된 단 하나의 로봇이 각 지면 유형별로 따로 훈련받은 로봇들보다 더 나은 성능을 보였습니다. 심지-어 훈련받은 적 없는 울퉁불퉁한 지형조차 완벽하게 처리했는데, 이는 단순화된 모델이 단순히 훈련 데이터를 암기한 것이 아니라 운전의 진정한 규칙을 학습했음을 증명합니다.
두 번째 테스트에는 로봇 팔이 장착된 궤도 차량이 포함되었습니다. 여기서 연구진은 문제를 두 개의 별개 과업으로 나누었습니다. 첫째, 차량이 지면의 특정 지점까지 주행하도록 가르쳤습니다. 둘째, 팔이 공간의 특정 지점으로 손을 움직이도록 가르쳤습니다. 두 경우 모두, 그들은 빠르고 단순화된 모델을 사용하여 제어 시스템을 훈련시켰습니다. 결과는 놀라웠습니다. 차량은 100개의 서로 다른 목표물을 향해 주행하여 매번 목표물로부터 0.25미터 이내에 멈춰 섰습니다. 로봇 팔은 지면이나 차량 자체에 부딪히지 않으면서 100개 중 97개의 목표물에 5센티미터 이내의 정밀도로 도달했습니다. 단순화된 모델은 상세한 시뮬레이터보다 약 4개 차수(orders of magnitude) 더 빠르게 실행되었으며, 이는 느린 시스템에서는 몇 달이 걸렸을 훈련 과정이 한 시간도 채 걸리지 않아 완료되었음을 의미합니다.
이 연구의 핵심 발견은 로봇의 세계를 단순화하는 최선의 방법은 그것을 작게 만드는 것이 아니라, 무엇을 남길지에 대해 더 똑똑해지는 것이라는 점입니다. 연구진은 적절한 단순화는 전적으로 로봇이 무엇을 하려 하는지에 달려 있다는 것을 발견했습니다. 차량의 경우, 가장 중요한 것은 타이어에 가해지는 힘과 바퀴의 속도였는데, 이것들이 차량이 미끄러지거나 빠지는 정도를 결정하기 때문입니다. 팔의 경우, 가장 중요한 것은 관절의 각도였는데, 손의 위치는 그 각도들의 수학적 결과이기 때문입니다. 필수적인 물리학만을 유지하고 나머지는 단순한 공식으로 계산함으로써, 시스템은 현실 세계에서 작동할 수 있는 충분한 정확성을 유지하면서도 학습에 필요한 속도를 얻었습니다.
이 접근 방식이 아직 이 로봇들이 물리적인 하드웨어에서 실제 세계의 작업을 수행할 수 있다는 것을 입증한 것은 아닙니다. 모든 테스트는 컴퓨터 내부에서 수행되었기 때문입니다. 그러나 결과는 정교하게 설계된 단순화된 모델이 실제 세계의 느리고 정확한 물리학과 로봇을 가르치기 위해 필요한 빠르고 방대한 학습 사이의 강력한 가교 역할을 할 수 있음을 보여줍니다. 이는 로봇을 가르치기 위해 모든 것을 시뮬레이션할 필요는 없으며, 오직 '올바른 것들'만을 시뮬레이션하면 된다는 것을 시사합니다. 특정 과업을 제어하는 물리학에 집중함으로써, 엔지니어들은 이제 복잡한 기계가 이전에는 도달할 수 없었던 속도와 유연성을 가지고 어려운 환경을 다루도록 훈련할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.