Weave: Learning Whole-Body Dexterous Loco-Manipulation from Human-Object Interactions
Weave는 접촉 인지 기반 리타겟팅을 통해 인간의 시연을 실행 가능한 참조 데이터로 변환하고, 기하학 인지 정책을 채택하여 학습된 시나리오와 학습되지 않은 상호작용 시나리오 모두에서 높은 성공률을 달성함으로써 휴머노이드 로봇의 전신 숙련 데코레이션 로코매니퓰레이션(loco-manipulation)을 학습하는 통합 프레임워크입니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
로봇이 인간의 세상 속을 움직일 수 있도록 만들기 위해, 엔지니어들은 단순히 기계에게 걷는 법이나 물건을 집는 법을 가르치는 것보다 훨씬 더 복잡한 조정의 문제에 직면해 있습니다. 로봇은 이 두 가지를 동시에 수행해야 하며, 종종 무게 중심을 변화시키고 균형을 바꾸는 물체를 들고 있는 상태에서 이를 해내야 합니다. 이것은 '로코매니퓰레이션(loco-manipulation)'이라 불리는데, 이는 몸을 움직이는 동시에 손으로 물체를 조작하는 어려운 과업을 설명하는 용어입니다. 로봇이 성공하기 위해서는 걷기와 잡기를 별개의 작업으로 취급해서는 안 됩니다. 만약 의자를 향해 손을 뻗으면서 발의 위치를 조정하지 않는다면, 로봇은 넘어질 것입니다. 만약 테이블을 향해 걸어가면서 손가락이 표면에 어떻게 닿을지 계획하지 않는다면, 테이블을 들어 올리는 데 실패할 것입니다. 과제는 기계가 발끝부터 손가락 끝까지 자신의 전신이 물리적 세계와 상호작용하기 위해 하나의 균형 잡힌 단위로서 작동해야 한다는 점을 이해하도록 가르치는 데 있습니다.
연구자들은 오랫동안 인간의 움직임을 보여줌으로써 로봇을 가르치려 노력해 왔으며, 이 과정을 모방 학습(imitation learning)이라고 합니다. 그러나 인간을 직접적으로 복사하는 것은 로봇과 사람의 신체 구조 및 관절의 움직임 방식이 다르기 때문에 종종 실패합니다. 인간은 로봇이 할 수 없는 방식으로 손목을 비틀 수 있고, 로봇의 손가락은 인간의 부드러운 촉감을 흉내 내기에 너무 뻣뻣할 수도 있습니다. 더욱이, 로봇에게 물체를 다루는 법을 가르치려는 이전의 대부분의 시도는 신체의 큰 움직임이나 손의 미세한 움직임 중 하나에만 집중했을 뿐, 두 가지를 하나의 통합된 시스템으로 결합한 경우는 드물었습니다. 이러한 격차로 인해 로봇은 걷거나 컵을 잡는 법은 배울 수 있었지만, 무거운 물체로 걸어가서 그것을 단단히 잡고, 떨어뜨리거나 넘어지지 않고 다른 곳으로 옮기는 복잡하고 일상적인 과업을 수행하는 데에는 어려움을 겪었습니다.
연구진은 이 구체적인 문제를 해결하기 위해 WEAVE라고 불리는 새로운 시스템을 도입했습니다. 그들의 접근 방식은 실제 인간이 의자, 상자, 테이블과 같은 일상적인 물체와 상호작용하는 모습을 기록하는 것부터 시작됩니다. 이러한 녹화 영상은 사람이 물체에 접근하고, 잡고, 이동하는 전체 동작을 포착합니다. 연구진은 이러한 인간의 움직임을 로봇이 이해하고 실행할 수 있는 형식으로 변환합니다. 이 변환은 단순한 복사-붙여넣기가 아닙니다. 이는 로봇의 물리적 한계를 존중하는 세심한 재구성입니다. 시스템은 먼저 원래의 인간 기록에는 없었던, 로봇이 물체에 가까워지기 위해 취해야 할 발걸음과 같은 누락된 동작 부분을 채워 넣습니다. 그런 다음, 로봇의 특정 손가락에 맞게 인간의 손 움직임을 조정하여, 로봇의 움켜쥐기가 물리적으로 가능하고 물체를 단단히 잡을 수 있을 만큼 강한지 확인합니다. 결정적으로, 시스템은 손가락이 물체에 닿는 정확한 지점에 주의를 기울여, 파지(grasp)를 안정적으로 만드는 접촉 지점을 보존합니다.
이러한 참조 움직임이 만들어지면, 연구진은 하나의 컴퓨터 프로그램, 즉 '정책(policy)'을 통해 이를 학습하도록 훈련합니다. 이 프로그램은 몸통과 다리에 있는 29개의 관절과 두 손의 12개 관절을 포함한 로봇의 모든 관절을 제어하도록 설계되었습니다. 연구진은 각 물체의 유형마다 별도의 프로그램을 훈련시키는 대신, 다양한 품목과 상호작용 스타일을 동시에 학습하는 하나의 프로그램을 훈련시켰습니다. 로봇은 디지털 세계인 시뮬레이션 환경에서 아무것도 부수지 않고 수천 번 연습하며 학습합니다. 로봇은 참조 동작을 관찰하고 이를 맞추려고 노력하며, 물체를 안전하게 유지하기 위해 실시간으로 균형과 손가락 압력을 조절하는 법을 배웁니다. 훈련은 엄격하게 진행되며, 예상치 못한 조건에서도 대처할 수 있도록 로봇의 마찰력과 무게를 무작위로 변화시키는 과정을 포함합니다.
이 훈련의 결과는 인상적입니다. 훈련 중에 보았던 특정 물체와 움직임에 대해 테스트했을 때, 로봇은 92.5%의 확률로 과업을 완수했습니다. 더 중요한 것은, 이 시스템이 강력한 일반화 능력을 보여주었다는 점입니다. 연구진이 동일한 물체를 사용하되 접근 각도나 움직임을 다르게 하여, 로-봇이 본 적 없는 새로운 움직임 시퀀스로 테스트했을 때도 추가 훈련 없이 65.0%의 성공률을 보였습니다. 이는 로봇이 단순히 특정 움직임을 암기한 것이 아니라, 물체와 상호작용하는 일반적인 전략을 학습했음을 시사합니다. 연구진은 또한 다른 과학자들이 로봇이 물리적 세계와 상호작용하는 법을 연구할 수 있도록 돕기 위해 약 23시간 분량의 성공적인 로봇 활동 기록을 담은 대규모 데이터셋을 공개했습니다.
이 연구는 물체를 다루는 법을 배우는 것은 로봇이 전신을 동시에 조율하는 법을 배울 때 가장 효과적이라는 점을 강조합니다. 다양한 물체를 함께 훈련함으로써, 로봇은 무거운 상자를 들 때 무게 중심을 잡는 법이나 키가 큰 램프에 손을 뻗을 때 발의 위치를 잡는 법과 같은 공통된 패턴을 발견했습니다. 이러한 통합적 접근 방식은 각 물체에 대한 별도의 전문가를 훈련시키는 것보다 더 성공적이었습니다. 연구진은 특정 아이템에 대해 정확한 자세를 흉내 내는 데는 전문가 모델이 약간 더 나을 수 있지만, 광범위한 상황에서 실제로 과업을 완수하는 데는 일반화된 로봇이 훨씬 더 뛰어나다는 것을 발견했습니다. 이는 새로운 형태와 상황에 적응하는 능력이 단일 움직임의 완벽한 모방보다 더 가치 있다는 것을 나타냅니다.
이러한 성공에도 불구하고, 연구진은 자신들의 연구가 가진 한계를 명확히 밝히고 있습니다. 전체 연구는 컴퓨터 시뮬레이션 내에서 수행되었으므로, 로봇이 실제 세계를 물리적으로 만져본 적은 없습니다. 시스템은 로봇과 물체의 위치에 대한 완벽한 지식에 의존하는데, 이는 센서 노이즈가 존재하는 실제 세계에서는 항상 가용한 정보가 아닙니다. 또한, 시뮬레이션에 사용된 로봇은 손의 유연성이 완전히 갖춰지지 않아 수행할 수 있는 파지의 복잡성에 제한이 있습니다. 연구진은 또한 이 시스템이 따라야 할 사전 계획된 행동 시퀀스가 필요하다는 점을 언급했습니다. 즉, 아직 스스로 무엇을 집을지 또는 어디로 가져갈지를 결정하는 능력은 갖추지 못했습니다. 이것들이 바로 미래의 시스템이 물리적 기술과 복잡한 명령을 이해하고 예측 불가능한 실제 세계를 항해하는 능력을 결합해야 할 다음 단계들입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.