Where to Touch, How to Contact: A Hierarchical RL-MPC Framework for Geometry-Aware Sim-to-Real Manipulation

로봇은 오랫동안 공장 바닥의 숙련가였으며, 자동차를 조립하거나 패키지를 분류하기 위해 미리 프로그래밍된 경로를 따라 정밀하게 움직여 왔습니다. 그러나 이 기계들이 예측 불가능한 현실 세계, 특히 단순히 물건을 집어 올리는 것이 아니라 물건을 다뤄야 하는 상황에 직면했을 때, 종종 어려움을 겪습니다. 문제는 '접촉이 풍부한(contact-rich)' 조작에 있습니다. 로봇이 물체를 밀거나, 미끄러뜨리거나, 회전시키거나, 뒤집어서 움직여야 하는 상황입니다. 단순히 들어 올리는 것과 달리, 이러한 동작들은 물체, 로봇 팔, 그리고 환경 사이의 복잡하고 변화하는 상호작용에 의존합니다. 만약 로봇이 상자를 너무 세게 밀면 상자가 멀리 미끄러져 버릴 수 있고, 잘못된 각도로 밀면 상자가 넘어지거나 끼일 수 있습니다. 수년간 연구자들은 로봇에게 방대한 양의 데이터를 학습시켜 기계가 시행착오를 통해 물리 법칙을 결국 배우기를 기대하며 이러한 상황을 다루는 법을 가르치려 노력해 왔습니다. 하지만 이 방식은 종 often 느리고, 많은 데이터를 필요로 하며, 컴퓨터 시뮬레이션에서 훈련된 로봇을 실제 방에 배치했을 때 제대로 작동하지 않는 경우가 많습니다.

한 연구팀은 인간이 물체를 움직이는 방식을 모방하여 이 문제를 해결하는 다른 방법을 제안했습니다. 모든 미세한 근육 움직임이나 마찰력의 세부 사항을 한꺼번에 배우려고 하는 대신, 그들은 과업을 두 개의 뚜렷한 사고 단계로 나누었습니다. 상위 수준(high level)에서 로봇은 물체의 어디를 터치할 것인지와 "상자를 앞으로 미끄러지게 하기 위해 손잡이를 민다"와 같이 어떤 일반적인 결과를 원하는지를 결정합니다. 하위 수준(low level)에서는 별도의 시스템이 물체가 달라붙어 있는지 아니면 미끄러지고 있는지와 같은 순간적인 물리적 상황에 맞춰, 그 계획을 실시간으로 어떻게 실행할지를 결정합니다. 학습 기반의 '두뇌'와 물리 기반의 '근육'을 결의한 이 새로운 프레임워크를 통해 로봇은 훨씬 더 빠르게 학습할 수 있으며, 추가 훈련 없이도 시뮬레이션에서 현실로 기술을 전이할 수 있습니다.

연구진은 단순한 막대형 도구를 장착한 로봇 팔을 이용해, 잡기 동작이 필요 없는 과업을 수행하도록 이 아이디어를 테스트했습니다. 한 시나리오에서 로봇은 무작위 시작 위치에서 다양한 글자 모양의 블록을 특정 목표 지점까지 밀어야 했습니다. 또 다른 시나리오에서는 큐브를 원하는 자세로 안착할 때까지 뒤집고 회전시키며 방향을 재설정해야 했습니다. 세 번째 시나리오에서는 계단을 사용하여 물체를 테이블 위로 뒤집어 올리는 작업을 수행했습니다. 성공의 핵심은 그들이 '접촉 의도(contact intention)'라고 부르는 특정한 유형의 지시였습니다. 이것은 모든 관절의 움직임에 대한 상세한 명령이 아니라, "물체의 여기를 터치하고, 저 위치로 이동시키는 것을 목표로 한다"라고 말하는 고수준의 목표입니다. 강화 학습을 통해 훈련된 로봇의 상위 정책은 보이는 것을 바탕으로 이 의도를 예측합니다. 일단 의도가 설정되면, 하위 제어기가 바통을 이어받습니다. 이 제어기는 마치 초고속 계산기처럼 작동하여, 로봇의 막대가 선택된 지점에서 물체와 접촉 상태를 유지하며 목표를 향해 움직이도록 다음 몇 초간의 움직임을 끊임없이 계획하고, 물체가 미끄러지거나 무언가에 부딪히는 경우 즉각적으로 조정합니다.

이 접근 방식이 특히 효과적인 이유는 '무엇을(what)'과 '어떻게(how)'를 분리했기 때문입니다. 상위 정책은 물체의 형상과 목표만을 이해하면 되며, 접촉의 지저분하고 복잡한 물리 현상은 무시해도 됩니다. 덕분에 로봇은 빠르게 학습할 수 있고, 본 적 없는 형태에도 일반화할 수 있습니다. 테스트 결과, 로봇은 상대적으로 적은 양의 훈련만으로도 보지 못한 글자들을 거의 완벽하게 밀어내는 법을 배웠습니다. 반면, 이러한 역할 분담 없이 처음부터 전체 과정을 배우려고 했던 시스템은 훨씬 더 많은 데이터를 필요로 했음에도 불구하고 여전히 성능이 떨어졌습니다. 연구진은 자신들의 방식이 기존의 엔드 투 엔드(end-to-end) 방식에 비해 과업을 배우는 데 필요한 결정 단계가 약 40배 적다는 것을 발견했습니다. 또한, 상위 정책이 물리적 역학보다는 기하학에 집중하기 때문에, 단순한 컴퓨터 시뮬레이션에서 훈련한 후 별도의 조정 없이 실제 로봇에 바로 배치할 수 있습니다.

이러한 분리의 결과는 시뮬레이션과 현실 세계 모두에서 놀라웠습니다. 연구진이 훈련된 로봇을 컴퓨터에서 실제 프랑카(Franka) 로봇 팔로 옮겼을 때, 로봇은 미세 조정 없이도 높은 신뢰도로 과업을 수행했습니다. 글자 밀기 과업의 경우, 훈련 중에 보았던 글자들에 대해서는 100%의 성공률을, 한 번도 마주치지 못한 글자들에 대해서는 95%의 성공률을 기록했습니다. 더 복잡한 3차원 공간에서의 큐브 뒤집기 과업에서도 로봇은 거의 매번 성공했습니다. 실제 환경 테스트에서 로봇은 보지 못한 글자를 밀거나 물체의 방향을 재설정하는 데 성공했으며, 종종 10번 미만의 상위 결정만으로 과업을 완료했습니다. 발생한 소수의 실패는 카메라가 물체를 놓치는 것과 같은 실질적인 문제 때문이었지, 로봇의 논리가 결함이 있었기 때문이 아니었습니다. 이는 로봇이 단순히 특정 움직임의 집합을 암기한 것이 아니라, 세상과 상호작용하는 견고한 전략을 진정으로 학습했음을 보여주었습니다.

이 연구는 또한 시스템의 일부를 제거했을 때 어떤 일이 발생하는지 탐구하여, 각 구성 요소가 필수적임을 확인했습니다. 연구진이 중간 목표를 설정하는 능력을 제거했을 때, 로봇은 최종 목적지에 직접 도달하려고 시도하다가 계획 없이 물체를 원형으로 밀거나 구석으로 몰아넣으며 갇히는 현상이 자주 발생했습니다. 또한 로봇이 환경에 부딪히지 않고 안전하게 접촉할 수 있는 위치에 대한 정보를 제거했을 때, 로봇은 유효한 접촉점을 찾는 데 어려움을 겪었습니다. 이러한 테스트는 로봇이 성공하기 위해서는 물체의 형상에 대한 명확한 감각과 단계별로 움직이기 위한 계획이 모두 필요함을 보여주었습니다. 이 프레임워크는 접촉 역학을 직접 학습하려는 다른 방법들보다 우수함을 입증했는데, 기존 방법들은 종종 국소 루프(local loops)에 빠지거나 수렴을 위해 엄청난 양의 데이터를 필요로 합니다. 어려운 물리 계산을 전담 제어기에 위임함으로써, 학습 시스템은 가장 중요한 전략적 결정에 집중할 수 있게 됩니다.

궁극적으로 이 연구는 로봇을 비정형 환경에서 더 유능하게 만들기 위한 새로운 길을 제시합니다. 이는 기계에게 물리 세계의 모든 세부 사항을 한꺼번에 강제로 배우게 하는 것이 아니라, 과업의 계층 구조를 부여하는 것이 물체를 조작하는 법을 가르치는 최선의 방법임을 시사합니다. 로봇은 기하학과 전략에 대해 추론하는 법을 배우고, 별도의 신뢰할 수 있는 시스템이 즉각적인 물리적 실행을 처리합니다. 이 접근 방식은 학습을 더 빠르고 효율적으로 만들 뿐만 아니라, 시뮬레이션과 현실 사이의 간극을 메워 가상 세계에서 훈련된 로봇을 실제 현장에 즉시 투입할 수 있게 합니다. 연구진은 향-후 이 프레임워크를 여러 손가락을 가진 더 복잡한 손으로 확장하는 것을 목표로 하고 있으나, 현재의 방식은 물체의 위치를 정확하게 추적하는 것에 의존하고 있으며, 더 정교한 작업에서 발생하는 수많은 접촉 지점 문제에 직면할 수 있음을 인정하고 있습니다. 그러나 현재로서는, 이 결과들이 기계가 세상을 만지고 움직이는 기술을 배우는 명확하고 견고한 방법을 보여주고 있습니다.