RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation

로봇에게 인간처럼 두 손을 사용하는 법을 가르치는 것은 현대 로보틱스에서 가장 어려운 과제 중 하나입니다. 빨래를 접거나, 병뚜껑을 열거나, 무거운 상자를 옮기는 것과 같은 복잡한 작업을 배우기 위해서 로봇은 이를 수행하는 수천 가지의 사례를 보아야 합니다. 현실 세계에서 이러한 사례를 수집하는 것은 느리고 비용이 많이 들며, 종종 위험하기도 합니다. 로봇이 유리를 떨어뜨리면 깨지게 되고, 그릇 더미를 넘어뜨리면 뒷정리가 번거로운 일이 됩니다. 이 때문에 과학자들은 컴퓨터 시뮬레이션으로 눈을 돌렸습니다. 그들은 로봇이 아무것도 부수지 않고 수백만 번 연습할 수 있는 가상 세계를 구축합니다. 하지만 한 가지 주요한 문제가 이 분야의 발전을 가로막아 왔습니다. 대부분의 시뮬레이션은 고정된 가구가 있는 폐쇄된 방과 같습니다. 로봇을 방 안에서 아무리 뛰어다니게 할 수는 있지만, 사용자가 소유한 특정 커피 머그잔과 같은 새로운 물체를 쉽게 추가하거나 방의 배치를 변경할 수는 없습니다. 그렇게 하려면 인간 엔지니어가 물체의 모양을 재구축하고, 무게를 정의하며, 로봇의 손가락이 정확히 어디를 만져야 하는지 파악하는 데 보통 몇 시간을 소비해야 합니다. 이러한 수동 작업은 너무 느려서 로봇이 진정으로 적응력을 갖추도록 가르치는 데 필요한 거대하고 다양한 데이터셋을 만드는 것을 방해합니다.

연구팀은 시뮬레이션을 개방적이고 확장 가능한 작업장으로 바꿈으로써 이 병목 현상을 해결하는 'RoboCousin'이라는 새로운 시스템을 선보였습니다. 이 시스템은 로봇이 미리 선택된 목록의 물체로부터만 배우도록 강요하는 대신, 사용자가 어떤 물체의 간단한 사진이나 방에 대한 설명을 제공하면 이를 즉각적으로 로봇이 연습할 수 있는 사실적인 3D 모델로 변환할 수 있게 해줍니다. 이 시스템은 단순히 예쁜 그림을 만드는 것이 아니라, 물체의 무게나 표면의 미끄러움과 같은 물리적 특성을 자동으로 파악하고, 로봇의 그리퍼가 물체를 잡기에 가장 좋은 지점을 계산합니다. 이 과정은 평면적인 이미지를 '디지털 사촌(digital cousin)'으로 변환합니다. 이는 실제와 똑같이 보이고 작동하면서도, 다른 물체나 배경과 결합하여 끝없는 새로운 훈련 시나리오를 만들어낼 수 있을 만큼 유연한 가상 버전입니다.

연구진은 기존 시뮬레이션 플랫폼 위에 이 시스템을 구축하고, 초기 사진부터 최종 로봇의 움직임까지 처리하는 파이프라인을 추가했습니다. 사용자가 물체 이미지를 제공하면, 시스템은 먼저 배경에서 물체를 분리하고 3차원 형태를 재구성합니다. 그런 다음 인공지능을 사용하여 질량이나 마찰력과 같은 물체의 물리적 특성을 추측하여 로봇이 현실적으로 상호작용하도록 보장합니다. 결정적으로, 시스템은 로봇 손이 안전하고 효과적으로 물체를 잡을 수 있는 특정 지점인 '접촉 지점(contact points)'을 자동으로 식별합니다. 전통적인 설정에서는 인간이 모든 물체마다 이 지점을 수동으로 표시해야 했으며, 이는 매우 지루한 과정이었고 많은 물체를 추가하는 데 한계가 있었습니다. 이 새로운 시스템에서 컴퓨터는 이를 즉시 수행합니다. 그 결과 3,000개 이상의 서로 다른 물체 인스턴스와 50개의 서로 다른 배경 환경 라이브러리가 구축되어 로봇이 사용할 준비를 마쳤습니다.

훈련을 더욱 견고하게 만들기 위해, 시스템은 '디지털 사촌'을 생성합니다. '디지털 트윈(digital twin)'이 실제 장면의 정확하고 경직된 복사본이라면, 디지털 사촌은 중요한 관계는 유지하되 세부 사항을 변경한 변형본입니다. 예를 들어, 로봇이 테이블 위의 병을 집는 법을 배워야 한다면, 시스템은 병의 색상이 다르거나, 테이블의 재질이 다르거나, 배경이 거실 대신 주방인 장면을 생성할 수 있습니다. 단, 병이 여전히 테이블 위에 타당한 방식으로 놓여 있어야 한다는 조건하에 말입니다. 이러한 접근 방식은 로봇이 특정 설정을 단순히 암기하는 것이 아니라 핵심 개념을 배우도록 가이드를 제공합니다. 또한 이 시스템은 실 규모로 확장됩니다. 가상의 집을 통과하여 이동하는 모바일 로봇의 경로를 계획하고, 테이블에 접근하여 조작 작업을 수행하는 과정을 하나의 연속적인 시뮬레이션 내에서 수행할 수 있습니다. 이를 통해 로봇은 팔을 움직이는 법뿐만 아니라, 작업에 도달하기 위해 몸 전체를 움직이는 법까지 배울 수 있습니다.

연구팀은 이 자동화된 접근 방식이 실제로 효과가 있는지 테스트했습니다. 그들은 시스템을 사용하여 100만 개 이상의 훈련 궤적을 생성한 후, 두 팔을 가진 물리적 로봇이 특정 작업을 수행하도록 훈련시켰습니다. 결과는 놀라웠습니다. 로봇이 시스템을 통해 자동으로 재구성된 물체들로 훈련받았을 때, 인간 전문가가 정성껏 제작한 물체들로 훈련받았을 때와 대등하거나 심지어 더 나은 성능을 보였습니다. 예를 들어, 병을 집는 작업에서 새로운 시스템의 자산을 사용했을 때 성공률이 40%에서 80%로 급증했습니다. 또한, 단 하나의 정확한 방 복사본이 아닌 다양한 '사촌' 장면들로 훈련받았을 때, 로봇은 새로운 상황을 훨씬 더 잘 다룰 수 있게 되었습니다. 안경 케스를 집는 실험에서, 단일한 정확한 장면으로 훈련받은 로봇은 완전히 실패했지만, 다양한 사촌 장면들로 훈련받은 로봇은 55%의 성공률을 기록했습니다.

연구진은 컴퓨터의 물체 파지 지점에 대한 자동 추측이 얼마나 정확한지도 검증했습니다. 그들은 시스템이 제안한 잡기 지점을 인간이 정성껏 표시한 지점들과 비교했습니다. 컴퓨터의 제안은 인간이 표시한 지점보다 약간 더 우수했으며, 인간의 지점이 72%의 성공률을 보인 것에 비해 시뮬레이션에서 76%의 성공률을 달랐습니다. 이는 시스템이 느리고 수동적인 물체 주석 작업(annotation)을 대체할 수 있을 만큼 빠르고 신뢰할 수 있는 자동화된 방식을 갖추었음을 입증합니다. 실세계 관찰을 시뮬레이션 자산으로 전환하는 능력과 다양한 훈련 시나리오를 생성하는 능력을 결합함으로써, RoboCousin은 실용적인 발전 경로를 제시합니다. 이는 로봇 학습의 미래가 엔지니어가 모든 새로운 물체를 수동으로 만들기를 기다리는 것이 아니라, 우리가 사는 복잡하고 다양한 세상을 즉각적으로 이해하고 적응할 수 있는 시스템에 달려 있음을 시사합니다.