MoDeSuite: Robot Learning Task Suite for Benchmarking Mobile Manipulation with Deformable Objects

로봇이 그저 무겁고 딱딱한 상자만을 밀 수 있는 서투른 상자에 불과한 세상이 아닌, 운동화 끈을 묶거나 빨래를 접거나, 늘어진 커튼이 가득한 방을 통과할 수 있는 민첩한 조력자가 될 수 있는 세상을 상상해 보십시오. 이것이 바로 모바일 매니퓰레이션(mobile manipulation), 즉 이동하는 능력(강아지나 자동차처럼)과 물건을 잡는 팔의 능력(사람처럼)이라는 두 가지 어려운 기술을 결합한 로봇 공학의 최전선입니다. 로봇은 상자나 문 같은 단단한 물체를 옮기는 데는 꽤 능숙해졌지만, **변형 가능한 물체(deformable objects)**를 다루는 데는 여전히 매우 고전하고 있습니다. 변형 가능한 물체란 고무줄, 젖은 수건, 또는 밧줄처럼 찌그러지거나 늘어나고, 휘거나 출렁거리는 것들을 말합니다. 이러한 물체들은 만질 때마다 모양이 변하기 때문에, 다음에 어떤 일이 일어날지 예측하려는 컴퓨터 프로그램에게는 악몽과도 같습니다. 로봇이 흐물흐물한 담요를 다룰 수 없다면, 우리의 복잡하고 실제적인 가정에서 진정으로 우리를 도울 수 없을 것입니다.

여기서 MoDeSuite라고 불리는 새로운 프로젝트가 등장합니다. 이것은 로봇이 흐물거리는 물체들을 다루도록 훈련하기 위해 특별히 설계된 고도의 "비디오 게임"이라고 생각하면 됩니다. 연구진은 신축성 있는 벨트를 허들 위로 끌고 가는 것부터 식기를 쓰러뜨리지 않고 테이블보를 잡아당기는 것까지, 8가지의 서로 다른 도전 과제가 담긴 디지털 놀이터를 만들었습니다. 그들은 이 놀이터를 두 종류의 로봇으로 테스트했습니다. 하나는 바퀴가 달린 로봇(팔이 달린 스마트 진공청소기 같은 형태)이고, 다른 하나는 다리가 달린 로로봇(강아지처럼 생긴 4족 보행 로봇)입니다. 목표는 로봇이 이 푹신하고 흐물거리는 퍼즐을 해결하기 위해 자신의 몸체와 팔을 함께 움직이는 법을 배울 수 있는지 확인하는 것이었습니다. 결과에 따르면, 로봇이 컴퓨터 게임 안에서는 이를 학습할 수 있지만, 이를 실제 세계로 옮기는 것은 특히 시각적 변화를 보고 반응하는 측면에서 여전히 까다로운 작업임을 보여줍니다.

논문의 이야기: 로봇에게 흐물거리는 물체와 춤추는 법 가르치기

이 논문은 MoDeSuite를 소개합니다. 이는 로봇이 구부러지고 늘어나는 물체를 다루며 이동하는 능력을 벤치마킹하기 위해 설계된 최초의 표준화된 "태스크 스위트(task suite, 과제 모음)"입니다. 이전에는 연구자들이 새로운 실험을 할 때마다 자신만의 맞춤형 시뮬레이션을 구축해야 했기에, 서로 다른 로봇이나 학습 방법을 비교하기가 어려웠습니다. MoDeSuite는 누구나 자신의 로봇 학습 알고리즘을 테스트할 수 있는 공유된 고품질 디지털 환경을 제공함으로써 이 문제를 해결합니다.

이 스위트는 두 가지 주요 유형의 "흐물거리는" 재료를 다루는 8가지의 뚜렷한 과제를 특징으로 합니다:

1. 탄성 물체(Elastic objects): 고무줄이나 폼 노들처럼 늘어났다가 다시 돌아오는 것들.
2. 소성 물체(Plastic objects): 커튼, 테이블보, 또는 밧줄처럼 늘어지거나 접히지만 다시 돌아오지는 않는 것들.

과제들은 까다롭게 설계되었습니다. 예를 들어, "굽히기(Bend)" 과제에서 로봇은 길고 신축성 있는 막대를 L자형 복도를 통해 운반해야 합니다. 로봇이 너무 빨리 움직이거나 막대를 잘못 잡으면 막대가 벽에 부딪힐 수 있습니다. "끌기(Drag)" 과제에서 로봇은 자신의 균형을 유지하면서 신축성 있는 벨트를 장애물 위로 들어 올려 반대편에 놓아야 합니다. "커튼(Curtain)" 과제에서 로봇은 매달려 있는 커튼을 옆으로 밀어내고 커튼에 부딪히지 않고 통로를 지나가야 합니다. 이러한 과제들은 로봇이 물체의 유연성을 저항의 대상이 아닌 이점으로 활용하도록 하여, 자신의 베이스(바퀴 또는 다리)와 팔을 조정하게 만듭니다.

이 시스템의 작동 여부를 테스트하기 위해 저자들은 시뮬레이션 내에서 네 가지 서로 다른 "학습 뇌(알고리즘)"를 훈련시켰습니다. 그중 두 가지는 시행착오를 거치며 높은 점수를 얻기 위해 노력하는 강화 학습(Reinforcement Learning, RL) 알고리즘입니다. 나머지 두 가지는 인간(또는 키보드 컨트롤러)이 과제를 수행하는 것을 관찰하고 그 동작을 모방하려고 노력하는 모방 학습(Imitation Learning, IL) 알고리즘입니다.

시뮬레이션에서의 발견 사항:
로봇들은 디지털 세계에서 놀라울 정도로 성공적이었습니다. PPO 알고리즘(강화 학습의 일종)은 대부분의 과제에서 SAC 알고리즘보다 전반적으로 더 좋은 성능을 보였습니다. 그러나 로봇의 유형이 매우 중요했습니다. 바퀴형 로봇(Ridgeback 베이스 위의 Franka)은 과제를 더 쉽게 수행한 반면, 다리형 로봇(Boston Dynamics의 Spot)은 균형을 잃거나 좁은 공간에서 벽에 충돌하는 등 더 어려움을 겪었습니다. 이는 흐물거리는 물체를 조작하면서 로봇의 균형을 잡는 것이, 특히 다리가 달린 기계에게는 엄청난 도전임을 시사합니다.

실제 세계 테스트 (Sim-to-Real):
이 논문에서 가장 흥-미로운 부분은 훈련된 로봇을 컴퓨터 밖으로 가져와 실제 바닥에 배치했을 때 일어난 일입니다. 그들은 추가적인 미세 조정 없이 훈련된 정책(policy)을 실제 Spot 로봇에 배포했습니다.

• "상태(State)" 데이터를 사용한 경우: 로봇이 물체의 각 지점이 3D 공간의 어디에 있는지 정확히 아는 직접적인 센서 데이터를 사용했을 때, 전이는 인상적이었습니다. "놓기(Place)"와 "끌기(Drag)" 과제에서 실제 로봇은 시뮬레이션에서의 성과와 매우 유사한 **90%~100%**의 성공률을 달랐습니다. 로봇은 실제 세계에서도 허들 위로 고무 벨트를 성공적으로 끌 수 있었습니다.
• "이미지(Image)" 데이터를 사용한 경우: 로봇이 카메라 이미지만을 사용하여 학습하려고 했을 때(인간이 세상을 보는 것처럼), 로봇은 고전했습니다. "커튼" 과제의 경우, 로봇은 시뮬레이션에서는 잘 수행했음에도 불구하고 실제 세계에서는 완전히 실패했습니다. 연구진은 로봇의 "눈"이 시뮬레이션과 실제 세계를 완전히 다른 것으로 보고 있다는 것을 발견했습니다. 시각적 격차가 너무 커서 추가 훈련 없이는 로봇이 그 간극을 메울 수 없었습니다.

이것이 의미하는 바:
이 논문은 변형 가능한 물체를 이용한 모바일 매니퓰레이션 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 현재의 로봇이 어디에서 성공하고 어디에서 실패하는지를 정확히 밝혀주는 중요한 새로운 도구, 즉 표준화되고 도전적인 벤치마크를 제공합니다. 이는 로봇이 시뮬레이션에서 흐물거리는 물체를 조작하는 법을 배울 수 있으며, 그 지식이 실제 세계로 전달될 수 있음을 증명하지만, 오직 로봇이 물체의 형태에 대한 정밀한 정보를 가지고 있을 때만 가능하다는 것을 보여줍니다. 로봇이 카메라를 통해 보는 것에만 의존한다면, 시뮬레이션과 현실 사이의 "불쾌한 골짜기"는 여전히 건너기 너무 깊습니다.

저자들은 향endo 연구가 로봇이 시각 데이터를 더 잘 이해하도록 돕고, 무겁거나 흐물거리는 짐을 다룰 때 다리가 달린 로봇을 더 안정적으로 만드는 데 집중해야 한다고 제안합니다. 이 "MoDeSuite"를 대중에 공개함으로써, 그들은 연구를 가속화하여 로봇이 당신의 빨래를 접거나 헤드폰의 엉킨 줄을 풀어주는 꿈을 현실로 만들기를 희망하고 있습니다.