Sling2Sim2Real: One-Shot Elastic System Identification for Non-Destructive Slingshot Policy Learning

로봇에게 새총 놀이를 하는 법을 가르친다고 상상해 보세요. 당신은 이렇게 생각할지도 모릅니다. "쉬워! 고무줄을 잡고, 뒤로 당겼다가, 놓기만 하면 돼." 하지만 여기 함정이 있습니다. 고무줄은 까다롭습니다. 고무줄은 늘어나고, 꿈틀거리고, 그들의 숨겨 된 성격—얼마나 뻣뻣한지, 움직임에 얼마나 저항하는지, 그리고 에너지를 얼마나 흡수하는지—에 따라 되돌아오는 힘이 달라집니다. 로봇 공학의 세계에서는 이를 "탄성 물체 조작(elastic object manipulation)"이라고 부릅니다. 이것은 마치 해파리를 쿡 찔렀을 때 어디로 튀어 오를지 정확히 예측하려는 것과 비슷하지만, 그 해파리는 고무로 만들어져 있고 찌르는 것은 로봇 팔인 셈입니다.

이런 꿈틀거리는 물체를 다루는 법을 배우기 위해 로봇은 보통 엄청나게 많은 연습이 필요합니다. 하지만 현실 세계에서 연습하는 것은 위험하고 비용이 많이 듭니다. 로봇이 적절한 각도를 배우기 위해 투사체를 천 번이나 발사하려고 시도한다면, 로봇이나 목표물, 혹은 고무줄이 망가질 수도 있습니다. 그래서 과학자들은 종ًا 비디오 게임 같은 시뮬레이션을 사용하여 연습합니다. 문제는 시뮬레이션이 따르는 규칙만큼만 유능하다는 점입니다. 만약 시뮬레이션이 실제로는 질긴 라텍스로 만들어진 고무줄을 '실리콘 퍼티(silly putty)'라고 생각한다면, 로봇은 잘못된 동작을 배우게 될 것이고 현실에서 시도했을 때 처참하게 실패할 것입니다. 이 가짜 세계와 진짜 세계 사이의 간극이 꿈틀거리고 말랑한 물체를 다루도록 로봇을 가르치는 데 있어 가장 큰 장애물입니다.

여기서 Sling2Sim2Real이라는 새로운 방법이 등장합니다. 이것은 로봇을 위한 "원샷(one-shot)" 치트키라고 생각하면 됩니다. 로봇이 현실 세계에서 수천 번 연습하게 하는 대신, 이 시스템은 로봇이 고무줄을 딱 한 번 만져보고, 그 숨겨진 물리적 특성을 파악한 다음, 현실에서 다시 시도하기 전에 시뮬레이션 속에서 게임을 마스터하게 해줍니다.

프랑카 에미카 판다(Franka Emika Panda) 로봇 팔을 사용하는 연구진은 하나의 도전 과제를 설정했습니다: 다양한 고무줄을 사용하여 투사체를 목표물로 발사하는 것입니다. 이 고무줄들은 겉보기에는 동일해 보였지만 매우 다른 "성격"을 가지고 있었습니다—어떤 것은 부드럽고, 어떤 것은 중간이며, 어떤 것은 뻣뻣했습니다. 목표는 로бо트가 실제 발사를 한 번도 연습하지 않고도 목표물을 맞히도록 가르치는 것이었습니다.

연구진은 다음과 같이 단계별로 진행했습니다:

1단계: 단 한 번의 터치 (Real2Sim)
먼저, 로봇은 고무줄을 잡고 뒤로 당기지만, 투사체를 놓지는 않습니다. 그저 고무줄을 늘린 상태로 유지하며 잡아당깁니다. 이 단 한 번의, 파괴적이지 않은 스트레칭 과정 동안 로봇은 모든 것을 기록합니다: 얼마나 세게 당겼는지(힘), 얼마나 빠르게 움직였는지(속도), 그리고 고무줄이 늘어날 때 어떤 모습이었는지(시각 데이터)를 말이죠.

2단계: 탐정 작업 (System Identification)
이제 마법이 일어납니다. 컴퓨터는 그 단 한 번의 스트레칭을 보고 질문합니다. "어떤 종류의 고무줄이 정확히 이처럼 행동할까?" 컴퓨터는 그 고무줄의 뻣뻣함과 감쇠(damping)를 설명하는 완벽한 숫자 세트(파라미터)를 찾기 위해 거대한 디지털 탐색을 수행합니다. 이를 위해 그들은 영리한 2단계 전략을 사용했습니다:

1. 전역 탐색 (Global Search): "차분 진화(Differential Evolution)"라는 방법을 사용하여 수천 개의 무작위 추측을 던졌습니다. 이는 마치 어둠 속에서 다트를 던져 목표물의 대략적인 위치를 찾는 것과 같습니다.
2. 국소 정밀화 (Local Refinement): 유망한 영역을 찾은 후, 그들은 더 똑똑한 방법인 "CMA-ES"를 사용했습니다. 이것은 단서들을 살펴보고 "헤이, 이 두 단서는 보통 함께 움직이네"라고 깨닫는 똑똑한 탐정 팀과 같습니다. 그들은 이 "공분산(covariance, 단서들 사이의 관계)"을 사용하여 탐색 범위를 좁히고, 실제 고무줄과 일치하는 정확한 숫자를 찾아냅니다.

3단계: 가상 연습 (Sim2Sim2Real)
그 특정 고무줄에 대한 완벽한 숫자가 준비되면, 이제 초정밀 시뮬레이션을 구축합니다. 이제 로봇은 컴퓨터라는 안전하고 빠른 세상 속에서 투사체를 수백만 번 발사하며 연습할 수 있습니다. 로봇은 강화 학습(Reinforcement Learning, 시행착오를 통해 배우는 AI의 한 종류이지만 컴퓨터라는 안전하고 빠른 세계에서 이루어짐)을 사용하여 완벽한 각도와 당기는 거리를 학습합니다.

결과: 제로샷 성공 (Zero-Shot Success)
마지막으로, 로봇은 시뮬레이션에서 배운 정책(두뇌)을 실제 로봇에 적용합니다. 더 이상의 연습은 없습니다. 더 이상의 끊어진 고무줄도 없습니다. 단 한 번의 시도로 끝납니다.

결과는 인상적이었습니다. 연구진은 이 방식을 세 가지 유형의 고무줄(부드러움, 중간, 뻣뻣함)에 대해 테스트했으며, 다양한 거리(172.5cm, 192.5cm, 212.5cm)의 목표물을 겨냥했습니다.

• 정확도: Sling2Sim2Real 방식은 다른 방법들보다 훨씬 작은 오차로 일관되게 목표물을 맞혔습니다. 가장 부드러운 고무줄의 경우, 모든 거리에서 평균적으로 단 7.17cm의 오차만을 보였습니다. 이에 비해 다른 방법들은 완전히 실패하거나 때로는 35cm가 넘는 큰 오차를 보이기도 했습니다.
• 신뢰성: 다른 방법들은 물리 법칙을 잘못 예측하여(데이터의 "N/A" 결과) 투사체를 아예 발사조차 하지 못하는 경우가 있었지만, Sling2Sim2Real은 항상 투사체를 목표 구역 안으로 발사해 냈습니다.
• 비결 (The Secret Sauce): 연구진은 에너지 사용량(고무줄을 늘리는 데 사용된 에너지)과 방출되는 에너지가 일치하는지 확인하는 특별한 "기계적 일 손실(mechanical work loss)" 공식이 결정적이었다는 것을 발견했습니다. 이 공식이 없었다면 로봇은 고무줄이 어떻게 튕겨 나갈지 알아낼 수 없었을 것입니다.

요약하자면, 이 논문은 로봇이 고무줄 사용법을 배우기 위해 백만 개의 고무줄을 부술 필요가 없다는 것을 보여줍니다. 단 한 번의 스트레칭을 주의 깊게 측정하고, 스마트한 수학을 사용하여 숨겨진 물리 법칙을 이해함으로써, 로봇은 시뮬레이션에서 완벽하게 게임을 익히고 현실 세계에서 즉시 그 완벽한 동작을 실행할 수 있습니다. 이는 로봇이 우리 일상의 복잡하고, 말랑하며, 예측 불가능한 물체들을 다룰 수 있게 하는 강력한 진전입니다.