로봇이 단순히 바퀴로 구르거나 프로펠러로 윙윙거리는 것이 아니라, 실제 물고기처럼 유연하고 우아하게 헤엄치는 세상을 상상해 보십시오. 수십 년 동안 엔지니어들은 이 "생체 모방형" 기계를 만들기 위해 노력해 왔습니다. 물고기는 믿을 수 없을 정도로 빠르고 효율적이며 은밀하기 때문입니다. 물고기는 몸을 흔들고 물과 복잡한 방식으로 상호작용하며 움직이는데, 이때 '와류(vortices)'라고 불리는 보이지 않는 소용돌이를 만들어내어 실제로 자신을 앞으로 밀어내는 힘을 얻습니다. 하지만 로봇에게 이 동작을 가르치는 것은 악몽과 같습니다. 물은 무질서하며, 로봇의 몸체가 유체에 가하는 힘의 물리학은 너무나 복잡해서 완벽한 수학 공식을 쓰는 것이 거의 불가능합니다. 만약 로봇에게 경직된 규칙만을 프로그래밍한다면, 로봇은 마치 물 밖으로 나온 물고기처럼 허우적거리게 될 것입니다.

여기서 "강화 학습(Reinforcement Learning)"이라는 영리한 기술이 등장합니다. 이것은 강아지를 훈련시키는 것과 비슷하지만, 간식 대신 로봇은 잘했을 때 점수를 받습니다. 로봇은 시도하고, 실수하고, 피드백으로부터 배워 더 나아집니다. 하지만 여기에는 함정이 있습니다. 효과적으로 배우기 위해서는 로봇이 수백만 번의 연습을 해야 한다는 것입니다. 실제 수영장에서 이를 수행하는 것은 시간이 너무 오래 걸릴 뿐만 아니라 로봇을 망가뜨릴 수도 있습니다. 그래서 과학자들은 보통 "시뮬레이터", 즉 물을 구현한 비디오 게임 버전을 만듭니다. 문제는 대부분의 시뮬레이터가 학습하기에는 너무 느리거나, 혹은 너무 단순하여 정확도가 떨어진다는 점입니다. 이 논문은 바로 이 병목 현상을 다룹니다. 즉, 학습할 만큼 충분히 빠르면서도 실제 세계에서 작동할 만큼 정확한 시뮬레이터를 구축하는 방법, 동시에 로봇이 직선을 헤엄치면서 동시에 구불구불한 경로를 따라가는 법을 가르치는 방법을 다룹니다.

민첩한 수영 선수와 마법의 시뮬레이터

"민첩한 물고기형 로봇"을 만나보십시오. 이 로봇은 뒤에 프로펠러가 달린 것이 아니라, 내부에 비밀 무기를 가진 기계적 장어와 같습니다. 약 태블릿 크기(250mm 길이)의 밀폐된 수중익 형태의 머리 내부에는 회전하는 로터가 들어 있습니다. 이 내부 무게 중심을 앞뒤로 회전시킴으로써, 로봇은 외부 프로펠러 없이도 물을 밀어내며 스스로 전진합니다. 또한 유연한 꼬리와 조향을 위한 작은 방향타를 갖추고 있습니다. 목표는 무엇일까요? 이 로봇이 고속도로 위의 자동차처럼 특정 속도를 유지하면서, "S"자나 원과 같은 특정 경로를 따라 헤엄치게 만드는 것입니다.

문제는 로봇의 움직임이 섬세한 춤과 같다는 점입니다. 너무 급하게 회전하면 속도가 줄어듭니다. 너무 빨리 달리면 균형을 잃을 수도 있습니다. 전통적으로 엔지니어들은 이를 관리하기 위해 "PID 제어기"를 사용합니다. PID 제어기는 세 가지 유형의 지시를 내리는 매우 엄격한 코치라고 생각하면 됩니다: "얼마나 벗어났는가?" (비례, Proportional), "얼마나 오랫동안 벗어나 있었는가?" (적분, Integral), "얼마나 빠르게 벗어나고 있는가?" (미분, Derivative). 코치는 이 수치들을 바탕으로 로봇의 조향과 속도를 조절합니다. 까다로운 점은 경로가 얼마나 굽어 있느냐에 따라 이 "이득(gains, 코치의 목소리 크기)"이 변해야 한다는 것입니다. 직선 경로는 부드러운 코치가 필요하지만, 급격한 회전 구간은 크고 긴박한 코치가 필요합니다.

"미분 가능한" 혁신

논문의 저자들은 모든 곡선과 속도에 맞춰 이 코치들을 수동으로 조정하는 것이 불가능하다는 것을 깨달았습니다. 대신, 그들은 **미분 가능한 강화 학습(Differentiable Reinforcement Learning)**이라는 방법을 사용하여 로봇이 스스로 완벽한 "코칭 스타일"을 학습하도록 결정했습니다.

여기 마법 같은 비유가 있습니다. 당신이 언덕 아래에서 자전거 타기를 배우고 있다고 상상해 보십시오. 보통은 그냥 시도하고, 넘어지고, 다시 일어납니다. 하지만 만약 시간을 되감아서, 당신의 발 위치가 어떻게 넘어짐을 유발했는지 정확히 보고, 이를 수정하기 위해 근육을 즉각적으로 조절할 수 있다면 어떨까요? 그것이 여기서 말하는 "미분 가능하다(differentiable)"의 의미입니다. 저자들은 로봇과 물의 특수한 컴퓨터 시뮬레이션을 구축했는데, 이것은 "미분 가능"합니다. 즉, 컴퓨터는 로봇의 조향이나 속도의 미세한 변화가 최종 위치에 어떤 영향을 미치는지, 첫 번째 명령 단계까지 수학적으로 추적할 수 있습니다.

단순히 추측하는 대신, 컴퓨터는 전체 시뮬레이션을 통해 "역전파(backpropagation, 실수를 거꾸로 거슬러 올라가는 고급 용어)"를 실행합니다. 컴퓨터는 로봇이 더 잘 헤엄칠 수 있도록 PID 이득을 어떻게 미세하게 조정해야 하는지 정확히 계산합니다. 그들은 단순히 로봇을 무작위 수영장에 던져 넣은 것이 아닙니다. 그들은 "커리큘럼(curriculum)"을 사용했습니다. 인간 학생이 달리기 전에 걷는 법을 배우는 것처럼, 로봇은 느린 속도로 직선을 헤엄치는 것부터 시작했습니다. 실력이 늘면 시뮬레이션은 경로를 더 구불구불하게 만들고 속도를 더 빠르게 만들었습니다. 이러한 단계별 훈련을 통해 로봇은 압도당하지 않고 복잡한 기동을 숙달할 수 있었습니다.

코드에서 물로: 실제 세계 테스트

이 논문의 가장 흥러운 부분은 컴퓨터 화면에서 멈추지 않았다는 점입니다. 그들은 시뮬레이션에서 훈련시킨 "두뇌"를 실제 물리적 로봇에 직접 이식했습니다.

실험실에서 그들은 카메라 시스템이 갖춰진 수영장을 설치하여 로봇의 수영을 관찰했습니다. 그들은 로봇에게 0.10 m/s(느린 표류)에서 0.25 m/s(빠른 수영) 사이의 다양한 속도로 "I", "R", "O", "S" 글자를 따라가도록 요청했습니다.

결과는 인상적이었습니다. AI가 학습한 이득(gains)의 안내를 받은 로봇은 경로를 성공적으로 따라갔습니다.

• "I" 경로: 직선 경로입니다. 로봇은 똑바로 헤엄쳤습니다.
• "R" 및 "S" 경로: 이 경로들은 급격한 곡선을 포함하고 있습니다. 로봇은 조향과 속도를 자동으로 조절했습니다. 경로가 급격히 꺾일 때, AI는 회전 중 튕겨 나가는 것을 방지하기 위해 속도 제어를 약간 완화하는 법을 배웠습니다.
• 속도: 로봇은 목표 속도에 가깝게 유지했지만, 높은 속도에서 약간 더 정확했습니다. 매우 느린 속도에서는 약간 흔들렸는데, 저자들은 이는 조향 수정이 자연스럽게 로봇을 느려지게 만들기 때문에 발생하는, 경로 유지와 속도 유지 사이의 트레이드오프(trade-off) 때문이라고 설명합니다.

데이터에 따르면 로봇의 "교차 경로 오차(cross-track error, 경로에서 벗어난 정도)"는 매우 작았으며, 까다로운 "S" 모양에서도 종종 10cm 미만이었습니다. 로봇의 내부 이득(코치의 설정값)은 경로가 바뀜에 따라 부드럽게 변했는데, 이는 로봇이 단순히 하나의 기술을 암기한 것이 아니라 유연한 전략을 실제로 학습했음을 증명합니다.

이것이 의미하는 바

이 논문은 훌륭한 수영 로봇을 만들기 위해 물리학의 모든 방울을 완벽하게 이해할 필요는 없다는 것을 시사합니다. 대신, 수학적으로 "실수로부터 배울 수 있는" 스마트하고 빠른 시뮬레이터를 구축함으로써, 우리는 물의 무질서한 현실을 다루는 로봇을 훈련할 수 있습니다. 저자들은 컴퓨터 시뮬레이션에서 학습된 정책이 실제 물리적 로봇으로 직접 전이될 수 있음을 보여주었으며, 이를 통해 로봇이 민첩하게 헤엄치고 높은 정밀도로 경로를 추적할 수 있게 했습니다.

현재의 로봇은 평면(2D)에서만 헤엄칠 수 있지만, 이 방법의 성공은 동일한 접근 방식이 결국 로봇에게 3D 공간에서 잠수하고, 롤링하고, 헤엄치는 법을 가르치는 데 사용될 수 있음을 시사합니다. 이는 수중 로봇이 복잡한 환경을 탐사하거나, 파이프라인을 점검하거나, 혹은 그들에게 영감을 준 물고기처럼 자연스러운 쉬움으로 대양을 탐험할 수 있는 미래를 향한 한 걸음입니다.