컴퓨터가 마치 아기가 걸음마를 배우는 것처럼, 넘어지고 다시 일어나며 다시 시도하는 방식으로 학습하는 세상을 상상해 보십시오. 이것이 바로 인공지능의 한 분야인 **강화 학습(Reinforcement Learning, RL)**의 핵심입니다. 강화 학습은 '학생'(알고리즘)이 '환경'과 상호작용하며 좋은 움직임에 대해 보상을 받으며 배우는 과정입니다. 수년 동안 이 학습의 대부분은 컴퓨터 내부, 즉 결함이 없고 마찰이 없는 완벽한 가상 세계인 시뮬레이션 안에서 이루어졌습니다. 이는 마치 공이 잘못 튀거나 골대가 움직이지 않는 비디오 게임 속에서 농구 연습을 하는 것과 같습니다. 이러한 방식은 훈련에는 매우 훌륭하지만, 수영장에서만 서핑을 배우려는 것과 비슷합니다. 실제 바다에 나가면 파도는 거칠고 모래는 까칠하며 규칙도 다르기 때문입니다. 과학자들의 큰 과제는 다음과 같습니다. 어떻게 하면 이 디지털 두뇌들이 완벽한 시뮬레이션을 먼저 거치지 않고도 실제 로봇 위에서 직접 학습하게 만들 수 있을까?

"The Open Ant: A Robot Platform for Reinforcement Learning Research"라는 제목의 이 논문은 그 간극을 메우기 위해 설계된 해결책을 소개합니다. 저자들은 유명한 가상 로봇인 "Gymnasium Ant"와 똑같이 생기고 행동하면서도, 저렴하고 수리가 쉬우며 로봇 전문가가 아닌 연구자들도 사용하기 간단한 물리적 로봇을 제작했습니다. 그들은 이 로봇이 두 가지 매우 다른 학습 방법을 사용하여 실제 세계에서 약 1시간 만에 스스로 걷는 법을 배울 수 있다는 것을 발견했습니다. 또한, 컴퓨터 시뮬레이션에서 학습된 기술을 실제 로봇으로 전이할 수 있음을 보여주었지만, 실제 바닥에 놓였을 때 로봇의 성능 순위는 약간 변한다는 점도 밝혀냈습니다. 무엇보다도, 로봇 공학 경험이 거의 없는 학생 팀이 단 몇 일 만에 이 로봇을 구축, 수리 및 학습할 수 있음을 증명함으로써, 실제 세계의 로봇 실험을 수행하는 데 따르는 장벽이 마침내 낮아지고 있음을 시사했습니다.

비디오 게임 캐릭터를 닮은 로봇

오랫동안 강화 학습은 비디오 게임과 시뮬레이션의 세계에서 슈퍼스타였습니다. 이는 Go(바둑)나 백개먼 같은 복잡한 게임에서 인간을 이길 수 있는 컴퓨터 뒤에 있는 기술입니다. 하지만 과학자들이 이러한 알고리즘을 실제 세계로 옮겨 로봇이 걷거나, 날거나, 물건을 잡도록 가르치려 할 때 상황은 복잡해집니다. 실제 삶은 놀라움으로 가득합니다. 케이블이 엉키고, 모터가 과열되며, 바닥은 완벽하게 매끄럽지 않습니다. 이 때문에 많은 연구자들은 아무것도 망가뜨리지 않고 초당 수천 번의 실험을 실행할 수 있는 시뮬레이션에 머무릅니다. 하지만 여기에는 함정이 있습니다. 시뮬레이션에서 완벽하게 작동하는 것이 현실에서는 실패할 수 있다는 것입니다.

이 논문의 저자들은 이를 바꾸고 싶었습니다. 그들은 이렇게 물었습니다. "시뮬레이션 코딩만 할 줄 아는 연구자라도 실제 세계의 실험을 시작할 수 있을 만큼 사용과 수리가 쉬운 로봇을 만들 수 있을까?" 이에 답하기 위해 그들은 Open Ant를 만들었습니다.

Open Ant는 연구에 널리 쓰이는 가상 로봇인 "Gymnasium Ant"에서 영감을 받은, 거미나 개미를 닮은 네 발 로봇입니다. 가상 세계에서 이 Ant는 앞으로 걷는 법을 배우는 수학적 모델입니다. Open Ant는 그 동일한 캐릭터의 물리적 버전입니다. 둥근 몸체와 네 개의 다리를 가지고 있으며, 각 다리는 모터로 구동되는 두 개의 관절(엉덩이와 무릎)로 이루어져 있습니다. 팀은 단순함을 유지하기 위해 몇 가지 스마트한 선택을 했습니다:

• 납땜 불필요: 전자 공학의 달인이 아니어도 만들 수 있습니다. 기성품 부품을 사용합니다.
• 플러그인 전원: 무거운 배터리를 걱정하는 대신 벽 콘센트에 꽂아 사용하므로, 중단 없이 몇 시간 동안 계속 작동할 수 있습니다.
• 3D 프린팅 바디: 다리가 부러지면(로봇이 걷는 법을 배울 때 흔히 발생함), 그냥 새 것을 출력하면 됩니다. 자동차의 예비 타이어를 직접 출력하는 것과 같습니다.

이 로봇은 고품 quality 부품을 사용하여 제작할 경우 약 $2,200의 비용이 들며, 더 저렴하고 취약한 모터를 사용하는 버전(그들이 "Physical Ant Lite"라고 부르는 버전)을 사용하면 약 $500 정도입니다. 크기는 가상 버전의 약 3분의 1 수준이지만, 충격을 견딜 만큼 튼튼합니다.

한 시간 만에 걷는 법 배우기

가장 큰 테스트는 이것이었습니다: 이 로봇이 아무런 지식 없이도 실제로 스스로 걷는 법을 배울 수 있는가? 연구진은 로봇을 위한 간단한 게임을 설정했습니다. 단순히 앞으로 걷게 하는 대신(벽에 부딪힐 때마다 로봇을 다시 시작 지점으로 끌어와야 하므로), 로봇이 원 안에서 앞뒤로 움직이게 만들었습니다. 머리 위의 카메라가 로봇을 관찰하며 로봇이 올바른 방향으로 움직일 때마다 "보상"(점수)을 주었습니다. 만약 로봇이 원의 가장자리에 너무 가까워지면 목표가 반전되어, 로봇은 방향을 돌려 반대쪽으로 걸어야 했습니다. 이는 로봇이 인간의 도움 없이도 영원히 학습할 수 있게 해주었습니다.

그들은 로봇에 두 가지 매우 다른 학습 알고리즘을 테스트했습니다:

1. SARSA(λ): 다양한 움직임을 시도하고 무엇이 효과적이었는지 기억하며 배우는 더 단순하고 오래된 방법입니다.
2. SAC (Soft Actor-Critic): 딥러닝 AI의 뇌와 같은 심층 신경망을 사용하는 더 현대적이고 복잡한 방법입니다.

결과는 인상적이었습니다. 더 단순한 SARSA(λ) 알고리즘을 사용하여, 로봇은 약 1시간의 직접적인 경험을 통해 능숙하게 걷는 법을 배웠습니다. 올림픽 수준의 완벽한 걸음걸이는 아니었지만, 안정적이었으며 2~4 cm/s의 속도로 움직일 수 있었습니다. 더 복잡한 SAC 알고리즘에서도 마찬가지였습니다. 다섯 번의 별도 실험에서 로봇은 약 한 시간 만에 안정적으로 걷는 법을 배웠습니다. 이는 엄청난 성과인데, 로봇을 움직이게 하기 위해 슈퍼컴퓨터나 몇 달간의 훈련이 필요하지 않다는 것을 보여주기 때문입니다. 하드웨어 위에서 바로 해낼 수 있습니다.

"심 투 리얼(Sim-to-Real)" 마법 (그리고 그 결함들)

로봇 공학의 흔한 기술은 시뮬레이션에서 먼저 로봇을 훈련시킨 다음, 그 "두뇌"를 실제 로봇으로 복사하는 것입니다. 이를 "Sim-to-Real"이라고 합니다. 연구진은 Open Ant를 통해 이를 시도했습니다. 그들은 가상 시뮬레이션에서 2,304개의 서로 다른 "두뇌"를 훈련시킨 후, 추가 훈련 없이 실제 로봇에 테스트했습니다.

여기서 그들이 발견한 것은 다음과 같습니다:

• 작동하지만 완벽하지는 않음: 거의 모든 시뮬레이션 두뇌가 실제 로봇을 올바른 방향으로 걷게 할 수 있었습니다. 이는 시뮬레이션이 기초를 가르치기에 충분히 실제와 유사했다는 것을 의미합니다.
• 순위가 변함: 이것이 까다로운 부분입니다. 시뮬레이션에서 가장 잘 걷던 로로봇이 반드시 실제 세계에서도 최고는 아니었습니다. 실제로 시뮬레이션에서의 1위 모델은 실제 로봇에서는 6위 정도의 성능을 보였습니다. 이는 시뮬레이션이 도움이 되긴 하지만, 복잡한 실제 세계에서의 성능을 완벽하게 예측할 수는 없음을 시사합니다. 만약 시뮬레이션에서 가장 좋은 두뇌를 골라 실제 로봇에 넣는다면, 예상치 못한 결과에 놀랄 수도 있습니다.

이것이 모두에게 중요한 이유

이 논문에서 가장 흥兴奋되는 부분은 로봇이 걷는다는 사실 자체가 아니라, 이 로봇이 접근 가능하다는 점입니다. 저자들은 보통 코드만 다루는 일반 연구자들이 실제 로봇을 다룰 수 있는지 확인하고 싶었습니다. 그들은 로봇 공학 경험이 거의 없는 학생들과 연구자들을 대상으로 한 윈터 스쿨에 Open Ant를 가져갔습니다.

결과는 어떠했을까요? 3일 만에, 다섯 팀의 학생들은 성공적으로 로봇을 조립하고, 제어법을 익혔으며, 심지어 시뮬레이션에서 실제 세계로 기술을 전이하는 것까지 해냈습니다. 한 현지 학생 팀은 부품이 어떻게 맞물리는지 파악하고 나면, 전체 로봇을 조립하는 데 2시간 미만이 걸린다고 언급했습니다. 가이드 없이 시도했을 때는 4~6시간이 걸렸지만, 실수를 바로잡으며 계속 진행할 수 있었습니다.

또한 이 논문은 문제가 생겼을 때 로봇을 얼마나 쉽게 고칠 수 있는지도 강조합니다. 실험 도중 로봇의 발이 마모되었고, 다리 하나가 부러지기도 했습니다. 하지만 부품이 3D 프린팅 방식이고 디자인이 오픈 소스이기 때문에, 팀은 몇 분 만에 새 발을 출력하거나 부러진 다리를 보강할 수 있었습니다. 그들은 심지어 로봇의 발이 미끄러지거나 마모되는 것을 방기하기 위해 부드럽고 접착력이 있는 재질(TPU)로 만든 "양말"을 씌우기도 했습니다.

결론

"Open Ant" 논문은 로봇 공학의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 로봇이 인간이 할 수 있는 모든 것을 할 수 있다고 말하는 것도 아닙니다. 대신, 더 많은 사람이 시도할 수 있도록 만드는 실용적이고 오픈 소스인 도구를 제공합니다. 이 플랫폼은 연구자들이 로봇을 구축하는 "오버헤드"에 신경 쓰는 대신, 학습의 과학 자체에 집중할 수 있게 해준다는 것을 보여줍니다. 여러분이 학생이든, 취미가이든, 혹은 숙련된 과학자이든, Open Ant는 물리적 경험으로부터의 학습이 더 이상 수백만 달러의 장비를 갖춘 실험실만의 전유물이 아님을 증명합니다. 그것은 커피 한 잔을 내리는 시간 동안 걷는 법을 배울 수 있는 로봇과 함께, 교실, 차고, 혹은 작은 사무실에서도 충분히 가능한 일입니다.