RL Bootstrapping of OpenVLA-OFT for a Novel Robot Embodiment

당신이 초지능 로봇에게 팔을 움직이는 법을 가르치려 한다고 상상해 보세요. 보통은 로봇에게 인간이 과제를 수행하는 영상을 먼저 보여주는 것이 가장 좋은 방법입니다. 마치 무용 선생님이 학생에게 동작을 보여주는 것과 같습니다. 이것을 "시연(demonstration)"이라고 부르며, 로봇이 인간과 닮았거나 표준적인 팔을 가지고 있다면 매우 효과적입니다. 하지만 만약 당신의 로봇이 기존의 영상과는 전혀 다르게 생긴, 아주 생소하고 이상한 로봇이라면 어떻게 될까요? 예를 들어, 줄에 매달려 공중에 떠 있는 거대한 플랫폼이라거나, 사람의 손 대신 아주 작고 단순한 그리퍼를 가지고 있다면 어떨까요? 만약 기존의 방식으로 가르치려 한다면, 당신은 난관에 봉착하게 됩니다. 왜냐하면 이 특정 로봇이 무언가를 수행하는 영상이 전혀 없기 때문입니다. 이것이 바로 연구자들이 직면한 퍼즐입니다. 즉, 완전히 새로운 종류의 기계인 로봇이 사전 경험 없이도 언어를 이해하고 올바르게 움직이게 하려면 어떻게 해야 하는가 하는 문제입니다.

이 논문은 바로 그 문제를 다룹니다. 연구진은 이미 대화와 시각 능력을 갖춘 강력한 사전 학습된 로봇 두뇌(OpenVLA-OFT라는 모델)를 가져와서, 매우 특이한 케이블 구동 로봇을 제어하도록 가르치려 노력했습니다. 반전은 무엇일까요? 그들은 이 로봇이 움직이는 영상을 단 하나도 보여주지 않았습니다. 대신, 로봇을 비디오 게임 시뮬레이션 안에 넣고 "강화 학습(Reinforcement Learning)"이라는 다른 종류의 교육 방법을 사용했습니다. 이것은 마치 공략법이나 지도가 없는 비디오 게임을 플레이하는 것과 같습니다. 그저 목표에 가까워질 때마다 점수를 얻으며 스스로 움직이는 법을 터득해야 하는 게임 말이죠. 연구진은 이 "시행착오" 방식을 사용하고 특별한 점수 체계를 도입함으로써, 로봇이 인간의 시연을 한 번도 보지 않고도 "왼쪽으로 이동해" 또는 "사과로 가"와 같은 명령을 듣고 올바르게 움직이기 시작할 수 있다는 것을 발견했습니다.

줄로 구동되는 로봇의 이야기

이 이야기에 등장하는 로봇을 만나보세요. 바로 케이블 구동 병렬 로봇(CDPR)입니다. 카메라나 도구가 여러 개의 줄(케이블)에 의해 여러 방향에서 당겨지며 공중에 매달려 있는 모습을 상상해 보세요. 이것은 관절이 있는 일반적인 로 로봇 팔이 아니라, 장력에 의해 제어되는 떠 있는 플랫폼에 가깝습니다. 연구진은 이 떠 있는 플랫폼이 음성 명령을 듣고 주변을 움직이도록 가르치고 싶었지만, 큰 장애물이 있었습니다. 로봇의 "몸체"가 완전히 새롭고, 그것이 움직이는 영상이 전혀 없다는 점이었습니다.

보통 로봇을 가르치려면 "시연 데이터셋"이 필요합니다. 인간(또는 완벽한 로봇)이 과제를 수행하는 모습을 100번 정도 녹화하여 새로운 로봇이 그 동작을 복제하게 만드는 방식입니다. 하지만 이 기이한 줄 로봇의 경우, 그러한 영상이 존재하지 않았습니다. 그래서 연구진은 질문을 던졌습니다. 영상을 아예 건너뛰고 비디오 게임만으로 로봇을 가르칠 수 있을까?

2단계 훈련 게임

이 질문에 답하기 위해, 그들은 컴퓨터 시뮬레이션(물리 법칙을 모방한 가상 세계)에 훈련 캠프를 설치했습니다. 그들은 비디오 게임에서 레벨을 올리는 것처럼 2단계 과정을 사용했습니다.

1단계: 방향 드릴 (PPO)
먼저, 그들은 "왼쪽으로 이동", "오른쪽으로 이동", "앞으로 이동", "뒤로 이동"과 같은 단순한 명령을 사용하여 로봇에게 움직임의 기초를 가르쳤습니다. 그들은 PPO(Proximal Policy Optimization)라고 불리는 알고리즘을 사용했습니다. 게임 속에서 로봇은 목표 방향에 가까워질 때마다 점수(보상)를 받았습니다. 이것은 합격/불합격을 가리는 게임이 아니라 "진척도"를 측정하는 게임이었습니다. 로봇이 왼쪽으로 아주 조금이라도 움직였다면 작은 보상을 받았습니다. 이를 통해 로봇은 자신의 독특한 줄 당기기 메커니즘이 실제로 어떻게 작동하는지를 배웠습니다.

2단계: 물체 찾기 (GRPO)
로봇이 방향 이동에 익ку혔을 때, 그들은 게임의 난이도를 높였습니다. GRPO라는 새로운 알고로즘을 도입하고 "[물체]로 이동"이라는 새로운 명령 세트를 추가했습니다. 그들은 가상 세계 곳에 사과, 야구공, 그릇, 컵, 머그잔, 복숭아, 배, 접시 등 8가지 서로 다른 아이템을 흩뿌려 놓았습니다. 이제 로봇은 단순히 어떻게 움직여야 하는지를 넘어, 무엇을 향해 움직여야 하는지를 파악해야 했습니다.

결과: 성공과 비틀거림의 혼합

결과는 유망했지만 완벽하지는 않았습니다. 숫자가 말해주는 내용은 다음과 같습니다.

• 방향 이동: 첫 번째 훈련 단계(PPO) 이후, 로봇은 약 **34.25%**의 확률로 올바른 방향으로 이동하는 데 성공했습니다. 두 번째 단계(GRPO 추가) 이후, 그 수치는 **53.50%**로 뛰어올랐습니다.
  • 가장 큰 개선을 보인 것은 "왼쪽으로 이동"이었으며(17.00%에서 52.00%로 상승), "뒤로 이동"도 큰 진전을 보였습니다(15.00%에서 48.00%로 상승).
  • "앞으로 이동"은 이미 **62.00%**로 잘 수행하고 있었으며 그 수준을 유지했습니다.
• 물체 찾기: 특정 물체를 찾는 명령(예: "사과로 이동")을 받았을 때, 로봇은 **9.75%**의 시도(400번 중 39번)에서 성공했습니다.

**9.75%**라는 수치가 낮게 들릴 수도 있지만, 연구진은 중요한 점을 발견했습니다. 실패한 많은 시도에서 로봇은 처음에 실제로 올바른 행동을 했습니다. 즉, 사과를 정확히 식별하고 그 사과를 향해 움직이기 시작했습니다. 다만 마지막 단계에서 약간 휘청거리거나 충돌했을 뿐입니다. 이는 로봇이 명령과 물체를 이해는 했지만, 작업을 매끄럽게 마무리하는 데 있어서는 아직 더 많은 연습이 필요함을 시사합니다.

이것이 왜 중요한가 (그리고 무엇이 아닌가)

이 논문은 중요한 의미를 갖습니다. 왜냐하면 단 하나의 인간 시연 없이도 오직 시뮬레이션과 보상만을 사용하여 로봇 컨트롤러를 처음부터 구축할 수 있음을 증명했기 때문입니다. 이것은 마치 다른 개가 공을 가져오는 영상을 보여주는 대신, 공에 가까워질 때마다 간식을 주어 강아지에게 물건 가져오기를 가르치는 것과 같습니다.

하지만 저자들은 이 문제가 "해결되었다"라고 말하는 것에 매우 신중합니다. 그들은 이것이 여전히 시뮬레이션 단계임을 명시적으로 밝히고 있습니다. 로봇은 아직 견고하지 않으며, 특히 특정 물체를 잡으려고 할 때 자주 실패합니다. 그들은 이것이 모든 로봇을 위한 최종 해결책이라고 주장하는 것이 아닙니다. 대신, 이것이 유용한 첫 단계라고 제안합니다.

핵-심은 이 "RL 전용(RL-only)" 방식이 로봇이 자신의 새로운 몸체의 기초를 이해할 수 있는 지점까지 도달하게 해줄 수 있다는 것입니다. 일단 기초가 마련되면, 연구자들은 몇 개의 실제 세계 영상을 수집하여 이를 미세 조정(fine-tuning)함으로써, 처음부터 다시 시작하는 것보다 훨씬 저렴하고 빠르게 전체 과정을 진행할 수 있습니다.

요약하자면, 이 논문은 완전히 새로운 형태의 기이한 로봇을 위해 반드시 영상 라이브러리가 필요한 것은 아니라는 점을 보여줍니다. 비디오 게임 속의 영리한 점수 체계를 사용하여 기초를 가르칠 수 있으며, 이를 통해 "시연 제로(zero-demo)" 상황을 "첫 시도 성공"으로 바꿀 수 있습니다. 아직 완벽한 로봇은 아니지만, 마침내 말을 알아듣기 시작한 로봇입니다.