로봇에게 춤을 가르치는 과정을 상상해 보세요. 단순히 다리를 움직이라고 명령하는 것만으로는 부족합니다. 로봇이 자신의 발에 걸려 넘어지지 않도록 수백 개의 미세한 근육을 어떻게 조절해야 하는지 그 '뇌'를 가르쳐야 합니다. 이것이 바로 로봇이 마치 걸음마를 배우는 아기처럼 시행착오를 통해 학습하는 **강화 학습(reinforcement learning)**의 세계입니다. 하지만 여기에는 함정이 있습니다. 만약 로보가 단순히 인간의 춤을 따라 하도록 내버려 둔다면, 물리적으로는 가능하지만 마치 글리치(glitch)가 발생한 비디오 게임 캐릭터처럼 기괴하게 움직이거나, 혹은 인간의 관절이 자연스럽게 어떻게 "소통"하는지 이해하지 못해 결국 넘어질 수도 있습니다. 이를 해결하기 위해 과학자들은 **모션 프라이어(motion priors)**를 사용합니다. 이는 기본적으로 인간의 몸이 보통 어떻게 움직이는지에 대한 "좋은 아이디어"들의 라이브러리입니다. 로봇이 중력이나 균형을 처음부터 다시 발견할 필요가 없도록, 자연스러운 움직임에 대한 규칙책을 주는 것이라고 생각하면 됩니다. 핵심적인 질문은 항상 이것이었습니다. 어떻게 하면 로봇을 너무 경직되게 만들거나 새로운 기술을 배우는 속도를 늦추지 않으면서 이 규칙책을 전달할 것인가?

여기서 PFM-HR(Pose Flow Matching for Humanoid Robots)이 등장합니다. 이 방식은 로봇을 위한 매우 똑똑하고 보이지 않는 댄스 코치 역할을 합니다. PFM-HR은 로봇에게 특정 동작의 순서를 암기하도록 강요하는 대신(예를 들어 안무가가 "스텝, 스텝, 점프!"라고 외치는 것처럼), 움직임의 *기하학적 구조(geometry)*를 가르칩니다. 모든 가능한 인간의 포즈가 모여 있는 거대하고 투명한 구름을 상상해 보세요. PFM-HR은 이 구름의 형태를 학습합니다. 로봇이 새로운 동작을 시도할 때, 시스템은 다음과 같이 확인합니다. "이 움직임이 이 구름에 속하는 느낌인가?" 만약 로봇이 인간의 해부학적 구조를 거스르는 방식으로 무릎을 비틀려고 한다면, 시스템은 "아니, 그건 구름 밖에 있어"라고 말합니다. 하지만 로봇이 인간 관절의 자연스러운 흐름에 부합하는 멋지고 역동적인 회전을 시도한다면, 시스템은 높은 점수와 보상을 부여합니다.

연구진은 이 접근 방식이 특히 백플립(backflip)이나 카트휠(cartwheel) 같은 격렬하고 곡예적인 동작에서 게임 체인저라는 것을 발견했습니다. **플로우 매칭(Flow Matching)**이라는 기술을 사용하여, 그들은 순서가 정해지지 않은 6,000만 개의 방대한 인간 포즈 컬렉션을 기반으로 시스템을 훈련시켰습니다. 이는 단 한 편의 영화를 보는 대신, 사람들이 다양한 자세를 취하고 있는 수십억 개의 무작위 스냅샷을 보는 것과 같습니다. 이를 통해 그들은 매우 효율적인 "고정된(frozen)" 프라이어(로봇이 학습하는 동안 변하지 않는 규칙책)를 구축할 수 있었습니다. 테스트 결과, PFM-HR을 사용하는 로봇은 기존 방식보다 더 빠르고 실수 없이 복잡한 동작을 추적하는 법을 배웠습니다. 예를 들어, 실제 물리적 로봇을 이용한 테스트에서 새로운 방식은 이전 기술들에 비해 "스핀 킥(spinkick)"을 마스터하는 데 필요한 훈련 시간을 약 25% 단축했습니다. 이 논문은 로봇이 단순히 시간 순서대로 기억하는 것이 아니라, 단일 순간에 관절들이 어떻게 함께 변화하는지에 집중함으로써 더 자연스럽게 움직이고 역동적이고 에너지가 넘치는 과업을 더 잘 수행할 수 있다고 제안합니다.

핵심 아이디어: "포즈 구름"과 "기하학 점수"

PFM-HR이 어떻게 작동하는지 이해하기 위해, 수학은 잠시 접어두고 댄스 플로어를 생각해 봅시다.

과거에 로봇에게 춤을 가르치는 것은 대본을 주는 것과 같았습니다. 로봇은 프레임 1, 프레임 2, 프레임 3과 같은 특정 시퀀스를 따라야 했습니다. 만약 로봇이 단계를 놓치면, 다시 되감아서 다시 시도해야 했습니다. 이것이 기존 방식들이 했던 일이며, 이들은 비디오를 보고 프레임 단위로 똑같이 따라 하려는 **템포럴 프라이어(temporal priors)**에 의존했습니다. 문제는 비디오는 경직되어 있다는 점입니다. 만약 로봇이 미끄러운 바닥이나 갑작스러운 밀침에 적응해야 한다면, 비디오 대본은 도움이 되지 않습니다.

다른 방법들은 사진첩과 같은 **포즈 프라이어(pose own priors)**를 사용하려고 시도했습니다. 이들은 로봇에게 "이 포즈는 좋고, 저 포즈는 나쁘다"라고 말해줍니다. 하지만 이들에게는 사각지대가 있습니다. 즉, 당신이 어떻게 그곳에 도달했는지는 신경 쓰지 않습니다. 그들은 "물구나무서기를 해도 괜찮다"라고 말할 수는 있지만, 서 있는 상태에서 물구나무서기로 점프하는 것이 괜찮은지는 알려주지 않습니다. 이들은 관절 사이의 연결 고리를 놓치고 있습니다.

PFM-HR은 이 간극을 메웁니다. 이 방식은 사진의 순서에 상관하지 않으며, 단순히 사진을 보는 것에 그치지 않습니다. 대신, 댄스 플로어의 **국소 기하학(local geometry)**을 학습합니다.

로봇이 트램펄린 위에 서 있다고 상상해 보세요. "포즈 기하학 점수(Pose Geometry Score, PGS)"는 스프링의 장력을 측정하는 센서와 같습니다.

1. 훈련: 시스템은 6,000만 장의 무작위 인간 포즈 사진을 살펴봅니다. 사진의 순서는 상관없습니다. 그저 인간의 관절이 어디에 위치하기를 선호하는지 그 "형태"를 배울 뿐입니다.
2. 마법 같은 수학: 시스템은 플로우 매칭(Flow Matching)이라는 수학적 기법을 사용하여 관절들이 어떻게 함께 움직이는 것을 선호하는지 파악합니다. 시스템은 하나의 관절이 변할 때 다른 모든 관절에 어떤 영향을 미치는지 보여주는 지도인 "자코비안(Jacobian)"을 계산합니다.
3. 점수 산출: 로봇이 움직이려 할 때, 시스템은 다음과 같이 묻습니다. "내가 로봇의 관절을 이 방향으로 살짝 밀었을 때, 이것이 인간 신체의 자연스러운 곡선을 따라 미끄러지는 느낌인가?"
   • 만약 로봇이 인간이 결코 하지 않는 방식으로 팔과 다리를 움직이려 한다면, 점수는 낮아집니다. 로봇은 "엄지 아래로(thumbs down)"를 받습니다.
   • 만약 로봇이 인간 관절의 자연스러운 "흐름"에 맞춰 움직인다면, 점수는 높아집니다. 로봇은 "엄지 위로(thumbs up)"와 보상을 받습니다.

왜 중요한가: "고정된" 코치

PFM-HR의 가장 멋진 점 중 하나는 "코치(프라이어)"가 **고정(frozen)**되어 있다는 것입니다. 시스템이 6,000만 개의 포즈로부터 인간 움직임의 기하학을 일단 학습하고 나면, 그것은 변하지 않습니다. 로봇이 춤을 배우는 동안에도 코치는 그대로 유지됩니다.

이를 음악 선생님이 화성의 규칙을 암기하고 있는 상황에 비유할 수 있습니다. 선생님은 학생이 새로운 노래를 배우고 있다고 해서 무엇이 "좋은 코드"인지에 대한 생각을 바꾸지 않습니다. 선생님은 일관성을 유지하며 안정적인 가이드를 제공합니다. 덕분에 이 시스템은 재사용 가능합니다. 이 고정된 코치를 가져와서 다른 로봇이나 다른 작업(걷기, 달리기, 공중제비 등)에 처음부터 다시 훈련시키지 않고도 적용할 수 있습니다.

결과: 더 빠른 공중제비와 실제 로봇

연구진은 단순한 걷기부터 백플립(backflip)이나 "더블 콩(double kong)" 볼트와 같은 격렬한 곡예까지 다양한 과업에 대해 이를 테스트했습니다.

• 데이터: 그들은 최대 6,000만 개의 포즈가 포함된 BONES-SEED 데이터셋을 사용하여 시스템을 훈련시켰습니다. 그들은 더 많은 데이터를 사용할수록 로봇의 성능이 향 up된다는 것을 발견했습니다. 6,000만 개의 포즈를 사용한 버전이 가장 강력했습니다.
• 효율성: 시뮬레이션에서 PFM-HR을 사용하는 로봇은 더 적은 시도로 복잡한 동작을 추적하는 법을 배웠습니다. 예를 들어, "백플립"을 배우기 위해 기존 방식(vanilla ADD라고 불리는)은 완전히 실패했습니다. 반면 PFM-HR을 사용한 방식은 성공했을 뿐만 아니라 다른 고급 방식들보다 더 빠르게 해냈습니다.
• 실제 세계에서의 성공: 연구는 컴퓨터 시뮬레이션에서 멈추지 않았습니다. 그들은 이 시스템을 실제 휴머노이드 로봇에 적용했습니다. 그들은 네 가지 역동적인 기술을 테스트했습니다: 스핀 킥(spinkick), 킥 콤보(kick combo), 카트휠(cartwheel), 백플립(backflip).
  • 스핀 킥의 경우, PFM-HR을 사용했을 때 로봇이 80%의 성공률에 도달하기 위해 2억 5,142만 5,000개의 시뮬레이션 샘플이 필요했습니다.
  • PFM-HR이 없었다면, 로봇은 3억 3,177만 6,000개의 샘플이 필요했습니다.
  • 즉, PFM-HR은 해당 동작에 대해 훈련 시간을 약 25% 단축했습니다.

논문은 시스템이 단일 순간에 관절들이 함께 어떻게 움직이는지는 잘 포착하지만, 시간의 순서는 알지 못한다고 언급합니다. 즉, 동작이 앞으로 진행되는지 뒤로 진행되는지는 구분할 수 없습니다. 하지만 역동적이고 에너지가 넘치는 동작을 배우는 목적에 있어서, 이러한 "스냅샷" 접근 방식은 믿을 수 없을 정도로 강력하다는 것이 증명되었습니다.

결론

PFM-HR은 로봇에게 경직된 대본을 주는 대신 인간 신체의 기하학적 구조에 대한 깊은 이해를 제공함으로써 로봇이 움직이는 법을 가르치는 새로운 방식입니다. 순서가 정렬되지 않은 방대한 포즈 라이브러리와 움직임이 "맞는 느낌"인지 확인하는 영리한 점수 산정 시스템을 사용함으로써, 로봇이 백플립과 같은 복잡하고 역동적인 기술을 훨씬 더 빠르고 안정적으로 배울 수 있도록 돕습니다. 이는 때때로 로봇에게 춤을 가르치기 위해서 춤 전체를 보여줄 필요는 없으며, 단지 춤의 '형태'를 보여주면 된다는 것을 시사합니다.