Walk Like Dogs: Learning Steerable Imitation Controllers for Legged Robots from Unlabeled Motion Data

이 논문은 레이블이 없는 실제 운동 데이터를 활용하여 보행 로봇의 고유한 보행 패턴과 전환을 자동으로 학습하고, 사용자의 조종 명령에 맞춰 다양한 스타일의 보행을 생성하며 강화학습을 통해 로봇 하드웨어에서 안정적으로 실행하는 모방 학습 프레임워크를 제안합니다.

핵심

이 논문은 **"개처럼 걷는 로봇: 라벨 없는 실제 운동 데이터로 배우는 조종 가능한 로봇 제어"**라는 제목의 연구입니다.

한마디로 요약하면, **"로봇에게 개가 뛰는 모습을 보여주고, 조이스틱으로 명령만 내리면 로봇이 스스로 개처럼 걷거나 뛰는 법을 터득하게 만든 기술"**입니다.

이 복잡한 기술을 누구나 이해할 수 있도록 일상적인 비유로 설명해 드릴게요.

---

🐕 1. 핵심 아이디어: "로봇에게 개가 되는 법을 가르치자"

전통적인 로봇 제어는 사람이 "다리를 이렇게 움직여라, 저렇게 움직여라"라고 하나하나 코딩하는 방식이었습니다. 하지만 이 연구는 **"실제 개가 뛰는 영상 (데이터) 을 로봇에게 보여주고, '그대로 따라 해봐'라고 시키는 것"**입니다.

그런데 여기서 큰 문제가 생깁니다.

• 문제: 개는 네 발이고, 로봇은 바퀴가 달린 차가 아니라 다리가 달린 기계입니다. 개가 뛰는 영상을 그대로 로봇에 적용하면 로봇의 다리가 땅에 박히거나, 너무 높이 날아오르는 등 엉망이 됩니다. (마치 인간에게 새처럼 날아다니는 법을 그대로 시키려는 것과 비슷하죠.)

이 논문은 이 문제를 해결하기 위해 세 단계의 마법을 사용합니다.

---

🛠️ 2. 세 단계 마법 (기술의 흐름)

1 단계: 로봇 몸체에 맞춰 '리모델링'하기 (키노 - 다이내믹 리타게팅)

• 비유: 마치 의상 디자이너가 모델 (개) 의 옷을 로봇 (사람) 에게 맞춰 재단하는 과정입니다.
• 설명: 개가 뛰는 영상을 그대로 가져오면 로봇의 다리가 땅을 뚫고 들어가는 등 물리적으로 불가능한 동작이 나옵니다. 연구진은 이 데이터를 로봇의 관절 범위와 힘의 한계에 맞춰 **물리적으로 가능한 동작으로 '다듬어'**줍니다.
• 결과: 이제 로봇이 개처럼 움직여도 넘어지거나 다리가 꺾이지 않는 '안전한 시뮬레이션 데이터'가 완성됩니다.

2 단계: 로봇의 '감성'과 '스타일'을 배우기 (VAE 와 잠재 공간)

• 비유: 로봇에게 **개들의 '걷기 다이어리'**를 보여주고, 그중에서 '천천히 걷기', '빠르게 뛰기', '돌기' 같은 패턴들을 스스로 찾아내게 하는 것입니다.
• 설명: 보통은 사람이 "이건 걷기, 저건 뛰기"라고 직접 분류해 줘야 합니다. 하지만 이 연구는 라벨 (분류표) 없이 방대한 개 운동 데이터만 줍니다. 로봇은 이 데이터를 분석하며 스스로 "아, 속도가 빨라지면 발걸음 패턴이 바뀌는구나 (걸음에서 뛰기로 전환)"라는 규칙을 찾아냅니다.
• 특이점: 로봇이 이 패턴들을 기억하는 공간을 **'구형 (구 모양) 공간'**으로 만들었습니다. 이는 로봇이 엉뚱한 방향으로 날아가지 않고, 개다운 스타일을 유지하며 다양한 동작을 골고루 배울 수 있게 해줍니다.

3 단계: 조이스틱 하나로 조종하기 (강화 학습)

• 비유: 로봇에게 **"조이스틱을 밀면, 로봇이 알아서 가장 적절한 개 동작을 골라낸다"**는 훈련을 시킵니다.
• 설명: 사용자가 "앞으로 1m/s"라고 명령하면, 로봇은 데이터에서 그 속도에 맞는 '천천히 걷기'를 골라냅니다. "3m/s"라고 하면 자동으로 '빠르게 뛰기'로 전환합니다. 사람이 "지금 뛰는 모드로 바꿔줘"라고 말하지 않아도, 속도 명령만 바꾸면 로봇이 알아서 걸음에서 뛰기로 자연스럽게 넘어갑니다.

---

🚀 3. 실제 결과: "Unitree Go2 로봇이 개처럼 산책하다"

연구진은 이 기술을 실제 4 발 로봇 (Unitree Go2) 에 적용했습니다.

• 실험 상황: 로봇이 잔디밭을 돌아다니는데, 사용자가 조이스틱으로 속도를 조절했습니다.
• 결과:
  • 천천히 밀면 로봇은 보행 (Pace) 모드로 천천히 걷습니다.
  • 속도를 더 빠르게 하면, 로봇은 알아서 ** Trot( Trot)** 모드로 변합니다.
  • 아주 빠르게 밀면 Gallop(질주) 모드로 변해 개처럼 질주합니다.
• 중요한 점: 사람이 "지금 뛰기로 바꿔!"라고 명령하지 않아도, 속도 명령만으로도 로봇이 스스로 가장 자연스러운 보행법을 선택하고 전환했습니다. 마치 실제 개가 상황에 맞춰 걷거나 뛰는 것처럼 말입니다.

---

💡 4. 왜 이 연구가 특별한가요?

1. 수동 작업 불필요: 사람이 "이건 걷기, 저건 뛰기"라고 일일이 분류해 줄 필요가 없습니다. 데이터만 주면 로봇이 스스로 패턴을 찾아냅니다.
2. 자연스러운 전환: 로봇이 갑자기 멈추거나 기계적으로 동작을 바꾸는 게 아니라, 개처럼 부드럽게 걸음에서 뛰기로 넘어갑니다.
3. 실제 적용 가능: 시뮬레이션뿐만 아니라 실제 로봇에서도 안정적으로 작동했습니다.

🌟 결론

이 논문은 **"로봇에게 복잡한 코딩을 시키지 않고, 실제 동물의 움직임을 보여주고 '따라해'라고만 시켰더니, 로봇이 스스로 상황에 맞는 최고의 동작을 찾아내어 조종할 수 있게 되었다"**는 이야기입니다.

앞으로 이 기술은 로봇이 복잡한 지형에서도 사람이나 동물처럼 유연하게 움직이고, 사용자가 원하는 대로 자연스럽게 움직이게 하는 데 큰 역할을 할 것입니다. 마치 로봇이 이제 '기계'가 아니라 '살아있는 친구'처럼 느껴질 수 있는 첫걸음이라고 할 수 있죠! 🐕🤖

기술 요약

1. 문제 정의 (Problem)

이 논문은 다리가 있는 로봇 (Legged Robots) 이 실제 동물의 운동 데이터를 통해 자연스럽고 다양한 보행 패턴을 모방하면서도, 사용자의 명령에 따라 실시간으로 제어 (Steerable) 될 수 있는 방법을 다루고 있습니다. 기존 연구에서 직면한 주요 세 가지 도전 과제는 다음과 같습니다.

1. 형태 및 물리적 격차 (Morphological & Physical Gap): 운동 소스 (예: 개) 와 목표 로봇 간의 구조적, 물리적 차이로 인해 고충실도 모방이 어렵습니다. 단순한 스케일링은 관절 한계 위반, 발 미끄러짐, 지면 침투 등의 아티팩트를 유발합니다.
2. 상호작용 및 제어 (Interactivity): 고정된 궤적 재생을 넘어, 사용자의 고수준 명령 (속도, 방향 등) 에 반응하여 행동을 전환할 수 있는 능력이 필요합니다.
3. 데이터 라벨링 부재 (Lack of Labels): 기존 방법은 특정 보행 모드 (걸음, trot, gallop 등) 를 수동으로 라벨링하거나 미리 정의된 전환 규칙이 필요했으나, 이는 데이터의 다양성을 제한하고 확장성을 떨어뜨립니다.

2. 방법론 (Methodology)

제안된 프레임워크는 레이블이 없는 실제 운동 데이터로부터 로봇이 실행 가능한 모션을 추출하고, 이를 사용자의 명령에 따라 조종 가능한 형태로 변환하는 3 단계 프로세스로 구성됩니다.

Stage 1: 키노 - 동적 모션 리타게팅 (Kino-dynamic Motion Retargeting)

• 목적: 동물 운동 데이터를 로봇의 형태와 물리적 제약에 맞게 변환하여 기학적 (Kinematic) 및 동역학적 (Dynamic) 으로 실행 가능한 데이터베이스를 생성합니다.
• 기존 방식의 한계: 단순 단위 벡터 방법 (UVM) 은 관절 한계 위반, 발 미끄러짐, 지면 침투 등을 초래합니다.
• 제안 방식:
  • 제약 조건이 있는 역기구학 (Constrained IK): 지지각 (stance) 의 발 위치를 고정하고, 흔들리는 발 (swing) 은 지면 위에 유지되며, 무릎 각도 등 관절 한계를 준수하도록 최적화 문제를 풉니다.
  • 모델 기반 제어 (MPC): 생성된 기학적 모션을 기반으로 모델 예측 제어 (MPC) 를 적용하여 동역학적 타당성을 확보합니다. 이를 통해 로봇이 실제로 실행 가능한 참조 모션 (refx) 을 생성합니다.

Stage 2: 조종 가능한 모션 합성 (Steerable Motion Synthesis)

• 목적: 생성된 로봇 모션 데이터베이스에서 다양한 보행 모드를 자동으로 발견하고, 사용자의 명령 (속도, 회전) 에 따라 이를 매핑하여 새로운 모션을 생성합니다.
• 핵심 기술:
  • 초구면 잠재 공간 (Hyperspherical Latent Space) 기반 VAE: 변분 오토인코더 (VAE) 를 사용하여 상태 전이를 잠재 공간에 임베딩합니다. 기존 가우시안 분포 대신 von Mises-Fisher (vMF) 분포를 사용하여 잠재 변수를 초구면 (hypersphere) 상에 제한합니다. 이는 탐색 공간을 유계 (bounded) 로 만들어 모션의 스타일 일관성을 유지하고 모드 붕괴 (mode collapse) 를 방지합니다.
  • RL 기반 합성 정책: 강화학습 (PPO) 을 사용하여 사용자의 명령 (ct) 과 이전 상태를 입력으로 받아, 잠재 공간에서 적절한 잠재 벡터 (zt) 를 탐색하고 디코더를 통해 참조 모션을 생성하는 정책을 학습합니다.

Stage 3: 잔여 정책 기반 모션 추적 (Residual Policy for Motion Tracking)

• 목적: 합성된 참조 모션을 실제 로봇 하드웨어에서 강인하게 추적합니다.
• 기법:
  • 잔여 제어 (Residual Control): RL 에이전트는 참조 모션의 관절 각도에 '잔여 (residual)' 값을 더하여 PD 제어기의 목표값을 설정합니다. 이는 시뮬레이션과 실제 환경 간의 차이 (Sim-to-Real gap) 와 동역학적 오차를 보정합니다.
  • 관측 공간: 로봇 상태, 참조 모션, 그리고 합성 모듈에서 나온 잠재 벡터 (zt) 를 포함합니다.
  • 학습 환경: NVIDIA IsaacLab 에서 도메인 랜덤화 (마찰계수, 질량, 외부 섭동 등) 를 적용하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. 레이블 없는 데이터 기반 자동 모드 발견: 수동 라벨링이나 명시적 전환 규칙 없이, unlabeled 데이터에서 고유한 보행 모드 (Pace, Trot, Gallop 등) 와 그 전환을 자동으로 학습하고 매핑합니다.
2. 키노 - 동적 리타게팅 프레임워크: 단순한 기학적 변환을 넘어 동역학적 타당성을 보장하는 리타게팅 파이프라인을 제안하여, 복잡한 동적 운동의 로봇 이식을 가능하게 합니다.
3. 스타일 일관성을 유지하는 조종 가능 합성: 초구면 잠재 공간을 도입하여, 사용자가 속도와 방향을 변경할 때 로봇이 자연스러운 보행 전환을 수행하면서도 원본 데이터의 스타일적 일관성을 유지하도록 합니다.
4. 실제 로봇 배포: Unitree Go2 로봇에서 실시간으로 조종 가능한 보행 및 보행 전환을 성공적으로 시연했습니다.

4. 실험 결과 (Results)

• 리타게팅 성능: 제안된 키노 - 동적 리타게팅 방법은 UVM(단위 벡터 방법) 대비 발 미끄러짐과 지면 침투를 현저히 줄였습니다. 이는 RL 학습 시 더 높은 보상과 안정적인 수렴을 이끌어냈습니다.
• 모션 합성 및 전환:
  • 사용자의 전진 속도 명령 (0.6 m/s ~ 2.4 m/s) 에 따라 로봇이 Pace(보행) → Trot(트로트) → Gallop(질주) 로 자연스럽게 전환되었습니다.
  • 회전 명령에 대해서도 적절한 보행 모드를 유지하며 방향 전환이 가능했습니다.
  • 데이터가 희소한 영역 (초고속 질주 등) 에서는 전환이 원활하지 않을 수 있으나, 전반적으로 높은 정밀도로 명령을 추종했습니다.
• 실제 하드웨어 배포: Unitree Go2 로봇에서 실시간으로 조이스틱 명령에 반응하여 다양한 보행 패턴을 구현하고 전환하는 것을 시연했습니다 (Figure 1 참조).

5. 의의 및 결론 (Significance)

이 연구는 로봇이 복잡한 동적 행동을 학습할 때 수동 설계의 개입을 최소화하고 실제 데이터의 풍부함을 활용하는 새로운 패러다임을 제시합니다.

• 자율성: 특정 행동 목표를 정의하거나 모드를 수동으로 분류할 필요 없이, 데이터 자체가 가진 구조를 학습하여 유연한 제어를 가능하게 합니다.
• 확장성: 이 프레임워크는 4 족 보행 로봇뿐만 아니라 향후 인간형 로봇 (Humanoid) 으로도 확장 가능하며, 복잡한 환경에서의 적응형 이동 및 다양한 운동 기술 습득에 기여할 수 있습니다.
• 실용성: 시뮬레이션과 실제 하드웨어 간의 격차를 줄이고, 실시간으로 조종 가능한 고수준 보행 제어 시스템을 구현하여 실용적인 로봇 응용의 가능성을 높였습니다.

요약하자면, 이 논문은 "레이블 없는 동물 운동 데이터 → 물리적으로 타당한 로봇 모션 → 사용자 명령에 반응하는 조종 가능 제어기" 로 이어지는 완전한 파이프라인을 제시하며, 로봇의 자연스러운 보행과 상호작용 제어의 새로운 기준을 제시했습니다.