NaviGait: Navigating Dynamically Feasible Gait Libraries using Deep Reinforcement Learning

이 논문은 궤적 최적화의 구조와 강화 학습의 적응력을 결합하여 보행 라이브러리를 기반으로 한 계층적 프레임워크 'NaviGait'를 제안함으로써, 직관적인 보행 제어와 외부 교란에 대한 강인함을 동시에 달성하고 학습 속도를 향상시키는 방법을 제시합니다.

핵심

🤖 NAVIGAIT: 로봇에게 '춤'을 가르치는 새로운 방법

상상해 보세요. 로봇이 사람처럼 자연스럽게 걷는 모습을 보고 싶다면, 두 가지 방식이 있습니다.

1. 방식 A (기존의 정밀한 설계): 로봇에게 "발은 10cm 들어가고, 무릎은 30도 구부려라"라고 아주 정밀한 지도를 그려줍니다. 이 지도는 수학적으로 완벽하지만, 갑자기 돌을 밟거나 바람이 불면 로봇이 넘어질 수 있습니다. (지도만 믿고 걷는 사람)
2. 방식 B (기존의 강화학습): 로봇에게 "앞으로 가라"라고만 말하고, 넘어지면 "아프다"라고, 잘 걸으면 "좋다"라고 칭찬만 해줍니다. 로봇은 수만 번 넘어지고 일어나며 스스로 걷는 법을 배웁니다. 하지만 이 과정에서 로봇이 이상하게 비틀거리거나, 우리가 원하는 스타일과 다르게 걷게 될 수 있습니다. (수만 번 실수하며 배우는 사람)

NAVIGAIT은 이 두 가지의 장점을 섞은 제 3 의 길입니다.

🎵 비유: "명곡 라이브러리"와 "즉흥 연주자"

이 기술은 로봇 걷기를 재즈 밴드에 비유할 수 있습니다.

• 기존의 정밀한 설계 (트래젝토리 최적화): 미리 녹음된 완벽한 **명곡 (Gait Library)**입니다. 이 곡은 리듬과 멜로디가 완벽하지만, 청중이 소리를 지르거나 무대가 흔들리면 그대로 따라만 하다가 망칠 수 있습니다.
• 기존의 강화학습 (RL): 아무 곡도 없이 즉흥적으로 연주하는 재즈 연주자입니다. 상황에 따라 유연하게 대처할 수 있지만, 처음부터 좋은 곡을 만들어내는 데 시간이 너무 오래 걸리고, 때로는 엉뚱한 소리가 나올 수도 있습니다.

NAVIGAIT은 이렇게 작동합니다:

1. 명곡 라이브러리 준비: 먼저 수학적으로 완벽하게 계산된 다양한 걷기 패턴 (명곡) 을 미리 준비해 둡니다. "빨리 걷기", "느리게 걷기", "옆으로 걷기" 등 다양한 버전이 있습니다.
2. 유연한 연주자 (RL): 로봇은 이 라이브러리에서 가장 적합한 곡을 골라냅니다.
3. 즉흥적인 수정 (Residual Control): 하지만 외부에서 누가 로봇을 밀거나, 바닥이 미끄러우면 로봇은 그 '명곡'을 그대로 따라 하지 않고, **약간의 즉흥 연주 (보정)**를 덧붙입니다. 마치 연주자가 기본 곡을 유지하되, 상황에 맞춰 리듬을 살짝 변주하는 것과 같습니다.

✨ NAVIGAIT 의 핵심 장점

1. "무엇을 걷게 할지" 정하기가 훨씬 쉬워졌습니다.
기존 강화학습은 로봇이 걷게 하려면 "발은 이렇게 움직여라, 넘어지지 않게 해라" 등 복잡한 점수 체계 (보상 함수) 를 직접 설계해야 했습니다. 이는 마치 "어떻게 하면 맛있는 음식을 만들지?"라고 말만 하고 요리사에게 맡기는 것과 비슷해, 결과가 예측하기 어렵습니다.
하지만 NAVIGAIT 은 이미 완벽한 걷기 패턴 (명곡) 이 준비되어 있으므로, 로봇에게 **"이 곡을 따라 하되, 상황에 맞춰 살짝 변주해라"**라고만 지시하면 됩니다. 이렇게 하면 로봇이 원하는 스타일 (예: 우아하게 걷기 vs 힘차게 걷기) 을 훨씬 쉽고 빠르게 조절할 수 있습니다.

2. 배우는 속도가 압도적으로 빠릅니다.
로봇이 처음부터 걷는 법을 배울 때, 실수만 반복하며 학습하는 대신 이미 검증된 '명곡'을 바탕으로 학습하므로, 학습 시간이 크게 단축됩니다. 실험 결과, 기존 방법보다 훨씬 빠르게 안정적인 보행에 도달했습니다.

3. 외부 충격에도 강합니다.
로봇이 걷다가 누군가 밀어붙이거나 (외부 교란), 바닥이 울퉁불퉁해도, NAVIGAIT 은 미리 준비된 다양한 걷기 패턴 중에서 가장 안전한 것으로 순간적으로 전환하거나 살짝 보정하여 넘어지지 않고 균형을 잡습니다.

🚀 실제 결과: '브루스 (BRUCE)' 로봇의 성공

연구진은 이 기술을 **'브루스 (BRUCE)'**라는 저비용 휴머노이드 로봇에 적용했습니다.

• 시뮬레이션과 실제: 컴퓨터 안에서의 테스트뿐만 아니라, 실제 로봇에서도 성공적으로 걸었습니다.
• 방해 요소 극복: 로봇을 다양한 방향에서 밀어붙였을 때, 다른 방법들보다 훨씬 잘 넘어지지 않고 균형을 유지했습니다.
• 스타일 조절: 같은 로봇이라도 라이브러리를 조금만 바꾸면, 우아하게 걷는 로봇이나 힘차게 걷는 로봇으로 스타일을 쉽게 바꿀 수 있었습니다.

💡 요약

NAVIGAIT 은 "완벽한 지도 (기존 기술)"와 "유연한 적응력 (강화학습)"을 결합한 기술입니다.

마치 유능한 가이드가 있는 여행과 같습니다. 가이드는 완벽한 코스 (명곡) 를 제시하지만, 여행 중 갑자기 비가 오거나 길이 막히면 (외부 충격), 가이드가 즉석에서 우회로를 찾아주거나 (보정) 다른 경로를 제안합니다. 덕분에 여행은 안전하면서도, 우리가 원하는 스타일대로 즐길 수 있게 됩니다.

이 기술은 앞으로 더 자연스럽고, 튜닝하기 쉬우며, 실생활에서도 안전하게 작동하는 로봇 보행의 새로운 기준이 될 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

이 논문은 이족 보행 로봇의 제어 분야에서 두 가지 주요 접근법의 한계를 극복하고자 합니다.

• 궤적 최적화 (Trajectory Optimization) 기반 방법: Hybrid Zero Dynamics (HZD) 등 기존 방법은 수학적 기반이 탄탄하고 해석이 용이하며 안정성 보장이 가능하지만, 외부 섭동 (disturbance) 에 취약하고 실시간 재계획 속도가 느려 실제 환경의 불확실성에 대응하기 어렵습니다.
• 강화 학습 (Reinforcement Learning, RL) 기반 방법: RL 은 풍부한 센서 피드백을 통해 강인한 제어 정책을 학습할 수 있지만, 복잡한 보상 함수 (Reward Function) 설계가 어렵고, 학습 시간이 길며, 학습된 정책이 비직관적이고 해석이 불가능한 경우가 많습니다. 또한, 자연스러운 보행의 구조나 운동학적 지식을 사전에 통합하기 어렵습니다.

핵심 문제: RL 의 강인함과 궤적 최적화의 구조적/해석적 장점을 모두 가지면서도, 보상 설계의 복잡성을 줄이고 자연스러운 보행 스타일을 유지하는 제어 프레임워크가 필요합니다.

2. 제안된 방법론 (Methodology: NAVIGAIT)

저자들은 NAVIGAIT라는 계층적 (Hierarchical) 프레임워크를 제안합니다. 이는 오프라인으로 생성된 보행 라이브러리의 구조와 RL 의 적응성을 결합합니다.

A. 핵심 아키텍처

NAVIGAIT 은 크게 두 가지 주요 구성 요소로 작동합니다:

1. 보행 라이브러리 (Gait Library): 궤적 최적화를 통해 생성된 물리 기반의 참조 보행 (Reference Gaits) 의 집합입니다. 이 라이브러리는 다양한 속도에 대응하는 연속적인 보행 공간을 형성합니다.
2. 잔차 강화 학습 정책 (Residual RL Policy):
   • 고수준 결정: 사용자의 명령 (속도) 에 따라 라이브러리에서 가장 적합한 참조 보행 (Reference Trajectory) 을 선택하거나, 기존 보행과 새로운 보행 사이의 부드러운 전환 (Interpolation) 을 수행합니다.
   • 저수준 보정: 선택된 참조 보행에 대해 잔차 (Residual) 명령을 출력합니다. 이는 관절 각도의 미세 조정 ($\Delta q$) 과 고수준 속도 명령의 보정 ($\Delta v$) 으로 구성됩니다.
   • 동작: RL 정책은 로봇을 안정화하고 외부 섭동에 적응하는 데 집중하며, 보행의 전체적인 형태와 스타일은 사전 계산된 궤적 최적화에서 담당합니다.

B. 기술적 세부 사항

• 부드러운 보행 전환 (Smooth Interpolation): 이산적인 보행 라이브러리를 연속 공간으로 만들기 위해 베지어 곡선 (Bézier Curves) 의 성질을 활용합니다. 현재 보행과 목표 보행 사이의 전환 시, 베지어 제어점의 선형 결합을 통해 매끄러운 궤적을 생성합니다. 이는 JAX 라이브러리와 호환되어 병렬 시뮬레이션 및 JIT 컴파일을 지원합니다.
• 학습 설정: Proximal Policy Optimization (PPO) 을 사용하며, Brax 시뮬레이션 환경에서 훈련됩니다.
• 보상 함수 (Reward Function): 기존 RL 이 복잡한 보상을 설계해야 하는 것과 달리, NAVIGAIT 은 참조 궤적 추종, 에너지 최소화, 그리고 잔차 출력의 부드러움 (Smoothing) 만을 보상합니다. 보행의 '모양'은 이미 라이브러리에 정의되어 있으므로 RL 이 이를 다시 발견할 필요가 없습니다.
• 하드웨어 적용: 저비용 휴머노이드 로봇인 BRUCE에 적용되었으며, 4-bar 링크 메커니즘과 같은 물리적 제약을 모델에 포함시켜 Sim-to-Real 전이 성능을 높였습니다.

3. 주요 기여 (Key Contributions)

1. NAVIGAIT 프레임워크: 최적화된 물리 기반 참조 보행 라이브러지와 이를 연속적으로 변조하는 잔차 RL 정책을 통합한 새로운 계층적 제어 구조를 제안했습니다.
2. 오픈소스 구현: JAX 호환성을 갖춘 최초의 부드러운 연속 보행 참조 보간 및 블렌딩 구현을 공개하여, 실시간 컴파일 및 병렬 학습을 가능하게 했습니다.
3. 학습 효율성 및 보상 단순화: 기존 RL(참조 없음) 및 모방 학습 (Imitation RL) 과 비교하여 보상 설계가 간소화되었고, 학습 속도가 빨라졌으며, 참조 보행과의 일치도 (Imitation Accuracy) 가 향상됨을 입증했습니다.
4. 스타일 제어: 보상 가중치를 변경하지 않고도 보행 라이브러리만 교체하여 다양한 스타일 (예: 자연스러운 보행 vs 과장된 힙 롤) 의 보행 정책을 쉽게 생성할 수 있음을 시연했습니다.
5. 실제 로봇 검증: BRUCE 로봇에서 시뮬레이션과 실제 하드웨어 모두에서 외부 섭동 (Push) 에 대한 강인한 안정화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 학습 속도: NAVIGAIT 은 기존 RL 및 모방 학습보다 훨씬 빠른 수렴 속도를 보였습니다. (예: 제자리 걸음, 전진 보행, 섭동 거부 등 핵심 마일스톤 도달 시간이 짧음).
• 섭동 거부 (Disturbance Rejection): 다양한 크기와 방향의 외부 힘에 대한 낙상 확률 실험에서, NAVIGAIT 은 모방 학습 (Imitation RL) 과 유사하거나 더 나은 강인성을 보였습니다. 특히 중간 강도의 섭동에 대해 기존 잔차 제어 방식의 한계를 극복하고 더 나은 성능을 보였습니다.
• 보행 자연스러움 및 추적: NAVIGAIT 은 명령된 속도를 더 정확하게 추적하며, Canonical RL(참조 없음) 에 비해 드리프트 (Drift) 가 적었습니다. 또한, 외부 충격 후에도 원래 보행 스타일을 더 잘 유지하는 것으로 나타났습니다.
• 스타일 전이: 보행 라이브러리를 변경함으로써 보상 함수를 수정하지 않고도 완전히 다른 스타일의 보행 정책을 생성할 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

NAVIGAIT 은 모델 기반 운동 계획 (Model-based Motion Planning) 과 강화 학습 (End-to-end Learning) 의 장점을 성공적으로 결합했습니다.

• 해석 가능성과 강인성의 조화: RL 이 모든 것을 처음부터 학습하는 것이 아니라, 물리적으로 의미 있는 참조 보행 위에 '보정'을 학습함으로써, 정책의 해석이 용이하고 스타일 조절이 쉽면서도 외부 환경 변화에 강인한 제어를 가능하게 합니다.
• 확장성: 보행 라이브러리를 쉽게 튜닝하거나 로봇의 모델 파라미터 변경에 적응할 수 있어, 웨어러블 로봇이나 애니메이션 캐릭터 등 다양한 응용 분야에 확장 가능합니다.
• 실용성: 복잡한 보상 함수 설계의 어려움을 해결하고 학습 시간을 단축함으로써, 실제 로봇에 적용 가능한 동적 보행 제어 솔루션을 제공합니다.

결론적으로, NAVIGAIT 은 손으로 만든 운동 계획과 엔드 - 투 - 엔드 학습 사이의 간극을 메우는 획기적인 접근법으로, 자연스럽고 강인한 동적 보행을 실현하는 데 중요한 기여를 합니다.