기술 요약: 모델 기반 감독을 통한 강화 학습 기반의 강건한 토크 기반 보행 학습의 효율화

문제 정의

이족 보행 로봇을 위한 효과적인 토크 기반 보행 정책을 학습하는 것은 여전히 중요한 과제로 남아 있다. 토크 제어는 반응성 높고 순응적인 동작을 가능하게 하지만, 복잡하고 비선형적인 동역학을 정밀하게 다루어야 한다. 토크 수준에서의 직접적인 정책 학습은 접촉 불확실성, 센서 노이즈, 구동 지연, 그리고 모델링되지 않은 동역학(예: 관절 마찰, 구조적 유연성)과 같은 실제 환경의 불확실성이 존재하는 상황에서 특히 어렵다.

전통적인 모델 기반 제어 방식(예: WBC를 포함한 DCM 궤적 계획)은 정확한 시스템 모델에 의존한다. 그러나 모델과 물리적 시스템 사이의 차이가 실질적으로 커지면 성능이 저하된다. 반대로, 순수 데이터 기반 딥 강화 학습(DRL) 접근 방식은 도메인 무작위화를 통해 모델링 오류에 대한 강건성을 확보할 수 있지만, 데이터 효율성이 낮고, 보상 설계에 민감하며, 해석력이나 안전성 보장이 부족하다는 단점이 있다. 기존의 하이브리드 전략은 주로 보상 신호에만 의존하여 광범위한 시행착오 반복을 요구하며, 학습 과정 중 제한적인 가이드만을 제공한다.

방법론

저자들은 모델 기반 이족 보행과 잔차 강화 학습(Residual RL)을 통합하고, 새로운 모델 기반 감독 메커니즘으로 강화된 제어 프레임워크를 제안한다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어진다:

1. 기초 정책 ($\pi_b$): Divergent Component of Motion (DCM) 궤적 계획기와 역동역학 기반의 전신 제어기(Whole-Body Controller, WBC)로 구성된 모델 기반 제어기이다. 이 정책은 부정확한 동역학 모델과 노이즈가 섞인 상태 관측값 하에서 작동하며, 신뢰할 수 있지만 불완전한 토대를 제공한다.
2. 오라클 정책 ($\pi^*$): 로봇의 정확한 동역학, 참 상태(노이즈가 없는 상태), 모터 파라미터(예: 구동 지연, 효율)를 포함한 "특권 정보(privileged information)"에 접근할 수 있는 모델 기반 제어기이다. 이 정책은 무작위화된 조건 하에서 이상적인 교정 동작을 생성하지만, 학습 중에만 감독 역할을 수행하기 위해 사용된다.
3. 잔차 RL 정책 ($\pi_r$): 기초 정책의 불확실성을 보상하기 위한 잔차 토크 명령을 출력하도록 PPO(Proximal Policy Optimization)를 통해 학습되는 학습 가능 정책이다.

주요 기술 구성 요소:

• 도메인 무작위화 (Domain Randomization): 학습 환경은 센서 노이즈, 로봇 동역학(질량, 마찰, 댐핑, 모터 효율), 환경적 요인(바닥 마찰, 불규칙성)을 무작위화하여 정책이 실제 세계의 가변성에 노출되도록 한다.
• 지도 강화 학습 (Supervised Reinforcement Learning): 본 프레임워크는 단순히 보상 형성(reward shaping)에만 의존하는 표준 RL과 달리, 새로운 지도 손실 항($L_{sup}$)을 도입한다. 잔차 정책은 오라클의 교정 동작($\tau^*_t - \tau^b_t$)을 모방하도록 명시적으로 유도된다.
  • 전체 손실 함수는 가중 합으로 구성된다: $L_{total} = \omega_{rl} L_{rl} + \omega_{sup} L_{sup}$.
  • 지도 손실은 정책이 오라클의 잔차 동작에 높은 가능성을 할당하도록 독려한다.
• 관측 공간 (Observation Space): 정책은 노이즈가 섞인 관측값(관절 상태, 기초 정책 토크, 추적 오차)의 이력을 처리하기 위해 순환 신경망(LSTM)을 활용한다. 크리틱(Critic) 네트워크는 학습 중 더 정확한 가치 추정을 위해 특권 관측값(참 상태, 오라클 토크)을 추가로 활용한다.

주요 기여

본 논문은 네 가지 주요 기여를 명시한다:

1. 통합 제어 프레임워크: 모델 기반 제어의 구조적 신뢰성과 잔차 RL의 적응성을 결합하여 모델 불일치를 완화하는 새로운 아키텍처를 제시하였다.
2. 모델 기반 오라클 정책: 특권 정보를 활용하여 최적에 가까운 제어 신호를 생성함으로써 학습 과정을 감독하는 오라클 정책을 도입하였다.
3. 지도 RL 목적 함수: 표준 RL 목적 함수를 보완하여 보상 설계에만 전적으로 의존하지 않고도 학습 효율을 높이기 위해 오라클의 동작을 지도 손실에 포함시킨 학습 프레임워크를 제안하였다.
4. 교차 플랫폼 검증: 세 가지 서로 다른 이족 보행 로봇(Kangaroo, Unitree H1-2, Bruce)에 대한 포괄적인 평가를 통해, 특정 파라미터 튜닝 없이도 다양한 하드웨어 플랫폼 전반에 걸친 강건성과 일반화 능력을 입증하였다.

결과

본 방법론은 $\beta=1$의 광범위한 도메인 무작위화 조건 하에서 Kangaroo, Unitree H1-2, Bruce 로봇을 대상으로 평가되었다.

• 베이스라인 대비 성능:
  • 오라클 (O): 모든 플랫폼에서 최소한의 추적 오차와 함께 100% 성공률을 달성하여, 효과적인 감독자로서의 역할을 검증하였다.
  • 기초 정책 (B): 무작위화 조건에서 완전히 실패(0% 성공)하였으며, 이는 적응 기능이 없는 표준 모델 기반 제어의 취약성을 보여준다.
  • 표준 잔차 RL (ResRL): 명시적인 가이드 없이는 토크 기반 보행을 학습하는 데 어려움을 겪으며 낮은 성능(0-10% 성공)을 보였다.
  • 모방 학습 (IL): Kangaroo에서는 우수한 성능(70-100% 성공)을 보였으나, Bruce에서는 고전(80% 성공)하였으며, 이는 특정 동역학 영역에서 오라클의 신뢰성에 따른 민감성을 시사한다.
  • 제안 방법 (BOR - Base + Oracle Residual): Kangaroo와 H1-2에서 100% 성공률을, Bruce에서 80% 성공률을 달성하였다. 이는 표준 ResRL 및 순수 IL보다 크게 뛰어난 성능을 보였으며, DCM 및 발 추적 측면에서 오라클 수준의 성능에 근접하였다.
• 불확실성에 대한 강건성: 다양한 무작위화 수준($\beta \in [0.1, 0.7]$)에서 테스트했을 때, 제안된 방법은 100%의 성공률을 유지한 반면, 표준 모델 기반 제어기(MBC)는 불확실성이 증가함에 따라 크게 실패하였다.
• 학습 효율성: 지도 학습 방식은 단 1,500 에피소드(약 4.16시간의 시뮬레이션) 만에 80% 이상의 성공률로 수렴하였으나, 표준 잔차 RL은 동일한 조건에서 거의 진전을 보이지 못했다.
• 일반화: 본 프레임워크는 오라클을 단순 모방하는 것을 넘어 적응적 동작을 학습하는 능력을 보여주며, 별도의 재튜닝 없이도 불규칙한 지형과 다른 로봇 형태에 성공적으로 전이되었다.

의의 및 주장

본 논문은 이 접근 방식이 모델 기반 제어와 데이터 기반 RL 사이의 간극을 효과적으로 메운다고 주장한다. 모델 기반 사전 지식과 데이터 기반 적응을 통합함으로써, 이 방법은 휴머노이드 보행을 위한 심투리얼(sim-to-real) 전이를 위한 확장 가능한 솔루션을 제공한다.

저자들은 오라클이 보상 엔지니어링에 과도하게 의존하지 않고도 정책이 교정 동작을 향하도록 유도함으로써 학습 효율성과 강건성을 개선한다고 강조한다. 또한, 오라클이 강력한 지도 신호를 제공하지만, (매우 확률적인 조건이나 오라클의 모델 기반 계획이 최적이 아닐 수 있는 불규칙한 지형 등에서) 오라클로부터 벗어난 행동을 탐색하기 위해서는 RL 구성 요소가 필수적이라고 언급한다. 본 연구는 지도 강화 학습이 토크 기반 보행 제어를 위한 효율적이고 강건하며 전이 가능한 솔루션을 제공함을 입증한다.