Sampling Strategies for Robust Universal Quadrupedal Locomotion Policies

기술 요약: 강건한 범용 사족보행 로봇 정책을 위한 샘플링 전략

문제 정의
경량 유닛(예: 12kg A1)부터 중량급 플랫폼(예: 50kg ANYmal)에 이르기까지, 점점 다양해지는 상업용 사족보행 로봇의 다양성은 스케일링 문제를 야기한다. 기존의 제어 설계는 특정 형태에 맞춤화되어 있어, 로봇의 역학이나 구조가 변경될 때마다 광범한 재학습과 수동 파라미터 튜닝을 요구한다. 강화 학습(RL)이 사족보행의 민첩성을 발전시켰음에도 불구하고, 보지 못한 로봇의 물리적 변화(질량, 관성, 운동학) 및 컨트롤러 이득(PD gains)에 대한 물리적 변동을 적절히 커버하지 못할 경우 시뮬레이션에서 학습된 정책이 하드웨어에서 실패하게 되는 '심 투 리얼(sim-to-real)' 간극은 여전히 중요한 장벽으로 남아 있다. 현재 도메인 무작위화(domain randomization)를 위한 샘pling 전략은 고정된 균등 범위나 단순한 질량 의존적 매핑에 의존하는 경우가 많으며, 이는 더 크고 무거운 플랫폼에 대해 충분한 강건성을 제공하지 못하거나 배포 중 안전하지 않은 컨트롤러 이득을 초래할 수 있다.

방법론
저자들은 광범위한 사족보행 형태 및 컨트롤러 설정에 걸쳐 일반화될 수 있는 범용 RL 보행 프레임워크를 제안한다. 이 방법론의 핵심은 훈련 단계에서의 로봇 구성 및 관절 비례-미분(PD) 이득에 대한 샘플링 전략에 있다.

1. 제어 아키텍처: 시스템은 MorAL을 기반으로 한 비대칭 액터-크리틱(asymmetric actor-critic) 구조를 활용한다.

   • 추정기 (Red): 신경망이 베이스 선속도를 추정하고, 상태 이력을 통해 로봇 특유의 형태 파라미터(질량, 무게 중심, 링크 오프셋)를 관찰한다.
   • 액터 (Blue): 추정된 속도, 형태 파라미터, 명목 관절 위치를 기반으로 원하는 관절 위치를 생성한다. 이 위치값은 PD 컨트롤러를 통해 실행된다.
   • 크리틱 (Critic): 정책을 가이드하기 위해 시뮬레이션에서만 사용 가능한 특권 정보(예: 발 접촉 상태, 마찰력, 정확한 PD 이득)를 수신한다.

2. 구성 생성: 훈련 세트는 네 가지 참조 모델(Unitree A1, Aliengo, ANYmal B, ANYmal C)의 운동학적 및 역학적 특성을 무작위화하여 생성된다. 여기에는 베이스 무게 중심, 바디 질량, 다리 기하학적 구조(무릎 방향)의 샘플링이 포함된다.

3. 비교된 샘플링 전략: 본 논문은 관절 PD 이득 및 형태 파라미터를 위한 세 가지 근본적인 접근 방식을 조사한다.

   • 질량 의존적 매핑 (Mass-Dependent Mappings): 총 로봇 질량을 PD 이득으로 매핑하는 선형 또는 다항식 함수(GenLoco 및 MorAL과 유사).
   • 균등 무작위화 (Uniform Randomization): 고정된 범위 내에서 이득을 균등하게 샘플링(PAL 및 URMA와 유사).
   • 성능 기반 적응형 필터링 (Performance-Based Adaptive Filtering - 제안 방식): 정책 성능에 따라 샘플링 범위를 동적으로 조정하는 새로운 커리큘럼 학습 접근 방식이다. 이는 다음을 포함한다:
     • 적응형 클리핑 (Adaptive Clipping): 정책의 속도 명령 추적 능력(선속도 및 제로 속도 임계값)을 기반으로 균등 무작위화의 샘플링 범위(SR)를 조정한다.
     • 입자 필터 재샘플링 (Particle Filter Resampling): 순차적 중요도 샘플링(SIR) 입자 필터를 사용하여 구성을 가중치화하고 재샘플링한다. 중간에서 상위 범위의 성능을 내는 구성들을 우선시하여, "도전적이지만 해결 가능한" 파라미터 세트에 집중하도록 한다.
     • 리플레이 버퍼 (Replay Buffer): 파라미터 세트의 퇴화를 방지하기 위해 이전에 성공했던 구성들로부터 샘플링한다.

4. 훈련: 정책은 RaiSim 시뮬레이션 환경에서 근사 정책 최적화(PPO)를 사용하여 훈련된다. 보상 함수는 속도 추적, 안정성, 부드러움을 장려하는 동시에 충돌 및 과도한 관절 토크에 대해 페널티를 부여한다.

주요 기여

1. 새로운 형태 샘플링: 고정된 균등 무작위화를 넘어, 입자 필터 기반의 성능 적응형 커리큘럼을 도입하여 로봇 형태 및 제어 파라미터를 샘플링한다.
2. PD 이득 튜닝 분석: 관절 컨트롤러 이득의 상당한 무작위화가 심 투 리얼 전이를 위해 필수적임을 보여주는 비교 연구를 수행하였으며, 특히 더 무거운 플랫폼의 경우 더욱 그러하다.
3. 제로샷 하드웨어 배포: 단일 정책을 50kg ANYmal 로봇에 미세 조정이나 적응 없이 성공적으로 배포하였으며, 이는 학습 시 명시적으로 보지 못한 다양한 형태(13kg 페이로드 포함)를 포괄한다.

결과

• 시뮬레이션 강건성: 제안된 적응형 입자 필터 전략은 섭동(베이스 힘, 마찰력 변화, 질량 변화) 하에서 고정된 균등 샘플링 및 질량 의전적 매핑보다 일관되게 높은 성공률($SR^*$)을 달립했다. 특히 더 큰 ANYmal 플랫폼의 경우, 다양한 PD 이득 조합에 대해 더 넓은 연속적 안정 성능 영역을 입증했다.
• 심 투 리 리얼 전이:
  • 성공: 제안된 방법과 PAL 베이스라인(SR=1인 균등 샘플링)만이 ANYmal 하드웨어에서 안전하고 안정적이며 신뢰할 수 있는 보행을 달성했다.
  • 대안의 실패: 질량 의존적 매핑 전략(GenLoco, ManyQuadrupeds)과 좁은 범위 샘플링(URMA)은 하드웨어로 일반화하는 데 실패했다. GenLoco와 ManyQuadrupeds는 하드웨어 안전 한계를 초과하는 PD 이득을 요구하여 액추에이터 충격 및 기계적 노킹을 유발했다. MorAL과 URMA(적응형)는 하드웨어에서 성능 저하나 불안정성을 보였다.
• 성능 지표: 적응형 입자 필터 방식은 PAL 베이스라인과 대등한 수준의 속도 추적 RMSE(예: 헤딩 ~0.095 m/s, 요 ~0.228 rad/s)를 달성했다. 또한 13kg의 추가 페이로드를 유지하며 보행을 성공적으로 수행했다.

의의 및 주장
본 논문은 범용 사족보행 로봇의 주요 장벽이 단순히 정책 아키텍처가 아니라, 훈련 중에 다양한 구성을 노출시키는 데 사용되는 샘플링 전략이라고 주장한다. 저자들은 다음을 입증했다:

• 고정된 균등 샘플링이나 단순한 질량 의존적 이득 매핑은 더 무겁고 복잡한 로봇으로 확장하기에 불충분하다.
• 관절 컨트롤러 이득의 상당한 무작위화는 심 투 리얼 간극을 메우기 위한 전제 조건이다.
• 훈련 구성을 재형성하는 성능 기반 적응형 커리큘럼(도전적이지만 해결 가능한 영역에 집중)은 강건성을 크게 향상시킨다.
• 이 접근 방식은 학습 시 명시적으로 보지 못한, 더 무거운 듀티 로봇을 포함한 광범위하고 실질적인 사족보형 구성 내에서 제로샷 배포를 가능하게 한다.

본 연구는 매우 높은 수준의 분포 외(out-of-distribution) 형태에 대한 제로샷 전이는 여전히 도전적인 과제이지만, 성능 적응형 샘플링이 광범위하고 실질적으로 유의미한 사족보행 구성 범위 내에서 강건성을 실질적으로 개선한다는 결론을 내린다.