기술 요약: 사족 보행 로봇을 위한 전방향 3 점프를 위한 유도 강화 학습

문제 제기

사족 보행 로봇은 점프 수행, 특히 다리 길이 이상이거나 평탄하지 않은 환경에서 발생하는 점프 시 상당한 어려움에 직면합니다. 최적화 기반 방법들이 존재하지만, 이러한 방법들은 높은 계산 비용, 초기화 민감성, 그리고 비구조화된 환경에서 유지하기 어려운 정밀한 시스템 모델에 대한 의존성으로 인해 종종 어려움을 겪습니다. 반면, 표준 엔드투엔드 (E2E) 강화 학습 (RL) 접근법은 유망하지만, 희소 보상 신호로 인해 수백만 개의 학습 단계를 필요로 하며 해석 가능성이 부족하여 안전 인증이 어렵습니다. 본 연구에서 다루는 핵심 문제는 표본 효율성이 높고, 모델 불확실성에 강인하며, 전방향 3 점프 (고도 변화 및 회전 포함) 가 가능하고, 물리적 실현 가능성을 보장할 만큼 설명 가능한 제어 전략의 필요성입니다.

방법론

저자들은 raw E2E 제어에서 벗어나 학습 과정에 물리적 직관을 주입하는 유도 강화 학습 (GRL) 프레임워크를 제안합니다. 이 방법론은 세 가지 주요 구성 요소를 중심으로 구조화되어 있습니다.

1. 궤적 매개변수화

관절 토크나 위치를 직접 학습하는 대신, 정책은 카르테시안 공간에서 고수준 궤적을 학습합니다.

• 하이브리드 매개변수화: 추력 단계 궤적은 **베지어 곡선 (Bézier curves)**과 등가속도 직선 운동 (UARM) 모델의 조합을 사용하여 모델링됩니다.
  • 초기 단계는 "충전" 및 감압 운동을 모델링하기 위해 3 차 베지어 곡선을 사용하여 매끄러움과 미분 가능성을 보장합니다.
  • 폭발적인 이륙 단계 동안 베지어 곡선의 표현 한계를 극복하기 위해 (로봇의 배가 땅에 닿는 것과 같은 작업 공간 위반으로 이어질 수 있음), 궤적은 UARM 세그먼트로 전환됩니다. 이는 실현 가능성을 유지하면서 더 높은 이륙 속도를 가능하게 합니다.
• 방향 제어: 별도의 베지어 곡선이 몸통 방향 (오일러 각) 을 매개변수화하여 그 자리에서 비틀기 점프와 같은 동적 기동을 가능하게 합니다.
• 행동 공간: RL 에이전트는 raw 관절 명령 대신 시간 간격, 이륙 위치/속도에 대한 구면 좌표, 속도 승수, 방향 목표와 같은 13 개의 매개변수 집합을 출력합니다. 이는 검색 공간을 극적으로 줄입니다.

2. 학습 프레임워크

• 알고리즘: 시스템은 근접 정책 최적화 (PPO) 를 사용합니다.
• 상태 공간: 상태는 작업 공간 (위치 및 방향에서의 목표까지의 변위) 으로 정의되어, 정책이 특정 로봇 형태에 구애받지 않도록 합니다. 특정 하드웨어에 과적합되는 것을 방지하기 위해 관절 수준의 정보는 제외됩니다.
• 보상 함수: 작업 성공과 안전을 균형 있게 조절하기 위해 물리적으로 정보 있는 보상 함수가 설계되었습니다. 여기에는 다음이 포함됩니다.
  • 양수 보상: 점프 거리에 비례하고 착지 오차를 패널티로 부과하는 착지 목표 보상.
  • 패널티: 경로 제약 (관절 한계, 마찰 원뿔, 토크 한계) 위반 비용, 추적 오차, 그리고 위험한 착지 조건 (튐, 높은 각속도) 에 대한 비용.
• 안전 필터: 실행 전에 제안된 동작이 물리적으로 목표 높이에 도달할 수 있는지 확인하기 위해 포물선 운동 방정식을 사용하는 사후 안전 점검이 수행되어 설명 가능성의 층을 추가합니다.

3. 제어 실행

학습된 카르테시안 궤적은 **역운동학 (IK)**을 통해 관절 위치로 매핑됩니다. 중력 보상이 포함된 저수준 비례 - 미분 (PD) 제어기가 이러한 참조를 추적합니다. 이러한 분리는 고수준 RL 정책이 궤적 생성에 집중하는 동시에 마찰 및 관성 불확실성에 대한 강인함을 위해 고전적 제어에 의존할 수 있게 합니다.

주요 기여

1. 새로운 GRL 전략: 베지어 곡선과 UARM 과 같은 물리적 직관을 활용하여 학습 과정을 안내하고 E2E 접근법의 "블랙박스" 성격을 피하는 전방향 3 점프를 위한 표본 효율적인 RL 방법.
2. 로봇 무관 행동 공간: 행동이 작업 공간 (카르테시안 위치/방향) 에서 정의되는 형식화로, 정책이 서로 다른 사족 보행 로봇 형태 (제로샷 전이를 통해 입증됨) 간에 일반화될 수 있도록 함.
3. 예측 가능성 및 안전: 궤적의 매개변수적 특성으로 인해 착지 지점을 결정론적으로 예측하고 안전 필터를 구현할 수 있어, RL 의 안전 인증 격차를 해소함.
4. 단일 단계 학습: 다단계 훈련이 필요한 커리큘럼 기반 접근법과 달리, 이 방법은 단일 학습 단계에서 최종 목표를 달성하여 훈련 시간과 복잡성을 크게 줄임.

결과

이 방법은 Unitree Go1과 Aliengo 두 대의 사족 보행 로봇에 대한 광범위한 시뮬레이션 및 실제 실험을 통해 검증되었습니다.

• 표본 효율성: 정책은 약 2,000 개의 학습 단계(15 시간) 에서 수렴하여, 수백만 개의 단계를 종종 필요로 하는 E2E 방법에 비해 상당한 감소를 보였습니다.
• 정확도 및 실현 가능성:
  • 평지 점프: 0.5 미터 반경 내의 점프에서 5cm 미만의 착지 오차를 달성했습니다.
  • 수직 점프: 최대 0.26 미터까지의 상향 점프와 최대 0.4 미터까지의 하향 점프를 성공적으로 수행했습니다.
  • 회전: 약 6 도의 최대 방향 오차로 그 자리에서 요 (yaw) 회전을 수행하는 능력을 입증했습니다.
• 강인성:
  • 시뮬레이션 간 전이: 질량 (최대 50%) 및 관절 감쇠의 변화 하에서 훈련 중 도메인 무작위화가 필요 없이 다른 시뮬레이터 (Locosim) 로 전이되었을 때 정책이 성능을 유지했습니다.
  • 시뮬레이션에서 실제로의 전이: Go1 과 Aliengo 에 대한 실제 실험은 높은 반복성을 보여주었습니다. 절대 오차는 모델링되지 않은 마찰로 인해 더 무거운 Aliengo 에서 약간 더 높았지만, 표준 편차는 낮아 일관된 행동을 나타냈습니다.
• 제로샷 전이: Go1 에서 훈련된 정책은 저수준 제어 조정만으로 질량과 링크 길이가 다른 Aliengo 로봇에 성공적으로 적용되어 작업 공간 형식화의 유효성을 입증했습니다.
• 최첨단 (SOTA) 과의 비교: Atanassov 등 [39] 의 최첨단 E2E 접근법과 비교하여, 제안된 방법은 훨씬 적은 표본으로 동등하거나 우수한 정확도를 달성했으며, 더 높은 점프 고도 (0.26m 대 0.1m) 와 더 균일한 실현 가능 영역을 보였습니다.

중요성 및 주장

본 논문은 베지어 곡선과 포물선 운동 물리학에 의해 안내된 물리적 직관을 RL 프레임워크에 통합함으로써 전통적인 최적화 (계산 비용, 모델 의존성) 와 표준 E2E RL (표본 비효율성, 해석 가능성 부족) 의 주요 한계를 극복할 수 있다고 주장합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 실시간 적용 가능: 경량 신경망과 사전 계산 가능한 궤적으로 밀리초 단위의 계획이 가능합니다.
• 물리적 실현 가능성 보장: 보상 설계와 행동 공간 제약을 통해 관절 한계와 마찰 제약을 본질적으로 존중하여 위험한 행동의 위험을 줄입니다.
• 일반화 촉진: 정책을 특정 관절 구성에서 분리함으로써 처음부터 재훈련 없이 서로 다른 로봇 플랫폼 간 전이를 지원합니다.
• 훈련 단순화: 단일 단계 학습 과정은 복잡한 커리큘럼 스케줄링과 광범위한 보상 엔지니어링의 필요성을 제거합니다.

저자들은 현재 방법이 순수 운동학적이고 초기 속도가 0 이라고 가정하지만, 이는 복잡한 환경에서 다리가 있는 로봇을 위한 동적 점프를 강인하고, 안전하며, 효율적으로 만드는 중요한 진전이라고 결론지었습니다. 향후 작업은 토크 제어 역학으로 방법 확장, 비영 (non-zero) 초기 속도 처리, 그리고 변형 가능한 지형 통합으로 식별됩니다.