기술 요약: 강인하고 대칭적인 4 족 보행을 위한 모델 예측 제어 모방 및 미세 조정

문제 제기

하체 로봇의 강인한 보행 제어기를 설계하는 것은 이러한 시스템의 비완전 구동, 이산적, 그리고 고차원적인 역학 특성으로 인해 여전히 중요한 과제로 남아 있습니다. 전통적인 모델 기반 제어(예: 모델 예측 제어 또는 MPC) 는 놀라운 민첩성과 강인함을 입증해 왔지만, 종종 방대한 수학적 모델링과 사전 정의된 휴리스틱 (Raibert 의 휴리스틱 등) 에 의존합니다. 이러한 모델은 발 미끄러짐이나 예상치 못한 장애물이 발생하는 거친 미끄러운 지형이나 컨베어 지형과 같은 복잡하고 비전통적인 상황에서는 어려움을 겪습니다. 반면, 학습 기반 접근법(예: 심층 강화 학습 또는 Deep RL) 은 방대한 데이터를 사용하여 직관적이지 않은 문제를 자동으로 해결할 수 있지만, 고품질이고 대칭적이며 주기적인 보행 패턴을 생성하기 위해서는 종종 광범위한 수동 보상 설계가 필요합니다. 신중한 튜닝 없이는 학습된 정책이 날카롭고 비대칭적인 움직임을 보이며 실제 하드웨어로 이전되지 못할 수 있습니다. 또한, 기존 하이브리드 접근법은 고주파수로 MPC 를 실행해야 하는 필요성으로 인해 높은 계산 비용을 겪거나 단일 참조 궤적 이상으로 일반화되지 못하는 경우가 많습니다.

방법론: IFM 프레임워크

저자들은 모델 기반 제어와 학습 기반 알고리즘의 강점을 통합하는 새로운 모방 및 미세 조정 모델 예측 제어 (IFM) 프레임워크를 제안하며, 이는 3 단계 프로세스를 통해 이루어집니다:

0 단계: 전문가 모델 예측 제어 (MPC)

이 프레임워크는 **미분 동적 프로그래밍 (DDP)**과 Raibert 휴리스틱을 사용하여 전문가 제어기 ($\pi_E$) 를 개발하는 것으로 시작합니다.

• 설계: MPC 는 미래 상태를 예측하고 볼록 비용 함수를 기반으로 최적 제어 입력을 생성합니다. 지지 다리에 대해서는 마찰 피라미드 제약을,swing 다리에 대해서는 작업 공간 임피던스 제어를 활용합니다.
• 한계: 강인하지만 이 MPC 는 계산 비용이 높습니다 (최적화당 약 12.4ms). 또한 고정된 모델에 의존하므로 하드웨어에서의 실시간 실행이 어렵고 보이지 않는 지형에 대한 적응력이 제한됩니다.
• 동작 변환: 학습 알고리즘과의 간극을 메우기 위해 MPC 의 토크 출력은 비례 - 미분 (PD) 역모델을 사용하여 목표 관절 각도로 변환되어 신경망 정책과 호환 가능한 데이터로 만듭니다.

1 단계: 모방 학습 (IL)

전문가 MPC 는 신경망 정책 ($\pi_I$) 의 사전 훈련을 위한 데이터셋을 생성하는 데 사용됩니다.

• 알고리즘: 저자들은 **데이터셋 집계 (DAgger)**를 사용합니다. 단순한 행동 복제 대신 정책을 rollout 하고, 전문가 MPC 가 보이지 않는 상태에 대한 동작을 수정하여 이 데이터를 집계함으로써 분포 불일치를 완화합니다.
• 아키텍처: 3 개의 은닉층 (512, 256, 64 뉴런) 을 가진 다층 퍼셉트론 (MLP) 은 몸체 방향, 관절 상태, 과거 데이터, 사용자 명령 등을 포함하는 관측치를 입력받습니다.
• 목표: 이 단계는 계산 효율성이 높고 학습 가능한 MPC 의 "복제본"을 생성하여, 무거운 최적화 비용 없이 전문가의 대칭적이고 주기적인 보행 패턴을 계승합니다.

2 단계: 강화 학습 (RL) 미세 조정

모방된 정책은 **근접 정책 최적화 (PPO)**를 사용하여 까다로운 지형에서 추가적으로 미세 조정됩니다.

• 커리큘럼 학습: 정책은 운동 스타일의 손실을 방지하기 위해 난이도 (지형 인자) 가 증가하는 지형 (거친 지형, 이산적 거친 지형, 계단, 절벽) 의 커리큘럼에서 훈련됩니다.
• 보상 공식화: 저자들은 간단한 보상 (SR) 설정 (속도 추적, 불필요한 움직임 최소화, 토크 정규화) 과 접촉 보상 (CR) 설정 (접촉 편향 추가) 을 활용합니다. 중요한 점은 사전 훈련이 Vanilla RL 에 비해 보상 공학의 부담을 크게 줄인다는 것입니다.
• 제약된 탐색: 모방 학습 중에 학습된 유익한 운동 스타일을 유지하기 위해, RL 미세 조정은 제약된 탐색 (작은 초기 표준 편차, 낮은 학습률, 작은 PPO 클립 파라미터) 을 적용합니다.
• 시뮬레이션에서 현실로 (Sim-to-Real): 하드웨어로의 제로샷 이전을 보장하기 위해 관측 노이즈, 모터 마찰, PD 이득, 지면 마찰, 명령 지연에 도메인 랜덤화를 적용합니다.

주요 기여

1. 새로운 프레임워크: 모델 기반 제어의 강인함과 학습 기반 방법의 적응력을 활용하기 위해 MPC 와 RL 을 체계적으로 결합한 IFM 프레임워크 제안.
2. 성능 향상: IFM 이 거친, 미끄러운, 컨베어 지형에서 전문가 MPC 의 강인함을 크게 향상시키면서도 계산 시간을 (~15ms 에서 ~1ms 로) 획기적으로 단축함을 입증.
3. 효율성과 품질: IFM 이 Vanilla RL 에 비해 더 대칭적이고 주기적이며 에너지 효율적인 보행을 생성하며, 최소한의 보상 설계와 빠른 수렴으로 이를 달성함을 입증.
4. 하드웨어 검증: Mini Cheetah 로봇에 성공적으로 배포되어, 기존 MPC 및 순수 RL 베이스라인보다 장애물 넘기 및 속도 추적에서 우수한 성공률을 보임.

실험 결과

저자들은 Mini Cheetah 에서 광범위한 시뮬레이션 및 하드웨어 실험을 수행했습니다:

• 강인성: 시뮬레이션에서 IFM 은 거친, 미끄러운, 보이지 않는 컨베어 지형에서 전문가 MPC 와 DAgger 전용 정책보다 우수한 성능을 보였습니다. MPC 는 고정된 발자국 패턴으로 인해 컨베어 벨트에서 실패한 반면, IFM 은 보행 패턴을 효과적으로 적응시켰습니다.
• 추적 성능: 평탄한 지형에서 IFM(SR) 은 가장 낮은 선형 추적 오차를 달성하여 MPC 와 Vanilla RL 모두를 능가했습니다. Vanilla RL(SR) 은 과도한 수직 운동인 "프론킹 (pronking)"으로 인해 추적이 불량했으나, IFM 의 사전 훈련으로 이 문제가 완화되었습니다.
• 하드웨어 성공률:
  • 장애물 통과: IFM(CR) 은 7.5cm 장애물을 넘을 때 90% 의 성공률을 기록한 반면, 하드웨어 튜닝된 MPC(WBIC) 와 DAgger 는 이 높이에서 완전히 실패했습니다.
  • 미끄러운 지형: IFM 정책은 마찰 계수 0.22 인 표면을 성공적으로 통과한 반면, MPC 와 DAgger 는 상당한 미끄러짐을 처리하지 못한 Raibert 휴리스틱에 의존하여 넘어졌습니다.
• 운동 품질: IFM 정책은 Vanilla RL 에 비해 더 낮은 이동 비용 (CoT) 과 위상 포트레이트 지수 (PPI) 를 보여주어 더 에너지 효율적이고 대칭적인 보행을 나타냈습니다. IFM 의 위상 포트레이트는 왼쪽과 오른쪽 다리 간의 거의 완벽한 중첩을 보인 반면, Vanilla RL 은 비대칭적인 움직임을 보였습니다.
• 효율성: IFM 은 약 2,000 회 반복에서 수렴하여 Vanilla RL(약 4,000 회 이상 반복) 보다 훨씬 빠르게 수렴했습니다.

중요성 및 주장

이 논문은 IFM 프레임워크가 모델 기반 제어의 해석 가능성과 강인함, 그리고 학습 기반 방법의 적응력 사이의 트레이드오프에 대한 균형 잡힌 해결책을 제공한다고 주장합니다. MPC 를 사전 훈련 전문가로 사용함으로써 프레임워크는 다음과 같은 이점을 제공합니다:

1. RL 을 위한 탐색 공간을 축소하여 복잡한 보상 공학 없이 고품질의 대칭 보행을 찾을 수 있게 함.
2. 동적이고 불확실한 환경에서 고정 모델 제어기 (MPC 등) 의 한계를 극복.
3. 무거운 온라인 최적화를 경량 신경망으로 대체하여 실시간 제어 가능하게 함.

저자들은 IFM 이 운동 스타일 조절을 위한 구조화된 접근 방식을 제공하여 보상 공학의 과제를 완화하면서 까다로운 지형에서의 4 족 보행 강인성과 효율성을 크게 향상시킨다고 결론지었습니다. 향후 연구는 비전 기반 보행으로 이 방법을 확장하는 것을 제안하며, 이는 LSTM 이나 CNN 과 같은 더 복잡한 네트워크 아키텍처를 필요로 할 수 있습니다.