기술 요약: 휴머노이드 보행 및 조작을 위한 MPC 가이드 강화 학습의 가속화 및 스케일링

1. 문제 정의

휴머노이드 동작 제어는 **모델 예측 제어(MPC)**와 강화 학습(RL) 사이의 이분법적 문제에 직면해 있습니다. MPC는 물리적으로 근거 있는 예측과 명시적인 제약 조건 처리를 제공하지만, 실시간 계산량과 모델 불일치에 대한 강건성 확보에 어려움을 겪는 경우가 많습니다. 반면, RL은 대규모 시뮬레이션을 통해 강건하고 민첩한 전신 기술을 가능하게 하지만, MPC가 가진 물리적 구조와 장기 계획(long-horizon planning) 능력은 부족한 경우가 많습니다.

이러한 하이브리드 접근 방식이 존재함에도 불구하고, RL 학습 루프 내부에 MPC를 통합하는 것은 다음과 같은 중대한 과제를 안고 있습니다:

• 계산 오버헤드: 학습 중에 MPC 문제를 반복적으로 푸는 것은 매우 많은 시간이 소요됩니다.
• 확장성 병목 현상: 기존의 GPU 기반 MPC 솔버들은 환경 간에는 병렬화가 가능하지만, 예측 호라이즌(prediction horizon)에 대해서는 효과적으로 병렬화하지 못하여 순차적 재귀(sequential recursions)가 병목 구간으로 남습니다.
• 메모리 및 컴파일 비용: MPC를 위한 기존의 희소 이차 계획법(Sparse QP) 정식화는 시간이 오래 걸리는 문제 구성 및 심볼릭 컴파일을 요구하며, 이는 문제 크기에 따라 비효식적으로 증가하는 VRAM 사용량을 초래합니다.
• 제한된 범위: 기존의 하이브리드 프레임워크는 주로 보행(locomotion)에 집중되어 있어, 높은 가치를 지닌 물리 모델이 필요한 로코-매니퓰레이션(loco-manipulation, 보행 및 조작 동시 수행) 분야는 충분히 탐구되지 않았습니다.

2. 방법론

제안된 프레임워크인 MPC-RL은 MPC와 RL의 역할을 분리합니다. MPC는 학습 시점에 구조화된 보상을 생성하는 가이드 역할을 수행하며, 학습된 정책(policy)은 배포 시점에는 MPC 없이 동작합니다.

A. 질량 중심 역학 MPC 가이드 (CD-MPC)

본 시스템은 직접적인 제어를 위해 MPC를 사용하는 대신, 질량 중심 역학(Centroidal Dynamics, CD) 모델을 사용하여 RL 에이전트를 위한 예측 참조값(predictive references)을 생성합니다.

• 모델: CD-MPC는 질량 중심(CoM), 질량 중심 선형 운동량($l_G$), 질량 중심 각운동량($k_G$)을 추적합니다. 또한 가변적인 접촉 세트(보행 시 발, 로코-매니퓰레이션 시 발과 손)를 포함하여 시변 역학을 처리합니다.
• 랜드마크 추출: 정책이 즉각적인 다음 MPC 스텝만을 추적하도록 강제하는 대신(이는 장기적인 구조를 버리는 결과를 초래함), 시스템은 특정 시간 간격($\delta_\ell$)마다 전체 MPC 궤적에서 일련의 **예측 랜드마크(predictive landmarks)**를 추출합니다.
• 예측 신뢰도 가중치 부여: 보상 함수는 실제 구현된 CoM을 이 랜드마크들과 비교합니다. 호라이즌 단조 가중치 스케줄( $\alpha_0 > \alpha_1 > \dots$)이 적용되어, 신뢰도가 높은 근접 호라이즌 랜드마크에는 높은 가중치를 부여하고, 모델 불일치 및 적분 오차에 취약한 원거리 호라이즌 랜드마크에는 낮은 가중치를 부여합니다. 이를 통해 장기적인 가이드와 정밀한 단기 추적을 융합한 유계된(bounded) 보상 신호를 생성합니다.

B. $\pi$nMPC: 병렬 호라이즌 및 무구조(Construction-Free) 솔버

대규모 병렬 RL 학습을 위해 저자들은 배치형 GPU 솔버인 $\pi$nMPC를 도입했습니다.

• 아키텍처: 이 솔버는 이전 연구($\pi$MPC)의 병렬 호라이즌 ADMM 구조를 확장하여 시변 역학(변화하는 접촉 시퀀스를 가진 다리 로봇에 필수적임)을 처리할 수 있도록 설계되었습니다.
• 핵심 혁신:
  1. 속도 형태 MPC (Velocity-Form MPC): 절대적인 입력 대신 입력 증분(input increments)에 대해 최적화를 수행하며, 이전 입력을 포함하도록 상태를 확장합니다.
  2. 변수 분리 (Variable Splitting): 새로운 분리 기법을 통해 보조 변수를 도입함으로써 역학을 제약 조건으로부터 분리합니다. 이를 통해 ADMM 업데이트를 GPU 상에서 전체 예측 호라이즌에 걸쳐 순차적이 아닌 병렬로 실행할 수 있습니다.
  3. 무구조 (Construction-Free): 솔버는 희소 QP를 조립하거나 매 단계마다 심볼릭 코드 생성/컴파일을 요구하지 않고, 시변 상태 행렬($A_k, B_k, e_k$)에서 직접 작동합니다. 이는 VRAM 사용량을 크게 줄이고 사전 컴파일 지연을 제거합니다.
• 구현: PyTorch와 JAX로 모두 구현되어, 최대 4096개의 환경과 최대 $N=400$의 긴 호라이즌을 지원하는 대규모 배치 크기를 지원합니다.

C. 학습 및 배포

• 알리즘: 비대칭 액터-크리틱(asymmetric actor-critic) 구조를 갖춘 근사 정책 최적화(PPO)가 사용됩니다.
• 관측 (Observations): 하드웨어에 배포되는 액터(actor)는 고유 수용 감각(proprioception)과 명령만을 받습니다. 학습 시에만 사용되는 크리틱(critic)은 MPC가 예측한 CoM 및 각운동량 참조값을 특권 정보(privileged information)로 부여받습니다.
• 보상 (Rewards): 총 보상은 표준 정규화 항(관절 한계, 발 높이 확보 등)과 MPC 랜드마크 가이드 항(CoM, 속도, 각운동량, 발 위치 및 지면 반력)의 결합으로 구성됩니다.

3. 주요 기여

1. 구조화된 MPC 보상 정식화: 호라이즌 길이 및 업데이트 속도에 대한 절제 실험(ablation study)을 통해 검증된, 질량 중심 MPC 궤적으로부터 장기적인 운동 및 역학 가이드를 추출하기 위한 예측 신뢰도 가중치 기반의 새로운 보상 메커니즘을 제시했습니다.
2. $\pi$nMPC 솔버: 시변 역학에 대해 병렬 호라이즌 실행을 달성하여 기존의 QP 기반 솔버들이 가진 확장성 병목 현상을 극복한, 구조 생성 과정이 필요 없는 메모리 효율적인 배치형 GPU MPC 솔버를 개발했습니다.
3. 로코-매니퓰레이션으로의 확장: MPC 가이드 RL을 휴머노이드 로코-매니퓰레이션에 적용한 첫 사례로, 무거운 페이로드(최대 290kg)를 미는 작업을 성공적으로 수행하여 하드웨어로 전이(transfer)했습니다.

4. 결과

A. 솔버 확장성

• 성능: $\pi$nMPC는 Consensus ADMM, qpth, qpax, CusADi와 같은 최첨단 솔버들과 비교했을 때 GPU 상에서 유리한 확장성을 보여줍니다.
• 효율성: 수 시간의 심볼릭 컴파일과 높은 RAM을 요구하는 CusADi와 달리, $\pi$nMPC는 컴파일 없이 작동합니다. 또한 다른 솔버들이 VRAM 부족으로 실행 불가능하거나 속도가 급격히 느려지는 긴 호리즌($N=400$) 및 대규모 배치 크기에서도 실행이 가능합니다.
• 구현: JAX 버전은 계산 속도가 더 빠르며, PyTorch 버전은 RL 학습 중 메모리 오버헤드가 더 낮습니다.

B. 휴머노이드 보행

• 속도 추적: MPC-RL은 분포 외(out-of-distribution) 명령을 포함한 병진 속도 추적에서 Pure RL보다 일관되게 우수한 성능을 보였습니다.
• 밀기 회복 (Push Recovery): 본 프레임워크는 뛰어난 강건성을 입증하였으며, Pure RL 베이스라인(300 N)보다 훨씬 높은 최대 450 N의 밀기 충격으로부터 회복할 수 있었습니다.
• 하이퍼파라미터: $N=10$ (약 0.7초, 한 번의 보행 주기)의 호라이즌과 10 Hz 업데이트 속도가 성능과 학습 효율 사이의 최적의 균형을 제공했습니다. 더 긴 호라이즌이 반드시 성능 향상으로 이어지지는 않았습니다.
• 보상 설계: 제안된 "테이퍼드(tapered)" 랜드마크 가중치 스케줄은 추적 정확도와 밀기 회복 측면 모두에서 "다음 스텝(next-step)" 또는 "평균(averaged)" 보상 설계보다 우수한 성능을 보였습니다.

C. 로코-매니퓰레이션

• 하드웨어 검증: 정책은 Westwood Robotics의 Themis V2 로봇에 배포되었습니다.
• 역량: 로봇은 체중의 829%에 달하는 290 kg (639 lbs)의 페이로드를 실은 카트를 성공적으로 밀었습니다.
• 비교: 시뮬레이션에서 MPC 가이드 정책은 Pure RL보다 더 나은 속도 추적 및 밀기 능력을 보여주었으며, Pure RL은 종종 동작이 멈추는 현상이 발생했습니다. 구조화된 MPC 보상은 Pure RL이 단순 탐색만으로는 발견하기 어려운 강력한 상호작용에 필요한 물리적 가이드를 제공했습니다.

5. 의의 및 주장

본 논문은 **예측 최적화(predictive optimization)**가 휴머노이드의 복잡한 행동을 학습하기 위한 실질적인 학습 도구이자 물리적 구조의 원천이 될 수 있음을 주장합니다.

• 실용성: 본 프레임워크는 배포 시 실시간 MPC를 요구하지 않으며, 대신 불확실한 무게나 외부 충격(예: 밀기)에 강건한 학습된 정책에 의존합니다.
• 효율성: $\pi$nMPC를 도입함으로써, 저자들은 긴 호라이즌의 MPC 가이드가 현대적인 RL 학습의 거대한 병렬성 내에서 계산 가능한 영역임을 입증하였고, "시간이 많이 걸리는 문제 구성"이라는 장벽을 제거했습니다.
• 일반화 가능성: 로코-매니퓰레이션에서의 성공은 MPC 가이드가 단순히 보행에 국한되지 않고, 복잡한 힘의 상호작용과 역학적 일관성이 필요한 작업에 필수적임을 시사합니다.

한계 및 향후 과제:
저자들은 현재의 접근 방식이 규정된 접촉 스케줄을 가진 축소 차원 질량 중심 역학(reduced-order centroidal dynamics)에 의존하고 있음을 인정합니다. 향후 연구는 비선형 MPC를 사용하여 더 풍부한 접촉 모드를 사용하는 방향으로 확장하고, 더욱 효율적인 학습 시간 가이드를 위해 신경망이 보강된 배치 솔버를 조사하는 것을 목표로 합니다.