ADP: Adversarial Dynamics Priors for Physically Grounded Humanoid Locomotion

기술 요약: 물리적으로 근거 있는 휴머노이드 보행을 위한 적대적 역학 사전 확률 (Adversarial Dynamics Priors)

문제 정의
휴머노이드 보행 제어는 높은 자유도, 언더액추에이티드(underactuated) 부유 기저(floating-base) 역학, 그리고 간헐적인 접촉을 통한 균형 유지의 필요성으로 인해 사족 보행 제어보다 훨씬 더 까다롭습니다. 학습 기반 제어는 모션 데이터셋을 사용하여 자연스러운 동작을 생성하는 데 성공했지만, 기존 방식들은 섭동(perturbation) 탄력성 측면에서 한계에 직면해 있습니다.

• 명시적 추적 (Explicit Tracking): DeepMimic과 같은 방법들은 참조 포즈와 페이즈(phase)를 추적하는 데 의존합니다. 이는 자연스러운 동작 생성에는 효과적이지만, 외부 섭동이 로봇을 참조 궤적에서 벗어나게 할 때 유연성이 부족합니다.
• 운동학적 사전 확률 (Kinematic Priors): 적대적 모션 사전 확률(AMP)은 명시적인 궤적 추적 대신 운동학적 모션 스타일 분포(관절 포즈, 속도, 말단 장치 상태)를 일치시킴으로써 유연성을 개선합니다. 그러나 AMP는 밀기(push)와 같은 충격 이후 효과적인 균형 회복에 필수적인 역학 수준의 특징(예: 질량 중심(CoM) 운동, 세로토닌 모멘텀, 접촉력 및 접촉 상태)을 직접적으로 정규화하지 못합니다. 결과적으로 AMP는 가시적인 자세는 회복할 수 있으나, 저감쇠 회전 역학을 남겨두거나 접촉력을 올바르게 조절하지 못할 수 있습니다.

방법론: 적대적 역학 사전 확률 (ADP)
저자들은 운동학적 모션 스타일 특징을 선택된 **역학 특징(dynamics features)**으로 대체하여 적대적 정규화의 대상으로 삼는 ADP 프레임워크를 제안합니다. 이 방법은 참조 포즈나 페이즈에 대한 명시적인 모션 추적 없이 작동합니다.

1. 참조 데이터셋 구축 ($D_{dyn}$):

   • 전체 신체 모션 캡처 데이터를 사용하는 대신, 저자들은 **단일 강체 역학(SRBD) 기반 궤적 최적화(TO)**를 사용하여 참조 데이터셋을 생성합니다.
   • TO 문제는 명령된 속도와의 편차를 최소화하는 동시에, SRBD 일관성, 접촉 활성화 및 마찰 원뿔 제약 조건을 준ür하며 과도한 세로토닌 각운동량과 접촉력을 억제합니다.
   • 이 과정은 물리적으로 근거 있는 보행 궤적(걷기, 달리기, 회전, 측면 스텝)을 생성하며, 이는 SRBD 수준의 역학을 만족합니다. 이로부터 역학적 양(CoM 운동, 세로토닌 모멘텀, 접촉력, 접촉 지표)을 추출하여 참조 분포를 형성합니다.

2. 역학 특징 표현:

   • ADP는 헤딩 프레임 기준 CoM 속도, 세로토닌 각운동량, 평면 각운동량 변화율, 정규화된 발 접촉력, 그리고 이진 접촉 지표를 포함하는 타임스텝 수준의 역학 특징 벡터 $z_t$를 정의합니다.
   • 다양한 명령을 처리하기 위해, 판별기(discriminator)의 입력은 속도 명령과 즉각적인 추적 오차에 따라 조건화되어, 현재 작업에 맞춰 참조 분포를 정렬합니다.
   • 결정적으로, 이 방법은 단일 타임스텝이 아닌 이러한 특징들의 **시간적 윈도우($\Xi_t$)**를 사용합니다. 이를 통해 판별기는 접촉 전환, 힘 조절, 모멘텀 회복과 같이 회복에 필수적인 시간적 패턴을 포착할 수 있습니다.

3. 적대적 학습:

   • 판별기는 SRBD에서 유도된 참조 데이터셋($D_{dyn}$)에서 샘플링된 윈도우와 정책 롤아웃($\Xi^\pi_t$)에서 생성된 윈도우를 구별하도록 훈련됩니다.
   • 정책은 다음을 포함하는 총 보상을 사용하여 근사 정책 최적화(PPO)를 통해 최적화됩니다:
     • $r^G_t$: 작업 보상 (보행).
     • $r^D_t$: 판별기 출력으로부터 유도된 적대적 역학 사전 확률 보상. 이 보상은 정책의 유도된 역학 특징이 참조 분포와 가깝게 유지되도록 독려합니다.
     • $r^R_t$: 정규화 항.
   • 정책은 특정 관절 포즈를 추적하도록 강요받지 않으면서도, 자신의 역학 특징을 참조 분포의 서포트(support) 내에 유지함으로써 섭동으로부터 회복하는 법을 배웁니다.

주요 기여

1. 적대적 역학 사전 확률 (ADP): 명시적인 모션 추적이나 페이즈 추적 없이, 운동학적 특징 대신 역학 특징(CoM, 모멘텀, 접촉력)을 적대적 정규화에 사용하는 방법을 도입하였습니다.
2. 섭동에 민감한 역학 표현: 섭동으로 인한 과도 상태(transients)를 관절 수준의 운동학적 특징보다 더 직접적이고 빠르게 노출시키는 시간적 역학 특징을 공식화하였습니다.
3. 섭동 회복 평가: 시뮬레이션 및 하드웨어 검증을 통해 ADP가 Vanilla RL, AMP, 그리고 직접적인 역학 특징 매칭 베이스라인에 비해 휴머노이드의 섭동 회복 능력을 향상시킴을 입증하였습니다.

실험 결과
저자들은 시뮬레이션에서 29-DoF 휴머노이드 로봇(Unitree G1)에 대해 ADP를 평가하였으며, 정성적인 하드웨어 시연을 제공하였습니다. 평가는 ADP를 Vanilla RL, AMP, 그리고 "역학 보상" 베이스라인(적대적 판별기 없이 포인트 단위 특징 매칭을 사용하는 방식)과 비교하였습니다.

• 섭동 회복: 외부 속도 임펄스(최대 4.5 m/s) 하에서, ADP는 80% 성공 임펄스 임계값($J_{80}$) 115.5 N·s를 달성하였으며, 이는 가장 강력한 베이스라인인 AMP(99.0 N·s)보다 16.7% 향상된 수치입니다.
• 회복 지표: AMP와 비교했을 때, ADP는 회복 시간을 4.76초에서 2.48초로 47.9% 단축시켰고, 속도 추적 오차를 1.30 m/s에서 0.84 m/s로 35.4% 감소시켰습니다.
• 표현 민감도: 분석 결과, 제안된 역학 표현은 충격 후 20 ms 만에 섭동 유도 과도 상태를 감지(베이스라인 편차의 6.0배 도달)한 반면, 운동학적 표현은 160 ms가 걸렸습니다(4.3배 편차 도달).
• 절제 연구 (Ablation Studies):
  • 세로토닌 각운동량을 제거하면 성공률이 45.3%로 감소했습니다.
  • 접촉 지표(이진 접촉 상태)를 제거했을 때 가장 큰 성능 저하가 나타났으며, 성공률이 30.5%로 떨어지고 회복 시간이 8.82초로 증가하여 정렬에 있어 접촉 타이밍의 결정적인 역할을 강조했습니다.
  • 시간적 윈도우 길이의 경우, $K=8$이 시간적 맥락(접촉 전환)과 훈련 안정성 사이의 균형을 맞추는 데 최적임이 밝혀졌습니다.

의의 및 주장
본 논문은 ADP가 역학 수준에서 정책을 정규화함으로써 운동학적 사전 확률의 한계를 성공적으로 해결한다고 주장합니다. SRBD 유도 궤적을 역학 특징의 참조 분포로 활용함으로써, 이 방법은 명시적인 모션 추적의 경직성 없이도 정책이 물리적으로 근거 있는(모멘텀 및 접촉 제약 조건과 일치하는) 회복 행동을 학습하도록 유도합니다.

저자들은 ADP가 강건성(robustness)을 개선하지만, 관절 수준의 움직임의 자연스러움을 명시적으로 강제하지는 않는다고 언급했습니다. 그들은 향-후 연구에서 역학적 사전 확률과 운동학적 사전 확률을 결속하여 강건성과 자연스러움을 모두 달取得할 수 있을 것이라고 제안합니다. 또한, 본 논문은 공정성을 위해 AMP와의 비교에서 고품질 모션 캡처 기반의 AMP 베이스라인 대신 동일한 TO 유도 참조 소스를 사용했음을 인정하며, TO 유도 사전 확률과 모션 캡처 기반 사전 확률 사이의 격차에 대한 규명은 향후 과제로 남겨두었습니다.