기술 요약: Stubborn – 휴머노이드 동작 추적 및 낙하 회복을 위한 통합 강화 학습 프레임워크

1. 문제 정의

최근 강화 학습(RL)의 발전은 휴머노이드의 동작 추적과 낙하 회복 능력을 향상시켰으나, 이러한 기능들을 통합하는 데에는 여전히 상당한 과제가 남아 있다. 기존의 접근 방식들은 일반적으로 동작 추적과 낙하 회복을 별개의 작업으로 취급하며, 이로 인해 다단계 학습, 특화된 회복 보상, 또는 별도의 회복 정책이 필요하게 된다. 또한, 표준적인 RL 학습은 심각한 추적 실패(예: 낙하) 발생 시 에피소드를 즉시 종료하는 "하드 종료(hard termination)" 방식을 채택하는 경우가 많다. 이러한 설계는 에이전트가 불안정한 상태나 넘어진 상태에서 회복 행동을 탐색할 기회를 제한하는데, 회복을 시도하기도 전에 학습 신호가 끊겨버리기 때문이다. 아울러, 균일하게 샘플링된 학습 데이터는 난도가 높은 동작 구간이나 불안정한 상태를 과소 대표하여, 정책이 견고한 회복 전략을 탐색하는 것을 저해한다.

2. 방법론: Stubborn 프레임워크

저자들은 견고한 동작 추적과 자율적인 낙하 회복이 가능한 단일 정책을 학습하기 위해 설계된 간소화된 통합 RL 프레임워크인 Stubborn을 제안한다. 이 프레임워크는 비대칭 액터-크리틱(asymmetric Actor-Critic) 구조를 기반으로 하며, 세 가지 핵심 기술 구성 요소를 통합한다.

A. Yaw 정렬 추적 표현 (Yaw-Aligned Tracking Representation)

글로벌 드리프트와 헤딩(heading) 교란에 대한 민감도를 완화하면서 중력 관련 균형 정보를 보존하기 위해, Stubborn은 yaw 정렬 추적 표현을 채택한다. 이 방식은 참조 동작에서 글로벌 헤딩 회전을 제거함으로써, 정책이 절대적인 이동 및 헤딩 편차를 수정하는 대신 상대적인 신체 역학에 집중할 수 있도록 한다.

B. 베르누이 기반 확률적 종료 (PT) 메커니즘

루트 높이 오차($e_{root,z}$) 또는 방향 오차($e_{root}$)가 사전 정의된 임계값을 초과할 때 에피소드를 결정론적으로 종료하는 대신, Stubborn은 조건부 베르누이 종료 메커니즘을 사용한다.

• 메커니즘: 루트 높이 오차 또는 방향 오차가 임계값을 초과하면, 즉시 종료하는 것이 아니라 사용자가 지정한 확률($p_{term}$)에 따라 에피소드를 종료한다.
• 근거: 이는 확률적인 "회복 윈도우(recovery window)"를 생성한다. 에피소드가 지속될 경우, 정책은 별도의 회복 전용 보상 설계 없이도 탄력적인 행동을 탐색하고 창발적인 회복 행동을 학습하도록 유도된다.
• 파라미터화: 종료 확률은 물리적 회복 제약 조건으로부터 도출된다. 제어 주파수 50Hz와 목표 물리적 회복 시간 4초를 기준으로 할 때, 기대 생존 스텝은 200단계로 설정된다 ($p_{term} = 0.005$). 이는 99% 이상의 불안정한 에피소드가 최대 스텝 제한 전에 종료되도록 보장하여, TD(Temporal Difference) 왜곡을 완화하는 동시에 충분한 회복 탐색 시간을 허용한다.

C. 확률적 종료 및 추적 오차 기반 적응형 샘플링

PT 메커니즘 하에서는 에피소드 종료가 더 이상 확률적 종료로 인해 구간 난이도의 신뢰할 수 있는 지표가 되지 못한다. 이를 해결하기 위해 저자들은 온라인 추적 성능에 기반한 적응형 샘플링 전략을 제안한다.

• 가중치 업데이트: 현재 에피소드의 평균 키포인트 추적 오차($\bar{e}$)를 바탕으로 참조 프레임의 샘플링 가중치를 동적으로 재구성한다.
• 로직:
  • 평균 오차가 높을 경우 ($\bar{e} \ge \theta_{success}$), 해당 프레임들의 가중치를 높여 어려운 구간을 우선순위에 둔다.
  • 낮은 오차에도 불구하고 에피소드가 조기에 종료된 경우, 종료가 발생한 특정 구간에 집중하도록 가중치를 재분배한다.
  • 낮은 오차와 함께 에피소드가 최대 길이에 도달한 경우, 쉬운 구간에 대한 과잉 학습을 방지하기 위해 가중치를 약간 감소시킨다.
• 목표: 이 전략은 하드 종료 통계에 의존하지 않고도 어려운 동작 구간과 불안정한 상태에 대한 학습 빈도를 높여 학습 효율을 개선한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

1. 통합 정책 학습: 별도의 회복 컨트롤러나 다단계 학습 없이도 견고한 동작 추적과 낙하 회복을 달성하는 단일 정책을 구현한다.
2. 베르누이 기반 소프트 종료: 특화된 보상 엔지니어링 없이도 탄력적인 행동 학습을 장려하여 창발적인 회복 행동을 합성하는 메커니즘을 제공한다.
3. 적응형 샘플링 전략: 온라인 추적 오차와 확률적 종료에 따라 동적으로 조정되는 새로운 샘플링 분포를 통해, 어려운 동작 구간과 회복 상태를 효과적으로 타겟팅한다.

4. 실험 결과

프레임워크는 시뮬레이션(IsaacLab/MuJoCo) 및 실제 환경 모두에서 29-DoF Unitree G1 휴머노이드 로봇을 대상으로 LAFAN1 및 AMASS 데이터셋의 동작을 사용하여 평가되었다.

동작 추적 성능

상태 최신(SOTA) 베이스라인(HoloMotion, Any2Track, BFM-Zero, 그리고 From-scratch RL 베이스라인)과 비교했을 때, Stubborn은 우수한 추적 정확도를 달acia 성했다:

• MPBPE (루트 위치 오차): 62.68 mm (From-scratch)에서 48.85 mm로 감소.
• MPJVE (관절 속도 오차): 887.87 rad/s에서 624.03 rad/s로 감소.
• 이 방법은 전체 LAFAN1 데이터셋에 대해 낮은 표준 편차와 함께 안정적인 성능을 입증했다.

강건성 및 낙하 회복

강한 외부 섭동(5 m/s) 하에서의 절제 연구(Ablation study)는 제안된 구성 요소들의 효능을 입증했다:

• 확률적 종료 (PT): 전체 Stubborn 프레임워크는 엄격한 기준(0.15 m)과 완만한 기준(0.25 m) 모두에서 100% 회복 성공률을 달성했다. 반면, PT가 없는 변형 모델(w/o PT)은 각각 77.5%와 85.0%의 성공률을 보였다. PT 변형 모델은 또한 더 빠르게 수렴하며 더 적은 회복 스텝을 요구했다.
• 적응형 샘플링 (AdpS): 적응형 샘플링 전략의 포함은 특히 학습의 중간 및 후기 단계에서 관절 위치, 속도 및 가속도 오차를 더욱 감소시켰다.

실세계 배포

Unitree G1에 대한 실세계 실험을 통해 다양한 동적 동작(플립 및 아크로바틱 포함)을 추적하고, 외부 섭동을 견디며, 물리적 환경에서 낙하로부터 회복하는 정책의 능력을 확인했다.

5. 의의 및 주장

본 논문은 Stubborn이 동작 추적과 낙하 회복을 하나의 간소화된 프레임워크 내에서 통합하는 데 있어 중요한 진전임을 주장한다. 낙하 상태를 피하는 대신 자연스러운 전이를 활용함으로써, 이 프레임워크는 다단계 학습이나 별도의 회복 정책과 같은 구조적 복잡성 없이도 고정밀 추적과 강건성을 달성한다. 저자들은 제안된 확률적 종료 메커니즘과 적응형 샘플링 전략이 시뮬레이션 및 실세계 배포 모두에서 관찰된 성능 향상의 주요 동력이라고 단언한다.

결론적으로, 현재 프레임워크는 효과적이지만, 향후 연구는 심각한 낙하 이후의 민첩성과 부드러운 회복 동작을 개선하고, 더 도전적인 지형으로 프레임워크를 확장하는 데 집중할 것임을 밝히고 있다.