기술 요약: LooperMuscle

문제 정의

휴머노이드 전신 트래킹(Whole-Body Tracking, WBT)을 위해서는 모든 관절에 걸쳐 다양하고 고차원적인 인간의 움직임을 충실히 재현할 수 있는 정책(Policy)이 필요합니다. FastSAC와 같은 오프-폴리시(Off-policy) 강화학습(RL) 알고리즘은 PPO와 같은 온-폴리시(On-policy) 방식(~6시간)에 비해 훈련 시간을 획기적으로 단end(예: ~15분)로 단축했지만, 심각한 "속도-성능 격차(speed–performance gap)" 문제를 겪습니다. WBT 작업에서 FastSAC는 종종 PPO보다 현저히 낮은 트래킹 품질을 보입니다.

저자들은 이 격차를 유발하는 세 가지 상호 연관된 구조적 한계를 식별했습니다:

1. 단일 정책의 한계 (Monolithic Policy Limitations): 단일 네트워크 정책은 신체 부위 간의 이질적인 역학(예: 하체의 균형 안정성 대 상체의 표현력)을 처리하는 데 어려움을 겪으며, 이로 인해 차선책을 선택하게 됩니다.
2. 스칼라 가치 함수의 한계 (Scalar Value Limitations): 표준 스칼라 가치 함수는 단일한 통합 품질 추정치만을 제공하므로, 고차원 공간에서 개별 신체 부위에 대한 크레딧 할당(Credit Assignment)을 어렵게 만듭니다.
3. 균등 리플레이의 한계 (Uniform Replay Limitations): 표준 경험 리플레이는 모든 전이(Transition)를 동일하게 취급하여, 지배적인 정책 구성 요소가 그래디언트 신호를 독점하는 반면 성능이 낮은 구성 요소는 정체되게 만듭니다.

방법론: LooperMuscle

LooperMuscle은 세 가지 밀접하게 결합된 메커니즘을 폐쇄형 훈련 루프(Closed Training Loop)에 통합하여 속도-성능 격차를 해소하도록 설계된 복합 전문가 액터-크리틱(Composed Expert Actor-Critic) 프레임워크입니다.

1. 안티-콜랩스 게이팅을 갖춘 다중 전문가 액터 (Multi-Expert Actor with Anti-Collapse Gating)

단일 네트워크 대신, 정책을 $K$개의 전문가 네트워크(Muscle Units)로 분해합니다.

• 구조: 리크루트먼트 네트워크(Recruitment Network)가 의미론적 관절 그룹(예: 상체 대 하체)에 대한 게이팅 가중치 $w_{k,g}$를 계산합니다.
• 융합: 최종 동작은 학습 가능한 관절별 스케일링 계수($S_{k,j}$)와 출력 정렬 계수($c_k$)에 의해 조절되는 전문가 출력의 가중 합으로 결정됩니다. 이를 통해 거친 그룹 수준의 모집(Recruitment)과 미세한 관절별 조절이 가능해집니다.
• 안티-콜랩스 (Anti-Collapse): KL-다이버전스 기반의 로드 밸런싱 정규화(Load-balance Regularizer)는 특정 전문가가 지배하는 "게이트 붕괴(Gate Collapse)" 현상을 방지하여, 약한 전문가들도 훈련 전반에 걸쳐 활성화되고 전문화될 수 있도록 보장합니다.

2. 전문가 인지 분포형 크리틱 (Expert-Aware Distributional Critic)

크레딧 할당 문제를 해결하기 위해, 크리틱 구조를 액터의 전문가 구조와 동형(Isomorphic)으로 만듭니다.

• 전문가별 헤드: 단일 스칼라 헤드 대신, 크리틱은 각 전문가를 위한 분포형 가치 함수(Distributional Value Function, DVF) 헤드를 유지하며, 점 추정치가 아닌 수익 분포를 모델링합니다.
• 집계: 이러한 전문가별 분포는 액터에서 사용된 것과 동일한 게이팅 가중치를 사용하여 집계됩니다. 이는 가치 구조가 동작 구조를 반영하도록 보장하여, 특정 전문가에 대한 더 미세한 크레딧 할당을 가능하게 합니다.
• 안정성: 이 설계는 Soft Actor-Critic(SAC)의 듀얼 크리틱 안정성을 유지하면서 분포형 RL의 이점(예: 고역동성 동작에서의 편향 감소)을 활용합니다.

3. 지연 스케줄링을 포함한 쿼터 라우팅 리플레이 (Quota-Routed Replay with Deferred Scheduling)

지배적인 전문가가 훈련 데이터를 압도하는 것을 방기하기 위해, 리플레이 버퍼는 기여도 기반 라우팅 샘플링 전략을 채택합니다.

• 기여도 태깅: 전이는 각 전문가의 동작 기여도 크기에 기반하여 전문가 기여 벡터와 함께 태깅됩니다.
• 쿼터 샘플링: 미니 배치는 모든 전문가가 할당된 쿼터에 비례하여 훈련 노출을 보장하도록 구성되어, 강한 전문가는 개선되는 반면 약한 전문가는 정체되는 피드백 루프를 방지합니다.
• 지연 스케줄링: 어려운 샘플(트래킹 오차가 높은 샘플)은 "지연 버킷(Deferred Buckets)"으로 라우팅됩니다. 이들은 훈련 진행도($\rho$)에 따라 동적으로 방출되어, 초기에는 안정적인 수렴을 보장하고 훈련이 진행됨에 따라 점진적으로 성능 상한선을 높입니다.

폐쇄 루프 통합 (Closed-Loop Integration)

이 세 가지 구성 요소는 하나의 폐쇄 루프를 형성합니다: 전문가 기여도가 데이터 라우팅을 가이드하고, 라우팅된 데이터가 가치 학습을 형성하며, 가치 그래디언트가 전문가 전문화를 정교화합니다. 이러한 상호 강화는 LooperMuscle을 단순히 독립적인 모듈을 쌓아 올린 것과 차별화합니다.

주요 결과

본 방법론은 6가지 카테고리(걷기, 달리기, 점프, 댄스, 격투, 넘어지고 일어나기)에 걸친 40개의 LAFAN1 모션 시퀀스를 사용하여 29-DoF Unitree G1 휴머노이드에서 평가되었습니다.

• 속도-품질 트레이드오프:
  • PPO: 가장 높은 트래킹 품질(정규화된 보상: 1.0)을 달성하지만 약 6시간의 훈련이 필요합니다.
  • FastSAC-MLP: 약 15분 만에 훈련되지만 상당히 낮은 품질(정규화된 보상: 0.648; 신체 오차: 0.153m)을 보입니다.
  • LooperMuscle: 약 45분 만에 훈련되며, 정규화된 보상 0.723을 달고 FastSAC-MLP 대비 신체 트래킹 오차를 34.0% 감소(0.153m에서 0.101m로)시켰습니다. 이는 PPO와의 격차를 상당 부분 회복하면서도 PPO보다 약 8배 빠릅니다.
• 일반화: 개선 효과는 모든 모션 카테고리에서 일관되게 나타났으며, "넘어지고 일어나기"와 같이 난이도가 높고 접촉이 많은 작업에서 가장 큰 이득(최대 40.6% 오차 감소)이 관찰되었습니다.
• 어블레이션 (Ablation): 단일 구성 요소(MoE 액터, 쿼터 리플레이, 지연 스케줄링 또는 전문가 인지 크리틱)를 제거하면 성능 저하가 발생하여, 통합된 설계의 필요성을 확인했습니다. MoE 액터를 제거했을 때 가장 큰 성능 저하(+51.5% 오차)가 발생했으며, 이는 전문가 분해가 표현력 향상의 주요 원인임을 강조합니다.
• 실제 환경 배포: 학습된 정책은 Holosoma 런타임 스택을 사용하여 실제 Unitree G1에 성공적으로 배포되었습니다. 관측 인터페이스의 차이(특권 시뮬레이터 상태 제거)로 인해 처음부터 다시 훈련해야 했음에도 불구하고, 로봇은 안정적이고 표현력 있는 전신 쿵푸 시퀀스를 수행했습니다.

의의 및 주장

본 논문은 LooperMuscle이 지속적인 휴머노이드 전신 트래킹의 "속도-성능 격차"를 성공적으로 해결했다고 주장합니다. 전문가 기반 혼합 모델(Mixture-of-Experts) 프레임워크를 전문가 인지 가치 추정 및 기여도 기반 데이터 할당과 결합함으로써, 이 방법은 오프-폴리시 방식 특유의 빠른 훈련 시간을 유지하면서도 트래킹 품질을 PPO 수준 근처로 회복시켰습니다.

저자들은 이 접근 방식이 시뮬레이션-투-리얼(Sim-to-Real) 개발을 위한 빠른 정책 반복에 실질적인 효율성을 제공한다고 강조합니다. 본 연구는 정책을 단일 네트워크가 아닌 전문화된 전문가들로 분해하는 것이 고차원 휴머노이드 제어에서 광범위하게 유익한 설계 원칙임을 입증하며, 이는 온-폴리시(PPO)와 오프-폴리시(FastSAC) 패러다임 모두에서 효과적입니다. 성공적인 실제 배포는 학습된 정책의 실용적인 적용 가능성을 검증합니다.