기술 요약: 비디오 기반 인간형 로봇 모방 학습을 위한 직접 동적 리타게팅

문제 정의

모방 학습 (IL) 은 전문가 시연을 활용하여 인간형 로봇에게 복잡한 기술을 가르치는 확장 가능한 경로를 제공합니다. 최근 단안 비디오에서 인간의 포즈를 추출하는 기술이 발전했지만, 이러한 인간 운동을 인간형 로봇으로 변환하는 과정은 근본적인 도전 과제인 형태적 불일치에 직면해 있습니다. 인간과 로봇은 운동학 (사지 비율, 관절 제한) 및 동역학 (질량 분포, 관성, 구동 한계) 에서 현저한 차이를 보입니다.

현재 최첨단 접근 방식은 일반적으로 2 단계 파이프라인에 의존합니다:

1. 기하학적 리타게팅 (GR): 역운동학 (IK) 을 사용하여 인간 키 포인트를 로봇 구성에 매핑하며, 동적 제약을 무시합니다.
2. 간접 동적 리타게팅 (IDR): 물리 시뮬레이터 내에서 GR 출력을 정제하여 동적 실현 가능성을 보장합니다.

저자들은 이러한 패러다임의 치명적인 결함을 지적합니다. GR 의 중간 IK 단계는 기하학적 편향을 도입합니다. 운동학적으로 유효하지만 동적으로 실현 불가능한 궤적으로 탐색 공간을 제한함으로써, 후속 IDR 최적화는 진정한 동적 최적점에서 벗어나 편향됩니다. 이로 인해 하위 강화 학습 (RL) 에이전트에게 비최적의 동적 행동, 추적 오차, 그리고 학습 효율성 저하가 발생합니다.

방법론: 직접 동적 리타게팅 (DDR)

중간 기하학적 투영의 한계를 극복하기 위해, 저자들은 노이즈가 포함된 비디오 데이터로부터 직접 동적으로 실현 가능한 궤적을 생성하는 단일 단계 프레임워크인 **직접 동적 리타게팅 (DDR)**을 제안합니다.

핵심 프레임워크

• 수식화: 문제는 구성 공간이 아닌 작업 공간 (키 포인트 궤적) 에서 수식화됩니다. 목표는 로봇 키 포인트 궤적과 전문가 참조 $x_{ref}$ 사이의 거리를 최소화하는 제어 시퀀스 $U$를 찾는 것이며, 이때 궤적이 로봇이 물리적으로 달성 가능한 실현 가능성 집합 $\mathcal{F}_{q_0}$ 내에 있어야 한다는 제약 조건이 부과됩니다.
• 최적화 솔버: 저자들은 교차 엔트로피 방법 (CEM) 을 사용하는 샘플링 기반 모델 예측 제어 (MPC) 솔버를 채택합니다.
  • 엄격하게 미리 정의된 접촉 시퀀스를 필요로 하는 경사 기반 솔버 (예: Crocoddyl) 와 달리, CEM 의 샘플링 기반 특성은 노이즈가 있는 비디오 데이터에서 파생된 접촉 식별의 모호성을 본질적으로 처리할 수 있게 합니다.
  • 최적화는 증강된 거리 지표를 최소화하며, 이는 공간 추적 항과 라플라시안 행렬을 사용하는 상대적 형태 매칭 항으로 구성됩니다. 이는 시연의 국부적 구조적 형태를 보존하면서 전역 이동/회전을 패널티로 부과합니다.
• 입력 데이터: 파이프라인은 SMPL 모델을 통해 단안 비디오에서 인간 키 포인트를 추출하는 VideoMimic 프레임워크를 활용합니다. 참조 신호에는 몸통, 어깨, 손, 발의 궤적이 포함됩니다.

모방 학습 통합

고충실도 동적 실현 가능 참조 궤적이 오프라인으로 생성되면, 폐루프 RL 정책으로 증류됩니다.

• 정책 훈련: 제약 조건이 있는 마코프 결정 과정 (CMDP) 이 액터-크리틱 아키텍처 (IsaacLab 의 skrl 라이브러리를 통한 PPO) 를 사용하여 해결됩니다.
• 보상 구조: 보상 함수는 DeepMimic 접근 방식을 따르며, 관절 위치, 속도, 루트 포즈, 엔드 이펙터 위치의 편차를 패널티로 부과하고 안전 제약 (관절 한계, 토크, 발 미끄러짐) 을 강제합니다.
• 목표: 결과적으로 생성된 정책은 DDR 참조를 강력하게 추적하도록 설계되어, 초기화 변화 및 외부 교란으로부터 복구하여 시뮬레이션에서 현실로의 전이 (sim-to-real transfer) 를 용이하게 합니다.

주요 기여

1. 새로운 프레임워크: GR/IDR 파이프라인의 중간 기하학적 편향을 우회하여 비디오 시연으로부터 직접 동적으로 실현 가능한 인간형 궤적을 생성하는 CEM 기반 MPC 프레임워크인 DDR 의 도입.
2. 정량적 우수성: 중간 기하학적 편향을 제거함으로써 리타게팅 정확도가 크게 향상됨을 입증. 물리적 일관성과 시연 추적 측면에서 다양한 민첩한 동작에 걸쳐 GR 및 IDR 베이스라인을 능가함.
3. 하위 학습 효율성: 물리적으로 실현 가능한 참조를 RL 에이전트에 제공함으로써 훈련 수렴을 가속화하고 민첩성 및 균형 유지 행동의 최종 수행을 향상시킨다는 실험적 증거.
4. 현실 세계 검증: Unitree H1-2 인간형 로봇에서의 성공적인 배포. 작업별 수동 튜닝 없이 복잡한 동작 (스쿼트, 쿵푸, 권총 스쿼트, 균형 유지) 에 대한 제로샷 시뮬레이션 - 현실 전이 달성.

실험 결과

저자들은 다섯 가지 민첩한 동작 (스쿼트, 쿵푸, 한 발 균형, 권총 스쿼트, 균형 막대) 데이터셋을 사용하여 DDR 을 GR 및 IDR 베이스라인과 비교 평가했습니다.

• 물리적 실현 가능성: GR 은 접촉 동역학을 무시하여 물리적으로 실현 불가능한 세그먼트의 비율이 높았습니다 (예: 스쿼트 21.74%, 한 발 균형 28.38%). DDR 과 IDR 은 대부분의 작업에서 거의 완벽한 실현 가능성 (0.00%) 을 달성했습니다.
• 접촉 시퀀스 정확도: DDR 은 기준 진실 (ground truth) 에 비해 일관되게 가장 낮은 접촉 시퀀스 오류율을 보였습니다. IDR 은 DDR 보다 성능이 떨어졌으며, 이는 GR 초기화가 최적 접촉 단계를 찾는 IDR 의 능력을 방해하는 운동학적 편향을 도입함을 확인시켜 줍니다.
• 성공률: 확률적 시험에서 DDR 은 IDR 보다 훨씬 높은 성공률을 달성했습니다. 예를 들어, "균형 막대" 작업에서 IDR 의 성공률은 0% 였지만 DDR 은 66.67% 를 달성했습니다. 이는 GR 로 인한 드리프트가 종종 IDR 솔버를 불안정 영역으로 끌어당긴다는 것을 나타냅니다.
• 추적 정확도: GR 은 실현 가능성을 무시함으로써 낮은 원시 추적 오차를 보였으나, DDR 은 물리적 유효성을 유지하면서 동등하거나 더 나은 추적 정확도를 달성했습니다. IDR 은 DDR 에 비해 일관되게 저조한 성능을 보였으며, 이는 기하학적 편향의 부정적 영향을 추가로 검증합니다.
• RL 수렴: DDR 참조로 훈련된 정책은 GR 또는 IDR 참조로 훈련된 정책보다 더 빠르게 수렴하고 더 높은 최종 누적 보상을 달성했습니다. 예를 들어, "권총 스쿼트" 작업에서 DDR 은 79.6k 스텝에서 최종 보상의 90% 에 도달한 반면, GR 은 128.4k, IDR 은 93.5k 스텝이 소요되었습니다.

중요성 및 한계

이 논문은 DDR 이 현재 리타게팅 파이프라인에 내재된 "기하학적 편향"을 해결함으로써 중요한 진전을 이루었다고 주장합니다. 물리 인식 솔버를 사용하여 작업 공간에서 직접 최적화함으로써 DDR 은 더 강력하고 효율적인 모방 학습으로 직접 전환되는 고충실도 참조를 제공합니다.

겸손한 주장 및 한계:
저자들은 DDR 이 한계가 없지 않음을 인정합니다:

• 목적 함수가 순수하게 작업 공간에서 정의되므로, 특정 시나리오에서 조건이 나쁜 해(solution) 나 느린 수렴으로 이어질 수 있습니다.
• 성능은 현재 수동 튜닝이 필요한 작업 공간 가중치 및 초기화에 민감하게 반응합니다.
• 현재 프레임워크는 특정 동작으로 제한되어 있으며, 야생 웹 비디오에서 얻은 크고 다양한 운동 변수 집합을 처리하기 위해 추가적인 확장성이 필요합니다.

결론적으로, 이 연구는 중간 운동학적 투영을 우회함으로써 추적 정확도와 하위 RL 훈련 모두에 우수한 물리적으로 실현 가능한 참조를 생성할 수 있음을 입증했으며, 전체 크기 인간형 로봇에 대한 엄격한 시뮬레이션 및 현실 세계 배포를 통해 검증되었습니다.