기술 요약: 학습된 포인트 클라우드 대응 관계를 이용한 휴머노이드용 통합 모션 리타겟팅 (Unified Motion Retargeting for Humanoids with Learned Point Cloud Correspondence)

문제 정의

휴머노이드 로봇은 걷기, 조작, 물리적 상호작용과 같은 복잡한 전신 동작을 학습하기 위해 대규모의 고품질 모션 데이터가 필요합니다. 인간의 모션 데이터는 확장 가능한 코퍼스를 제공하지만, 이를 로봇에 직접 참조 궤적으로 사용하는 것은 신체 비율, 관절 토폴로지, 자유도(DoF), 운동학적 제약 조건 등 상당한 형태학적 차이로 인해 불가능합니다.

기존의 리타겟팅 방식은 주로 **골격 중심(skeleton-centric)**입니다. 이들은 특정 인간 관절과 로봇 링크 사이의 수동으로 정의된 일대일 매핑에 의존합니다. 이러한 접근 방식은 다음과 같은 몇 가지 한계를 가집나다:

1. 확장성 부족: 새로운 로봇 형상으로 전환하려면 골격 대응 관계를 다시 정의하고 피팅 파라미터를 다시 튜닝해야 합니다.
2. 희소한 가이드: 관절 수준의 표현은 모션을 이산적인 지점에서만 제한하므로, 미세한 포즈 정렬과 신뢰할 수 있는 접촉 전달을 위한 충분한 기하학적 정보를 제공하지 못합니다.
3. 수동 의존성: 리타겟팅의 품질은 수동적인 시맨틱 설계에 크게 의존하며, 이는 다양한 모션 소스와 로봇 형태에 대한 일반화 능력을 제한합니다.

메쉬 기반 표현은 더 밀도 높은 기하학적 정보를 제공하지만, 현재의 방법들은 사전 정의된 골격 맵 없이 서로 다른 형상 간에 일관된 표면 대응 관계를 구축하는 데 어려움을 겪는 경우가 많습니다.

방법론: 통합 모션 리타겟팅 (Unified Motion Retargeting, UMR)

저자들은 외부 포인트 클라우드를 통일된 인터페이스로 취급함으로써, 소스 특유의 골격 시맨틱 및 로봇 특유의 토폴로지로부터 리타겟팅을 분리하는 통합 모션 리타겟팅(UMR) 프레임워크를 제안합니다. UMR은 두 가지 주요 단계로 작동합니다.

1. 포인트 클라우드 대응 관계 학습 (Point Cloud Correspondence Learning)

이 단계는 소스 인간 표면과 타겟 로봇 표면 사이에 재사용 가능하고 밀도가 높으며 순서가 정해진 대응 관계를 구축합니다.

• 입입력: 소스 인간(예: SMPL-X, SOMA, 스캔된 메쉬)과 타겟 로봇 모두에 대한 표준 T-포즈(canonical T-pose).
• 과정:
  • 인간 포인트 클라우드($X_h$)는 정렬되어 고정된 인덱스를 제공합니다.
  • 로봇 포인트 클라우드($X_r$)는 정렬되지 않은 상태입니다.
  • PointNet 스타일의 인코더($E_\theta$)가 $X_r$을 처리하여 잠재 표현(latent representation)을 생성합니다.
  • MLP 디코더($D_\theta$)는 각 인덱싱된 인간 포인트에 대한 변형 벡터(deformation vector)를 예측하여, 그에 대응하는 로봇 포인트 클라우드($\hat{X}_r$)를 재구성합니다.
  • 학습 목적 함수: 모델은 다음을 포함하는 복합 손실 함수($L_{corr}$)를 최소화합니다:
    • Chamfer Distance ($L_c$): 재구성된 포인트들이 타겟 기하 구조를 커버하도록 보장합니다.
    • Repulsion Term ($L_r$): 여러 포인트가 동일한 영역으로 붕괴되는 것을 방지합니다.
    • Edge Smoothness ($L_e$): 지오데식 그래프(geodesic graph) 상에서 연결된 포인트들 사이의 일관된 변형 벡터를 강제합니다.
• 결과: 신체가 움직임에 따라 지속되는 고정된 쌍(paired) 포인트 세트를 생성하여, 로봇 포인트가 수동 매핑 없이도 인간의 신체 세그먼트 레이블을 상속받을 수 있게 합니다.

2. 대응 관계 가이드 리타겟팅 (Correspondence-Guided Retargeting)

이 단계는 제약 조건을 만족하면서 소스 모션에 맞추기 위해 프레임 단위로 로봇의 일반화 좌표($q_t$)를 최적화합니다.

• 최적화 목적 함수: 시스템은 다음 잔차(residual)들의 합을 최소화합니다:
  • 포즈 잔차 ($r_p$): 쌍을 이룬 포인트들의 위치와 국부적 표면 방향을 모두 일치시킵니다.
  • 접촉 잔차 ($r_c$): 접촉 맵을 직접 전달합니다. 접촉 벡터는 바디 포인트와 환경의 가장 가까운 포인트(또는 자기 접촉의 경우 다른 바디 세그먼트) 사이의 차이로 정의됩니다.
• 제약 조건: 최적화는 제약 조건이 있는 가우스-뉴턴 이차 계획법(Gauss-Newton Quadratic Programming, QP) 문제로 정식화됩니다. 이는 다음을 강제합니다:
  • 관절 한계 ($q^-, q^+$).
  • 바닥 돌출 방지 (발이 바닥을 뚫고 들어가는 것을 방지).
  • 안정성을 위한 신뢰 영역(trust-region) 반경.
• 메커니즘: 학습된 포인트 쌍은 기하학적 앵커 역할을 합니다. 소스 메쉬가 변형됨에 따라, 쌍을 이룬 로봇 포인트들은 최적화 도구에 미세한 타겟을 제공하여, 수동으로 설계된 연관 관계 없이도 표면 수준의 정렬과 직접적인 접촉 전달을 가능하게 합니다.

주요 기여

1. 통합 표면 중심 프레임워크: UMR은 표면 포인트 클라우드로부터 밀도 높은 소스-로봇 대응 관계를 학습하여, 수동으로 정의된 골격 또는 바디 매핑의 필요성을 제거합니다. 이는 다양한 모션 표현(SMPL-X, SOMA, 스캔된 메쉬)과 다양한 로봇 형상을 지원합니다.
2. 효율적인 리타겟팅 파이프라인: 이 프레임워크는 모든 모션에 대해 공유되는 재사용 가능한 대응 관계 설정을 활용합니다. 이는 표면 수준의 포즈 매칭과 직접적인 접촉 맵 전달을 가능하게 하여, 리타겟팅 과정을 특정 소스 시맨틱으로부터 분리합니다.
3. 체계적인 다운스트림 평가: 저자들은 전신 추적, 대규모 정책 학습, 접촉이 풍부한 상호작용 작업에 걸친 종합적인 평가를 통해 프레임워크의 다재다형성을 입증했습니다.

실험 결과

실험은 주로 Unitree G1 휴머노이드 로봇을 사용하여, 트래킹에는 LAFAN1 데이터셋을, 정책 학습에는 BONES-SEED를 사용하였습니다.

• 모션 트래킹: UMR은 트래킹 성공률 측면에서 특히 "낙하 후 일어나기(Fall and GetUp)" 및 "싸우기(Fight)"와 같이 까다로운 동작에서 기존의 최첨단 베이스라인(GMR 및 Unitree의 독자적 리타겟팅)보다 우수한 성능을 보였습니다. 도메인 랜덤화 및 Sim2Sim 설정 하에서도 UMR은 모든 모션 카테로리에 걸쳐 우수한 성능을 유지했습니다.
• 트래킹 정확도: UMR은 베이스라인에 비해 더 낮은 평균 관절 각도 오차와 경쟁력 있는 바디 파트 위치 오차를 달성했습니다.
• 대규모 정책 학습: SONIC 프레임워크 내에서, UMR으로 리타겟팅된 데이터로 학습된 정책은 보조 SMPL 인코더 없이도 GMR로 리타겟팅된 참조 데이터로 학습된 정책에 비해 총 보상(total reward)과 트래킹 오차 측면에서 일관된 개선을 보여주었습니다.
• 접촉이 풍부한 상호작용: 로봇-물체(Carry, Kick, Push) 및 로봇-장면(Stair, Slope) 상호작용 작업에서 UMR은 OmniRetarget을 크게 앞질렀습니다.
  • UMR은 의도된 접촉 기하 구조(예: 손-물체 접촉)를 보존한 반면, OmniRetarget은 접촉을 잘못된 표면 영역으로 이동시키는 경우가 많았습니다.
  • UMR으로 학습된 정책은 물체 상호작용 작업에서 관절 트래킹 오차를 40~56% 감소시켰습니다.
  • UMR은 노이즈가 있는 인간 모션 소스(비디오에서 재구성된)에 대해서도 계단 이동 및 경사로 작업에서 베이스라인보다 뛰어난 강건성을 보여주었습니다.
• 실제 환경 배포: UBR이 생성한 고충실도 참조 데이터는 고역동적 동작(스핀 킥) 및 다양한 상호작용(공 집기, 계단 이동)에 대해 물리적 로봇에 대한 성공적인 정책 학습 및 배포를 가능하게 했습니다.

의의 및 주장

본 논문은 UMR이 대규모의 이질적인 인간 모션 참조를 로봇 학습용 데이터로 변환하는 확장 가능한 기반을 제공한다고 주장합니다. 희소하고 수동으로 설계된 골격 대응 관계에서 학습된 밀도 높은 표면 대응 관계로 전환함으로써, UMR은 다음과 같은 성과를 거두었습니다:

• 리타겟팅을 특정 소스 시맨틱 및 로봇 토폴로지로부터 분리하여, 단일 프레임워크가 다양한 형상을 처리할 수 있도록 합니다.
• 복잡한 조작 및 장면 상호작용에 필수적인 미세한 기하학적 정렬과 직접적인 상호작용 접촉 전달을 가능하게 합니다.
• 밀도 높은 표면 대응 관계가 인간과 휴머노이드 사이의 형태학적 격차를 메우는 효과적인 인터페이스임을 입증하였으며, 이는 기존의 최첨단 방식보다 더 높은 모션 충실도와 타당성을 이끌어냅니다.

저자들은 현재의 한계점, 특히 메쉬 기반 소스 기하 구조 및 표준 템플릿에 대한 접근 권한 가정에 대해 인정하며, 비구조화된 관측값 및 정교한 손과 같은 더 복잡한 관절 구조로 프레임워크를 확장하는 것을 향후 과제로 제시했습니다.