기술 요약: Human2Humanoid

문제 정의

인간의 움직임을 휴머노이드 로봇으로 리타겟팅하는 것은 원격 제어, 모방 학습 및 인간-로봇 상호작용을 위한 핵심적인 동력입니다. 그러나 이 작업은 두 가지 주요하고 결합된 문제에 직면해 있습니다:

1. 형태적 불일치 (Morphological Discrepancies): 골격 위상(topology), 사지 비율, 자유도(DoF) 측면에서 인간과 로봇의 체형 사이에 상당한 차이가 존재합니다. 단순한 기하학적 정렬은 신체 크기와 관절 구조가 급격히 다를 경우 동작의 의미론적(semantics) 보존에 실패하는 경우가 많습니다.
2. 데이터 부족 (Data Scarcity): 고품질의 동기화된 인간-로봇 동작 쌍을 획득하기는 매우 어려우며, 이를 다양한 로봇 체형에 걸쳐 확장하는 것도 불가능에 가깝습니다.
3. 물리적 타당성 (Physical Plausibility): 기존의 비쌍 데이터(unpaired) 방식(주로 컴퓨터 그래픽스 분야)은 시각적 타당성을 우선시하지만, 실행 가능한 관절 공간 궤적, 안정적인 지면 접촉 또는 로봇 특유의 운동학적 한계 준수를 보장하지 못합니다. 이는 발 미끄러짐(foot skating), 지면 침투, 신체 부유와 같은 아티팩트를 유발하여 실제 하드웨어에서 사용 불가능하게 만듭니다.

전통적인 최적화 기반 방식(예: 역기구학)은 해석 가능하지만 초기 조건과 튜닝에 민감하며, 형태적 불일치가 클 경우 의미론적으로 왜곡된 포즈를 생성할 수 있습니다. 반대로 지도 학습 방식은 드물게 존재하는 쌍 데이터를 필요로 하며, 기존의 비지도 생성 방식은 로봇 배포에 필요한 물리적 제약 조건을 결여하고 있습니다.

방법론

본 논문은 쌍 데이터 없이 인간의 동작을 휴머노이드 로봇으로 전이하기 위해 설계된 비지도 모션 리타겟팅 프레임워크인 Human2Humanoid를 제안합니다. 이 프레임워크는 CycleGAN 스타일의 아키텍처를 기반으로 구축되었으나, 형태와 물리를 처리하기 위한 특정 메커니즘을 통합하였습니다.

1. 네트워크 아키텍처

• 골격 인식 생성기 (Skeleton-Aware Generators): 포즈를 평면 벡터로 취급하는 방식과 달리, 생성기는 **골격 인식 그래프 합성곱 신경망(GCN)**을 채택합니다. 이는 인접 행렬(adjacency matrices)을 활용하여 골격 동작의 고유한 위상 구조를 명시적으로 모델링하고 국부적인 관절 상관관계를 포착합니다. 아키텍처는 SkeletonConv 레이어를 포함하는 인코더, 잠재 공간(latent space), 그리고 대상 위상을 복구하기 위한 언풀링(unpooling) 연산을 포함하는 디코더로 구성됩니다.
• 프레임 단위 포즈 판별기 (Frame-wise Pose Discriminator): 판별기는 프레임 단위로 작동하여, 단일 스칼라 점수로 수렴하는 대신 관절 수준에서 실재성을 평가합니다. 이는 국부적 실재성을 위한 관절 단위 브랜치와 포즈 일관성을 위한 전신 브랜치의 듀얼 브랜치 방식을 사용하며, 이를 결합하여 각 관절을 독립적으로 점수화합니다.

2. 핵심 손실 함수 및 제약 조건

도메인 간 격차를 해소하고 물리적 실행 가능성을 보장하기 위해, 프레임워크는 세 가지 특정 구성 요소를 도입합니다.

• 형태 불변 엔드 이펙터 일관성 손실 ($L_{EE}$):
  규모의 불일치(예: 인간의 팔 vs 컴팩트한 로봇 팔)를 처리하기 위해, 이 방법은 절대적인 데카르트 좌표를 정렬하는 대신 각 체형의 **T-포즈(T-pose)**를 기준으로 엔드 이펙터 궤적을 정렬합니다. T-포즈로부터의 변위를 체형의 신체 규모로 정규화함으로써, 이 손실 함수는 서로 다른 형태 사이에서도 동작의 의미론적 의미를 보존합니다.
  $$L_{EE} = \mathbb{E} \left[ \frac{1}{T|E|} \sum_{t=1}^{T} \sum_{k \in E} \left\| \frac{FK_k(q_B, t) - FK_k(q_B^{Tpose})}{S_B} - \frac{FK_k(\hat{q}_A, t) - FK_k(q_A^{Tpose})}{S_A} \right\|_2^2 \right]$$

• 물리 인지 가능성 제약 조건 (Physics-Aware Feasibility Constraints):
  비지도 생성에서 흔히 발생하는 아티팩트를 억제하기 위해 훈련 과정 중 명시적인 제약 조건이 부과됩니다:

  • 발 접촉 제약 조건 ($L_{con}$): 소스 인간 동작으로부터 접촉 상태를 추론하고(발 속도 기반), 접촉이 예상될 때 타겟 발의 속도를 처벌하여 발 미끄러짐을 억제합니다.
  • 발 높이 제약 조건 ($L_{hei}$): 소스의 발이 접촉 중일 때 타겟의 발이 명목상의 지면 높이 근처에 머물도록 하여 "부유" 현상을 처벌합니다.
  • 관절 한계 제약 조건 ($L_{lim}$): 하드웨어 손상이나 비상 정지를 방지하기 위해 예측된 관절 각도가 로봇의 기계적 한계($[q_{min}, q_{max}]$)를 초과하는 경우 처벌합니다.

• 전체 목적 함수:
  전체 생성기 손실은 표준 CycleGAN 목적 함수(Adversarial, Cycle-consistency, Identity)와 제안된 형태 및 물리 손실을 결합합니다:
  $$L_G = \lambda_{GAN}L_{GAN} + \lambda_{cyc}L_{cyc} + \lambda_{idt}L_{idt} + \lambda_{EE}L_{EE} + \lambda_{con}L_{con} + \lambda_{hei}L_{hei} + \lambda_{lim}L_{lim}$$

실험 결과

이 방법은 Motion-X(인간)와 PHUMA(로봇) 데이터셋을 사용하여 Unitree G1 휴머노이드 로봇에 대해 검증되었습니다.

• 다운스트림 제어 가능성: 시뮬레이션 내 고정된 트래킹 정책을 사용하여 평가되었습니다. Human2Humanoid는 모든 베이스라인(최적화 기반 방식인 PHC 및 GMR, 그리고 산업용 레퍼런스 포함) 중에서 **가장 높은 성공률(88.5%)**과 **가장 낮은 트래킹 오차(0.12)**를 달 기록했습니다.
• 물리적 실행 가능성: 이 방법은 접촉 아티팩트 억제에서 우수한 성능을 보였습니다. 가장 낮은 **지면 침투 깊이(0.05 cm)**를 달성했으며, 경쟁력 있는 발 미끄러짐 비율(4.7%)을 보여주었습니다. 이는 관절 한계 불연속성으로 고통받거나 지터링을 피하기 위해 동작마다 튜닝이 필요했던 최적화 기반 베이스라인들을 능가하는 결과입니다.
• 어블레이션 연구 (Ablation Study): 형태 불변 손실($L_{EE}$)을 제거했을 때 트래킹 성공률이 크게 저하되고 오차가 증가하여, 의미론적 보존에서의 역할을 확인했습니다. 물리 제약 조건($L_{con}, L_{hei}$)을 제거하면 발 미끄러짐과 지면 침투가 증가하여 물리적 타당성의 필요성을 입증했습니다.

주요 기여

1. Human2Humanoid 프레임워크: 이질적인 휴머노이드 로봇을 위한 비쌍(unpaired) 모션 리타겟팅 프레임워크로, 로봇 특유의 쌍 데이터에 대한 의존도를 낮춥니다.
2. 형태 불변 엔드 이펙터 일관성 손실: 각 체형의 T-포즈를 기준으로 정규화된 엔드 이펙터 궤적을 정렬함으로써, 큰 규모 불일치 상황에서도 동작의 의미론적 보존을 유지하는 새로운 손실 함수입니다.
3. 물리 인지 가능성 제약 조건: 접촉, 높이, 관절 한계 제약 조건을 생성 훈련 과정에 통합하여, 배포 시 치명적인 아티팩트인 발 미끄러짐과 지면 침투를 완화합니다.

의의 및 주장

본 논문은 Human2Humanoid가 쌍 데이터 없이도 인간의 동작 사전 지식(prior)과 실행 가능한 로봇 동작 사이의 간극을 성공적으로 메운다고 주장합니다. 비쌍 학습과 함께 형태 불변 의미론적 정렬 및 명시적 물리적 사전 지식을 결합함으로써, 이 프레임워크는 의미론적 충실도(인간 동작의 의도 보존)와 물리적 실행 가능성(로봇에 안전하고 안정적인 동작 보장) 사이의 견고한 균형을 달성합니다.

저자들은 기존 방식들이 민감한 최적화에 의존하거나 비용이 많이 드는 쌍 데이터 구축을 필요로 하는 반면, 본 접근 방식은 고품질의 트래킹 가능한 참조 동작을 생성하는 확장 가능한 솔루션을 제공한다고 강조합니다. 결과는 제안된 방법이 "체형 격차(embodiment gap)"를 처리하는 데 특히 효과적이며, 현재의 최첨단 베이스라인들보다 더 높은 신뢰도로 복잡한 인간의 동작을 재현할 수 있음을 시사합니다. 향arian 향후 연구 과제로 비휴머노이드 로봇으로의 일반화 및 전신 제어 정책과의 엔드 투 엔드 결합을 언급하였습니다.