기술 요약: LIMMT (모션 트래킹을 위한 '적을수록 더 많다')

문제 정의

물리 기반 휴머노이드 모션 트래킹은 참조 모션 라이브러리를 배포 가능한 물리적으로 근거 있는 행동으로 변환하는 것을 목표로 한다. 이 분야는 AMASS와 같은 스튜디오 품질의 데이터셋부터 인터넷 규모의 비디오 재구성 데이터에 이르기까지 모션 캡처(MoCap) 코퍼스의 급격한 확장을 경험해 왔으나, "더 많은 데이터가 더 나은 일반화로 이어진다"는 가정이 물리 기반 모방 강화 학습(RL)에서는 일관되게 성립하지 않는다는 점이 발견되었다.

무분별한 데이터셋 스케일링은 체계적인 아티팩트(예: 시간적 지터, 발 미끄러짐, 지면 관통, 비현실적인 접촉)를 유입시켜 모방 신호를 오염시킨다. 이러한 저품질 클립은 취약한 솔루션을 초래하거나, 보상 해킹(reward hacking)을 유발하거나, 훈련 초기 단계에서 하위 최적점(suboptimal attractors)으로 수렴하게 만든다. 또한, 방대한 라이브러리로 훈련하는 것은 참조 샘플링, 커리큘럼 설계 및 장기 최적화 비용을 증가시켜 계산 비용을 높인다. 본 논문은 현재의 과제가 데이터의 양이 부족한 것이 아니라, 최적화 궤적을 저해하는 노이즈와 중복성의 존재에 있다고 주장한다.

방법론: 일반 품질 선택 (General Quality Selection, GQS)

저자들은 GQS 파이프라인을 중심으로 한 데이터 중심 프레임워크인 LIMMT(Less Is More for Motion Tracking)를 제안한다. GQS는 모션 데이터의 품질을 물리적 타당성(physics feasibility), 동작 다양성(action diversity), **동작 복잡성(action complexity)**이라는 세 가지 상호 보완적인 차원을 통해 구체화한다. 이 파이프라인은 3단계의 계층적 프로세스로 설계되었다.

1단계: 물리 기반 타당성 필터링 (Physics-Based Feasibility Filtering)

원시 운동학 데이터셋은 종종 휴머노이드 로봇의 강체 제약 조건을 위반한다. 이 단계는 표현 학습에 영향을 미치기 전에 물리적으로 불가능한 동작을 제거하는 이진 게이트 역할을 한다.

• 하드 제약 조건: 0.5초보다 짧은 궤적이나 안전 마진(0.05 rad/s)을 초과하는 관절 속도 위반이 있는 궤적은 폐기된다.
• 소프트 스코어링: 6가지 위반 모드에 대한 가중치 페널티를 기반으로 합성 타당성 점수($S_{phy}$)를 계산한다.
  • 독성 아티팩트(Toxic Artifacts): *플로팅(Floating, 지지력 결여)*과 *발 미끄러짐(Foot Sliding)*은 모방-RL에 치명적이므로 높은 페널티를 부여한다.
  • 중립/안전(Neutral/Safety): *지면 관통(Ground Penetration)*과 *자기 충돌(Self-Collision)*은 중간 가중치를 부여받는다.
  • 우호적/역동적(Friendly/Dynamic): *고속(High Velocity)*과 *저크(Jerk)*는 이러한 "격렬한" 동작을 필터링하는 것이 유용한 역동적 신호를 제거하여 성능을 저하시킨다는 저자들의 발견에 따라 가볍게 페널티를 주거나 아예 주지 않는다.
• 결과: $S_{phy} \ge 90$인 동작만이 유지된다.

2단계: 다양성을 위한 시맨틱 모션 임베딩 (Semantic Motion Embedding for Diversity)

중복성을 해결하기 위해, 프레임워크는 단순한 유클리드 거리 기반의 포즈 차이를 넘어 구조적 및 리드미컬한 유사성을 포착한다.

• 주기적 오토인코더 (Periodic Autoencoder, PAE): 모션을 진폭($A$), 주파수($F$), 위상 변화($\phi$), 오프셋($b$)이라는 동적 파라미터로 분해하도록 훈련된다.
• 글로벌 임베딩: PAE는 물리적 규모와 시간적 주파수를 보존하기 위해 결정론적 매핑을 사용한다. 글로벌 임베딩은 모션 시퀀스 전체에 걸쳐 진폭과 주파수 벡터($[A, F]$)를 평균화하여 생성되며, 이는 위상 불변(phase-invariant) 표현을 만든다.
• 메트릭 공간: 이 잠재 공간에서의 거리는 표면적인 포즈 차이가 아닌 행동적 다양성(예: 보행 스타일, 운동 능력)을 반영한다.

3단계: 다양성 인지 및 복잡성 가중치 기반 서브셋 선택 (Diversity-Aware, Complexity-Weighted Subset Selection)

마지막 단계에서는 **글로벌 가중 최장 거리 점 샘플링(Global Weighted Farthest Point Sampling, FPS)**을 사용하여 압축된 훈련 라이브러리를 선택한다.

• 복잡도 메트릭: 복잡도 점수($C(x)$)는 운동 에너지와 가속도 크기를 기반으로 계산되며, 이는 움직임의 강도와 급격함을 나타낸다.
• 하이브리드 스코어링: 선택 알고리즘은 다음의 하이브리드 점수를 최대화한다:
  $$\text{Score}(u) = \alpha \cdot \hat{D}(u, S) + (1 - \alpha) \cdot \hat{C}(u)$$
  여기서 $\hat{D}$는 임베딩 공간에서의 가장 가까운 이웃과의 정규화된 거리(다양성)이고, $\hat{C}$는 정규화된 복잡도이다.
• 전략: 프로세스는 가장 높은 복잡도를 가진 모션을 앵커(anchor)로 설정하여 시작한다. 이후 반복 과정에서 기하학적 거리(광범위한 커버리지를 보장하기 위함)를 우선시하되, 후보군이 기하학적으로 동일한 거리에 있을 경우 역동적으로 더 풍부한 동작에 편향을 부여한다.

주요 기여

1. 데이터 중심 관점: 본 논문은 "품질"이 "양"보다 중요하다고 재정의하며, 물리적 타당성, 동작 다양성, 복잡성이 물리 기반 RL에서 견고한 트래킹을 결정하는 핵심 요소라고 주장함으로써 맹목적인 스케일링 가설에 도전한다.
2. GQS 프레임워크: 물리적 타당성을 위해 시뮬레이터 기반 필터링을 먼저 수행한 후, 조화 임베딩과 복잡도 가중 샘플링을 사용하여 행동적 커버리지와 역동적 풍부함을 극대화하는 계층적 파이프라인을 제공한다.
3. "적을수록 더 많다" 패러다임: AMASS 데이터셋의 단 **3%**만을 정제하여 훈련하는 것이 여러 지표와 트래킹 아키텍처 전반에서 전체 데이터셋을 훈련하는 것보다 일관되게 우수한 성능을 보인다는 실증적 증거를 제시한다.

실험 결과

프레임워크는 두 가지 최첨단 트래킹 정책인 Any2Track과 TWIST2를 사용하여 AMASS 및 PHUMA 데이터셋에서 평가되었다.

• 성능 대비 데이터 비율:
  • 무작위 서브샘플링 (Random Subsampling): 원시 데이터의 3%를 무작위로 선택했을 때 성능이 급격히 붕괴되었다 (예: Any2Track의 성공률이 94.2%에서 83.8%로 하락).
  • GQS 성능: GQS로 정제된 3%의 데이터를 사용했을 때, 성공률은 Any2Track의 경우 95.6%, TWIST2의 경우 **86.1%**에 도달하여 전체 데이터셋 베이스라인(각각 94.2%, 82.5%)을 능가했다.
  • 오차 감소: GQS는 전체 데이터 베이스라인 대비 평균 관절 위치 오차(MPJPE)를 상대적으로 5~15% 감소시켰다. TWIST2의 경우 MPJPE가 0.099에서 0.084 rad로 개선되었다.
• 훈련 역학: 학습 곡선은 GQS로 정제된 데이터가 단순히 수렴을 가속화하는 것을 넘어, 훈련 초기 단계(0.5B 스텝 이전)부터 정책을 더 나은 솔루션으로 유도하는 깨끗한 그래디언트를 제공함을 보여주었다.
• 절제 연구 (Ablation Studies):
  • 물리 필터를 제거하면 성공률이 크게 떨어져(91.1%로 하락), 임베딩 기반 샘플링이 필터링 없이 수행될 경우 독성 아웃라이어를 선호하게 됨을 확인했다.
  • 복잡도 가중치를 제거하면 하위 최적의 성능(93.4% SR)을 보였으며, 이는 다양성만으로는 정보량이 많은 고에너지 동작을 우선시하지 않으면 충분하지 않음을 입증한다.
• 일반화: 이미 물리적으로 근거가 있는 PHUMA 데이터셋에서도 GQS는 정밀도(낮은 MPJPE)와 AMASS로의 제로샷 전이를 개선하였으며, 이는 다양성과 복잡성 선택이 물리적 타당성이 이미 높은 경우에도 가치를 더한다는 것을 보여준다.

의의 및 주장

본 논문은 모션 데이터의 품질이 양을 지배한다고 주장하는데, 그 이유는 품질이 초기 최적화 궤적을 형성하기 때문이다. 고품질의 타겟은 학습을 안정적인 솔루션으로 유도하는 일관되고 물리적으로 의미 있는 그래디언트를 제공하는 반면, 저품질 모션은 편향된 목적 함수와 불안정한 그래디언트를 주입한다.

저자들은 자신들의 프레임워크가 알고리즘의 특이성을 이용하지 않고 기존의 모든 트래커의 훈련 신호를 개선할 수 있는 플러그 앤 플레이(plug-and-play) 솔루션이라고 단언한다. 압축적이고 가치 있는 라이브러리를 정제함으로써, LIMMT는 훈련 비용을 획기적으로 줄이는 동시에 트래킹 정확도, 성공률 및 견고성을 향상시킨다. 이 연구는 향후 모션 데이터 획득 및 정책 훈련이 대규모 코퍼스의 무분별한 축적보다 물리적으로 타당하고 다양하며 복잡한 모션의 정제에 우선순위를 두어야 함을 시사한다.