기술 요약: SAMoR – 임의의 스켈레톤 및 토폴로지를 가진 관절 구조 객체를 위한 모션 모델링

1. 문제 정의

임의의 스켈레톤 토폴로지(예: 인간, 사족 보행 동물, 조류, 곤충 및 기계적 리그)를 가진 관절 구조 객체의 움직임을 모델링하는 것은 여전히 큰 과제로 남아 있습니다. 기존의 최첨단 모션 생성기, 특히 텍스트-투-모션(text-to-motion) 시스템은 일반적으로 특정 관절 수, 순서 및 연결성을 가진 고정된 인간 스켈레톤(예: SMPL)에 종속되어 있습니다. 동물 범주로의 확장이 존재하긴 하지만, 대개 미리 정의된 토폴로지를 가정합니다.

교차 토폴로지(Cross-topology) 접근 방식들이 등장했으나 다음과 같은 한계에 직면해 있습니다:

• 단일 토큰 접근 방식 (K=1): 구별되는 움직임의 세부 사항을 하나의 전역 표현으로 붕괴시켜, 사지(limb) 및 부속 기관의 역학을 상실합니다.
• 관절별 접근 방식 (K=J): 각 관절을 독립적으로 취급하여, 서로 다른 관절 수를 가진 리그 간에 이산적인 모션 어휘(discrete motion vocabulary)를 공유하는 것을 방지합니다.
• 공유 어휘의 부재: 모션 전송(motion transfer)이나 토큰 기반 생성을 위해 여러 이종 스켈레톤에 걸쳐 재사용할 수 있는 고정 크기의 이산 모션 코드북이 존재하지 않습니다.

핵심적인 어려움은 관절 수준의 움직임이 (서로 다른 관절 수와 연결성 때문에) 종 간에 깔끔하게 대응되지 않지만, 기능적 관절 그룹(예: 인간의 팔, 늑대의 앞다리, 새의 날개)은 의미론적 모션 구조를 공유한다는 점에 있습니다.

2. 방법론: SAMoR

저자들은 임의의 스켈레톤에 대해 공유되는 소수의 고정된 **K=8 파트 토큰(part tokens)**으로 모션 세그먼트를 인코딩하는 교차 토폴로지 모션 표현 방식인 SAMoR(Skeleton-Aware Motion Representation for Articulated Objects)을 제안합니다.

아키텍처 개요

SAMoR은 다음과 같은 구성 요소를 가진 스켈레톤 인식 파트 VQ-VAE(Skeleton-Aware Part VQ-VAE, 벡터 양자화 변이형 오토인코더)로 구현되었습니다:

1. 입력 표현:

   • 모션 특징: 관절별 위치 및 속도 ($x_t^j \in \mathbb{R}^6$). 이종 자산 간의 일관되지 않은 휴식 포즈(rest pose)로 인해 로컬 회전(local rotation)은 제외되었습니다.
   • 스켈레톤 조건화: 인코더와 디코더는 다음 세 가지 신호를 통해 타겟 스켈레톤에 의해 조건화됩니다:
     • 포즈 앵커(Pose Anchors): 관절별 3D 위치 (교차 토폴로지 설정에서는 첫 번째 프레임; HumanML3D의 경우 캐노니컬 휴식 포즈).
     • 관절 이름 임베딩: 관절 이름(예: "forearm", "wing_L1")의 CLIP 임베딩.
     • 그래프 구조: 키네마틱 트리 홉 거리(hop distance), 체인 멤버십, 에지 유형을 기반으로 학습된 편향(bias)이 공간적 어텐션 로짓(spatial attention logits)에 주입됩니다.

2. 인코더 (Graph-Transformer):

   • 시간 축($T$)에 따른 템포럴 셀프 어텐션(temporal self-attention)과 관절 축($J$)에 따른 스페이스셜 셀프 어텐션(spatial self-attention)을 교대로 수행하는 트랜스포머 블록 스택을 사용하여 모션 청크를 처리합니다.
   • 스페이스셜 어텐션은 위에서 정의된 그래프 구조적 편향을 활용합니다.
   • 스트라이드(strided) 1D 컨볼루션을 사용하여 시간 축을 4배로 다운샘플링합니다.

3. 파트 풀링 (관절에서 토큰으로):

   • 교차 어텐션 풀링 (Cross-Attention Pooling): $K=8$개의 학습 가능한 쿼리 벡터가 $J$개의 인코딩된 관절을 $K$개의 고정된 크기 파트 토큰으로 압축합니다.
   • 특수화 메커니즘 (Specialization Mechanism): 감독(supervision)이 없으면 이러한 쿼리들은 동일한 분포로 붕괴되는 경향이 있습니다(사실상 $K=1$). 이를 방지하기 위해 저자들은 **어텐션 감독(Attention Supervision)**을 도입했습니다.
   • 어텐션 감독 손실 ($L_{attn}$): 훈련 중에 캐노니컬 기능 그룹 라벨(관절 이름에서 유도됨)이 교차 어텐션 맵을 가이드합니다. 각 쿼리는 서로 구별되는 기능적 그룹(예: 왼쪽 다리, 꼬리, 머리)을 주목하도록 권장됩니다. 라벨이 일치하지 않는 관절($y_j = -1$)은 손실에 기여하지 않지만, 학습된 어텐션에 의해 여전히 경로가 지정됩니다.
   • 관절 이름 드롭아웃 (Joint-Name Dropout): 리그의 이름이 누락되거나 비의미적인 경우에 대한 강건성을 확보하기 위해, 훈련 중 관절 이름 임베딩을 무작위로 드롭합니다. 이는 모델이 텍스트 라벨에만 의존하는 대신 모션 패턴과 스켈레톤 토폴로지에 의존하도록 강제합니다.

4. 양자화:

   • $K$개의 파트 토큰은 공유된 코드북을 사용하는 **잔차 벡터 양자화(Residual Vector Quantization, RVQ)**를 통해 양자화됩니다. 이를 통해 모든 리그에 걸쳐 공유되는 이산 모션 어휘($Z \in \{1, \dots, V\}$)가 생성됩니다.

5. 디코더:

   • 인코더를 미러링하며, 역 교차 어텐션(inverse cross-attention)을 통해 $K$개의 양자화된 파트 토큰을 다시 $J$개의 타겟 관절로 확장합니다.
   • 디코더는 타겟 스켈레톤의 포즈 앵커, 관절 이름 및 그래프 편향에 의해 조건화됩니다. 이를 통해 동일한 소스 토큰을 재학습 없이 완전히 다른 리그에 디코딩(교차 토폴로지 전송)할 수 있습니다.

다운스트림 태스크

• 텍스트 조건부 생성: 텍스트 및 타겟 스켈레톤에 조건화된 $(T/4) \times K$ 토큰 그리드 상에서 MaskGIT 트랜스포머를 훈련시킵니다.
• 파트 단위 편집 (Part-wise Editing): 특정 파트 토큰을 마스킹하고 채워 넣음으로써, 기능적 그룹의 국소적 편집(예: 팔의 움직임은 유지하면서 다리의 움직임을 변경)이 가능합니다.

3. 주요 기여

1. 그래프-트랜스포머 기반 모션 토큰화: 임의의 스켈레톤 모션을 $K=8$개의 공유된 파트 토큰으로 압축하여, 이종 스켈레톤 간에 단일한 이산 모션 어휘를 제공하는 VQ-VAE를 구축했습니다.
2. 쿼리 특수화를 위한 어텐션 감독: 각 쿼리를 서로 다른 기능적 관절 그룹에 고정함으로써 쿼리 대칭성을 깨뜨리고, $K=8$개의 쿼리가 단일 전역 표현으로 붕괴되는 것을 방지하는 새로운 손실 함수를 제안했습니다. 관절 이름 드롭아웃과 결합하여, 이는 미학습 스켈레톤에도 일반화됩니다.
3. 통합 이종 모션 코퍼스: HumanML3D(인간), Truebones Zoo(65종의 동물 종), 애니메이션화된 Objaverse-XL 자산에서 추출한 약 71k 명의 캐릭터와 100k 개의 모션을 포함하는 큐레이션된 데이터셋을 구축했습니다. 여기에는 자동화된 캐노니컬 관절 매칭 및 기능 그룹 주석이 포함됩니다.
4. 다운스트림 능력 입증: 공유된 파트 토큰 공간은 교차 토폴로지 모션 전송, 텍스트 조건부 생성 및 국소적 파트 단위 편집을 지원합니다.

4. 실험 결과

저자들은 미학습 스켈레톤을 가진 홀드아웃 캐릭터들에 대해 SAMoR을 평가했습니다.

• 교차 토폴로지 재구성:

  • SAMoR은 $2.75 \times 10^{-2}$의 정규화된 MPJPE를 달성했습니다.
  • 이는 가장 강력한 가변-$J$ 토크나이저 베이스라인(MoGenTS, $16.14 \times 10^{-2}$)보다 5.8배 낮습니다(더 우수함).
  • 또한 단일 토큰 전역 표현($K=1$) 및 관절별 토크나이제이션($K=J$)보다 성능이 현저히 뛰어납니다.
  • 절제 연구(Ablation studies)를 통해 어텐션 감독($L_{attn}$)을 제거하면 오차가 거의 두 배로 증가하고, RVQ를 제거하면 오차가 44% 증가함을 확인했습니다.

• HumanML3D 벤치마크:

  • HumanML3D 호환 설정으로 구현했을 때, SAMoR은 고정 스켈레톤 전문 모델들과 경쟁할 만한 수준을 유지합니다.
  • 텍스트-투-모션: FID 0.039로, MoGenTS(0.033)와 유사하며 MoMask(0.045)보다 우수합니다.
  • VQ-VAE 재구성: SAMoR-H3D는 17.3 mm MPJPE를 기록하여 MoMask(29.5 mm)와 T2M-GPT(58.0 mm)를 능가했습니다.

• 교차 토폴로지 전송:

  • 정성적 결과(그림 3)는 SAMoR이 토폴로지 변화에도 불구하고 부속 기관의 역학(사지, 꼬리, 날개)을 보존하는 반면, $K=1$ 베이스라인은 거친 신체 리듬만을 유지함을 보여줍니다.
  • 왕복 일관성(Source $\to$ SMPL $\to$ Source)은 SAMoR에서 가장 높았으며, 이는 파트 토큰 표현이 중간 토폴로지를 거쳐도 모션 구조를 보존함을 나타냅니다.

5. 의의 및 주장

본 논문은 SAMoR이 고정된 토폴로지에 묶여 있는 현재 모션 모델의 근본적인 한계를 해결한다고 주장합니다. 기능적 관절 그룹이 교차 토폴로지 모션의 적절한 추상화 단계임을 식별함으로써, SAMoR은 다음을 가능하게 합니다:

• 재사용성: 단일 이산 코드북을 인간, 동물, 기계적 리그에 모두 사용할 수 있습니다.
• 전송: 디코드 시점에 모션을 미학습 스켈레톤으로 직접 전송할 수 있습니다.
• 편집: 재학습 없이 기능적 그룹의 국소적 편집이 가능합니다.

저자들은 중간 단계의 입도($K=8$)가 매우 중요하다고 강조합니다. $K=1$은 세부 사항을 잃고, $K=J$는 어휘 공유를 방해합니다. 어텐션 감독 손실은 쿼리 붕괴를 방지하는 핵심 요소이며, 이를 통해 모델이 모션, 구조 및 (선택적인) 텍스트 라벨의 혼합으로부터 기능적 클러스터를 학습할 수 있게 합니다.

인정된 한계점:

• 교차 토폴로지 설정에서 SAMoR은 이종 자산 간에 통일된 휴식 포즈 참조가 없기 때문에 회전 대신 관절 위치를 기반으로 작동합니다. 선형 블렌드 스키닝(LBS)을 위한 뼈대 회전을 복구하려면 IK(Inverse Kinematics) 후처리가 필요하며, 이 과정에서 트위스트 모호성이 발생할 수 있습니다.
• $K=8$ 그룹화는 고정된 설계 선택이며, 그룹의 수와 구조를 자동으로 학습하는 것이 향후 과제로 제시되었습니다.