Prior-First, Condition-Second: Scalable and Controllable Hand Motion Completion

기술 요약: 우선순위 기반의 조건부 제어: 확장 가능하고 제어 가능한 손 동작 완성 (Prior-First, Condition-Second: Scalable and Controllable Hand Motion Completion)

문제 정의
전역적인 신체 역학 및 시맨틱 레이블(예: 텍스트 설명)과 일치하는 고충실도 손 동작을 합성하는 것은 손의 높은 자유도와 쌍을 이룬 시맨틱 감독 데이터의 부족으로 인해 상당한 어려움을 수반한다. 기존의 데이터 구동 방식은 주로 두 가지 문제에 직면한다: (1) 고품질의 신체-손 동작 및 시맨틱 레이블이 쌍을 이룬 데이터셋을 수집하는 데 비용이 많이 들고 규모가 제한적이라는 "주석 병목 현상(annotation bottleneck)", 그리고 (2) 주석(텍스트, 오디오, 속성 등)이 특정 데이터셋에 국한되어 있어 신뢰할 수 있게 전이되지 않는 "교차 데이터셋 시맨틱 일관성 결여" 문제이다. 또한, 제한된 데이터로 학습된 엔드 투 엔드(end-to-end) 모델은 위상 드리프트(phase drift), 불안정한 손목 거동, 또는 모델이 변동성을 하나의 안전한 포즈로 평균화해버리는 "평균 포즈 붕괴(mean-pose collapse)"와 같은 운동학적 비현실성을 빈번히 유발한다.

방법론
저자들은 운동학적 구조 학습과 시맨틱 제어를 분리하는 "우선순위 기반, 조건부 제어(prior-first, condition-second)" 프레임워크를 제안한다. 이 접근 방식은 두 가지 주요 단계로 구성된다:

1. 자기회귀적 신체-손 사전 학습 (Autoregressive Body-Hand Prior):

   • 학습: 견고한 자기회귀적 운동학적 사전 학습 모델(kinematic prior)을 대규모의 비구조화된 비라벨링 모션 데이터(약 100시간)를 통해 사전 학습한다. 이 사전 학습 모델은 시맨틱 레이블에 의존하지 않고 전역적인 신체 역학(global body dynamics)과 손 관절의 움직임 사이의 내재적 협응을 학습한다.
   • 아키텍처: 핵심은 스트리밍 방식으로 작동하는 트랜스포머(Transformer) 기반의 확산 모델(diffusion model)이다. 각 타임 스텝에서 모델은 현재의 신체 상태와 과거의 손 모션 이력을 조건으로 하여, 미래의 일정 길이 윈도우에 해당하는 손 동작을 예측한다.
   • 운동학적 체인 계층적 어텐션 (Kinematic Chain Cascading Attention, KCCA): 기계적 결합을 강제하기 위해 저자들은 KCCA를 도입하였다. 모든 관절을 동일하게 취급하는 표준 어텐션과 달리, KCCA는 생물학적 운동학적 체인(Root $\to$ Spine $\to$ Limbs $\to$ Hand)을 따른다. 이는 동적 게이팅 메커니즘을 사용하여 이 체인을 따라 어텐션 가중치를 부여함으로써, 손 생성이 상위 신체 모멘텀에 고정되도록 보장한다. 이를 통해 손이 공중에 떠 있거나 손목 회전이 비현실적인 것과 같은 아티팩트를 방지한다.
   • 표현 (Representation): 모델은 손가락의 국소 회전(local rotations)과 손목의 전역 방향(global orientations, 추론 시 로컬 프레임으로 변환됨)을 예측하는 하이브리드 표현을 사용하여 신체와의 운동학적 일관성을 유지한다.

2. 시맨틱 계층 구조의 조건부 적응 (Semantically-Layered Conditional Adaptation):

   • 전략: 사전 학습 모델이 학습된 후에는 이를 고정(frozen)한다. 시맨틱 제어는 특정 운동학적 수준에서 조건 신호를 주입하는 경량 어댑터를 통해 도입된다.
   • 계층적 주입: 시맨틱 명령이 서로 다른 규모로 작동한다는 점(예: "에너지 넘치는" 움직임은 전역 모멘텀에 영향을 미치고, "집기(pinch)"는 국소 손가락에 영향을 미침)을 인식하여, 어댑터는 학습 가능한 게이트를 사용하여 고정된 사전 학습 모델의 특정 레이어에서 조건 임베딩을 조절한다.
   • 제어 양식 (Control Modalities): 본 프레임워크는 두 가지 전략을 지원한다:
     • 자기 지도형 속성 제어 (Self-supervised Attribute Control): 수치적으로 계산된 속성(예: 주먹의 쥐는 정도)을 후기 레이어에 주입하여 전역적 일관성을 해치지 않으면서 국소 관절 움직임을 조절한다.
     • 약한 지도 학습 기반 텍스트 제어 (Weakly Supervised Text Control): 시각-언어 모델(VLM)을 통해 생성된 텍스트 프롬프트를 전체 계층 구조에 주입하여 전역 역학 및 세밀한 포즈를 모두 제어한다.
   • 데이터 효율성: 사전 학습 모델이 물리적 움직임을 포착하므로, 어댑터는 오직 "의도(intent, 매니폴드 탐색)"만을 학습하면 된다. 이를 통해 매우 적은 양의 라벨링된 데이터만으로도 효과적인 학습이 가능하다.

주요 기여

• 프레임워크: 신체 조건부 손 동작 완성을 위해 운동학적 학습과 시맨틱 조건부 제어를 분리한 새로운 "우선순위 기반, 조건부 제어" 패러다임.
• 아키텍처: 시간적 일관성과 운동학적 일관성을 보장하는 스트리밍 방식의 자기회귀적 확산 사전 학습 모델.
• 메커니즘: 신체의 운동학적 체인을 따라 에너지 전달을 명시적으로 모델링하는 Kinematic Chain Cascating Attention (KCCA) 도입.
• 적응: 데이터 효율적인 제어를 가능하게 하는 시맨틱 계층 어댑터. 이는 최소한의 라벨링된 데이터로 자기 지도형 속성 조작 및 약한 지도 학습 기반의 텍스트 구동 생성을 지원한다.

결과
광범한 평가를 통해 본 프레임워크가 여러 차원에서 엔드 투 엔드 베이스라인(MDM, Body2Hands, BOTH2Hands 등)보다 우수함을 입증하였다:

• 운동학적 타당성: 제안된 사전 학습 모델은 더 낮은 평균 관절 위치 오차(MPJPE)와 현저히 낮은 루트 오차(wrist-forearm orientation error)를 달성하여 우수한 기계적 결합을 보여준다. 또한 더 매끄러운 속도 프로파일(더 낮은 저크/jerk)을 생성한다.
• 강건성: 교차 데이터셋 실험에서, 전이된 사전 학습 모델은 극도로 제한된 라벨링 데이터(예: 0.25시간)에서도 모드 붕괴나 성능 저하 없이 높은 품질과 다양성을 유지한다.
• 제어 가능성: 어댑터 기반 방식은 운동학적 품질을 보존하면서도 경쟁력 있는 텍스트-모션 일치 점수를 달성한다.
• 성능: 시스템은 실시간 추론(RTX 4090 기준 450+ FPS)을 지원하며, 인터랙티브 제작을 위한 Blender 애드온으로 통합되었다.

의의 및 주장
본 연구의 주요 의의는 모션 합성에서의 주석 병목 현상을 해결하는 데 있다. 풍부한 비라벨링 데이터를 통해 일반적인 운동학적 사전 학습 모델을 학습함으로써, 새로운 제어 인터페이스나 데이터셋마다 물리적 제약 조건을 다시 학습할 필요를 없앤다. 저자들은 이러한 분리가 확장 가능하고 강건하며 제어 가능한 손 동작 합성을 가능하게 하며, 다양한 신체 움직임과 시맨틱 입력에 걸쳐 일반화될 수 있다고 주장한다. 이는 실시간 성능과 고충실도가 요구되는 프로덕션 애니메이션 파이프라인에 적용 가능하다. 본 연구는 운동학적 학습과 시맨틱 조건부 제어를 분리하는 것이 두 가지를 희소한 감독 하에 동시에 학습하는 것보다 더 나은 일반화와 데이터 효율성을 제공한다는 점을 입증한다.