기술 요약: ARDY – 상호작용형 인간 동작 생성을 위한 하이브리드 표현 기반 자기회귀 확산 모델 (Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation)

문제 정의

실시간 상호작용 애플리케이션(예: 캐릭터 애니메이션, 시뮬레이션, 휴머노이드 로보틱스)을 위해 현실적인 3D 인간 동작을 생성하는 것은 **제어 가능성(controllability)**과 추론 속도(inference speed) 사이의 균형을 맞추는 데 있어 중대한 과제를 안겨줍니다.

• 오프라인 모델(예: 확산 모델 또는 마스크드 모델링)은 텍스트 프롬프트와 운동학적 제약을 통해 높은 충실도와 정밀한 제어를 제공하지만, 긴 시퀀스를 병렬로 생성하기 때문에 추론 시간이 느려 실시간 상호작용 환경에는 부적합합니다.
• 온라인/자기회귀(Autoregressive) 모델은 실시간 합성을 가능하게 하지만, 종종 제어 가능성을 희생합니다. 많은 모델이 복잡한 텍스트 의미론을 지원하지 못하거나, 제한된 컨텍스트 윈도우로 인해 장기 목표(long-horizon goals) 달성에 어려움을 겪으며, 운동학적 제약을 충족하기 위해 비용이 많이 드는 테스트 타임 최적화(test-time optimization)나 강화 학습(RL) 정책을 필요로 합니다.

기존 방법들은 보조 제어 모듈 없이 온라인 텍스트 프롬프팅, 유연한 장기 운동학적 제약(루트 웨이포인트, 전신 키프레임, 희소 관절 위치 등)을 동시에 지원하는 데 일반적으로 실패합니다.

방법론: ARDY

저자들은 오프라인의 충실도와 온라인의 상호작용성 사이의 간극을 메우는 스트리밍 생성 프레임워크인 ARDY를 제안합니다. 이 시스템은 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 하이브리드 동작 표현 (Hybrid Motion Representation)

표현의 압축성과 정밀한 제어 사이의 균형을 맞추기 위해, ARDY는 동작을 다음과 같이 분리합니다.

• 명시적 루트 특징 (Explicit Root Features): 루트 궤적(전역 위치 및 헤딩)은 전역 좌표계에서 명시적으로 표현됩니다. 이를 통해 통합 오차(integration errors)의 누적 없이 공간적 제약(예: 웨이포인트, 경로)을 충족하기 위해 루트 특징을 직접 덮어쓸 수 있습니다.
• 잠재 신체 임베딩 (Latent Body Embedding): 신체 동작은 학습된 **모션 토크나이저(motion tokenizer)**를 사용하여 압축된 잠재 공간으로 인코딩됩니다. 이 토크나이저는 고차원의 명시적 신체 특징을 잠재 토큰으로 압축하기 위해 비대칭 조건부 오토인코더(인과적 트랜스포머 사용)를 채택합니다. 토크나이저는 안정성을 위해 **유한 스칼라 양자화(Finite Scalar Quantization, FSQ)**를 사용하며, 발 미끄러짐(foot skating) 현상을 완화하기 위해 디코더에 전역-지역 루트 변환(global-to-local root conversion)을 포함합니다.

2. 자기회귀 2단계 확산 모델 (Autoregressive Two-Stage Diffusion Model)

ARDY는 히스토리와 목표를 조건으로 하여 미래의 짧은 동작 윈도우를 예측하는 트랜스포머 기반의 확산 디노이저(denoiser)를 활용합니다.

• 입력 컨디셔닝 (Input Conditioning): 모델은 가변 길이의 히스토리 컨텍스트(최대 8초)와 현재 예측 윈도우를 넘어 확장될 수 있는 희소한 공간적 목표(장기 목표)를 수용합니다. 제약 조건은 입력에 주입되는 마스크 처리된 모션 시퀀스로 표현됩니다.
• 인터리브드 2단계 아키텍처 (Interleaved Two-Stage Architecture): 디노이저는 확산 루프 내에서 두 단계 프로세스를 수행합니다.
  1. 1단계: 깨끗한 명시적 전역 루트 동작을 예측합니다.
  2. 2단계: 예측된 루트 동작을 조건으로 하여 깨끗한 잠재 신체 토큰을 예측합니다.
     이러한 분해를 통해 모델은 텍스트 지시와 운동학적 제약을 동시에 충족하면서도 높은 동작 충실도를 유지할 수 있습니다. 각 단계는 인터리브드(interleaved) 방식으로 작동하여 루트와 신체 동작 간의 연속적인 상호 영향을 보장합니다.

3. 학습 및 추론 (Training and Inference)

• 학습: 모델은 대규모 고충실도 데이터셋(Bones Rigplay, 약 700시간)과 공개 데이터셋인 HumanML3D를 사용하여 학습됩니다. 모델은 텍스트 레이블과 그라운드 트루스 포즈에서 직접 샘플링된 운동학적 제약을 조건으로 동작을 생성하는 법을 학습하며, 이를 통해 RL 정책과 같은 추가적인 제어 모듈이 필요하지 않습니다.
• 추론: ARDY는 지연 시간을 고려한 재계획(replanning) 메커즘을 통해 작동합니다. 새로운 사용자 입력(텍스트 또는 제약 조건)이 들어오면 시스템은 재계획을 트리거하며, 이미 생성된 프레임의 버퍼를 히스토리로 사용하여 매끄러운 전환을 보장하고 추론 지연을 숨깁니다.

주요 기여 (Key Contributions)

1. 하이브리드 잠재 신체-명시적 루트 표현: 정밀한 루트 제어와 효율적인 신체 동작 생성 학습을 분리함으로써 제어 가능한 동작 생성을 가능하게 하는 새로운 표현 방식입니다.
2. 2단계 자기회귀 확산 모델: 가변 히스토리 컨텍스트와 장기 운동학적 제약(전신 키프레임, 루트 웨이포인트, 경로, 엔드 이펙터 위치/회전)을 테스트 타임 최적화나 RL 없이 지원하는 모델입니다.
3. 광범위한 평가: 대규모 Bones Rigplay 데이터셋과 HumanML3D 벤치마크를 통한 검증을 통해 높은 동작 품질과 제약 준수 능력을 입증했습니다. 논문은 동적 텍스트 제어, 경로 추종, 키보드/마우스 이동을 지원하는 실시간 상호작용 데모를 포함합니다.

결과 (Results)

• 성능: 효율적인 4단계 확산 모델은 RTX 4090에서 평균 33ms의 생성 지연 시간을 달성하여 실시간 상호작용을 가능하게 합니다.
• 품질 및 제어: HumanML3D 벤치마크에서 ARDY는 최첨단 오프라인 모델들과 비교하여 경쟁력 있는 텍스트 추종(R-precision) 및 동작 품질(FID)을 달성하는 동시에, 테스트 타임 최적화 없이도 제약 준수(낮은 관절 위치 오차) 측면에서 이를 크게 앞섭니다.
• 자기회귀 베이스라인과의 비교: 자기회귀 모델인 DiP와 비교했을 때, ARDY는 인호라이즌(in-horizon) 및 아웃오브호라이즌(out-of-horizon) 목표 시나리오 모두에서 우수한 성능을 보여줍니다. 특히, ARDY는 장기 목표(예: 10초 후의 타겟 도달)에 대해 높은 정확도를 유지하는 반면, DiP의 성능은 크게 저하됩니다.
• 절제 연구 (Ablation Studies): 실험을 통해 하이브리드 표현, 전역-지역 루트 변환, 그리고 2단계 디노이저 아키텍처가 발 미끄러짐을 줄이고 공간 제어 정확도를 향상시키는 데 결정적임을 확인했습니다.

의의 및 주장 (Significance and Claims)

본 논문은 ARDY가 오프라인과 온라인 동작 생성 사이의 간극을 성공적으로 메워, 제어 가능하고, 반응적이며, 높은 충실도를 가진 시스템을 제공한다고 주장합니다. 대규모 데이터로부터 조건부 생성을 네이티브하게 학습함으로써, ARDY는 상호작용적인 제약 만족을 위해 통상적으로 요구되는 비용이 많이 드는 보조 제어 모듈(RL 또는 테스트 타임 최적화 등)을 제거합니다. 저자들은 ARDY를 복잡한 장기 사용자 명령을 실시간으로 처리할 수 있는 차세대 상호작용 애니메이션 시스템을 향한 기초적인 단계로 제시합니다.

저자들은 현재 모델이 순수하게 운동학적(kinematic)이라는 점(물리적 역학 인식이 부족함)이 발 미끄러짐과 같은 아티팩트를 유발할 수 있으며, 자기회귀 히스토리 메커니즘이 극도로 긴 호라이즌에서는 비효식적일 수 있다는 한계를 인정합니다. 향후 연구로는 물리 모델링의 통합과 더 효율적인 메모리 표현 탐색이 제안되었습니다.