LiveGesture: 실시간 스트리밍 기반 코-스피치 제스처 생성 모델에 대한 기술적 요약

이 논문은 LiveGesture라는 새로운 프레임워크를 제안하며, 이는 제로-룩어헤드 (zero-look-ahead) 조건에서 작동하는 최초의 완전한 스트리밍 (streamable) 코-스피치 전신 제스처 생성 모델입니다. 기존 오프라인 방식의 모델들이 전체 발화 데이터를 미리 필요로 하거나 높은 지연 시간을 갖는 것과 달리, LiveGesture는 실시간으로 들어오는 오디오 신호만을 기반으로 즉각적이고 자연스러운 전신 동작을 생성합니다.

1. 문제 정의 (Problem)

기존의 코-스피치 제스처 생성 모델들은 주로 오프라인 (offline) 방식에 의존합니다. 이는 전체 발화 (utterance) 나 긴 오디오/텍스트 컨텍스트를 미리 입력받아야 하므로 높은 지연 시간 (latency) 이 발생하여 진정한 대화형 상호작용 (real-time interaction) 에 적합하지 않습니다. 또한, 많은 모델들이 신체 부위를 독립적으로 처리하거나 단일 모델에 모든 관절을 묶어 처리하여, 신체 부위 간의 미세한 상호의존성 (interdependencies) 을 포착하지 못해 전신 조화 (holistic coordination) 가 부족하다는 한계가 있었습니다.

LiveGesture는 다음과 같은 문제를 해결합니다:

• 제로-룩어헤드 (Zero-look-ahead): 미래의 오디오나 동작 정보를 전혀 사용하지 않고, 현재까지 들어온 정보만으로 다음 동작을 예측합니다.
• 스트리밍 지원: 오디오가 실시간으로 들어오는 대로 동작을 생성하며, 임의의 길이의 발화에 대응할 수 있습니다.
• 전신 조화: 상체, 하체, 손, 얼굴 등 각 신체 부위의 고유한 운동 특성을 유지하면서도 전신적인 일관성을 확보합니다.

2. 방법론 (Methodology)

LiveGesture는 크게 두 가지 핵심 모듈로 구성됩니다: **스트리밍 가능한 벡터 양자화 모션 토크나이저 (SVQ)**와 계층적 자기회귀 트랜스포머 (HAR).

2.1. 스트리밍 가능한 벡터 양자화 모션 토크나이저 (Streamable Vector-Quantized Motion Tokenizer, SVQ)

연속적인 SMPL-X 모션 시퀀스를 이산적인 (discrete) 토큰으로 변환하여 실시간 디코딩을 가능하게 합니다.

• 비대칭 아키텍처: 각 신체 부위 (상체, 하체, 손, 얼굴) 마다 별도의 토크나이저를 사용합니다.
  • 양방향 인코더 (Bidirectional Encoder): 오프라인 학습 시 과거와 미래 컨텍스트를 모두 활용하여 풍부한 잠재 공간 (latent space) 을 학습합니다.
  • 인과적 스트리밍 디코더 (Causal Stream Decoder): 추론 시에는 오직 과거 정보만 사용하여 모션을 재구성합니다.
• 2 단계 학습 전략:
  1. 비대칭 오토인코더 프리트레이닝: 인코더와 디코더만 학습하여 안정적인 잠재 공간과 인과적 디코딩 구조를 확립합니다.
  2. 양자화 학습 (Quantization Learning): 인코더와 디코더를 고정 (freeze) 하고, 각 부위별 코드북 (codebook) 과 프로젝션 헤드를 학습하여 연속적인 잠재 벡터를 이산적인 토큰으로 변환합니다. 이는 토큰 붕괴 (token collapse) 를 방지하고 안정적인 표현 학습을 보장합니다.

2.2. 계층적 자기회귀 트랜스포머 (Hierarchical Autoregressive Transformer, HAR)

SVQ 에서 생성된 토큰을 기반으로 오디오에 반응하는 제스처를 생성합니다.

• 리전-엑스퍼트 자기회귀 트랜스포머 (Region-eXpert AR, xAR): 각 신체 부위 (4 개 영역) 마다 독립적인 '엑스퍼트' 트랜스포머를 두어 해당 부위의 세밀한 운동 역학 (fine-grained motion dynamics) 을 학습합니다. 이는 오디오 토큰과 교차 주의 (cross-attention) 를 통해 리듬과 제스처의 정렬을 학습합니다.
• 인과적 시공간 퓨전 (Causal Spatio-Temporal Fusion, xAR-Fuse): 개별 엑스퍼트들의 출력을 통합하여 전신 조화를 맞춥니다.
  • PILOR 어댑터: 각 엑스퍼트의 출력을 정렬 (align) 하는 경량 어댑터입니다.
  • 퓨전 트랜스포머: 오디오 - 모션 교차 주의, 전역 시간적 주의, 영역 간 공간적 주의를 통해 신체 부위 간의 상관관계 (예: 팔과 몸통의 연결, 대칭적인 손 동작) 를 포착합니다.
• 스트리밍 오디오 인코더: 실시간으로 들어오는 오디오를 인과적으로 인코딩하여 모션 토큰 생성에 조건부 (conditioning) 로 제공합니다.

2.3. 자기회귀 마스킹 학습 (Autoregressive Masked Training)

스트리밍 환경에서의 노이즈와 예측 오류에 대한 강건성을 높이기 위해 도입된 학습 기법입니다.

• 불확실성 기반 토큰 마스킹 (UGM): 모델이 예측 확률이 낮은 토큰을 마스킹하여, 불완전한 과거 정보를 가진 상황에서도 학습하도록 유도합니다.
• 랜덤 리전 마스킹 (RM): 특정 신체 부위의 전체 토큰 시퀀스를 마스킹하여, 나머지 부위와 오디오만으로 해당 부위의 동작을 추론하도록 훈련시킵니다.
• 클래식ifier-프리 가이드 (Classifier-Free Guidance): 추론 시 오디오/텍스트 조건을 강화하여 제스처와 발화의 정렬을 개선합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 완전 스트리밍 프레임워크: 제로-룩어헤드 조건에서 임의 길이의 발화에 대응하는 전신 제스처 생성 모델인 LiveGesture 를 제안했습니다.
2. 스트리밍 모션 토크나이저 (SVQ): 비대칭 아키텍처와 2 단계 학습 전략을 통해 인과적 디코딩을 보장하면서도 고품질의 이산 모션 토큰을 생성합니다.
3. 계층적 자기회귀 모델 (HAR): 지역별 전문성 (xAR) 과 전신 조화 (xAR-Fuse) 를 계층적으로 결합하여, 각 부위의 세밀한 표현력과 전체적인 일관성을 동시에 달성했습니다.
4. 강건한 학습 전략: 스트리밍 환경의 불완전한 입력을 모방한 하이브리드 마스킹 학습을 통해 예측 오류에 대한 내성을 높였습니다.

4. 실험 결과 (Results)

BEAT2 데이터셋을 기반으로 한 실험 결과는 다음과 같습니다:

• 성능 비교: LiveGesture 는 오프라인 방식의 최신 모델들 (GestureLSM, EMAGE 등) 과 비교하여 **FGD (Fréchet Gesture Distance)**와 **BC (Beat Constancy)**에서 경쟁력 있거나 더 나은 성능을 보였습니다. 특히 **BC(0.794)**와 **다양성 (Diversity, 13.91)**에서 최상위 성능을 기록하여 리듬 동기화와 풍부한 동작 변이를 입증했습니다.
• 지연 시간: 첫 번째 동작 프레임을 생성하는 데 250ms 미만의 지연 시간을 달성하여 실시간 상호작용에 적합함을 증명했습니다.
• 사용자 연구: 사용자 평가 (MOS) 에서 LiveGesture 는 오프라인 모델들과 비교해 음성 - 제스처 동기화 (Synchrony) 점수가 가장 높았으며, 리얼리티와 부드러움 면에서도 오프라인 모델과 유사한 수준을 유지했습니다.
• 애블레이션 연구: SVQ 의 2 단계 학습, xAR-Fuse 의 시공간 퓨전, UGM 마스킹 전략 등 각 구성 요소가 성능 향상에 결정적인 역할을 함을 확인했습니다.

5. 의의 및 중요성 (Significance)

LiveGesture 는 가상 인간 (Virtual Humans), VR/AR 아바타, 텔레프레즌스, 소셜 로봇 등 실시간 대화형 AI 에이전트의 핵심 기술로 자리 잡을 수 있는 가능성을 열었습니다.

• 실시간 상호작용: 미래 정보를 필요로 하지 않으므로, 사용자가 말하고 있는 즉시 자연스러운 제스처로 반응할 수 있어 대화의 몰입감을 극대화합니다.
• 기술적 진보: 기존 오프라인 모델들의 높은 품질을 유지하면서도 스트리밍 제약 조건을 극복한 최초의 사례로, 인과적 생성 모델의 한계를 확장했습니다.
• 응용 가능성: 이 기술은 VTuber, 게임 캐릭터, 원격 회의 시스템 등 다양한 분야에서 즉각적이고 자연스러운 비언어적 소통을 가능하게 할 것입니다.

결론적으로, LiveGesture 는 실시간 스트리밍 환경에서도 고품질의 전신 제스처를 생성할 수 있는 새로운 패러다임을 제시하며, 인간과 AI 간의 자연스러운 상호작용을 위한 중요한 기술적 토대를 마련했습니다.