기술 요약: GestureFM

문제 정의

대화형 디지털 휴먼과 체화된 대화형 에이전트(embodable conversational agents)는 낮은 지연 시간으로 작동하는 음성 기반 신체 동작 생성을 필요로 한다. 확산 모델(diffusion models)이나 대규모 트랜스포머 아키텍처에 기반한 기존의 고품질 공동 음성 생성 방식들은 주로 오프라인용 전체 시퀀스 추론을 위해 설계되었다. 이러한 접근 방식은 일반적으로 전체 오디오 시퀀스에 대한 접근을 가정하거나 양방향 시간적 문맥(bidirectional temporal context)을 활용하므로, 완전한 발화가 준비되기 전에 동작을 생성해야 하는 실시간 상호작용 애플리케이션에는 적합하지 않다. 핵심 과제는 최소한의 첫 번째 청크(first-chunk) 지연 시간을 유지하면서 짧은 오디오 버퍼로부터 고품질의 표현력이 풍부한 신체 동작을 합성하는 것이다.

방법론

저자들은 저지연 스트리밍 공동 음성 신체 동작 생성을 위해 설계된 컴팩트한 잠재 흐름 매칭(latent Flow Matching, FM) 프레임워크인 GestureFM을 제안한다. 이 시스템은 세 가지 주요 구성 요소로 이루어져 있다.

1. Gesture 변이형 오토인코더 (Gesture VAE)

생성 모델의 계산 부담을 줄이기 위해, 저자들은 고차원 동작 데이터를 컴팩트한 잠재 공간(latent space)으로 압축한다.

• 입력: 168차원의 SMPL-X 신체 포즈(165차원 회전) 및 전역 이동(3차원).
• 아키텍처: 양방향 트랜스포머 인코더(6개 레이어, $d_{model}=512$)와 스트라이드 Conv1d 레이어가 4배의 시간적 다운샘플링을 수행하여, 176개 입력 프레임을 44개의 잠재 토큰으로 매핑한다. 잠재 공간의 차원은 $D_z = 16$이다.
• 디코딩: 인과적(causal) 트랜스포머 디코더가 동작을 재구성한다. 인코더는 (오프라인 학습을 위해) 양방향이지만, 디코더와 다운스트림 생성 모델은 스트리밍 추론을 지원하기 위해 인과적 어텐션(causal attention)을 사용한다.
• 학습 목표: VAE는 포즈 재구성, 이동 재구성, 속도 항, 그리고 KL 발산 항($\beta = 10^{-5}$)을 포함하는 복합 손실 함수로 학습된다.

2. 오디오 조건부 인과적 흐름 매칭 (Audio-Conditioned Causal Flow Matching)

생성 모델은 VAE의 정규화된 잠재 공간에서 작동한다.

• 오디오 컨디셔닝: 오디오는 Log-Mel 스펙트로그램 추출기(80개 밴드)와 경량 CNN 인코더를 통해 처리되어 44개의 시간적 오디오 토큰을 생성한다.
• 흐름 매칭 트랜스포머 (Flow Matching Transformer): 6개 레이어의 트랜스포머(파라미터 5.9 M)가 노이즈 분포 $p_0 = \mathcal{N}(0, I)$를 타겟 데이터 분포로 운송하는 속도장(velocity field) $v_\theta$를 학습한다.
• 인과적 메커니즘: 모델은 인과적 셀프 어텐션 마스크를 채택하여, 각 잠재 토큰이 자기 자신과 이전 토큰만을 참조하도록 보장함으로써 스트리밍 생성을 가능하게 한다.
• 잠재 정규화 (Latent Normalization): 핵심적인 단계는 훈련 세트에서 계산된 차원별 평균 및 표준편차를 사용하여 타겟 VAE 잠재 값을 정규화하는 것이다. 이는 경험적 잠재 분포를 흐름 매칭에서 사용하는 가우시안 사전 분포(Gaussian prior)와 일치시켜, 샘플이 학습된 동작 매니폴드에서 벗어나는 것을 방지한다.

3. 스트리밍 추론 파이프라인

• 슬라이딩 윈도우: 시스템은 2초의 가용 오디오 문맥으로부터 1초 길이의 동작 청크(30 프레임)를 생성한다.
• 중첩 블렌딩 (Overlap Blending): 연속된 청크들은 25%(0.25초)만큼 중첩되며, 프레임은 선형 보간법을 통해 블렌딩된다.
• ODE 적분: 학습된 속도장을 미드포인트(midpoint) ODE 방법을 사용하여 적분함으로써 동작을 생성한다. 적분 단계 수($K$)는 지연 시간에 따라 조절 가능한 파라미터이다.
• 경계 평활화 (Boundary Smoothing): 청크 경계에서의 속도 불연속성을 해결하기 위해, 중첩 블렌딩 후에 경량화된 7-프레임 로컬 스무더(local smoother)가 적용된다. 이는 시퀀스 길이나 오디오 타이밍을 변경하지 않고 디코딩된 동작을 로컬 선형 보간과 블렌딩한다.

주요 기여

1. 컴팩트한 잠재 표현: 168차원의 SMPL-X 포즈와 이동을 압축하여 효율적인 생성을 가능하게 하는 16차원 잠재 공간을 제안하였다.
2. 잠재 정규화 전략: 타겟 분포를 가우시안 사전 분포와 일치시킴으로써 생성 품질을 크게 향상시키는 흐름 매칭을 위한 잠재 정규화를 도입하였다.
3. 인과적 스트리밍 파이프라인: ODE 단계 수가 동작 품질(Fréchet Gesture Distance)에 거의 영향을 미치지 않음을 입증하여, 가장 낮은 지연 시간을 위한 최적의 설정으로 $K=2$를 선택할 수 있게 하는 롤링 윈도우 스트리밍 아키텍처를 제시하였다.
4. 경계 연속성 분석: 스트리밍 배포 시 발생하는 청크 경계의 속도 불연속성을 규명하고, 경량 7-프레임 스무더가 비트 정렬(beat alignment)을 저해하지 않으면서 속도 점프를 85% 감소시킨다는 것을 입증하였다.

실험 결과

모델은 BEAT2 데이터셋(25명의 화자로부터 추출된 60시간의 SMPL-X 모션 캡처 데이터)에서 평가되었다.

• 동작 품질 (FGD): 잠재 정규화된 GestureFM은 테스트 세트에서 공식 EMAGE Fréchet Gesture Distance (FGD) 0.272를 달성하였다. 이는 정규화되지 않은 변형 모델(0.390)보다 30% 개선된 수치이며, 재현된 EMAGE 바디 모션 체크포인트(2.373)를 크게 상회한다.
• 비트 정렬 (BA): 모델은 그라운드 트루스 비트 정렬과 0.758(오프라인) 및 0.762(스무더 적용 스트리밍)의 점수로 일치하였다.
• 지연 시간: $K=2$ ODE 단계를 사용할 때, 시스템은 실시간 계수(RTF) **0.022×**에서 22 ms의 첫 번째 청크 지연 시간을 달s성한다.
• 절제 연구 (Ablation Studies):
  • 잠재 차원: 16차원 잠재 공간은 32차원 공간보다 더 나은 다운스트림 생성 품질을 보였다. 이는 32차원이 VAE 재구성 측면에서는 더 우수함에도 불구하고, 16차원 공간이 암시적 정규화 도구 역할을 함을 시사한다.
  • ODE 단계: 모든 테스트된 $K \ge 2$ 범위에서 FGD가 안정적(0.293–0.305)으로 유지되었으며, 이는 단계 수를 늘려도 품질이 향러지지 않음을 확인시켜 주며, 단계 증가가 지연 시간을 선형적으로 증가시킴을 보여준다.
  • 스무딩: 7-프레임 스무더는 안정적인 BA를 유지하면서 경계 속도 점프를 0.700에서 0.105로 감소시켰다(85% 감소).
  • 교차 청크 메모리: 이전 청크의 잠재 꼬리(latent tails)를 전달하려는 확장 시도는 노출 편향(exposure bias)으로 인해 실패하였으며, 이로 인해 FGD가 6.9배 저하되었다.

의의 및 주장

본 논문은 GestureFM이 저지연 신체 동작 생성을 위한 강력하면서도 효율적인 베이스라인을 구축한다고 주장한다. 이 연구의 주요 의의는 양방향 어텐션이나 반복적인 확산 샘플링의 무거운 계산 비용 없이도 고품질의 스트리밍 호환 동작 합성이 가능하다는 것을 입증한 데 있다.

저자들은 생성된 샘플을 VAE 매니폴드와 일치시키기 위해 잠재 정규화가 필수적이며, 고품질 출력을 위해 **최소한의 ODE 단계($K=2$)**만으로도 충분하여 시스템이 실시간 상호작용 애플리케이션에 적합하다는 점을 강조한다. 또한, 청크 독립적인 스트리밍에서 발생하는 아티팩트를 완화하기 위해 사후 처리(로컬 스무싱)가 실질적으로 필요함을 강조하는 한편, 더 복적인 상태 유지 메커니즘(예: 잠재 꼬리 메모리)은 효과를 거두기 위해 노출 편향을 주의 깊게 다뤄야 함을 언급한다.

결론적으로, 현재 모델은 신체 포즈와 이동에 집중하고 있으나(얼굴 표정 및 손 제외), 향-전체적(holistic) 저지연 디지털 휴먼 시스템을 위한 기초적인 프레임워크를 제공한다.