기술 요약: UMo – 실시간 대화형 아바타를 위한 통합 희소 모션 모델링

문제 제기

대화와 동기화된 표정 및 신체 제스처를 생성하는 표현력 있는 실시간 대화형 아바타 (디지털 캐릭터) 는 인터랙티브 미디어, 게이밍, 가상 제작 분야에서 필수적입니다. 그러나 기존 접근 방식은 품질, 효율성, 데이터 가용성 사이의 근본적인 트레이드오프에 직면해 있습니다:

• 데이터 부족: 대부분의 고품질 방법은 값비싼 오디오 - 모션 쌍 데이터셋에 크게 의존하여, 다양한 실제 시나리오에서 일반화 성능이 낮고 모션 다양성이 제한적입니다.
• 표현의 한계: 대규모 언어 모델 (LLM) 은 강력한 교차 모달 능력을 제공하지만, 밀집된 아키텍처는 동시에 얼굴과 신체 모션을 위한 고차원적이고 세밀한 조율을 표현하는 데 있어 prohibitive 한 계산 비용을 초래하지 않고는 어려움을 겪습니다.
• 지연 시간 제약: 인터랙티브 아바타는 엄격한 실시간 성능 (낮은 지연 시간 및 높은 처리량) 을 요구합니다. 기존 확산 기반 모델은 반복적 샘플링으로 인해 종종 너무 느리며, 표준 자기회귀 모델은 실시간 스트리밍 제약으로 인해 역사적 컨텍스트를 잃거나 고품질 정렬을 유지하지 못할 수 있습니다.

방법론: UMo 아키텍처

저자들은 실시간 고품질 대화형 생성을 달성하도록 설계된 통합 희소 모션 모델링 아키텍처인 UMo를 제안합니다. UMo 는 텍스트, 오디오, 모션 토큰을 단일 자기회귀 형식으로 통합하며, 품질과 효율성을 균형 있게 맞추기 위해 세 가지 핵심 메커니즘을 사용합니다:

1. 통합 자기회귀 형식

UMo 는 모션 생성을 통합 프레임워크 내의 토큰 예측 작업으로 취급합니다.

• 토큰화: 오디오는 k-means 양자화 (초당 50 토큰) 를 적용한 HuBERT 특징 추출기를 통해 인코딩됩니다. 모션은 네 가지 영역별 스트림 (얼굴, 손, 상체, 하체) 으로 분해되고 VQ-VAE 토크나이저를 사용하여 양자화됩니다 (영역당 초당 30 토큰).
• 조편 단위 디코딩: 지연 시간과 메모리를 관리하기 위해 모델은 고정 크기의 슬라이딩 윈도우에서 작동합니다. 이는 역사적 모션 토큰의 접두사 (P=10 프레임) 를 사용하고, 자기회귀 방식으로 목표 윈도우 (N=5 프레임) 를 예측합니다.
• 하이브리드 어텐션: Flan-T5-Base 백본을 활용하여 UMo 는 컨텍스트를 완전히 이해하기 위해 역사적 접두사에 대해 양방향 어텐션을, 스트리밍 기능을 보장하기 위해 미래 목표 윈도우에 대해 인과적 어텐션을 사용합니다.

2. 공간적 희소 전문가 혼합 (MoE)

서로 다른 신체 부위에 대한 공유 파라미터의 표현적 한계를 해결하기 위해 UMo 는 공간적 희소 MoE 프레임워크를 도입합니다.

• 라우팅: T5 백본의 밀집 피드포워드 네트워크 (FFN) 가 MoE 레이어로 대체됩니다. 라우터는 특정 신체 영역 (얼굴, 손, 상체, 하체) 의 토큰을 네 개의 전용 전문가 네트워크 중 하나로 동적으로 할당합니다.
• 이점: 이 설계는 전체 모델 용량을 증가시키고, 추론 시 토큰당 계산 오버헤드를 증가시키지 않으면서 (각 토큰당 하나의 전문가만 활성화되므로) 미묘한 표정 대 거친 신체 움직임과 같은 서로 다른 모션 분포의 전문화된 학습을 가능하게 합니다.

3. 시간적 희소 키프레임 프레임워크

조밀한 프레임 단위 생성의 계산 병목 현상을 극복하기 위해 UMo 는 두 단계의 시간적 희소성 전략을 채택합니다.

• 키프레임 예측: 주요 LLM 백본은 모든 프레임을 예측하는 대신 희소하고 중요한 키프레임(예: 6 번째 프레임마다) 만 예측합니다. 이는 자기회귀 디코딩 길이와 지연 시간을 크게 줄입니다.
• 보간 네트워크: 예측된 키프레임 사이의 조밀한 모션 시퀀스를 재구성하는 경량 분리 보간 네트워크가 있습니다. 이 네트워크는 고정된 키프레임 앵커에 조건부 비키프레임 간격을 채우도록 훈련되어, 주요 LLM 에 부담을 주지 않으면서 부드러운 전환과 세밀한 디테일을 유지합니다.

4. 훈련 전략 및 오디오 증강

UMo 는 다중 모달 최적화를 안정화하기 위해 세 단계 훈련 레시피를 활용합니다:

1. 사전 훈련: 키프레임 기반 시퀀스를 사용한 모션, 오디오, 텍스트 정렬의 공동 모델링.
2. 후훈련 단계 1: 오디오 - 모션 정렬을 정교화하기 위한 조밀한 시간적 감독을 통한 인스트럭션 튜닝.
3. 후훈련 단계 2: 조편 단위 자기회귀 추론 패러다임으로의 적응.

• 오디오 증강: 데이터 부족을 완화하고 견고성을 향상시키기 위해 저자들은 표적 오디오 증강 전략을 사용합니다. 기존 모션 시퀀스에 대해 다양한 성대 음색을 생성하기 위해 텍스트 - 음성 변환 모델을 사용하여 많은 - 하나 매핑을 생성함으로써, 모델이 특정 화자 특성에 과적합하기보다는 보편적인 모션 패턴을 학습하도록 유도합니다.

주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 통합 아키텍처: 텍스트, 오디오, 구성적 모션 토큰을 공동 모델링하는 새로운 자기회귀 프레임워크로, 고품질 실시간 생성을 가능하게 합니다.
2. 공간적 희소성: 추론 지연 시간을 증가시키지 않으면서 다양한 신체 부위에 대한 표현력을 확장하는 MoE 백본.
3. 시간적 희소성: 학습된 보간 네트워크와 결합된 키프레임 중심 생성 패러다임으로, 모션 디테일을 유지하면서 실시간 성능을 달성합니다.
4. 실용적 훈련 파이프라인: 대화형 시나리오에서 생성 품질, 다양성, 견고성을 향상시키는 다단계 훈련 레시피 및 표적 오디오 증강 전략.

실험 결과

저자들은 BEATv2 데이터셋 (화자 2) 에서 UMo 를 평가하여 LOM, MIBURI, MambaTalk, GestureLSM 을 포함한 최첨단 방법들과 비교했습니다.

• 품질 및 동기화: UMo 는 프레셰트 제스처 거리 (FGD) 5.107 및 비트 일관성 (BC) 7.955 를 달성하여 대부분의 LLM 기반 방법을 능가했으며, EMAGE 및 MambaTalk 과 같은 비-LLM 베이스라인에 비해 우수한 정렬과 리얼리즘을 입증했습니다.
• 실시간 성능: UMo 는 NVIDIA A100 GPU 에서 초당 44 프레임 (FPS) 을 달성하며 첫 프레임 도달 시간 (TTFF) 은 826 ms 였습니다. MIBURI 가 더 낮은 TTFF 를 가지지만, UMo 는 훨씬 더 높은 모션 표현력과 충실도를 제공합니다.
• 사용자 연구: 13 명의 참가자가 참여한 블라인드 사용자 연구에서 UMo(오디오 증강 포함) 는 부드러움, 다양성, 전반적 선호도에 대해 가장 높은 선호도 점수 (평균 순위 1.78) 를 받았으며, LOM 및 GestureLSM 과 같은 베이스라인을 크게 능가했습니다.
• 절대 실험: 실험은 AR, MoE, 키프레임 전략의 조합이 최상의 결과를 산출함을 확인했습니다. 구체적으로 MoE 프레임워크는 계산 비용 없이 다양성을 개선했으며, 키프레임 전략은 누적 디코딩 오류를 줄였습니다.

중요성 및 주장

본 논문은 UMo 가 고품질 실시간 대화형 아바타를 위한 실용적인 해결책을 제공한다고 주장합니다. 희소 자기회귀 프레임워크 내에서 다중 모달 데이터를 통합함으로써 UMo 는 대형 모델의 높은 계산 비용과 인터랙티브 애플리케이션의 엄격한 지연 시간 요구 사항 사이의 트레이드오프를 성공적으로 극복합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 엄격한 지연 시간 제약 하에서도 세밀한 음성 - 모션 정렬을 유지합니다.
• 모든 시나리오에 대해 값비싼 완벽하게 짝지어진 오디오 - 모션 데이터셋을 요구하지 않고 방대하고 다양한 인간 모션 데이터를 활용할 수 있는 확장 가능한 경로를 제공합니다.
• 희소 모델링 (MoE 를 통한 공간적 희소성과 키프레임을 통한 시간적 희소성) 이 실시간 생성형 아바타 시스템에 대한 실현 가능하고 효과적인 전략임을 보여줍니다.

이 연구는 시간적 디코딩의 구조적 편향과 외부 오디오 입력의 필요성과 관련된 한계가 여전히 존재하지만, UMo 가 디지털 아바타를 위한 미래의 통합 생성 프레임워크에 견고한 기반을 마련했다고 결론지었습니다.