기술 요약: EchoAvatar

문제 정의

대규모 언어 모델 (LLM) 과 음성 에이전트의 급속한 발전으로 자연스러운 대화가 가능해졌으나, 시각적 구현은 여전히 병목 현상으로 남아 있습니다. 현재 오디오 기반 모션 합성 방법은 다음 두 가지 주요 한계로 인해 차세대 인터랙티브 아바타의 요구 사항을 충족하지 못합니다:

1. 지연 시간 (Latency): 대부분의 최첨단 방법은 오프라인 처리를 위해 설계되어 모션 생성 전에 완전한 오디오 시퀀스를 필요로 하므로, 실시간 상호작용에 있어 용납할 수 없는 지연 시간을 초래합니다.
2. 도메인 분열: 기존 접근 방식은 일반적으로 대화형 말소리 또는 리듬 음악 중 하나만 처리하는 도메인 특화적이며, 둘 다 다루는 경우는 드뭅니다. 이로 인해 복잡한 모델 전환이 필요하며, 다양한 음향 입력을 균일하게 처리해야 하는 범용 음성 에이전트의 적용 범위가 제한됩니다.

명시적인 도메인 레이블 없이 스트리밍 말소리와 음악으로부터 저지연으로 연속적이고 일관된 전신 모션을 생성할 수 있는 통합 프레임워크에 대한 시급한 필요성이 존재합니다.

방법론

EchoAvatar 는 실시간 고품질 3D 모션 합성을 위해 설계된 통합 스트리밍 아키텍처를 도입합니다. 이 시스템은 세 가지 핵심 구성 요소로 구성됩니다:

1. 어텐션 기반 인과적 모션 토크나이저

이전 인과적 토크나이저의 지연 시간 및 표현력 문제를 해결하기 위해, 저자들은 시간적 인과성을 엄격히 준수하면서 연속적인 모션 매니폴드를 잠재 토큰으로 이산화하는 토크나이저를 제안합니다.

• 아키텍처: 경직된 합성곱 백본 대신, 인과적 마스크에 의해 지배되는 스택된 어텐션 블록을 사용하여 수용 영역을 이전 프레임으로 제한합니다.
• 이중 경로 전략: DC-AE 에서 영감을 받아, 시간적 다운샘플링 (시간 풀링 브랜치와 특징 연결 브랜치를 통합) 과 업샘플링 (시간 복제와 채널 확장 MLP 결합) 을 처리하기 위해 이중 경로 전략을 사용하여 정보 손실 없이 리샘플링을 수행합니다.
• 물리적 제약: 발 미끄러짐과 같은 아티팩트를 억제하기 위해, 최적화 루프는 전역 관절 위치, 속도, 가속도 및 발 접촉 일관성에 대한 순방향 운동학 (FK) 손실을 통합합니다.
• 양자화: 연속적인 잠재 궤적은 해부학적으로 분할된 토크나이징 (상체, 하체, 손에 대한 별도의 코드북) 을 가진 잔차 벡터 양자화 (RVQ) 를 사용하여 이산화됩니다.

2. 통합 오디오 기반 모션 생성

시스템은 3 단계 커리큘럼을 통해 사전 훈련된 대규모 언어 모델 (LLM) 을 생성적 모션 합성에 적응시킵니다:

• 임베딩 공간 정렬: 이산 오디오 및 모션 코드북을 LLM 의 연속 잠재 매니폴드로 투사합니다.
• 음향 - 운동학적 정렬: 스트리밍 오디오로부터 모션을 합성하도록 백본을 조건화합니다.
• 예시 기반 제어: 모델을 참조 모션을 명시적인 스타일 지시자로 받아들이도록 미세 조정합니다.

주요 훈련 혁신:

• 계층적 토큰 손상: "조건적 붕괴"(모델이 오디오 입력을 무시하고 자기회귀 모션 역사에만 의존하는 현상) 를 방지하기 위해, 저자들은 표적 정규화 전략을 도입합니다. 훈련 중 컨텍스트 모션 토큰은 확률적으로 교란됩니다. 핵심적으로, 이 손상은 RVQ 계층을 존중합니다: 선택된 타임스텝에서 레이어 깊이를 샘플링하고, 해당 레이어와 모든 더 정밀한 레이어의 토큰을 무작위화하는 반면, 더 거친 기초 레이어는 그대로 유지합니다. 이는 모델이 오디오와 모션 간의 상호 정보에 의존하도록 강제합니다.
• 평탄화된 인터리빙: MusicGen 에 따라, 다중 레이어 RVQ 인덱스를 단일 자기회귀 스트림으로 직렬화합니다. 계층적 손실 스케일링 전략은 더 깊은 RVQ 레이어에 단조 감소 가중치를 적용하여 미세한 세부 사항보다 구조적 일관성을 우선시합니다.

3. 강화 학습 (RL) 정렬

훈련 분포를 넘어 생성 품질을 정제하기 위해, 저자들은 두 가지 RL 패러다임을 탐구합니다:

• 보상 유도 최적화 (GRPO): 자기지도식 프록시 보상을 사용하는 그룹 상대 정책 최적화 (Group Relative Policy Optimization) 를 사용합니다. 모션 품질 보상 모델은 인위적으로 손상된 모션 시퀀스 (FID 점수를 사용하여 손상 심각도를 품질에 매핑) 로 훈련되며, 오디오 - 모션 정렬 보상은 InfoNCE 대비 목적 함수를 통해 학습됩니다.
• 직접 선호도 정렬 (DPO): 명시적 보상 모델 없이 선호도 쌍 (승리 대 패배 샘플) 을 사용하여 인간 선호도에 대해 정책을 직접 최적화하며, 데이터셋 구성을 위해 Best-of-N 샘플링 전략을 사용합니다.

4. 시스템 통합

이 프레임워크는 상류 LLM 이 암시적 오디오 기반 모션과 교차하여 명시적 의미 제어 (예: 특정 제스처) 를 주입할 수 있는 도구 호출 인터페이스를 포함합니다. 시스템은 연속적인 자기회귀 스트리밍을 유지하기 위해 슬라이딩 윈도우 전략을 지원하는 분산 추론을 지원하는 플러그 앤 플레이 모듈로 배포됩니다.

주요 기여

1. 통합 스트리밍 아키텍처: 스트리밍 말소리와 음악으로부터 저지연으로 연속적이고 고품질의 모션을 합성하기 위해 어텐션 기반 인과적 토크나이징을 활용하는 새로운 프레임워크로, 도메인 특화 모델 전환의 필요성을 제거합니다.
2. 강건한 훈련 커리큘럼: 조건적 붕괴를 방지하고 개별 작업의 성능을 향상시키며 다양한 도메인 (말소리와 음악) 간의 시너지 학습을 가능하게 하는 계층적 토큰 손상의 도입. 또한, 인지된 생성 품질을 향상시키기 위해 RL 전략 (GRPO/DPO) 을 탐구합니다.
3. 배포 가능한 플러그 앤 플레이 시스템: 음성 에이전트와 통합되며, 도구 호출을 통한 암시적 오디오 기반 애니메이션과 명시적 의미 제어를 모두 지원하는 완전한 기능 시스템으로, 라이브 배포에 적합합니다.

결과

광범위한 실험은 EchoAvatar 가 모션 품질과 동기화 측면에서 최첨단 실시간 베이스라인을 능가함을 보여줍니다.

• 정량적 성능: BEAT2 벤치마크에서 이 방법은 2.874 의 새로운 최첨단 Fréchet Inception Distance (FID) 를 달성하여 MECo(3.401) 및 EMAGE(5.512) 와 같은 전문 모델을 능가합니다.
• 통합 능력: 통합 모델은 두 도메인 모두에서 객관적 지표 (FID, BAG, BAD) 와 주관적 선호도 측면에서 전문 베이스라인 (말소리에 대한 MECo, 음악에 대한 EDGE) 을 능가합니다.
• 절대 연구: 계층적 토큰 손상을 제거하면 모델이 오디오 입력을 무시하는 "조건적 붕괴"가 발생합니다. 말소리와 음악 데이터셋의 결합 훈련은 두 도메인 모두에서 성능 향상을 가져와 교차 모달 시너지 (예: 음악 데이터가 말소리 제스처의 비트 매칭을 개선) 를 입증합니다.
• RL 영향: GRPO 와 DPO 모두 주관적 평가 점수를 향상시킵니다. DPO 는 대화 제스처에서 (자연스러움 우선) 더 큰 개선을 보이고, GRPO 는 춤에서 (리듬 동기화 우선) 더 큰 개선을 보입니다.
• 지연 시간: 시스템은 약 300 토큰/초의 처리량을 달성하며, 총 계산 지연 시간 (인코딩, 합성, 디코딩 및 IK 후처리 포함) 은 NVIDIA H200 및 RTX 4090 하드웨어 모두에서 266ms 오디오 청크 지속 시간보다 훨씬 낮습니다.

중요성 및 주장

이 논문은 EchoAvatar 를 진정한 인터랙티브 아바타와 가상 비서로 나아가는 결정적인 단계로 위치시킵니다. 그 중요성은 반응형 오디오 기반 애니메이션과 제어 가능하고 의도 주도적인 행동 사이의 간극을 메우는 데 있습니다. 저지연 스트리밍 아키텍처에서 말소리와 음악 처리를 성공적으로 통합함으로써, 이 프레임워크는 음성 에이전트를 인터랙티브 휴먼 아바타로 변환하는 "플러그 앤 플레이" 솔루션 역할을 합니다.

저자들은 겸손하게도, 이 시스템이 통합 실시간 애니메이션을 위한 견고한 기준선을 확립하지만 현재는 얼굴과 신체 역학을 분리하며 급격한 음향 종료에 대한 특정 전환 정책을 결여하고 있음을 지적합니다. 또한, 시스템은 화자 역할에 초점을 맞추고 있으며, 이원적 소통 (능동적 경청) 의 상호적 본성은 향후 연구 과제로 남깁니다. 이 작업은 Whispers from the Star와 같은 완전한 엔드 투 엔드 인터랙티브 시스템으로 제시되는 것이 아니라, 어떤 음성 에이전트 뒤에도 통합될 수 있는 스트리밍 오디오 - 애니메이션을 위한 전문화된 고성능 모듈로 제시됩니다.