OmniMate: Open-Ended Real-Time Streaming Audio-Visual Generation for Interactive Avatars

기술 요약: OmniMate

문제 정의

최근 확산 기반 생성 모델(diffusion-based generative models)의 발전은 고충실도, 실시간 오디오 구동 아바타 생성과 통합된 오디오-비주얼 합성을 가능하게 했습니다. 그러나 이러한 능력을 개방형, 실시간 상호작용 스트리밍으로 확장하는 데는 두 가지 결정적인 과제가 존재합니다:

1. 알 수 없는 생성 지평(Unknown Generation Horizon): 미리 정의된 음성 세그먼트를 사용하는 기존 생성 방식과 달리, 상호작용형 스트리밍은 콘텐츠가 언제 완료될지 미리 알지 못하는 상태에서 실행 프롬프트에 따라 응답을 생성해야 합니다. 고정된 길이는 응답을 잘라먹거나 중복 생성을 초래할 위험이 있으며, 명시적인 완료 감지는 실시간 상호작용을 저해하는 지연(latency)을 유발합니다.
2. 장기적 교차 모달 정체성 드리프트(Long-Term Cross-Modal Identity Drift): 제한된 시간적 컨텍스트를 가진 스트리밍 시나리오에서는 시각적 정체성 단서(외형, 포즈)와 화자 정체성 단서(음성 음색)가 시간이 지남에 따라 희미해지는 경향이 있습니다. 단일 참조 방식은 보이지 않는 포즈, 관점, 그리고 여러 대화 턴에 걸친 일관성을 유지하는 데 어려움을 겪으며, 이는 정체성 드리프트로 이어집니다.

방법론

저자들은 개방형, 실시간 상호작용 오디오-비주얼 아바타 생성을 위해 설계된 통합 프레임워크인 OmniMate를 제안합니다. 이 시스템은 음성, 얼굴 동작, 신체 제스처 및 동작 관련 효과음을 공동으로 합성하며, "경청(listening)" 상태와 "실행(execution)" 상태 사이의 원활한 전환을 유지합니다. 이 프레임워크는 LTX2.3 파운데이션 모델을 기반으로 구축되었으며, 두 가지 새로운 모듈을 포함합니다:

1. 생성 진행 제어기 (Generation Progress Controller, GPC)

GPC는 적응형 응답 종료와 원활한 상태 전환 문제를 해결합니다.

• 메커리즘: 각 스트리밍 청크(chunk)의 생성 진행도를 명시적으로 모델링합니다. LLM으로부터 추정된 실행 지속 시간을 바탕으로, GPC는 잠재 정렬된 진행도를 연속적인 시간 임베딩(실행의 경우 1에서 1000까지, 경청의 경우 0)으로 매핑합니다.
• 주입(Injection): 이러한 진행 신호는 다층 퍼셉트론(MLP)과 사인형 위치 인코딩(Sinusoidal Positional Encoding)을 통해 잠재 표현(latent representations)에 주입됩니다.
• 학습 전략: 저자들은 **DMD 증류된 양방향 교사 모델(DMD-distilled bidirectional teacher model)**을 사용하여 상태 전환 학습 데이터를 구축합니다. 이 교사 모델은 경청 상태와 실행 상태 사이의 명시적 전환이 포함된 시퀀스를 생성합니다. 세그먼트 단위의 텍스트 교차 주의(cross-attention) 마스크를 적용하여, 학생 모델이 주입된 진행 신호에 따라 특정 프롬프트(실행 vs. 경청)에 주의를 기울이도록 함으로써 상태 경계 간의 의미론적 누출(semantic leakage)을 방지합니다.

2. 다중 참조 조건화 모듈 (Multi-Reference Conditioning Module, MRCM)

MRCM은 지속적인 단서를 활용하여 장기적 정체성 보존 문제를 해결합니다.

• 시각적 조건화: 단일 참조 대신, 이 모듈은 최대 4개의 참조 이미지를 시간적 차원에서 노이즈가 포함된 비디오 잠재 표현(video latents)과 결합합니다. 참조 토큰이 생성된 프레임의 시간적 위치를 방해하지 않도록 음수 회전 위치 임베딩(Negative Rotary Positional Embeddings, RoPE)이 적용됩니다.
• 화자 조건화: 디노이징 과정 중에 참조 오디오 세그먼트(또는 모델이 생성한 워밍업 발화)를 생성된 오디오 잠재 표현으로 대체하는 학습 없는(training-free) 전략이 사용됩니다. 이를 통해 상호작용 전반에 걸쳐 일관된 목소리 음색과 화자 특성을 보장합니다.

학습 및 추론 파이프라인

학습 과정은 네 단계로 구성됩니다:

1. 시각적 정체성 조건화를 통한 LTX2.3 미세 조정(fine-tuning).
2. **분포 매칭 증류(Distribution Matching Distillation, DMD)**를 사용하여 소수의 단계로 구성된 양방향 교사 모델을 증류하고 상태 전환 ODE 궤적을 구축.
3. ODE 초기화: GPC와 인과적(causal) 학생 모델을 공동 최적화.
4. Self-Forcing DMD: 각 청크가 참조 청크, 첫 번째 청크, 그리고 인접 청크에만 주의를 기울이도록 하는 자기회귀적(autoregressive) 동작을 강제하기 위해 모델을 추가 증류.

추론 시, 시스템은 LLM을 사용하여 응답 내용과 추정 지속 시간을 생성합니다. GPC는 이 지속 시간을 진행 신호로 변환하여 스트리밍 생성을 가이드하며, MRCM은 정체성 일관성을 유지합니다.

주요 기여

1. OmniMate 프레임워크: 낮은 지연 시간으로 음성, 표정, 제스처 및 환경음을 공동으로 합성할 수 있는 개방형, 실시간 상호작용 오디오-비주얼 아바타 생성 프레임워크.
2. 생성 진행 제어기 (GPC): 생성 진행도를 명시적으로 모델링하여 모델이 원하는 실행 스케줄을 따르고, 경청과 실행 상태 사이의 원활한 전환을 달성하며, 최소한의 지연 시간으로 새로운 명령에 응답할 수 있게 하는 혁신적인 제어기.
3. 다중 참조 조건화 모듈 (MRCM): 다중 참조 이미지와 참조 오디오 세그먼트를 활용하여 확장된 스트리밍 상호작용 동안 장기적인 시각적 및 화자 정체성 일관성을 보존하는 모듈.

실험 결과

저자들은 VerseBench의 상호작용 지향적 적응 버전을 통해 OmniMate를 평가하였으며, 이를 최첨단 오프라인 모델(예: Ovi-1.1, MOVA, UniVerse-1) 및 실시간 모델(예: OmniForcing, Hallo-Live)과 비교하였습니다.

• 성능 지표: OmniMate는 실시간 방식들 중 가장 높은 생성 속도(27.64 FPS)와 가장 낮은 첫 프레임 도달 시간(3.49s)을 기록하면서도 경쟁력 있는 시각적 품질과 입 모양 동기화(lip-sync) 정확도를 유지했습니다.
• 일관성: 모델은 우수한 오디오-비주얼 일관성(IB-Score)과 장기간에 걸친 강력한 오디오 정체성(A-ID) 및 시각적 정체성(V-ID) 보존 능력을 보여주었습니다.
• 절제 연구(Ablation Studies): 실험을 통해 GPC를 제거하면 부정확한 상태 전환과 반복적인 음성이 발생하고, MRCM 구성 요소를 제거하면 다양한 관점에서 시각적 정체성이 저하되고 화자 특성이 불일치함을 확인했습니다.
• 장기 안정성: 30초, 60초, 240초에서의 평가 결과, 품질이나 일관성의 유의미한 저하가 나타나지 않아 확장된 상호작용을 위한 프레임워크의 역량을 검증했습니다.

의의 및 주장

본 논문은 생성 지평의 불확실성과 장기적 정체성 보존 사이의 근본적인 트레이드오프를 해결함으로써 실시간 상호작용 아바타 시스템을 위한 견고한 솔루션을 제공한다고 주장합니다. 적응형 진행 제어와 다중 참조 조건화를 통합함으로써, 이 프레임워크는 아바타가 정체성 드리프트나 지연으로 인한 어색함 없이 경청과 발화를 매끄럽게 전환할 수 있는 자연스럽고 몰입감 있으며 일관된 다회차 대화를 가능하게 합니다. 저자들은 OmniMate를 높은 충실도를 유지하며 장기간 지속되는 현실적이고 반응적인, 사용자-아바타 간의 대화 행동을 향한 단계로 포지셔닝합니다.

한계점

저자들은 매우 긴 응답이나 부정확한 지속 시간 추정이 때때로 단어 누락이나 반복을 초래할 수 있음을 인정합니다. 또한, 현재의 정체성 보존 메커니즘은 외형이나 장면의 큰 변화를 포함하는 동작 생성에 제한이 있습니다. 향후 연구로는 개선된 진행 모델링과 자율적인 장기 상호작용을 향한 프레임워크 확장에 집중할 것을 제안합니다.