기술 요약: InteractiveAvatar

문제 정의

최근 확산 기반(diffusion-based) 모델들은 오디오 기반 아바타 생성을 발전시켜 현실적인 입 모양 동기화와 외형을 가능하게 했습니다. 그러나 기존 방식들은 실시간 스트리밍 시나리오에서 두 가지 근본적인 한계에 직면해 있습니다:

1. 시각적 시간적 불일치(Visual Temporal Inconsistency): 현재의 방법들은 대개 제한된 수용 영역(이전의 몇 개 청크와 참조 이미지)을 가진 인과적 어텐션(causal attention)에 의존합니다. 생성 시간이 길어짐에 따라, 이는 "시간적 드리프트(temporal drift)"를 유발하여 인접한 비디오 청크 간의 정체성, 객체 및 장면 안정성이 어긋나는 결과를 초래합니다.
2. 의도 인식 상호작용의 부재(Lack of Intent-Aware Interaction): 대부분의 시스템은 LLM이 음성을 생성하고, 오디오-모션 상관관계에 따라 입 모양과 거친 제스처를 애니메이션화하는 단순한 오디오 구동 패러다임을 따릅니다. 이러한 시스템은 사용자의 의도를 명시적으로 인지하여 미세하고 의미론적으로 정렬된 동작(예: 시간을 묻는 질문에 시계를 보는 동작)을 생성하거나 장면을 동적으로 적응시키는 데 실패하며, 이는 상호작용의 현실성을 제한합니다.

방법론

저자들은 세 가지 핵심 구성 요소를 통해 이러한 과제를 해결하기 위해 설계된 실시간 무한 스트리밍 비디오 생성 프레임워크인 InteractiveAvatar를 제안합니다.

1. 장단기 시각 메모리 (Long-Short Visual Memory, LSVM)

임의의 긴 시간 동안 시각적 일관성을 유지하기 위해, 저자들은 역사적 시각 정보를 유연하게 압축하는 메모리 메커니즘을 도입했습니다:

• 이중 메모리 구조: 시스템은 국부적인 시간적 일관성을 보장하기 위해 최근 프레임(예: 마지막 5초)의 조밀한 표현을 포함하는 **단기 메모리($M_s$)**를 유지합니다. 또한 전역적으로 중요한 시각적 상태를 나타내는 컴팩트한 토큰들로 구성된 고정 용량의 **장기 메모리($M_l$)**를 유지합니다.
• 메모리 압축: 경량 모델이 비디오 레이턴트(latents)를 시간적 다운샘플링 없이 컴팩트한 토큰으로 압축하여, 스트리밍 중 레이턴트를 분리하고 업데이트할 수 있는 능력을 보존합니다.
• 동적 키 프레임 선택 (Dynamic Key-Frame Selection, DKFS): 추론 시, 프레임이 단기 윈도우를 벗어날 때 장기 보존 여부를 평가합니다. 시스템은 SigLIP2를 사용하여 의미론적 특징을 추출하고 전역 중복도 점수를 계산합니다. 후보 프레임은 전체적인 의미론적 중복도를 감소시킬 때만 장기 메모리에 삽입되며, 이를 통해 메모리가 균일한 시간 샘플링 프레임이 아닌 다양하고 대표적인 키 프레임을 저장하도록 보장합니다.

2. 추론-반응 모듈 (Reasoning-Reaction Module, RRM)

의도 인식 상호작용을 가능하게 하기 위해, 프레임워크는 LLM 기반 추론 센터를 통합합니다:

• 상태 순환 전략 (State-Cycling Strategy): LLM은 사용자 입력과 현재의 안정적인 상태를 처리하여 세 가지 구성 요소인 액션 프롬프트(신체 움직임/포즈 가이드), 응답 오디오, 그리고 안정 상태 프로프트(액션 후의 정적 시각 조건 정의)를 출력합니다. 확산 모델은 응답 중 액션 프롬프트와 오디오에 조건화되어 동작하며, 오디오가 종료되면 안정 상태 프롬프트로 전환되어 아바타가 모션 드리프트 없이 일관된 상태로 복귀하도록 합니다.
• 캐시 스위칭 메커니즘 (Cache-Switching Mechanism): 상태 전환 중 발생하는 지연 시간을 줄이기 위해, 시스템은 업데이트된 텍스트 조건들을 재인코딩하고 바로 직전 청크들의 키-값(KV) 캐시를 재계산합니다. 이를 통해 모델이 전체 재생성을 기다리지 않고도 새로운 액션 프롬프트에 빠르게 재정렬할 수 있습니다.

3. 자기회귀적 증류 적응 (Autoregressive Distillation Adaptation)

실시간 성능을 달 enough하기 위해, 저자들은 사전 훈련된 확산 트랜스포머(Diffusion Transformer, DiT) 백본(Wan 2.2 5B)을 4단계 훈련 파이프라인을 통해 적응시킵니다:

1. AI2V 사전 훈련: 양방향 어텐션을 가진 대규모 오디오-비주얼 데이터로 훈련합니다.
2. 메모리 압축 사전 훈련: 비디오 재구성을 통해 압축 모듈을 훈련합니다.
3. ODE 초기화: 교사 모델의 ODE 궤적을 근사하기 위해 블록 단위 인과적 어텐션(block-wise causal attention)을 사용하여 훈련합니다.
4. Self-Forcing DMD: 분포 매칭 증류(Distribution Matching Distillation, DMD)를 적용하여 확산 모델을 몇 단계의 자기회귀 생성기로 증류합니다. 이는 학생 모델과 교사 모델 분포 사이의 역 KL 발산을 최소화하여 안정적인 저단계 추론을 가능하게 합니다.

주요 기여

1. InteractiveAvatar 프레임워크: 강력한 시각적 일관성과 의도 인식 상호작용을 갖춘 장기 지속 합성 능력을 가진 새로운 실시간 스트리밍 오디오 구동 아바타 생성 시스템입니다.
2. 장단기 시각 메모리 (LSVM): 동적 키 프레임 선택을 통해 역사적 시각 표현을 보존함으로써, 긴 시퀀스에서 시각적 일관성을 크게 향상시키고 시간적 드리프트를 방지하는 메커니즘입니다.
3. 추론-반응 모듈 (RRM): 상태 순환(State-Cycling) 및 캐시 스위칭(Cache-Switching) 기능을 갖추어 아바타가 사용자 의도를 해석하고, 조율된 음성과 동작을 생성하며, 낮은 지연 시간으로 명령을 실행할 수 있게 하는 모듈입니다.

실험 결과

저자들은 500개의 다양한 상호작용 시나리오를 포함하는 비디오 테스트 케이스를 통해 InteractiveAvatar를 최첨단 방법들(예: OmniAvatar, WanS2V, LiveAvatar)과 비교 평가했습니다.

• 정량적 성능: InteractiveAvatar는 객체 수준 일관성(OBJ) (85.2) 및 텍스트-비디오 정렬(TV) (25.93)에서 최첨단 결과를 달성했으며, 정체성 보존(ID)에서도 경쟁력 있는 성능을 보였습니다. 비디오 품질 지표(IQA, FID)는 베이스라인과 유사했으나, 본 방법은 우수한 시간적 안정성을 입증했습니다.
• 실시간 효율성: 경량 5B 모델과 증류 기술을 활용하여, 시스템은 26.68 FPS를 달성하여 모든 베이스라인(두 번째로 빠른 LiveAvatar는 21.94 FPS)을 앞질렀습니다.
• 정성적 분석: 시각적 비교 결과, 베이스라인들이 객체의 형태/색상 변화, 급격한 카메라 이동 또는 액션 지시 수행 실패를 겪는 반면, InteractiveAvatar는 일관된 객체 외형(예: 시계)을 유지하고 사용자 의도에 부합하는 복잡한 동작(예: 앉기, 시계 보기)을 정확히 수행했습니다.
• 절제 연구 (Ablation Studies): LSVM 모듈을 제거하면 객체 일관성이 크게 저하되었습니다 (OBJ가 85.2에서 78.4로 하락). RRM 구성 요소를 제거하면 의도 인식 액션 기능이 상실되어 시스템이 단순 언어적 응답으로 회귀했습니다. DMD 증류를 제거하면 추론 속도가 1.27 FPS로 급락했습니다.

의의

본 논문은 InteractiveAvatar가 고품질 아바타 생성과 현실적인 상호작용형 디지털 휴먼 사이의 간극을 메운다고 주장합니다. 장거리 시각적 일관성과 의도 인식 응답성 문제를 결속하여 해결함으로써, 이 프레임워크는 차세대 몰입형 애플리케이션을 위한 실질적인 토대를 제공합니다. 저자들은 이 접근 방식이 아바타가 단순히 말하는 것을 넘어 문맥에 맞는 행동을 수행하고 장기간의 상호작용 동안 시각적 안정성을 유지할 수 있게 함으로써, 단순한 반응형 시스템을 넘어 완전한 의도 인식 디지털 에이전트로 나아가게 한다고 강조합니다.