💻 computer science

Avatar-Forever: Decoupled Parallel Training for High-Quality Real-Time Infinite Avatars

Avatar-Forever는 높은 시각적 품질을 위한 전체 파라미터 증류(full-parameter distillation)와 회복 지향 롤아웃 학습(Recovery-oriented Rollout Training)을 통해 학습된 경량 롱 호라이즌 어댑터를 결합한 디커플드 병렬 학습 프레임워크로, 단일 H100 GPU에서 안정적이고 실시간적인 무한 오디오 기반 아바타 생성을 가능하게 한다.

원저자: Ruibin Li, Tao Yang, Zhiyuan Ma, Fangzhou Ai, Shilei Wen, Lei Zhang

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Ruibin Li, Tao Yang, Zhiyuan Ma, Fangzhou Ai, Shilei Wen, Lei Zhang

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영원히 실제 사람처럼 보이고, 움직이고, 말하는 디지털 친구와 대화할 수 있는 세상을 상상해 보세요. 이것은 단순한 공상 과학 영화 속의 꿈이 아닙니다. 이것은 과학자들이 컴퓨터에게 움직이는 영상을 이해하고 생성하도록 가르치는 분야인 **비주얼 컴퓨팅(visual computing)**의 목표입니다. 이를 위해 연구자들은 수백만 개의 비디오를 통해 학습된 거대한 디지털 두뇌인 AI 모델을 사용합니다. 이 분야의 핵심 과제는 **스트리밍 비디오 생성(streaming video generation)**입니다. 이것을 계주 경기에 비유해 보세요. 컴퓨터가 몇 초 분량의 영상을 생성한 다음, 그 결과를 다음 몇 초를 위한 시작점으로 사용하는 방식입니다. 문제는 컴퓨터가 처음 몇 초 동안 아주 작은 실수를 저지르면, 그 실수가 전달 과정에서 점점 커지고 기괴해져서, 결국 디지털 사람이 녹아내리거나 정체성을 잃어버리게 된다는 점입니다. 이 논문은 디지털 인간이 몇 시간 동안 멈추지 않고 말하더라도 완벽한 모습과 자연스러운 동작을 유지하도록 만드는 골칫거리를 해결합니다.

Avatar-Forever를 개발한 연구진은 기존의 방식으로 이 "계주" 문제를 해결하려고 노력하는 것이, 마치 학생에게 한 번에 빠르고 결코 넘어지지 않는 법을 가르치기 위해 하나의 혼란스러운 수업 계획안을 사용하는 것과 같다는 점을 깨달았습니다. 기존 방식은 두 가지 매우 다른 목표를 하나의 학습 과정에 억지로 밀어 넣으려 했습니다. 바로 비디오 생성을 매우 빠르게 만드는 것(실시간처럼 느껴지도록)과 매우 견고하게 만드는 것(1분 이상 무너지지 않도록)입니다. 저자들은 이 두 목표가 실제로 서로 충돌한다고 주장합니다. 속도에 너무 집중하면 영상이 흔들리고, 오류를 수정하는 데 너무 집중하면 너무 느려집니다.

따라서, 컴퓨터가 두 가지 기술을 동시에 배우도록 강요하는 대신, Avatar-Forever는 학습을 두 개의 별도 병렬 클래스로 나눕니다. 디지털 체육관에 두 개의 서로 다른 트랙이 있다고 상상해 보세요. 첫 번째 트랙인 **효율성 브랜치(Efficiency Branch)**에서 AI는 단거리 달리기를 연습합니다. AI는 오로지 속도와 단기적인 미적 완성도에 집중하며 단 몇 단계 만에 고품질의 영상을 생성하는 법을 배웁니다. 두 번째 트랙인 **강건성 브랜치(Robustness Branch)**에서 AI는 다른 기술인 '회복'을 연습합니다. 여기서 연구자들은 의도적으로 AI의 시작점을 망가뜨립니다. 이미지를 흐리게 하거나, 노이즈를 추가하거나, 얼굴의 일부를 가리는 식입니다. 그러고 나서 AI에게 그럼에도 불구하고 다음 몇 초의 영상을 생성하라고 요구합니다. 이것을 **회복 지향 롤아웃 훈련(Recovery-oriented Rollout Training, RRT)**이라고 부릅니다. 이는 체조 선수에게 첫 발을 헛디디더라도 완벽한 뒤공중제비를 하는 법을 가르치는 것과 같습니다. AI는 단순히 실수가 발생하지 않기를 바라는 것이 아니라, 발생하는 대로 스스로 실수를 바로잡는 법을 배웁니다.

AI가 두 트랙 모두에서 훈련을 마치면, 연구자들은 이 두 기술을 결합합니다. 그들은 빠른 주자와 회복 전문가를 하나로 합쳐 하나의 슈퍼 운동선가를 만듭니다. 이 새로운 아바타는 실시간으로 영상을 생성할 수 있으면서도, 정체성을 잃거나 평정심을 잃지 않고 몇 시간 동안 대화할 수 있을 만큼 강인합니다. 더욱 빠르게 만들기 위해, 그들은 ForeverCache라는 영리한 기술을 도입했습니다. 보통 AI가 새로운 영상 덩어리를 생성할 때마다, 방금 만든 전체 기록을 다시 읽어야 하는데, 이는 매 문장을 쓸 때마다 책 전체를 다시 읽는 것과 같습니다. ForeverCache는 스마트한 책갈피와 같습니다. 그것은 안정적인 부분(배경, 사람의 얼굴 등)을 기억하여 AI가 매번 다시 계산할 필요가 없도록 합니다. AI는 오직 지금 쓰여지고 있는 새로운 단어들에만 집중합니다.

결과는 인상적입니다. 220억 개의 파라미터를 가진 거대한 비디오 파운데이션 모델을 기반으로 구축된 Avatar-Forever는, 강력한 H100 그래픽 카드 한 장에서 **초당 27.2 프레임(27.2 fps)**의 속도로 고해상도 영상(768 × 512 픽셀)을 생성할 수 있습니다. 이는 실시간 상호작용이 가능한 속도입니다. 테스트 결과, 이 시스템은 얼굴이 녹아내리거나, 목소리가 어긋나거나, 움직임이 로봇처럼 변하는 현상 없이 11분 이상 디지털 아바타가 자연스럽게 말하도록 유지했습니다. 다른 방법들이 시간이 지나면서 "정체성 표류(identity drift, 사람이 다른 사람처럼 보이는 현상)"나 반복적이고 딱딱한 제스처를 보였던 반면, Avatar-Forever는 캐릭터의 일관성을 유지하고 움직임을 유연하게 유지했습니다. 연구팀은 모델을 훈련하기 위해 완전한 합성 데이터셋을 만들었는데, 이는 실제 인터넷 영상의 무질서함을 피하고 완벽한 품질과 정렬을 보장하기 위해 AI를 사용하여 직접 훈련 영상을 생성했음을 의미합니다.

이 논문은 이러한 "분리 트랙" 접근 방식이 기존의 엉킨 방식보다 오래 지속되는 디지털 인간을 구축하는 더 나은 방법임을 시사합니다. 속도의 필요성과 안정성의 필요성을 분리함으로써, 연구자들은 디지털 글리치(glitch)로 인해 환상이 깨지는 일 없이 우리가 필요할 때마다 언제든 대화, 교육 또는 엔터테인먼트를 제공할 수 있는 디지털 동반자를 만드는 실질적인 경로를 찾아냈습니다. 현재 이 시스템은 강력한 서버에 최적화되어 있어 아직 가정용 컴퓨터에서는 사용할 수 없지만, 우리의 디지털 동반자가 우리가 원하는 만큼 오랫동안 함께할 수 있는 미래를 향한 문을 열어줍니다.

기술 요약: Avatar-Forever

문제 정의

대화형 아바타 생성을 위한 기존의 스트리밍 비디오 시스템은 일반적으로 몇 단계(few-step)의 긴 비디오 생성을 가능하게 하기 위해 순차적이고 증류 중심적인(distillation-centered) 훈련 파이프라인에 의존합니다. 이러한 패러다임은 두 가지 결정적인 한계에 직면해 있습니다:

훈련 불안정성: 순차적 파이프라인의 초기 단계에서 발생하는 실패나 분포 변화(distribution shifts)는 후속 단계의 최적화에 부정적인 영향을 미쳐, 수렴을 어렵게 만들고 특정 단계의 기여도를 진단하기 어렵게 만듭니다.
장기 롤아웃에서의 품질 저하: 증류 중심의 목적 함수는 단기 생성 품질에는 유리할 수 있으나, 자기회귀적 오류(autoregressive errors)가 누적되는 장기 롤아웃에서는 품질 저하를 겪습니다. 초기 아티팩트, 정체성 드리프트(identity drift), 또는 입 모양 동기화 오류가 역사적 맥락(historical context)의 일부가 되어 점진적으로 후속 생성을 저하시킵니다.

현재의 방법들은 교사 강요(teacher forcing), ODE 초기화, 복잡한 강제 전략(forcing strategies)을 포함하는 밀접하게 결합된 단일 순차적 파이프라인을 통해 효율적인 몇 단계 생성과 장기적 견고성을 결합하여 이 문제를 해결하려고 시도합니다. 이러한 얽힘은 훈련 과정을 취약하게 만들고 대규모 비디오 파운데이션 모델로 확장하는 것을 어렵게 만듭니다.

방법론

저자들은 Avatar-Forever를 제안하며, 이는 효율적인 몇 단계 생성과 장기적 견고성이라는 목적을 순차적이 아니라 병렬적으로 훈련함으로써 두 목적을 분리하는 프레임워크입니다. 이 프레임 much는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 분리된 병렬 훈련 (Decoupled Parallel Training)

증류와 장기 컨텍스트 적응을 서로 얽어 놓는 대신, Avatar-Forever는 두 개의 독립적인 훈련 브랜치를 사용합니다:

효율성 브랜치 (Few-Step Distillation): 이 브랜치는 **분포 매칭 증류(Distribution Matching Distillation, DMD)**를 사용하여 풀 파라미터 증류를 수행합니다. 이는 사전 학습된 22B 비디오 파운데이션 모델(LTX)을 고품질의 4단계 생성기로 압축합니다. 이 브랜치는 오직 단기 시각적 품질, 모션 리얼리즘, 그리고 감소된 디노이징 단계에서의 효율적인 샘플링을 보존하는 데 집중하며, 자기회귀적 롤아웃이나 오염된 히스토리를 도입하지 않습니다.
견고성 브랜치 (Recovery-oriented Rollout Training - RRT): 이 브랜치는 확장된 롤아웃 조건에서의 안정성을 개선하기 위해 경량 LoRA 어댑터를 훈련합니다. RRT는 확률적 저하(stochastic degradation)를 통해 자기회고적 오류의 누적을 시뮬레이션함으로써 훈련-테스트 간의 불일치를 해결합니다.
- 메커니즘: 모델은 초기 히스토리 청크를 (노이즈, 블러 또는 마스킹과 같은 확률적 저하를 사용하여) 섭동(perturb)시킨 후, 그래디언트 추적 없이 다단계 자기회귀 롤아웃( $K$ 청크)을 수행합니다.
- 감독(Supervision): 로컬 재구성을 감독하는 방식과 달리, RRT는 저하가 롤아웃을 통해 전파된 후의 최종 타겟 청크에 대해서만 표준 플로우 매칭(flow-matching) 감독을 적용합니다. 이를 통해 모델이 단순히 합성된 오염이 아니라, 모델 유도형 컨텍스트 드리프트로부터 회복하도록 훈련합니다.

2. 추론 시 최적화: ForeverCache

스트리밍 추론을 가속화하기 위해 저자들은 청크 단위의 자기회귀 히스토리 특징 캐싱 메커니즘인 ForeverCache를 도입했습니다.

문제: 표준 자기회귀 추론은 현재 청크만 업데이트되더라도 매 디노이징 단계마다 전체 가시적 히스토리 윈도우를 재계산합니다.
해결책: ForeverCache는 초기 디노이징 단계( $t=T$ )에서만 히스토리 윈도우에 대한 풀 포워드 패스를 수행하여 퍼 블록(per-block) 히스토리 컨텍스트 특징을 채웁니다. 이후 단계에서는 현재 청크 토큰만 포워딩하면서 안정적인 캐시된 특징들을 재사용합니다.
이점: 이는 고정된 히스토리 청크의 중복 계산을 제거하여, 정체성 일관성과 모션 코히어런스(motion coherence)를 유지하면서 장기 롤아웃 생성 중 처리량을 23% 향상시킵니다.

3. 배포 구성 (Deployment Composition)

추론 시, 효율성 브랜치의 풀 파라미터 업데이트( $\Delta\theta_{DMD}$ )와 견고성 브랜치의 LoRA 업데이트( $\Delta\theta_{RRT}$ )는 베이스 모델( $\theta_0$ )과 결합되어 최종 생성기를 형성합니다:
$\theta^* = \theta_0 + \Delta\theta_{DMD} + \Delta\theta_{RRT}$
이를 통해 시스템은 최소한의 추가 비용으로 자기회귀 드리프트에 대한 견고성을 더하면서 증류된 생성기의 고충실도(high fidelity)를 활용할 수 있습니다.

4. 합성 데이터 파이프라인

확장 가능한 적응을 지원하기 위해 저자들은 완전 합성 데이터 파이프라인을 구축했습니다. 그들은 비디오 파운데이션 모델을 사용하여 고품질 대화형 프롬프트로부터 훈련용 비디오를 합성한 다음, 저품질, 정적 또는 의미론적으로 일관되지 않은 샘플을 제거하기 위해 자동 필터링을 수행합니다. 이는 훈련 데이터가 타겟 생성 분포와 자연스럽게 정렬되도록 보장합니다.

주요 기여

Avatar-Forever 프레임워크: 몇 단계 효율성과 자기회귀적 견고성이 병렬로 효과적으로 학습될 수 있음을 보여줌으로써, 순차적 파이프라인의 목적 함수 간섭을 피하는 분리된 병렬 훈련 패러다임을 제시합니다.
회복 지향 롤아웃 훈련 (RRT): 표준 플로우 매칭 목적 함수를 사용하여, 오류가 멀티 청크 롤아웃을 통해 전파된 후의 회복을 감독함으로써 자기회귀 생성의 주요 실패 모드(오류 누적)를 타겟팅하는 새로운 훈련 전략을 제공합니다.
ForeverCache: 안정적인 컨텍스트 특징을 디노이징 단계 전반에 걸쳐 재사용하여 중복 계산을 제거하고 장기 롤아웃 생성 처리량을 23% 향상시키는 청크 단위 히스토리 특징 캐시입니다.
확장 가능한 구현: 22B 비디오 파운데이션 모델과 합성 데이터 파이프라인을 사용하여 구현되었으며, 실시간의 고품질 장기 오디오 구동 아바타 생성을 달성했습니다.

실험 결과

프레임워크는 TalkVid, EMTD, HDTF 데이터셋을 포함한 단기(5초) 및 장기(30초) 비디오 분할에 대해 평가되었습니다.

성능: Avatar-Forever는 장기 오디오 구동 아바타 생성에서 최첨단(SOTA) 성능을 달로합니다. 단일 H100 GPU에서 768 × 512 해상도 비디오에 대해 27.2 FPS로 무제한 오디오 구동 생성을 지원합니다.
품질 지표: 강력한 베이스라인(OmniAvatar, LiveAvatar, SoulX-FlashTalk, InfiniteTalk)과 비교했을 때, Avatar-Forever는 LLM Overall 점수를 단기 기준으로 평균 4.6%, 장기 기준으로 5.0% 향상시켰습니다. 또한 시각적 품질(IQA, ASE), 모션 리얼리즘, 입 모양 동기화(Sync-C/Sync-D)에서 상당한 이득을 보이면서 FID와 FVD를 감소시켰습니다.
장기 롤아웃 안정성: 30초 및 11분 연속 생성 테스트에서, Avatar-Forever는 경쟁 방법들에서 관찰된 점진적 드리프트, 반복적인 제스처 또는 시각적 저하 없이 안정적인 정체성, 얼굴 구조 및 장면 콘텐츠를 유지합니다.
효율성: ForeverCache 변형은 단기 비디오에서 레이턴시를 19.1%, 30초 비디오에서 31.2% 감소시키면서도 경쟁력 있는 품질 지표를 유지합니다.
사용자 조사: 이중 맹검 사용자 조사에서, Avatar-Forever는 모든 지각적 차원(시각-청각, 시각, 모션, 종합)에서 1위를 차지했으며, 평가자들은 탁월한 시간적 자연스러움과 제스처 다양성을 언급했습니다.

의의 및 주장

본 논문은 Avatar-Forever가 훈련 파이프라인을 근본적으로 재고함으로써 안정적인 실시간 디지털 휴먼을 향한 실용적인 경로를 제공한다고 주장합니다. 핵심 통찰은 몇 단계 효율성과 장기적 안정성은 서로 다른 시간적 척도에서 작동하며, 따라서 단일 증류 목적 함수 내에서 얽혀서는 안 된다는 것입니다.

이러한 목적들을 분리하고 병렬로 훈련함으로써, 프레임워크는 훈련 과정을 단순화하고, 각 목적을 최적화 및 진단하기 쉽게 만들며, 순차적 파이프라인의 취약성을 피합니다. 저자들은 이를 이전의 오류 누적이 장기 생성의 발전을 저해했던 한계를 극 넘어, 고충실도의 일관된 비디오를 무제한으로 생성할 수 있는 인터랙티브 아바타를 위한 확장 가능한 솔루션으로 포지셔닝합니다. 이 연구는 아바타 생성과 같이 까다로운 특정 작업을 위해 대규모 비디오 파운데이션 모델을 훈련하는 데 있어 완전 합성 데이터 파이프라인의 생존 가능성을 강조합니다.