🤖 machine learning

Vidu S1: A Real-Time Interactive Video Generation Model

Vidu S1은 사용자가 음성 명령을 통해 디지털 캐릭터를 제어하여 시각적 저하 없이 소비자용 GPU에서 최대 42 FPS로 무한한 길이의 고품질 540p 영상을 생성할 수 있게 하는 실시간 대화형 비디오 생성 모델입니다.

원저자: Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Yang Luo, Yuji Wang, Dechuang Chen, Jungang Li, Chengyang Ye, Marco Chen, Hongzhou Zhu, Min Zhao, Yuxuan Jiang, Zhengkun Huang, Chendong Xiang, Kaiwen Zh

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Yang Luo, Yuji Wang, Dechuang Chen, Jungang Li, Chengyang Ye, Marco Chen, Hongzhou Zhu, Min Zhao, Yuxuan Jiang, Zhengkun Huang, Chendong Xiang, Kaiwen Zheng, Haoxu Wang, Xiaohang Wang, Qi Jia, Xin Chen, Yimin Chen, Youhe Jiang, Fangcheng Fu, Zhijie Deng, Fan Bao, Jianfei Chen, Jun Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화를 보고 있는데, 당신이 화면을 향해 아무리 크게 소리쳐도 등장인물들이 당신의 말을 듣지 못하는 상황을 상상해 보세요. 당신은 그들에게 손을 흔들라고 하거나, 놀란 표정을 지으라고 하거나, 장면을 바꾸라고 말할 수 없습니다. 그저 감독이 편집을 모두 마칠 때까지 앉아서 결과를 기다려야 할 뿐입니다. 이것이 오늘날 대부분의 비디오 생성 AI가 작동하는 방식입니다. 요청을 입력하고, 긴 시간을 기다린 뒤, 완성된 클립을 얻는 것이죠. 하지만 만약 캐릭터가 생성되는 동안 당신과 대화를 할 수 있다면 어떨까요? 만약 당신이 "헤이, 엄지 척 해줘!"라고 말했을 때, 그들이 대화 도중에 즉시 그렇게 행동한다면 어떨까요? 이것이 바로 실시간 상호작용형 비디오 생성의 꿈입니다. 이 분야는 정적인 사전 제작 영화와 생생하고 즉각적인 라이브 대화 사이의 간극을 메우기 위해 노력하고 있습니다. 이를 위해 과학자들은 영상을 한 번에 통째로 "그리는" 것이 아니라, 마치 인간 배우가 감독의 즉각적인 신호에 따라 즉흥 연기를 하듯, 당신의 목소리에 반응하며 프레임 단위로 영상을 "스트리밍"하는 모델을 구축하고 있습니다.

여기에 Vidu S1이 등장합니다. 이 모델은 절대 박자를 놓치지 않는 초고속, 초응답 디지털 배우처럼 행동합니다. 이 프로젝트의 연구진은 결과물을 얻기 위해 몇 분 혹은 몇 시간씩 기다려야 하는 "오프라인" 비디오 생성 문제를 해결하고자 했습니다. 대신, 그들은 당신의 목소리로 디지털 캐릭터를 실시간으로 제어할 수 있는 시스템을 만들었습니다. 마치 미리 쓰인 대본을 따르는 것이 아니라, 당신의 음성 명령을 듣고 손을 흔들거나, 앉거나, 손으로 하트 모양을 만드는 등의 동작을 즉각적으로 수행하는 비디오 게임 캐릭터를 생각하면 됩니다. 멋진 점은 이것이 단 몇 초 동안만 작동하는 것이 아니라는 것입니다. 논문에 따르면 Vitu S1은 AI가 긴 영상을 만들 때 흔히 발생하는 문제인 캐릭터의 얼굴이 흐릿해지거나 움직임이 이상하고 끊기는 현상 없이 "무한한" 시간 동안 이 작업을 지속할 수 있다고 합니다.

Vidu S1 팀은 단순히 '두뇌'만을 만든 것이 아니라, 이를 빠르게 구동하기 위한 매우 효율적인 엔진도 함께 구축했습니다. 그들은 "TurboDiffusion"과 "TurboServe"라고 불리는 특별한 기술을 사용하여, 게이머들이 사용하는 일반적인 그래픽 카드에서도 비디오 생성을 압축하여 실행할 수 있도록 했습니다. 그 결과는 어떨까요? 이 모델은 540p 해상도로 42 FPS(초당 프레임 수)의 속도로 영상을 쏟아낼 수 있습니다. 이를 체감하기 위해 설명하자면, 표준 영상이 30 FPS로 재생된다는 점을 고려할 때, 이는 실제로 실시간보다 빠르다는 것을 의미합니다. 즉, AI가 지연 없이 라이브 대화를 따라갈 수 있다는 뜻입니다. 연구진은 사용자가 자신의 사진, 애니메이션 캐릭터, 심지어 반려동물의 사진을 업로드한 뒤 음성 지시를 내리는 방식으로 이를 테스트했습니다. 모델은 캐릭터가 다리를 들거나 엄지를 치켜세우는 등의 명령을 따르면서도, 업로드한 사진과 똑같은 얼굴을 유지하며 성공적으로 영상을 생성했습니다.

이 논문이 다루는 가장 큰 난관 중 하나는 "드리프트(drift)" 문제입니다. 사람의 그림을 그리는데, 새로운 세부 사항을 추가할 때마다 전체 그림이 서서히 왜곡되어 결국 사람이 괴물처럼 변해가는 상황을 상상해 보세요. 많은 AI 비디오 모델은 긴 영상을 만들려고 할 때 이러한 문제를 겪습니다. 영상이 길어질수록 캐릭터의 얼굴이나 배경이 일그러지게 됩니다. Vidu S1은 이를 방지하기 위해 "TwinCache"라는 영리한 메모리 시스템을 사용합니다. 이는 마치 과거 몇 초간의 "거친 스케치"를 보관하여 움직임을 부드럽게 유지하면서도, 동시에 "최종 완성본"을 유지하여 캐릭터의 얼굴이 선명하고 인지 가능한 상태를 유지하도록 돕는 사서와 같습니다. 덕분에 캐릭터가 무너지지 않고 영상이 영원히 계속될 수 있습니다.

또한 논문은 다른 모델들도 존재하지만, 대부분 상호작용하기에는 너무 느리거나, 음성 명령을 직접 이해하지 못하거나, 짧은 시간 후에 성능이 저하된다는 점을 지적합니다. Vidu S1은 정확히 그 반대의 기능을 하도록 설계되었습니다. 당신의 목소리를 직접적인 명령으로 받아들여 영상을 즉각 생성하고, 당신이 대화를 이어가는 동안 지속적으로 안정성을 유지합니다. 테스트에서 이 모델은 다른 최고 수준의 시스템들과 비교되었으며, 지시 이행 능력과 움직임의 자연스러움 측면에서 1위를 차지했습니다. 연구진은 이 기술을 통해 우리가 컴퓨터에서 즉석으로 생성된, 실제 사람처럼 보이고 움직이는 디지털 캐릭터와 실시간으로 개인화된 대화를 나누는 미래에 더 가까워지고 있다고 말합니다.

기술 요약: Vidu S1 – 실시간 대화형 비디오 생성 모델

1. 문제 정의

현재의 비디오 생성 모델(예: Sora, Veo, Wan)은 주로 오프라인, 원샷 패러다임(offline, one-shot paradigm) 하에서 작동합니다. 사용자는 프롬프트를 제공하고 전체 비디오가 완성될 때까지 몇 분을 기다려야 하며, 생성 과정 중에 개입하거나 상호작용할 수 있는 능력이 없습니다. 이러한 한계는 전체 비디오를 동기적으로 디노이징(denoising)하여 마지막에 깨끗한 출력을 생성하는 오프라인 확산(diffusion) 패러다임에서 기인합니다.

실시간 시각적 경험(예: 라이브 스트리밍, 대면 커뮤니케이션)에 대한 수요가 상당함에도 불구하고, 기존 솔루션들은 다음과 같은 네 가지 주요 한계에 직면해 있습니다:

실시간 상호작용의 부재: 많은 자기회귀(autoregressive) 모델들이 순차적으로 생성하지만, 생성 과정 중의 능동적인 사용자 개입을 지원하지 않습니다.
음성 제어의 부재: 대부분의 방법론은 음성을 미래 비디오 콘텐츠에 대한 직접적이고 명시적인 제어 신호로 사용하지 않으므로 자연스러운 상호작용이 제한됩니다.
장기 생성(Long-Horizon Generation)에서의 불안정성: 스트리밍 생성 시 시간이 지남에 따라 작은 오류들이 누적되어 시각적 드리프트(drift), 불안정성, 그리고 결국 생성 붕괴(collapse)를 초래합니다.
인프라 병목 현상: 실시간 생성을 위해서는 모델링의 개선뿐만 아니라, 소비자용 하드웨어에서 효율적으로 실행될 수 있는 특화된 추론 커널, 서빙 시스템 및 스케줄링 전략이 필요합니다.

2. 방법론

2.1 데이터 준비

저자들은 이질적인 원시 비디오를 고품질의 시간적 일관성을 가진 학습 클립으로 변환하기 위해 점진적인 데이터 처리 파이프라인을 구축했습니다:

수집: 미세한 표정/입술 동기화(lip-sync)를 위해 라이브 스트리밍/토킹 헤드(talking-heads)에서, 각도와 스타일의 일반화를 위해 영화/TV에서 소스를 확보했습니다.
필터링: 해상도, FPS를 포함한 사전 필터링, 단일 샷 클리핑, 피사체 필터링을 포함하는 다단계 파이프라인을 사용합니다.
품질 및 안전: 시각적 품질, 콘텐츠 안전성, 샷 안정성 및 상호작용성을 필터링하기 위해 전문가 모델과 글로벌 시맨틱 이해를 위한 Omni 모델의 조합을 사용합니다.
다이어리제이션(Diarization): 음성 구성 요소를 추출하고 타임스탬프를 주석 처리합니다. 세그먼트는 온스크린(onscreen), 오프스크린(offscreen) 또는 *중첩(overlap)*으로 분류됩니다. 중첩된 세그먼트는 폐기됩니다. 노래나 배경 음악 중 잘못 할당되는 것을 방지하기 위해 음성 에너지가 낮은 세그먼트를 제거하는 휴리스틱 규칙을 적용합니다.
캡셔닝: 두 가지 수준의 구조화된 캡션을 생성합니다: 전체 클립(full-clip)(글로벌 시맨틱 앵커) 및 음성 인지 덩어리 수준(speech-aware chunk-level)(미세한 시간적 조건화). 시각적 및 청각적 추론을 분리하여 환각(hallucination)을 줄이기 위해 이중 경로 전략을 사용합니다.

2.2 학습 프레임워크

학습 파이프라인은 안정적이고 효율적인 스트리밍 비디오-오디오 생성을 달성하기 위해 세 단계로 구성됩니다:

단계 1: 양방향 교사 학습(Bidirectional Teacher Training): 완전한 컨텍스트( $c_{1:N}$ )에 조건화된 전체 비디오-오디오 시퀀스( $x_{1:N}$ )에 대해 양방향 모델을 학습시킵니다. 이는 고품질의 생성적 사전 확률(generative prior)을 구축합니다.
단계 2: 인과적 교사 학습(Causal Teacher Training): 모델을 스트리밍 자기회귀 설정에 적응시킵니다.
- 인과적 마스킹(Causal Masking): 각 타겟 상태는 오직 과거의 컨텍스트와 현재의 조건만을 참조합니다.
- 하이브리드 학습: 깨끗한 정답(ground-truth) 이력을 사용하는 **교사 강요(Teacher Forcing)**와 노이즈가 섞인 과거 상태를 사용하는 **디퓨전 포싱(Diffusion Forcing)**을 결합하여, 자기회귀적 롤아웃 중 불완전한 접두사(prefix)에 대한 강건성을 향상시킵니다.
단계 3: 정규화를 통한 증류(Distillation with Regularization): 다단계 디노이징의 계산 비용을 줄이기 위해, **분포 매칭 증류(Distribution Matching Distillation, DMD)**를 사용하여 모델을 몇 단계의 생성기로 증류합니다.
- PCM 정규화: 순수 DMD에서 흔히 발생하는 모드 붕괴(드리프트, 퇴화)를 방지하기 위해, 시간적 일관성을 유지하도록 지각적 특징 거리를 사용하는 위상 일관성 모델(Phased Consistency Models, PCM) 정규화를 추가합니다.

2.3 추론 아키텍처

스트리밍 추론: 메모리 관리를 위해 **슬라이딩 윈도우 디코딩(sliding-window decoding)**을 채택합니다.
- 지속적 참조 컨텍스트(Persistent Reference Context): 첫 번째 프레임으로부터 안정적인 글로벌 조건화를 제공하는 "싱크 토큰(sink token)" 역할을 합니다.
- RoPE 재배치(RoPE Repositioning): 역사적 키-값(key-value) 특징을 캐싱하고, 업데이트된 상대적 위치에 따라 회전 위치 임베딩(Rotary Position Embedding)을 재적용하여 중복 계산을 방지합니다.
- TwinCache: 두 가지 상태 캐시를 유지하는 단계별 인지 캐싱 전략입니다: 노이즈 캐시(중간 단계용, 시간적 역학을 위한 저역 통과 사전 역할)와 클린 캐시(최종 단계용, 미세한 디테일 복원).
추론 인프라: 소비자용 GPU에서 저비용 실시간 서빙을 위해 TurboDiffusion 및 TurboServe를 기반으로 구축되었습니다.
- 어텐션 가속: SageAttention, SpargeAttention, Sparse-Linear Attention을 사용합니다.
- 양자화: 아웃라이어를 처리하고 메모리 풋프린트를 줄이기 위해 CUDA 내 커스텀 per-block W8A8 양자화 GEMM 연산자를 사용합니다.
- 커널 퓨전 및 CUDA 그래프: 연산자를 병합하고 고정된 구조의 서브그래프를 캡처하여 호스트 런칭 오버헤드를 최소ize하고 GPU 활용도를 극대화합니다.
- 병렬성: 여러 GPU에 계산을 분산하기 위해 Ulysses 스타일의 컨텍스트 병렬성을 사용합니다.

3. 주요 기여

Vidu S1 모델: 지속적인 사용자 상호작용과 미래 비디오 콘텐츠에 대한 명시적인 음성 제어를 가능하게 하는 실시간 대화형 비디오 생성 모델입니다.
안정적인 무한 길이 생성: 스트리밍 생성에서의 오류 누적을 완화하여, 드리프트나 시각적 붕괴 없이 무한한 비디오 스트림을 가능하게 합니다.
실시간 효율성: 효율적인 추론 및 서빙 스택을 통해 소비자용 GPU(RTX 5090)에서 540p 해상도 및 42 FPS를 달s합니다.
성능 벤치마크: 정체성 보존, 오디오-비주얼 동기화, 지각적 품질 측면에서 선도적인 성능을 입증하는 동시에 음성 가이드 제어를 지원합니다.

4. 실험 결과

벤치마크: 자체 제작한 Vidu-StreamBench(액션 명령어가 포함된 500개 샘플)와 HDTF(표준 공개 벤치마크)에서 평가되었습니다.
정량적 지표: Vidu S1은 모든 지표에서 최고의 점수를 기록했습니다:
- CSIM (정체성): 0.9192
- Sync-D (입술 동기화): 7.847
- DOVER (지각적 품질): 0.5660
인간 선호도: HeyGen, LemonSlice, Kling Avatar 2.0와의 쌍체 A/B 테스트에서 V-S1은 특히 피사체 제어 가능성(액션 명령 수행에 있어 HeyGen/LemonSlice 대비 100% 선호도)과 동작 역학 측면에서 일관되게 선호되었습니다.
정성적 성능: 시각적 비교 결과, Vidu S1은 복잡한 명령(예: "손 들기", "엄지 척")을 성공적으로 따르고 배경 안정성을 유지하는 반면, 경쟁 모델들은 잘못된 제스처나 배경 아티팩트와 같은 실패 사례를 보였습니다.
처리량: RTX 5090에서 42 FPS를 달성하여, 실시간 재생 임계값인 30 FPS를 초과했습니다.

5. 의의

본 논문은 Vidu S1을 실용적이고 제어 가능하며 개인화된 실시간 생성 비디오 시스템을 향한 중요한 단계로 자리매김합니다. 오프라인 생성의 한계와 장기 스트리밍의 불안정성을 해결함으로써, Vidu S1은 고품질 비디오 생성과 인터랙티브 시각 엔터테인먼트 사이의 간극을 메웁니다. 효율적인 추론 인프라(TurboDiffusion/TurboServe)의 통합은 고품질 실시간 아바타 생성이 범용 하드웨어에서도 가능하다는 것을 보여주며, 이를 통해 라이브 대화, 가상 호스트, 교육용 에이전트와 같은 응용 분야를 가능하게 합니다.