StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation

이 논문은 실시간 스트리밍의 엄격한 지연 시간 요구사항을 충족하면서도 비디오 확산 모델의 시간적 일관성을 개선하기 위해, 학습 없이 작동하는 SLO 인지 배치 스케줄러와 병렬 파이프라인 오케스트레이션 등을 통합한 'StreamDiffusionV2' 시스템을 제안합니다.

핵심

🎥 StreamDiffusionV2: 실시간 비디오 생성의 '고속도로'를 열다

이 논문은 생성형 AI가 실시간으로 영상을 만들어내는 기술을 혁신한 **'StreamDiffusionV2'**라는 시스템을 소개합니다.

기존의 기술이 가진 문제점과 이 시스템이 어떻게 해결책을 제시했는지, 마치 요리사와 고속도로에 비유해서 쉽게 설명해 드릴게요.

---

1. 기존 기술의 문제점: "완성된 요리를 기다리는 시간"

과거의 AI 영상 생성 기술 (이미지 기반) 은 한 장씩 그림을 그리는 방식이었습니다.

• 비유: 마치 요리사가 한 접시씩 요리해서 내는 것처럼요.
• 문제: 한 접시 (프레임) 를 그릴 때마다 이전 접시와 연결고리가 끊어지거나 흔들려서, 영상이 깜빡거리거나 (Flicker) 움직임이 부자연스러웠습니다. 마치 춤추는 사람이 발을 헛디디는 것처럼요.

또한, 최신의 '비디오 생성 AI'는 여러 장을 한 번에 만들어서 연결이 잘 되지만, 한 번에 100 접시 (프레임) 를 미리 다 만들어야만 내어주는 방식이었습니다.

• 문제: 손님이 "지금 당장 한 접시 주세요!"라고 요청해도, 요리사가 100 접시를 다 요리할 때까지 기다려야 하므로 첫 접시가 나오는 시간 (지연 시간) 이 너무 길었습니다. 실시간 방송에는 전혀 적합하지 않죠.

2. StreamDiffusionV2 의 등장: "실시간으로 뚝딱뚝딱 만드는 주방"

이 시스템은 **실시간 방송 (Live Streaming)**에 딱 맞게 설계되었습니다. 목표는 "첫 번째 요리는 0.5 초 안에, 그 뒤로는 매 초마다 끊김 없이" 내어주는 것입니다.

핵심 기술 3 가지 (마법 같은 주방 도구들)

① SLO 인지 배차 시스템 (현명한 주방장)

• 상황: 손님이 너무 많이 오면 (부하), 요리사가 다들 바빠서 요리가 느려집니다.
• 해결: 이 시스템은 지금 주방이 얼마나 바쁜지 실시간으로 감지합니다.
  • 바쁠 때는 한 번에 요리하는 접시 수를 줄여서 첫 접시 (첫 프레임) 가 빨리 나오게 합니다.
  • 여유가 있을 때는 한 번에 더 많이 만들어 전체 속도를 높입니다.
  • 효과: 손님이 기다리는 시간이 최소화되고, 요리사 (GPU) 는 게으름 없이 일합니다.

② 움직임 감지 노이즈 조절기 (감각적인 소스 장인)

• 상황: 요리할 때 재료가 빠르게 움직이면 (예: 격렬한 춤), 너무 많이 섞으면 모양이 망가집니다. 반면 고요할 때는 (예: 풍경), 더 정성들여 다듬어야 맛있습니다.
• 해결: 이 시스템은 영상의 움직임 속도를 실시간으로 분석합니다.
  • 빠른 움직임: 너무 세게 다듬지 않고 (노이즈를 줄여서) 흐릿해지거나 찢어지는 것을 막습니다.
  • 느린 움직임: 더 정교하게 다듬어 (노이즈를 많이 주어) 디테일을 살립니다.
  • 효과: 격렬한 액션 장면에서도 영상이 흐트러지지 않고 선명하게 유지됩니다.

③ 파이프라인 오케스트레이션 (여러 주방장의 협업)

• 상황: 요리사가 한 명일 때는 한 번에 한 접시만 만들 수 있습니다.
• 해결: **여러 명의 주방장 (GPU)**을 배치하고, 각자 다른 역할을 맡게 합니다.
  • A 는 반죽을 하고, B 는 굽고, C 는 장식을 합니다.
  • 중요한 건, 한 접시가 완성될 때마다 바로 내어주되, 다음 접시를 만드는 과정은 동시에 진행한다는 점입니다.
  • 효과: 컴퓨터 여러 대를 써도 속도가 선형적으로 빨라져서, 거대한 서버에서도 초당 60 장 이상의 영상을 끊김 없이 만들어냅니다.

---

3. 이 시스템이 가져온 변화

이 기술은 TensorRT 나 양자화 (압축 기술) 같은 복잡한 장비를 쓰지 않아도 됩니다. 그냥 네트워크와 알고리즘을 똑똑하게 조율한 것뿐입니다.

• 속도: 4 개의 최신 GPU (H100) 를 사용하면, 140 억 개의 파라미터를 가진 거대한 모델로도 초당 58 장의 영상을 만들어냅니다. (작은 모델은 64 장!)
• 품질: 첫 장이 나오는 시간이 0.5 초밖에 걸리지 않습니다. (기존 기술은 몇 초~수십 초 걸림)
• 안정성: 1 시간 이상 방송을 해도 영상이 흐트러지거나 (Drift) 스타일이 변하지 않습니다.

4. 결론: 왜 이것이 중요한가요?

이전까지는 AI 가 만드는 영상이 **미리 만들어둔 영상 (오프라인)**에만 적합했습니다. 하지만 StreamDiffusionV2는 이제 실시간 방송, 게임, 가상 휴먼 등 즉각적인 상호작용이 필요한 모든 곳에 AI 영상을 적용할 수 있게 만들었습니다.

한 줄 요약:

"이 시스템은 AI 영상 생성을 **'미리 만들어둔 영화'**에서 **'실시간으로 즉흥적으로 만드는 라이브 공연'**으로 바꾼, 역사적인 기술 혁신입니다."

이제 개인 크리에이터부터 대기업까지, 누구나 끊김 없는 AI 실시간 영상을 쉽게 만들 수 있는 시대가 열린 것입니다. 🚀

기술 요약

StreamDiffusionV2: 동적이고 인터랙티브한 비디오 생성을 위한 스트리밍 시스템

1. 문제 정의 (Problem)

기존의 실시간 AI 스트리밍 기술은 주로 이미지 기반 확산 모델 (Image-based Diffusion) 에 의존해 왔으나, 이는 시간적 일관성 (Temporal Consistency) 부족으로 인해 깜빡임 (flicker) 과 드리프트 (drift) 문제가 발생했습니다. 반면, 최근의 비디오 확산 모델 (Video Diffusion Models) 은 시간적 일관성을 크게 개선했지만, 주로 오프라인 배치 처리 (Batch Processing) 에 최적화되어 있어 실시간 스트리밍 환경에는 적합하지 않았습니다.

실시간 라이브 스트리밍은 다음과 같은 엄격한 서비스 수준 목표 (SLO) 를 요구하는데, 기존 비디오 확산 시스템은 이를 충족하지 못했습니다:

• 초저지연 (Low Latency): 첫 번째 프레임까지의 시간 (TTFF) 이 최소화되어야 하며, 매 프레임마다 엄격한 마감 시간 (Deadline) 을 지켜야 합니다.
• 무한한 입력/출력: 고정된 길이 (예: 81 프레임) 가 아닌, 무한히 이어지는 스트리밍 데이터를 처리해야 합니다.
• 고속 운동 처리: 빠른 카메라 이동이나 액션 시퀀스에서 발생하는 모션 테어링 (Motion Tearing) 과 흐림 현상을 방지해야 합니다.
• 확장성 (Scalability): 단일 GPU 에서부터 다중 GPU 환경까지 SLO 를 위반하지 않으면서 선형적으로 성능이 확장되어야 합니다.

2. 방법론 (Methodology)

StreamDiffusionV2 는 학습이 필요 없는 (Training-free) 파이프라인으로, 비디오 확산 모델을 실시간 스트리밍에 적합하도록 재설계했습니다. 주요 기술적 구성 요소는 다음과 같습니다.

A. 실시간 스케줄링 및 품질 제어

1. SLO 인지 배치 스케줄러 (SLO-aware Batching Scheduler):
   • 고정된 큰 입력 크기 대신, 동적으로 배치 크기 ($B$) 와 프레임 수 ($T'$) 를 조정합니다.
   • 프레임당 마감 시간 (DDL) 을 준수하면서 GPU 활용도를 극대화하기 위해, 메모리 병목 현상을 고려하여 최적의 배치 크기를 실시간으로 결정합니다.
2. 적응형 싱크 토큰 및 RoPE 리프레시 (Adaptive Sink & RoPE Refresh):
   • 장시간 스트리밍 시 발생하는 시간적 드리프트를 해결합니다.
   • 프롬프트 의미와 최근 시각적 맥락에 따라 싱크 토큰 (Sink Tokens) 을 동적으로 업데이트하고, 긴 시퀀스에서의 위치 편향을 방지하기 위해 RoPE (Rotary Positional Embedding) 오프셋을 주기적으로 재설정합니다.
3. 모션 인지 노이즈 스케줄러 (Motion-aware Noise Scheduler):
   • 광학 흐름 (Optical Flow) 등을 기반으로 프레임 간 모션 강도를 추정합니다.
   • 고속 운동: 모션 테어링과 유령 현상을 방지하기 위해 보수적인 (Conservative) 디노이징 (Denoising) 을 적용합니다.
   • 저속/정적 운동: 세부 사항을 복원하기 위해 공격적인 디노이징을 적용합니다.

B. 확장 가능한 파이프라인 오케스트레이션 (Scalable Pipeline Orchestration)

• 멀티-파이프라인 병렬화: 디노이징 단계와 네트워크 레이어 (DiT 블록) 를 가로질러 병렬화합니다.
• 스트림 배치 (Stream-Batch): 각 디노이징 단계를 미세 단계 (Micro-step) 로 나누고, 이를 여러 GPU 에 분산하여 파이프라인 병렬 처리를 수행합니다.
• 비동기 통신 오버랩: 계산 스트림과 통신 스트림을 분리하여 GPU 간 통신 지연을 계산 작업과 겹쳐 숨깁니다.

C. 효율적인 시스템 - 알고리즘 공동 설계

• DiT 블록 스케줄러: VAE 인코딩/디코딩과 DiT 블록 간의 작업 부하 불균형을 실시간으로 측정하여 디바이스 간 블록 할당을 동적으로 재조정합니다.
• Stream-VAE: 긴 시퀀스 대신 짧은 비디오 청크 (예: 4 프레임) 를 처리하고 중간 특징을 캐싱하여 저지연 인코딩을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 실시간 SLO 준수: 텐서RT 나 양자화 없이도 0.5 초 이내의 TTFF 를 달성하고, 매 프레임의 마감 시간을 엄격하게 준수합니다.
2. 무한한 스트리밍 안정성: 싱크 토큰 업데이트 및 RoPE 리프레시 메커니즘을 통해 수 시간 길이의 스트리밍에서도 시각적 일관성과 스타일 유지가 가능합니다.
3. 모션 적응형 품질: 모션 강도에 따라 노이즈 스케줄을 동적으로 조절하여 고속 운동 상황에서도 선명하고 안정적인 비디오를 생성합니다.
4. 선형적인 확장성: 다중 GPU 환경에서 파이프라인 병렬화와 스트림 배치를 결합하여, GPU 수 증가에 따른 FPS 가 선형적으로 증가하도록 설계되었습니다.

4. 실험 결과 (Results)

H100 GPU 4 개 환경에서 다음과 같은 성과를 달성했습니다:

• 초기 지연 (TTFF): 0.5 초 이내 (기존 CausVid 대비 18 배~280 배 개선).
• 처리 속도 (FPS):
  • 1.3B 모델: 1 스텝 기준 64.52 FPS, 4 스텝 기준 61.57 FPS.
  • 14B 모델: 1 스텝 기준 58.28 FPS, 4 스텝 기준 31.62 FPS.
• 품질 지표:
  • Temporal CLIP Score: 98.51 (기존 방법 대비 우수한 시간적 일관성).
  • Warp Error: 73.31 (낮은 값으로 픽셀 수준의 정합성이 뛰어남).
• SLO 미스율: 1 초 이내의 지연 목표에서 미스율이 **0.2%**에 불과하여 매우 안정적입니다. (기존 CausVid 는 99.9% 미스율).

5. 의의 및 전망 (Significance)

StreamDiffusionV2 는 오프라인 비디오 생성과 실시간 스트리밍 간의 간극을 해소한 최초의 시스템 중 하나입니다.

• 접근성: 개인 크리에이터부터 엔터프라이즈급 플랫폼까지 다양한 컴퓨팅 리소스 환경에서 고품질 실시간 생성형 라이브 스트리밍을 가능하게 합니다.
• 하드웨어 트렌드 대응: 향후 GPU 의 연산 능력은 급격히 증가하지만 메모리 대역폭은 상대적으로 느리게 증가할 것으로 예상됨에 따라, 메모리 병목 (Memory-bound) 환경에 최적화된 본 시스템의 설계 철학은 미래 비디오 생성 시스템의 표준이 될 것입니다.
• 실용성: 학습이 필요 없는 (Training-free) 방식과 유연한 스텝 수 조절을 통해 다양한 해상도와 품질 요구사항에 맞춰 즉시 배포 가능한 솔루션을 제공합니다.

이 논문은 실시간 인터랙티브 비디오 생성 분야에서 시스템 최적화와 알고리즘 개선의 결합이 어떻게 획기적인 성능 향상을 이끌 수 있는지를 보여줍니다.