S2DiT: Sandwich Diffusion Transformer for Mobile Streaming Video Generation

이 논문은 모바일 기기에서 실시간으로 고품질 비디오를 생성할 수 있도록 효율적인 어텐션 메커니즘과 샌드위치 구조, 그리고 2-in-1 증류 프레임워크를 도입한 'S2DiT'를 제안하여 서버급 성능을 iPhone 에서 초당 10 프레임 이상으로 구현한 연구입니다.

핵심

이 논문은 **"스낵 (S2DiT)"**이라는 새로운 기술을 소개합니다. 이 기술은 스마트폰 같은 작은 기기에서도 고화질 영상을 실시간으로 만들어낼 수 있게 해줍니다.

기존의 AI 영상 생성 기술은 거대한 서버 (컴퓨터) 가 필요했고, 영상을 만드는 데 시간이 오래 걸려서 "실시간"으로 보기가 어려웠습니다. 하지만 이 연구팀은 **"샌드위치"**와 **"지식 전수"**라는 두 가지 아이디어를 섞어, 스마트폰에서도 1 초에 10 장 이상의 영상을 부드럽게 만들어내는 기술을 개발했습니다.

이해하기 쉽게 세 가지 핵심 아이디어로 나누어 설명해 드릴게요.

---

1. "샌드위치" 구조: 효율적인 작업 분담

기존의 AI 모델은 영상을 만들 때 모든 장면을 한 번에 다 보고 계산합니다. 마치 거대한 도서관에서 책 한 권을 찾으려면 모든 책장을 다 뒤져야 하는 것처럼 무겁고 느립니다.

S2DiT 는 이를 '샌드위치'처럼 바꿨습니다.

• 위와 아래 (고화질 빵): 영상에서 중요한 디테일 (얼굴 표정, 옷의 주름 등) 을 잘 보여주기 위해 고해상도로 꼼꼼하게 봅니다.
• 속 (효율적인 소스): 전체적인 흐름 (사람이 어디로 이동하는지, 배경이 어떻게 변하는지) 을 빠르게 파악하기 위해 저해상도로 넓게 봅니다.

이 두 가지 방식을 번갈아 가며 섞어놓은 것이 **'샌드위치 아키텍처'**입니다.

• 비유: 요리사가 요리를 할 때, 고기 (중요한 부분) 는 칼로 정교하게 썰고 (고해상도), 채소 (배경) 는 큼직큼직하게 썰어서 (저해상도) 함께 볶는 것과 같습니다. 이렇게 하면 맛 (화질) 은 그대로 유지하면서 요리 시간 (계산 속도) 은 획기적으로 줄일 수 있습니다.

2. "지식 전수" (Distillation): 거장에게서 배우기

이 기술의 또 다른 핵심은 **'선배에게 배우는 것'**입니다.

• 선배 (Teacher): '완 (Wan)'이라는 거대 AI 모델은 화질은 최고지만, 스마트폰에서 돌리면 너무 느리고 무겁습니다.
• 후배 (Student): 우리가 만든 S2DiT 는 작고 빠르지만, 처음엔 화질이 떨어집니다.

연구팀은 이 두 모델을 연결하는 '2-in-1 지식 전수' 방식을 썼습니다.

• 비유: 거장 요리사 (선배) 가 만든 요리를 직접 따라 하며 배우는 대신, 거장 요리사가 **"이 요리의 비법 레시피와 맛의 기준"**을 미리 적어둔 노트 (캐시된 데이터) 를 학생 (후배) 에게 줍니다. 학생은 이 노트를 보고 연습하면, 거장처럼 맛있는 요리를 만들 수 있지만, 거장처럼 많은 재료를 쓰거나 오랜 시간이 걸리지 않습니다.
• 이 과정을 통해 S2DiT 는 거대 서버 모델 못지않은 화질을 유지하면서도 스마트폰에서 빠르게 작동할 수 있게 되었습니다.

3. 실시간 스트리밍: 끊김 없는 영상

기존 모델은 영상을 다 만들고 나서 보여주는 방식이라 기다려야 했지만, S2DiT 는 실시간 스트리밍이 가능합니다.

• 비유: 영화관을 가서 영화가 끝날 때까지 기다리는 게 아니라, 방송을 실시간으로 켜고 보는 것과 같습니다.
• AI 가 "지금 이 장면"을 그리는 동시에 "다음 장면"을 준비합니다. 스마트폰에서 1 초에 10 장 이상의 영상을 만들어내므로, 사용자가 명령을 내리면 바로바로 반응하는 인터랙티브한 경험을 제공합니다.

---

🌟 요약: 왜 이것이 중요한가요?

이 논문은 **"고화질 영상 생성은 이제 거대한 서버의 전유물이 아니다"**라고 선언합니다.

• 이전: "고화질 영상을 만들고 싶다면 무거운 컴퓨터를 사서 몇 분씩 기다려야 해."
• 이제 (S2DiT): "손안의 스마트폰으로, 거대 서버와 비슷한 화질의 영상을 실시간으로 만들어낼 수 있어!"

이 기술은 앞으로 스마트폰에서 실시간으로 나만의 애니메이션을 만들거나, 대화하듯 영상을 생성하는 등 새로운 형태의 모바일 엔터테인먼트를 가능하게 할 것입니다. 마치 주머니 속의 마법사처럼, 언제 어디서나 고퀄리티 영상을 만들어내는 시대가 온 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 Diffusion Transformer (DiT) 는 텍스트/이미지 기반 비디오 생성 분야에서 뛰어난 품질을 보여주었습니다.
• 문제점:
  • 연산 비용: 기존 DiT 의 자기 주의 (Self-Attention) 메커니즘은 토큰 수에 대해 이차 (Quadratic) 복잡도를 가지며, 메모리 사용량이 매우 큽니다. 이로 인해 실시간 생성이나 모바일 기기 (On-device) 배포가 거의 불가능합니다.
  • 스트리밍 한계: 기존 모바일 비디오 생성 모델들은 효율성을 위해 과도하게 압축된 잠재 공간 (Latent Space) 을 사용하여 토큰 수를 줄였으나, 이로 인해 시각적 충실도 (Fidelity) 와 시간적 일관성이 크게 저하되었습니다.
  • 실시간성 부재: 모바일 환경에서 고품질, 저지연, 그리고 실시간 스트리밍 (Streaming) 이 가능한 비디오 생성 모델은 존재하지 않았습니다.
• 목표: 모바일 하드웨어에서 고품질, 저지연, 실시간 스트리밍이 가능한 비디오 생성 모델을 구현하는 것.

2. 제안 방법론 (Methodology)

저자들은 S2DiT (Streaming Sandwich Diffusion Transformer) 를 제안하며, 다음과 같은 세 가지 핵심 기술로 문제를 해결합니다.

가. 효율적인 샌드위치 아키텍처 (Efficient Sandwich Architecture)

기존의 단일 주의 메커니즘 대신, 고해상도와 저해상도 처리 단계를 교차하여 배치하는 '샌드위치' 구조를 도입했습니다.

• LCHA (LinConv Hybrid Attention):
  • 목적: 고해상도 처리 및 세부 정보 보존.
  • 구조: 학습 가능한 양의 커널 (Softplus 기반) 을 사용하는 선형 주의 (Linear Attention) 경로와 3D 컨볼루션 (Depthwise) 경로를 병렬로 결합합니다.
  • 효과: 선형 복잡도 (Linear Complexity) 를 유지하면서도 국소적 (Local) 세부 정보와 전역적 (Global) 맥락을 동시에 포착합니다. 모바일 배포를 위해 시간적 인과적 패딩 (Causal Padding) 을 적용하여 스트리밍을 지원합니다.
• SSA (Stride Self-Attention):
  • 목적: 저해상도 처리 및 전역 맥락 집계.
  • 구조: QKV(Query, Key, Value) 를 스트라이드 (Stride) 로 다운샘플링하여 토큰 수를 줄이고, 이후 업샘플링을 통해 해상도를 복원합니다.
  • 효과: 계산량과 메모리 오버헤드를 크게 줄여 처리 속도 (Throughput) 를 향상시킵니다.
• 자동 아키텍처 탐색 (Budget-aware Search):
  • 지연 시간 (Latency) 과 메모리 제약 조건 내에서 LCHA 와 SSA 블록의 최적 배치를 찾기 위해 동적 프로그래밍 (Dynamic Programming) 기반 탐색 알고리즘을 사용합니다. 이를 통해 품질과 속도의 균형을 자동으로 찾습니다.

나. 2-in-1 증류 파이프라인 (2-in-1 Distillation Framework)

대규모 교사 모델 (Teacher Model, 예: Wan 2.2-14B) 의 능력을 소형 학생 모델 (Student Model) 로 전이하는 효율적인 증류 방식을 제안합니다.

• 오프라인 캐시 지식 증류 (Offline Cached Knowledge Distillation):
  • 실시간 교사 모델 추론의 높은 비용 문제를 해결하기 위해, 교사 모델의 출력 (노이즈, 텍스트 임베딩, 속도 등) 을 사전에 계산하여 캐시합니다.
  • 학생 모델은 이 캐시된 데이터를 사용하여 학습하므로, 학습 중 교사 모델이 필요 없어 FLOPs 와 메모리 사용량을 획기적으로 줄입니다.
• 스트리밍을 위한 증류 (Distillation for Streaming):
  • Distribution Matching Distillation (DMD) 과 Self-Forcing 전략을 결합합니다.
  • Self-Forcing: 학습 시에도 모델이 생성한 컨텍스트를 사용하여 추론 시의 편차 (Exposure Bias) 를 줄이고, 시간적 일관성을 유지합니다.
  • Adversarial Fine-tuning: 적은 샘플링 단계 (Few-step) 에서도 스트리밍 세그먼트 간의 일관성을 강제하기 위해 적대적 미세 조정을 적용합니다.

다. 모바일 최적화

• KV 캐시 최적화: SSA 블록의 KV 캐시 메모리 누수를 방지하기 위해 윈도우 어텐션 (Window Attention) 을 적용합니다.
• 디코더 최적화: 모바일에서 실시간 디코딩이 가능한 경량화된 VAE 디코더를 설계했습니다.

3. 주요 기여 (Key Contributions)

1. S2DiT 아키텍처 제안: 모바일 제약 하에서 전역 및 국소 모델링을 균형 있게 수행하는 '샌드위치' 형태의 효율적 DiT 구조를 최초로 제안했습니다.
2. 자동화된 구조 탐색: 동적 프로그래밍을 통해 지연 시간과 메모리 제약 내에서 LCHA 와 SSA 의 최적 배치를 자동으로 결정하는 알고리즘을 개발했습니다.
3. 2-in-1 증류 프레임워크: 대규모 교사 모델의 고품질 생성 능력을 소형 모델에 효율적으로 전이하고, 이를 스트리밍 생성에 적용할 수 있는 파이프라인을 구축했습니다.
4. 모바일 스트리밍 생성 최초 달성: 아이폰 (iPhone 16 Pro Max) 에서 초당 10 프레임 (FPS) 이상의 실시간 스트리밍 비디오 생성을 구현하며, 서버 기반 SOTA 모델과 견줄 만한 품질을 달성했습니다.

4. 실험 결과 (Results)

• 품질 (VBench Score):
  • S2DiT-KD (증류 모델) 는 83.62의 VBench 점수를 기록하여, 130 억 파라미터 규모의 Hunyuan 모델 및 140 억 파라미터 Wan2.1 모델과 유사한 성능을 보였습니다.
  • 18 억 파라미터 (1.8B) 모델임에도 불구하고, 130 억 파라미터 모델들과 경쟁 가능한 성능을 입증했습니다.
• 속도 및 모바일 성능:
  • 아이폰에서 약 11 FPS로 스트리밍 생성이 가능했습니다.
  • 기존 모바일 모델 (SnapGenV, Mobile-DiT 등) 이 5 초 이상의 지연을 보인 반면, S2DiT 는 실시간에 가까운 속도를 달성했습니다.
• 사용자 연구:
  • 텍스트 정합성 (Text Alignment) 과 전체적인 화질 (Overall Quality) 에서 서버 기반 SOTA 모델 (Wan2.1-1.3B) 과 유사하거나 더 높은 승률 (Win Rate) 을 기록했습니다.
• Ablation Study:
  • LCHA 와 SSA 를 모두 사용한 샌드위치 구조가 단일 구조 (LCHA-only 또는 SSA-only) 보다 성능이 월등히 우수함을 확인했습니다.
  • 2-in-1 증류 파이프라인이 모델의 품질을 크게 향상시키는 것을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 모바일 기기에서 고품질의 실시간 스트리밍 비디오 생성이 가능하다는 것을 최초로 증명했습니다.

• 기술적 혁신: 이차 복잡도의 한계를 극복하기 위한 효율적 어텐션 메커니즘 (LCHA, SSA) 과 구조 탐색, 그리고 대규모 모델의 지식을 효율적으로 전이하는 증류 기법을 결합하여, 모바일 하드웨어의 제한된 자원으로도 고성능 생성 AI 를 구동할 수 있는 새로운 패러다임을 제시했습니다.
• 실용적 가치: 클라우드 서버에 의존하지 않고 기기 자체 (On-device) 에서 실시간으로 상호작용 가능한 비디오 생성이 가능해짐으로써, 개인화된 콘텐츠 생성, 실시간 편집, AR/VR 응용 등 다양한 분야에서 혁신적인 가능성을 열었습니다.

요약하자면, S2DiT는 모바일 환경의 제약 조건을 극복하고, 서버급 품질의 실시간 비디오 생성을 가능하게 한 획기적인 모델입니다.