기술 요약: MobileWan

문제 정의

최근 비디오 확산(video diffusion) 기술의 발전은 트랜스포머 기반 아키텍처(DiT)를 수십억 개의 파라미터 규모로 확장함으로써 비주로 구현되었으며, 이는 시각적 충실도와 움직임의 일관성을 크게 향상시켰습니다. 그러나 모바일 비디오 생성은 피크 메모리 제한, 셀프 어텐션(self-attention)의 이차 복잡도, 디코더 오버헤드, 그리고 엔드 투 엔드(end-to-end) 지연 시간으로 인해 서버급 시스템에 비해 현저히 뒤처져 있습니다. 기존의 모바일 모델들은 대개 작은 백본(0.4~1.8B 파라미터)에 국한되어 있으며, 이는 필연적으로 생성 품질을 제한하고 모바일과 서버급 성능 사이의 뚜렷한 격차를 만듭니다. 핵심 과제는 병목 현상이 단일 모듈에 국한되지 않는다는 점입니다. 단순히 소프트맥스 어텐션(softmax attention)을 선형 어텐션(linear attention)으로 교체하는 것만으로는 처음부터 다시 학습해야 하거나 표현력의 차이가 발생하는 경우가 많으며, 하이브리드 접근 방식 또한 모바일 배포에 적합한 저메모리 재귀 구조(recurrent architecture)로 백본을 완전히 전환하지 못했습니다.

방법론

저자들은 MobileWan을 제안하며, 이 시스템은 서버급 5B 파라미터 비디오 확산 트랜스포머(Wan2.2-5B 기반)가 재귀적 재구성(recurrent reformulation)과 구조적 압축의 조합을 통해 메모리 제약이 있는 모바일 하드웨어에 효율적으로 배포될 수 있음을 보여줍니다. 방법론은 네 가지 주요 최적화 단계로 구성됩니다:

1. 학습 가능한 헤드 프루닝 (Learnable Head Pruning)

저자들이 Wan2.2-5B가 휴리스틱 블록 프루닝(heuristic block pruning)에 매우 민감하다는 것을 발견함에 따라, 단순한 휴리스틱 방식 대신 학습 가능한 헤드 프루닝 방식을 도입했습니다.

• 메커니즘: 각 셀프 어텐션 헤드의 기여도를 조절하는 학습 가능한 스칼라 게이트(scalar gate)를 도입합니다. 이 게이트들은 희소성 정규화(sparsity regularizer)와 **노이즈 편향 학습 전략(noise-biased learning strategy)**을 사용하여 엔드 투 엔드로 최적화됩니다.
• 학습 전략: 게이트 학습 단계 동안 모델은 높은 노이즈 편향 분포(노이즈 $\sigma \sim \text{LogitNormal}(1.5, 1)$ 추출)로 학습됩니다. 이는 전역적 구조와 움직임을 강조하여 프루닝 결정이 더 견고해지도록 만듭니다. 이 과정은 소프트 게이트 탐색(soft gate exploration), 바이너리 값으로의 온도 어닐링(temperature annealing), 그리고 고정된 프룬된 아키텍처를 이용한 최종 미세 조정의 3단계 스케줄을 포함합니다.
• 결과: 이 접근 방식은 특히 공격적인 프루닝 비율에서도 휴리스틱 프루닝보다 우수한 성능을 보이며, 품질 저하를 최소화하면서 측정 가능한 FLOP 감소를 달성했습니다.

2. 재귀 증류 (Recurrence Distillation)

셀프 어텐션의 이차 메모리 복잡도를 해결하기 위해, 저자들은 사전 학습된 트랜스포머를 **청크 단위 자기회귀 모델(chunk-wise autoregressive model)**로 변환합니다.

• 하이브리드 어텐션: 인과적 선형 어텐션(causal linear attention)과 로컬 소프트맥스 어텐션(local softmax attention)을 결다는 하이브리드 어텐션 메커니즘을 사용합니다. 모델은 즉각적인 컨텍스트를 위해 작은 로컬 토큰 세트에 소프트맥스로 어텐션을 수행하고, 과거의 컨텍스트를 위해 선형 어텐션을 사용합니다.
• RNN 재구성: 추론 시, 인과적 선형 어한션 덕분에 모델은 RNN(Recurrent Neural Network)처럼 작동할 수 있습니다. 모델은 전체 어텐션 행렬을 저장하는 대신, 과거 청크들에 대한 압축된 실행 집계(running aggregates, 상태 벡터 $s_t$ 및 $z_t$)를 유지합니다.
• 이점: 이는 메모리 사용량을 시퀀스 길이에 관계없이 일정하게 유지하여, 제한된 RAM을 가진 기기에서도 긴 영상을 생성할 수 있게 합니다.

3. 스텝 증류 (Step Distillation)

지연 시간을 줄이기 위해 저자들은 **분포 매칭 증류(Distribution Matching Distillation, DMD)**와 그 변형인 D-DMD를 적용합니다.

• 접근 방식: 멀티 스텝 티처(teacher) 모델을 퓨 스텝 스튜던트(few-step student) 모델로 증류합니다.
• 최적화: 실험에서는 표준 DMD, D-DMD(손실을 분포 매칭과 분류기 없는 가이드 증강 항으로 분리), 그리고 DMD2(적대적 손실 포함)를 비교했습니다.
• 선택: DMD2가 2스텝에서 가장 높은 동적 정도(dynamic degree)와 VBench 점수를 달성했지만, 저자들은 D-DMD가 약간 낮은 동적 정도에도 불구하고 시각적으로 매력적인 샘플을 생성한다는 점에 주목했습니다. 최종 시스템은 품질과 속도의 균형을 맞추기 위해 3단계 디노이징(NFEs)에 최적화된 구성을 사용합니다.

4. 디코더 최적 최적화 (Decoder Optimization)

표준 비디오 VAE는 계산 비용이 높은 인과적 3D 컨볼루션을 사용합니다.

• 수정 사항: 저자들은 효율적인 LightX2V 디코더를 기반으로 구축하되, 인과적 룩백 윈도우(look-back window)를 확장하도록 아키텍처를 수정했습니다.
• 메커니즘: 즉각적인 과거 프레임에만 의존하는 대신, 프레임 $F_t$의 예측이 더 긴 시간적 컨텍스트(최대 $F_{t-4}$까지)에 조건화되도록 합니다.
• 결과: 이는 2D 컨볼루션의 효율성을 유지하면서도 시간적 아티팩트(temporal artifacts)와 깜빡임(flickering)을 줄여, 다른 효율적인 디코더들에 비해 재구성 품질(PSNR 및 VBench)을 크게 향상시켰습니다.

5. 양자화 파이프라인 (Quantization Pipeline)

Snapdragon® 8 Gen 5 NPU에 배포하기 위해 모델은 두 단계의 양자화 과정을 거칩니다:

1. 사후 학습 양자화 (Post-Training Quantization, PTQ): 가중치를 8비트로 압축합니다.
2. 양자화 인식 학습 (Quantization-Aware Training, QAT): 2단계 증류 과정(블록 단위 후 엔드 투 엔드)을 통해 양자화된 모델을 풀 프리시전(full-precision) 티처 모델과 정렬하여 PTQ 중에 손실된 정확도를 회복합니다.

주요 결과

MobileWan은 모바일 기기(Snapdragon® 8 Gen 5 NPU)에서 다음과 같은 성능 지표를 달성합니다:

• 생성 사양: 480×832 해상도, 16 FPS로 5초 길이의 영상을 생성합니다.
• 지연 시간: 엔드 투 엔드 지연 시간은 20초입니다 (DiT 디노이징 단계의 6.65초 포함).
• 품질: VBench 점수 83.79를 달성하였으며, 이는 서버급 Wan2.2 모델(83.12)과 대등하며 이전 모바일 SOTA(Neodragon: 81.61)를 크게 상회합니다.
• 메모리: 재귀적 재구성을 통해 DiT의 피크 메모리 요구량을 "메모리 부족(OOM)" 상태에서 9.9 GB로, 디코더를 1.9 GB로 줄였습니다.
• 사용자 조사: 블라인드 사용자 조사에서 참가자들은 Neodragon보다 MobileWan을 **80%**의 비율로 선호했습니다. 파인튜닝된 서버 Wan2.2와의 비교에서는 MobileWan이 53%의 경우에서 선호되지 않았으나, 22%의 경우에는 선호되었습니다. 이는 Mobile-Wan이 서버 모델의 절반 정도의 수준에서 경쟁력이 있음을 나타냅니다.

의의 및 주장

본 논문은 모바일 비디오 생성을 위해 반드시 작은 모델이 필요하다는 가설에 도전함으로써, 모바일과 서버 규모 간의 품질 격차를 줄일 수 있다고 주장합니다.

• 확장성: 미세한 압축과 재귀적 재구성을 통해 5B 파라미터 규모의 비디오 DiT를 상용 모바일 하드웨어에 네이티브로 배포할 수 있음을 입증했습니다.
• 효율성 대 품질: 공격적인 최적화(프루닝, 재귀, 증류)를 적용하더라도 품질의 극단적인 손실 없이 서버 모델에 필적하는 VBench 점수(83.79)를 달성할 수 있음을 증명했습니다.
• 시스템 통합: MobileWan은 상용 모바일 기기에 배포 가능한 최초의 5B 규모 비디오 확산 모델로서, 모바일 비디오 생성의 새로운 SOTA를 정립했습니다.

저자들은 특정 장면 유형(예: 중거리 인물 얼굴)에서의 불만족스러운 품질, 증류 방법에 따른 간헐적인 과포화 또는 움직임 감소, 그리고 일부 생성된 영상에서의 잠재적인 시간적 불연속성 또는 깜빡임 등의 한계를 인정하며, 이를 향후 연구에서 해결하고자 합니다.