기술 요약: 모바일 비디오 확산 모델 (Mobile Video Diffusion)

문제 정의

비디오 확산 모델은 3D UNet 또는 3D Diffusion Transformer (DiT)와 같은 시공간 디노이징 아키텍처를 통해 사실성과 제어 가능성 측면에서 상당한 발전을 이루었습니다. 그러나 이러한 모델은 높은 메모리와 계산 능력을 요구하며, 이로 인해 고성능 GPU가 있는 클라우드 환경으로 배포가 제한됩니다. 이러한 한계는 모바일 기기에서의 로컬 실행을 필요로 하는 애플리케이션에 비디오 생성 기술을 도입하는 데 걸림돌이 됩니다.

기존 연구들은 (예: 일관성 모델 또는 적대적 증류를 통한) 샘플링 단계를 줄임으로써 비디오 확산의 속도를 높이는 데 집중해 왔으나, 이러한 접근 방식은 모델 아키텍처 자체의 근본적인 메모리 및 계산량 문제를 해결하지 못합니다. 결과적으로 기존 방법들은 자원 제약으로 인해 온디바이스(on-device) 배포에는 여전히 부적합합니다.

방법론

저자들은 최초의 모바일 최적화 비디오 확산 모델인 MobileVD를 소개합니다. 저자들은 Stable Video Diffusion (SVD)의 시공간 UNet을 기반으로 하여, 시각적 품질을 유지하면서 메모리 사용량과 계산 비용을 줄이기 위해 일련의 아키텍처 및 학습 최적화를 적용했습니다.

1. 적대적 미세 조정 (단계 축소)

SF-V 프레임워크를 따라, 저자들은 디노이징 과정을 25단계에서 단일 단계로 줄이기 위해 적대적 미세 조정을 채택했습니다.

• 메커니즘: 디노이징 UNet의 인코더 부분을 사용하여 판별기(discriminator)를 초기화합니다. 생성기(generator)는 pseudo-Huber 및 non-saturating adversarial loss를 사용하여 학습되며, 판별기 정규화를 위해 R1 penalty가 적용됩니다.
• 결과: 단일 패스(single-pass) 비디오 생성을 가능하게 하여 추론 시간을 획기적으로 단축합니다.

2. 모바일 친화적 UNet 아키텍처

모바일 제약 조건에 UNet을 적응시키기 위해 다음과 같은 구조적 수정이 도입되었습니다:

• 저해상도 미세 조정: 입력 해상도를 $512 \times 256$ (잠재 공간 해상도 $64 \times 32$)으로 줄였습니다. 단순히 사전 학습된 고해상도 모델의 크기를 조정할 때 발생하는 품질 저하를 방지하기 위해, 이 타겟 해상도에서 모델을 미세 조정했습니다.
• 시공간 멀티스케일링 (Temporal Multiscaling): 네트워크 전체에서 일정한 시간 해상도를 유지하는 대신, 저자들은 시간적 다운샘플링 및 업샘플링 연산을 도입했습니다. 첫 번째 다운샘플링 블록 이후 피처 맵을 시간축을 따라 2배로 다운샘플링하고, 마지막 업샘플링 블록 이전에 최근접 이웃(nearest-neighbor) 업스케일링을 통해 복원합니다. 이는 품질 손실을 최소화하면서 FLOPs와 지연 시간을 줄입니다.
• 최적화된 교차 주의 (Optimized Cross-Attention): SVD에서 교차 주의 레이어는 단일 컨텍스트 토큰(조건부 이미지의 CLIP 임베딩)에 어텐션을 수행합니다. 저자들은 단일 키(key) 토큰에 대해 유사도 맵($QK^T$)과 소프트맥스를 계산하는 것이 무의미한 작업(no-op)임을 확인했습니다. 이들은 쿼리(query) 및 키 투영 행렬과 유사도 계산을 제거하여, 모바일 지연 시간을 크게 줄이고 기기에서의 메모리 부족(OOM) 오류를 방지했습니다.

3. 새로운 프루닝(Pruning) 기법

모델을 더욱 압축하기 위해 두 가지 새로운 프루닝 전략이 제안되었습니다:

• 채널 퍼널링 (Channel Funneling): 추론 시 아핀 레이어(특히 어텐션 메커니즘 내)의 채널 차원을 줄이는 방법입니다.
  • 메커니즘: 중간 채널 차원($c'$)을 줄이기 위해 선형 레이어 사이에 두 개의 퍼널 행렬($F_1, F_2$)을 삽입합니다. 추론 시, 이 퍼널들은 원래의 가중치 행렬과 병합됩니다.
  • 초기화: 저자들은 절단된 특이값 분해(truncated singular decomposition)를 사용하여 퍼널 행렬을 초기화함으로써, 원래의 유효 가중치 행렬에 대한 최적의 저계수 근사(low-rank approximation)를 모방하는 **결합 특이값 초기화(Coupled Singular Initialization, CSI)**를 제안합니다.
  • 학습: 퍼널 행렬은 네트워크와 함께 학습됩니다.
• 학습 가능한 시간 블록 프루닝 (Learnable Temporal Block Pruning):
  • 메커니즘: 각 시간 블록에 중요도 값($q_i$)이 할당됩니다. 학습 과정에서, 중요도 값으로부터 유도된 포함 확률에 따라 각 블록에 대해 0-1 게이트(gate)가 샘플링됩니다.
  • 최적화: 매 반복마다 특정 블록 수($n$)가 선택되도록 보장하기 위해 포함 확률은 제약된 최적화 문제를 통해 학습됩니다. Straight-through estimator (STE)를 통해 엔드투엔드(end-to-end) 학습이 가능합니다.
  • 추론: 가장 높은 중요도 점수를 가진 상위 $n$개의 블록만 유지됩니다.

주요 기여

1. 최초의 모바일 비디오 확산 모델: 본 논문은 모바일 기기에 직접 배포 가능한 시공간 비디오 생성 모델을 구현하려는 최초의 시도인 MobileVD를 제시합니다.
2. 아키텍처 최적화: 모바일 하드웨어 제약에 특화된 시공간 멀티스케일링 및 최적화된 교차 주의 기법을 도입했습니다.
3. 새로운 프루닝 스키마: 너비 감소를 위한 "채널 퍼널링"과 수동적인 아키텍처 탐색 없이 상당한 파라미터 감소를 가능하게 하는 "학습 가능한 시간 블록 프루닝" 기술을 개발했습니다.
4. 적대적 단계 축소: 모바일 최적화된 백본에서 단일 단계 생성을 달성하기 위해 적대적 미세 조정을 적용했습니다.

결과

저자들은 Qualcomm Snapdragon® 8 Gen 3 모바일 플랫폼을 탑재한 Xiaomi-14 Pro 스마트폰에서 MobileVD를 평가했습니다.

• 효율성: MobileVD는 베이스라인인 SVD와 비교했을 때 계산 비용 측면에서 523배 더 효율적입니다 (1817.2 vs. 4.34 TFLOPs).
• 지연 시간: 모바일 기기에서 14프레임 클립($14 \times 512 \times 256$ px)에 대한 잠재 변수(latents)를 생성하는 데 1.7초가 소요됩니다.
• 품질: 이 모델은 149의 FVD(Fréchet Video Distance)를 달성했습니다 (특정 비교에서 베이스라인의 171 대비 149로, 초록에서는 약간의 하락을 언급함). 저자들은 최대 20 FVD 단위의 차이는 통상적인 표준 편차 범위 내에 있으며 시각적 품질에 큰 영향을 미치지 않는다고 언급했습니다.
• 비교: MobileVD는 다른 가속화 방법들(AnimateLCM, SF-V, UFOGen)보다 품질-효율성 트레이드오프 측면에서 우수하며, 훨씬 낮은 계산량으로 더 나은 FVD를 제공합니다.

의의 및 주장

본 논문은 모바일 배포를 위한 비디오 확산 모델을 성공적으로 구축한 최초의 연구라고 주장합니다. 반복적인 샘플링 비용과 아키텍처의 메모리/계산량 문제를 모두 해결함으로써, 저자들은 비디오 생성이 소비자용 모바일 기기에서도 가능하다는 것을 입증했습니다.

저자들은 이 작업을 더 넓은 접근성을 향한 "디딤돌"로 규정합니다. 현재 14프레임 및 $256 \times 512$ 해상도로 제한된다는 점을 인정하며, 향-공간 및 시간 압축률을 높이기 위해 더 효율적인 오토인코더를 활용하는 후속 연구를 제안합니다. 이 작업은 클라우드 기반 솔루션에 비해 접근 제어가 적은 로컬 환경에서 사용자가 콘텐츠를 생성할 수 있게 함으로써 비디오 생성을 대중화하는 단계로 프레임화되었습니다.