기술 요약: CineMobile

문제 정의

확산 트랜스포머(Diffusion Transformers, DiTs)의 급격한 발전은 고품질 비디오 생성을 가능하게 했으나, 이를 모바일 기기에 배포하는 것은 여전히 큰 과제로 남아 있습니다. Wan2.1-14B와 같은 최첨단 모델들은 상당한 계산 자원, 방대한 파라미터 수, 그리고 다단계 반복 디노이징 과정(예: 40단계)을 필요로 하며, 이는 고성능 GPU에서도 추론 시간이 몇 분에 달하게 만듭니다. 이로 인해 실시간 온디바이스 이미지-투-비디오(I2V) 생성은 불가능한 상태입니다. 또한, 기존의 모바일 가속 기술은 주로 U-Net 아키텍처를 대상으로 하고 있어, DiT 모델은 거의 탐구되지 않은 영역으로 남아 있습니다. 모바일 I2V의 핵심 제약 사항은 공격적인 가속화를 달면서도 프롬프트의 의미론적 정보와 미세한 디테일(예: 인물 정체성)을 보존해야 한다는 점이며, 이는 표준적인 프루닝(pruning)이나 양자화(quantization) 방법으로는 달성하기 어려운 균형입니다.

방법론

CineMobile은 시네마틱한 움직임의 품질을 유지하면서 DiT 기반 I2V 모델을 압축하기 위해 설계된 세 가지 단계의 최적화 전략을 통해 이러한 과제를 해결합니다. 이 프레임워크는 불릿 타임(bullet time), 돌리 줌(dolly zoom), 슬로우 모션(slow motion)이라는 세 가지 특정 시네마틱 효과에 집중합니다.

1. 구조적 깊이 프루닝 (Structured Depth Pruning)

템포럴 모델링이나 정체성 보존을 저해하지 않으면서 모델 크기를 줄이기 위해, CineMobile은 연속 레이어 증류를 포함한 플러그형 프루닝(Pluggable Pruning with Contiguous Layer Distillation, PPCL) 방법을 응용합니다.

• 깊이 vs 너비: 히든 차원을 변경하여 사전 학습된 템포럴 표현을 방해할 수 있는 너비 프루닝과 달리, CineMobile은 구조적 깊이 프루닝을 채택합니다. 이는 백본의 히든 차원을 변경하지 않으면서 중복되는 연속 레이어를 식별하고 제거합니다.
• 프로세스: 이 방법은 잔차 선형 프로브(residual linear probes)와 CKA 유사도를 사용하여 잠재 비디오 시퀀스 상의 중복 레이어 구간을 감지합니다. 선택된 구간은 제거된 스팬(span)의 중간 지점에서 초기화된 단일 학습 가능 서러게이트 블록(surrogate block)으로 대체됩니다.
• 증류(Distillation): 서러게이트 블록은 인물의 일관성과 움직임 제어력을 보장하기 위해 인물 및 모션 데이터를 사용하여, 스팬 출력에서의 티처(teacher) 모델의 히든 상태를 재현하도록 학습됩니다.

2. 적대적 강화 학습을 통한 단계 증류 (Step Distillation via Adversarial Reinforcement Learning)

추론 단계를 20단계 이상에서 4단계로 줄이기 위해, CineMobile은 2단계 미세 조정 및 증류 파이프라인을 활용합니다.

• 지도 학습 미세 조정(SFT) 웜업: 증류 전, 프룬된 학생(student) 모델은 플로우 매칭(flow-matching) 목적 함수를 사용하여 웜업 단계를 거칩니다. 먼저 원본 밀집 모델의 비디오를 통해 생성 능력을 복구한 후, 티처가 생성한 비디오를 사용하여 타겟 시네마틱 모션 분포에 적응시킵니다.
• 적대적 증류: AdvDMD를 기반으로, 모델은 4단계 생성기로 증류됩니다. 이 단계는 GRPO(Group Relative Policy Optimization)를 통한 **강화 학습(RL)**을 통합합니다.
  • 동결된 "실제(real)" 점수 추정기(티처)와 온라인 "가짜(fake)" 점수 추정기(학생)가 분포 매칭 신호를 제공합니다.
  • 가짜 모델에 부착된 경량 디스크리미네이터(discriminator)는 적대적 리얼리즘 피드백을 제공합니다.
  • 디스크리미네이터의 중간 잠재 상태에 대한 점수는 GRPO를 위한 보상(reward)으로 사용되어, 시각적 품질과 시간적 일관성을 극대화하도록 4단계 디노이징 궤적을 정교화합니다.

3. 하이브리드 포스트 트레이닝 양자화 (Hybrid Post-Training Quantization, PTQ)

모바일 기기의 엄격한 메모리 제약을 충족하기 위해, CineMobile은 하이브리드 정밀도 양자화 전략을 적용합니다.

• 활성화(Activation): 수치적 안정성을 위해 16비트 정밀도로 유지됩니다.
• 가중치(Weights): 대부분의 선형 레이어(어텐션, 텍스트/타임 임베딩)는 8비트(FP8)로 양자화됩니다.
• 피드 포워드 네트워크(FFN): FFN은 파라미터의 큰 비중을 차지하므로, 이들의 선형 투영(linear projections)은 4비트로 양자화됩니다.
• 결과: 이 전략을 통해 모델의 풋프린트를 1GB 미만으로 압축합니다.

주요 결과

CineMobile은 MediaTek Dimensity 8400 Ultimate 5G 플랫폼에서 평가되었으며, Wan2.1-14B 티처 모델 및 기타 상용 시스템과 비교되었습니다.

• 효율성:

  • 가속도: CineMobile은 티cher 모델 대비 생성 시간에서 40배의 속도 향상을 달축했습니다.
  • 지연 시간(Latency): MediaTek Dimity 8400에서 49프레임 480p 비디오를 생성하며, 단계당 디노이징 지연 시간은 20초입니다 (전체 생성 시간은 H200에서의 240초에 비해 크게 단축됨).
  • 연산량: 티처 모델 대비 DiT-FLOPs를 71.89배 감소시켰습니다.
  • 메모리: 모바일 기기에서의 피크 메모리 사용량은 1.8 GB이며, 모델 풋프린트는 1 GB 미만입니다.

• 품질:

  • VBench 점수: CineMobile은 세 가지 시네마틱 시나리오(불릿 타임: 88.35 vs 89.27; 돌리 줌: 89.30 vs 89.96; 슬로우 모션: 88.05 vs 88.51)에서 14B 티처 모델과 대등한 점수를 기록했습니다.
  • 인간 평가: 상용 모델(Kling, Hailuo, Vidu)과의 비교에서, CineMobile은 경쟁력 있는 전반적 지각 품질을 보여주었으며, 특히 부드러운 궤도 운동(orbital motion)과 피사체-배경 일관성을 유지하는 카메라 제어 측면에서 가장 강력한 성능을 달성했습니다.
  • 어블레이션(Ablation): GRPO 정교화의 포함은 미학적 및 이미징 품질을 주로 향상시켜 전체 점수를 약 0.5점 높였습니다.

의의 및 주장

본 논문은 CineMobile이 고충실도 DiT 기반 비디오 생성과 실제 모바일 배포 사이의 간극을 메운다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 구조적 프루닝과 적대적 단계 증류를 결합하면 시네마틱 효과에 필요한 복잡한 템포럴 역동성을 희생하지 않으면서도 추론 단계와 모델 크기를 획기적으로 줄일 수 있음을 입증했습니다.
2. 하이브리드 양자화(4비트/8비트)를 통해 메모리 풋프린트가 1GB 미만인 소비자급 모바일 하드웨어에서 대규모 비디오 생성 모델을 실행할 수 있게 합니다.
3. 온디바이스 시네마틱 생성이 가능함을 보여주며, 단순한 정적 이미지 품질을 넘어 제어 가능한 카메라 움직임을 생성하는 데 최적화된 솔루션을 제공함으로써, 스마트폰에서 직접 불릿 타임, 돌리 줌, 슬로우 모션 영상을 제작할 수 있는 실질적인 방안을 제시합니다.

저자들은 CineMobile을 클라우드 규모의 생성을 대체하는 것이 아니라, 정적인 이미지 품질보다는 제어 가능한 카메라 움직임에 특화된, 온디바이스 제작을 위한 효율적이고 실행 가능한 대안으로 포지셔닝하고 있습니다.