技術要約: CineMobile

問題提起

Diffusion Transformer (DiT) の急速な進歩により、高品質なビデオ生成が可能になったが、モバイルデバイスへのデプロイメントには依然として大きな課題が残っている。Wan2.1-14Bのような最先端モデルは、膨大な計算リソース、大規模なパラメータ数、および多段階の反復的なデノイジングプロセス（例：40ステップ）を必要とし、高性能GPU上であっても推論に数分を要する。これにより、モバイルデバイス上でのリアルタイムな画像からの動画生成（I2V）は不可能となっている。さらに、既存のモバイル加速技術は主にU-Netアーキテクチャを対象としており、DiTモデルはほとんど未開拓のままである。モバイルI2Vにおける決定的な制約は、積極的な加速を実現しつつ、プロンプトのセマンティクスや微細なディテール（ポートレートのアイデンティティなど）を保持する必要があることであり、これは標準的なプルーニングや量子化手法では達成が困難なバランスである。

手法

CineMobileは、映画のようなモーション品質を維持しながらDiTベースのI2Vモデルを圧縮するために設計された、3層の最適化戦略を通じてこれらの課題に対処する。本フレームワークは、バレットタイム（弾丸時間）、ドリーズーム、スローモーションという3つの特定のシネマティック効果に焦点を当てている。

1. 構造化深度プルーニング (Structured Depth Pruning)

テンポラルモデリングやアイデンティティの保持を乱すことなくモデルサイズを削減するため、CineMobileは「連続レイヤー蒸留を伴うプラグ可能なプルーニング (PPCL)」手法を適応させている。

• 深度 vs 幅: 隠れ次元を変更し、学習済みのテンポラル表現を乱す可能性のある幅のプルーニングとは異なり、CineMobileは構造化深度プルーニングを採用する。これは、バックボーンの隠れ次元を維持したまま、冗長な連続レイヤーを特定して削除するものである。
• プロセス: この手法は、残留線形プローブとCKA類似性を用いて、潜在ビデオシーケンス上の冗長なレイヤー間隔を検出する。選択された間隔は、削除されたスパンの中間から初期化された単一の学習可能なサロゲートブロックによって置き換えられる。
• 蒸留: サロゲートブロックは、ポートレートデータとモーションデータを用いて、アイデンティティの一貫性とモーションの制御性を確保しながら、ティーチャーモデルの隠れ状態を再現するように学習される。

2. 強化学習によるステップ蒸留 (Step Distillation via Adversarial Reinforcement Learning)

推論ステップ数を20ステップ以上から4ステップへと削減するために、CineMobileは2段階のファインチューニングおよび蒸留パイプラインを利用する。

• 教師ありファインチューニング (SFT) ウォームアップ: 蒸留の前に、プルーニングされたスチューデントモデルはフローマッチング目的関数を用いたウォームアップ段階を経る。まず、元の高密度モデルのビデオを用いて生成能力を回復させた後、ティーチャー生成ビデオを用いてターゲットとなるシネマティックなモーション分布に適応させる。
• 敵対的蒸留: AdvDMDに基づき、モデルは4ステップのジェネレーターへと蒸留される。この段階では、GRPO (Group Relative Policy Optimization) による強化学習 (RL) を統合している。
  • 固定された「リアル」スコアエスティメータ（ティーチャー）と、オンラインの「フェイク」スコアエスティメータ（スチューデント）が、分布一致の信号を提供する。
  • フェイクモデルに付随する軽量なディスクリミネータが、敵対的なリアリズムのフィードバックを提供する。
  • ディスクリミネータの中間潜在変数に対するスコアがGRPOの報酬として機能し、視覚的品質とテンポラルな一貫性を最大化するように、4ステップのデノイジング・トラジェクトリを精緻化する。

3. ハイブリッド・ポストトレーニング量子化 (Hybrid Post-Training Quantization)

モバイルデバイスの厳格なメモリ制約を満たすため、CineMobileはハイブリッド精度量子化戦略を適用する。

• 活性化 (Activation): 数値的安定性のために16ビット精度で保持される。
• 重み (Weights): ほとんどの線形レイヤー（アテンション、テキスト/タイム埋め込み）は8ビット (FP8) に量子化される。
• フィードフォワードネットワーク (FFN): FFNはパラメータの大部分を占めるため、その線形投影は4ビットに量子化される。
• 結果: この戦略により、モデルのフットプリントを1 GB未満に圧縮する。

主な結果

CineMobileはMediaTek Dimensity 8400 Ultimate 5Gプラットフォームで評価され、Wan2.1-14Bティーチャーモデルおよび他の商用システムと比較された。

• 効率性:

  • 加速: CineMobileは、ティーチャーモデルと比較して生成時間で40倍の高速化を達成した。
  • レイテンシ: MediaTek Dimensity 8400上で、49フレームの480pビデオを、1ステップあたりのデノイジングレイテンシ20秒で生成する（総生成時間は、H200上のティーチャーの240秒と比較して大幅に短縮されている）。
  • 計算量: ティーチャーと比較して、DiT-FLOPsを71.89倍削減した。
  • メモリ: デバイス上のピークメモリ使用量は1.8 GBであり、モデルのフットプリントは1 GB未満である。

• 品質:

  • VBenchスコア: CineMobileは、3つのシネマティックシナリオ（バレットタイム: 88.35 vs 89.27; ドリーズーム: 89.30 vs 89.96; スローモーション: 88.05 vs 88.51）において、14Bティーチャーモデルに匹敵するスコアを達成した。
  • 人間による評価: 商用モデル（Kling, Hailuo, Vidu）との比較において、CineMobileは競争力のある全体的な知覚品質を示し、特にカメラコントロール（滑らかな軌道運動や被写体と背景の一貫性の維持）において最強のパフォーマンスを発揮した。
  • アブレーション研究: GRPOによる精緻化の導入により、主に美学およびイメージング品質が向上し、合計スコアが約0.5ポイント改善した。

意義と主張

本論文は、CineMobileが高忠実度なDiTベースのビデオ生成と、実用的なモバイル展開の間の溝を埋めるものであると主張している。その主な意義は、以下の点にある：

1. 構造化プルーニングと敵対的ステップ蒸留を組み合わせることで、シネマティックな効果に必要な複雑なテンポラルダイナミクスを犠牲にすることなく、推論ステップ数とモデルサイズを劇的に削減できること。
2. ハイブリッド量子化（4ビット/8ビット）により、メモリフットプリントが1 GB未満の消費者向けモバイルハードウェア上で、大規模なビデオ生成モデルを実行可能にすること。
3. オンデバイスでのシネマティック生成が可能であり、静止画の品質だけでなく、制御可能なカメラモーション（バレットタイム、ドリーズーム、スローモーション）を直接スマートフォン上で作成するための実用的なソリューションを提供し、被写体のアイデンティティとシーンの一貫性を既存のモバイル向け手法よりも良く保持できること。

著者らは、CineMobileをクラウド規模の生成の代替品としてではなく、特に静止画の品質よりも制御可能なカメラモーションに最適化された、効率的で実行可能なオンデバイス作成のための選択肢として位置づけている。