技術サマリー：Paris 2.0 – 動画生成のための分散拡散モデル

1. 問題定義

現在の動画生成モデルは、単一のモデルが広範な動画データセットの混合を用いて、高帯域幅かつ同一場所に配置された GPU クラスターで訓練される「単一構造（モノリス）の訓練パラダイム」に依存しています。このアプローチは、パラメータ更新が密結合したハードウェア間で同期を必要とするため、重要なインフラ制約を生み出します。一方、「分散拡散モデル（DDM）」は、単一構造クラスターなしで画像生成を訓練できることを成功裏に実証してきました（Paris 1.0 [2] に示される通り）。しかし、これを「時間的に一貫した動画生成」に拡張することは、依然として未解決の問題でした。動画生成は、モーションモデリング、より長い時間的コンテキスト、そして実質的に大きな潜在空間を含むなど、エキスパートに対してより重い負担を課します。これにより、分散非同期訓練が高品質で一貫性のある動画を生成し得るかどうかという疑問が生じました。

2. 手法

コアアーキテクチャ

Paris 2.0 は、推論時に学習されたルーターによって結合される独立した拡散エキスパートのアンサンブルです。このシステムは 3 つの主要コンポーネントで構成されます。

• 共有前処理スタック: 動画はキャッシュされた因果的「HunyuanVAE」潜在変数にエンコードされます。プロンプトは「T5-v1.1-XXL」と「CLIP-ViT-L/14」を用いてエンコードされます。このスタックは計算オーバーヘッドを削減するため、訓練のフォワードパスから切り離されています。
• エキスパートプール: このモデルは、3 つの「11B パラメータ FLUX 風 MM-DiT（マルチモーダル拡散トランスフォーマー）」エキスパートを利用します。各エキスパートは、フローマッチング速度目的関数を用いて、異なるデータクラスター上でゼロから訓練されます。重要なのは、訓練中にエキスパート間で勾配、パラメータ、活性化が一切交換されないことです。これらは、スポットインスタンスやコンシューマーハードウェアを含む異種ハードウェア上で孤立して最適化されます。
• ルーター: 軽量な「DiT-B」モデル（約 1 億パラメータ）が、各ノイズ除去ステップでルーティングを実行します。これは、現在のノイズ付き潜在変数、拡散タイムステップ、プールされた CLIP テキストベクトル、およびオプションの DINOv2 最初のフレーム特徴を入力として消費します。そして、トップ-K のエキスパートを選択するためのルーティング重みを出力します。エキスパートとは異なり、ルーターは完全な T5 埋め込みにアクセスせず、代わりにプールされた CLIP ベクトルに依存します。

訓練と推論

• 訓練: 各エキスパートは独自のデータクラスターに制限されます。ルーターは、ノイズ付き潜在変数とその CLIP テキスト特徴をペアにしたもののソースクラスターラベルを予測する、教師ありクラスター分類器として独立して訓練されます。
• 推論: 各ノイズ除去ステップにおいて、ルーターは現在の状態を読み取り、動画の速度場を評価するエキスパートを選択します。これらのエキスパートの速度場の加重和が、次の潜在変数への ODE ソルバーを駆動します。この設計により、サンプルあたりの計算量は単一のバックボーンと同程度に保たれつつ、総容量はエキスパートを追加することで水平方向にスケーリングされます。

3. 主要な貢献

• 最初の分散型動画モデル: Paris 2.0 は、単一構造 GPU クラスターなしで時間的に一貫した動画を生成できることを証明し、分散計算を通じて完全に事前訓練された初の動画生成モデルです。
• 動画のための結合された計算の分離: この論文は、画像から動画へと結合された計算のレシピを拡張し、異なるモーションパターンやシーンダイナミクスを示す異なるデータクラスターが、すべてのサンプルにすべてのエキスパートのコストを負担させることなく、専門的なエキスパートによって活用できることを実証しました。
• エキスパートの専門化: この研究は、孤立して訓練されたエキスパートが、単に周辺分布に収束するのではなく、割り当てられたデータクラスターに真に専門化していることを示す証拠を提供しており、これは効果的なルーティングの前提条件です。
• ルーティング対アンサンブル: 除去実験を通じて、著者らは性能向上が単なるアンサンブルやパラメータ数の増加ではなく、専門的なエキスパート間での「ルーティング機構」に起因することを示しました。

4. 実験結果

著者らは、Paris 2.0（ステージ 1、3 エキスパート DDM）を、同じデータクラスターの合併上で訓練された単一構造の 11B MM-DiT と比較評価しました。比較は「等しい FLOP および等しいデータ」の予算下で行われました（各エキスパートは、単一構造モデルの 1/3 のデータと計算量を目にします）。

定量的改善（低解像度 256×256 テキストから動画）:

• フレシェット動画距離（FVD）: 単一構造の 561.04 から DDM の 279.01 に低下し、分布のリアリズムが約 2.0 倍改善されました。
• CLIP テキスト - 動画類似性: 0.2032 から 0.2178 に増加しました。
• 審美性スコア: 3.7950 から 3.9036 に向上しました。
• モーション: DDM はより高いフレームごとの変位大きさ（0.712 対 0.555）を示しましたが、著者らはこれが時間的一貫性ではなく、大きさの記述的尺度であると指摘しています。

除去実験の知見:

• スイッチングスケジュール: 2 つのエキスパート間での交互の手动スケジュールは、すべての指標において単一エキスパートを上回りました。これは、ノイズ除去時間における方向性の専門化（例えば、あるエキスパートは高ノイズステップを好み、もう一方は低ノイズを好む）を示唆しています。
• 専門化のギャップ: 特定のクラスターで訓練されたエキスパートは、そのクラスター固有のプロンプトで CLIP スコア 0.2175 を達成したのに対し、一般的なセットでは 0.1781 でした。これは真の専門化を確認するものです。

5. 意義と主張

この論文は、分散訓練が時間的に一貫した動画を生成し得るかどうかという未解決の問題を解決したと主張しています。主な意義は、孤立して訓練されたエキスパートの能力が、動画への移行を生き延びるだけでなく、同じデータで訓練された単一のバックボーンを上回ることを実証した点にあります。

著者らは、この研究を「物理 AI 世界モデル」への一歩として位置づけています。彼らは、基盤となる世界モデルは、単一の訓練クラスターの能力を遥かに超える環境をカバーしなければならないと論じます。環境ごとにエキスパートを専門化し、それらを横断してルーティングすることで、Paris 2.0 は、少数の研究所のみがアクセスできる単一構造クラスターに依存するのではなく、世界が既に持っている「分散計算」上で世界モデルを訓練する道筋を提供します。結果は、DDM のレシピが、画像から複雑でモーションの多い動画生成へとスケーリングするのに十分な頑健性を持っていることを示唆しています。