💻 computer science

MoZoo:Unleashing Video Diffusion power in animal fur and muscle simulation

MoZoo は、粗いメッシュからリアルな毛並みと筋肉の動きを備えた高忠実度の動物動画を効率的に合成するための、Role-Aware RoPE や非対称デカップルド・アテンションといった革新的なアーキテクチャの革新を活用し、合成データから実データへのパイプラインと新しいベンチマークを併用する生成動力学ソルバーです。

原著者： Dongxia Liu, Jie Ma, Xiaochen Yang, Jiancheng Zhang, Bin Xia, Zhehan Kan, Nisha Huang, Jun Liang, Wenming Yang, Jin Li

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dongxia Liu, Jie Ma, Xiaochen Yang, Jiancheng Zhang, Bin Xia, Zhehan Kan, Nisha Huang, Jun Liang, Wenming Yang, Jin Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが映画のために、荒々しい灰色の粘土のパンダの彫刻を、写真のようなリアルさがあり、ふさふさとして生きている動物に変えようとしていると想像してください。

従来の方法（伝統的な CGI）：
過去には、これは一軒一軒レンガを積み上げて家を建てるようなものでした。アーティストはすべての筋肉を手動で彫刻し、骨格を正しく動かせるようにリギングし、さらに毛並みをシミュレートするために何百万本もの小さな毛を個別に配置する必要がありました。これは時間がかかり、費用も高額で、髪の毛一本一本の物理挙動を調整するための専門家チームが必要でした。

新しい方法（MoZoo）：
この論文は、3D 動物のための「魔法の筆」として機能する新しい AI ツール「MoZoo」を紹介しています。毛や筋肉をゼロから構築する代わりに、MoZoo は荒々しくテクスチャのない 3D モデル（「粘土」）と、写真、テキスト記述、または実際の動物の動画などのリファレンスを受け取り、瞬時にリアルな毛並みと筋肉の動きを描き加えます。

以下に、その仕組みを簡単な概念に分解して説明します。

1. 「レシピ」の問題：MoZoo-Data

AI に毛並みを描く方法を教えるには、「荒々しい粘土」と「実際の動物」のペアが数千必要です。しかし、実際の映画には「粘土」バージョンは付いておらず、完成した映画しか存在しません。

解決策： チームは MoZoo-Data という特別なパイプラインを構築しました。彼らはビデオゲームエンジン（Unreal Engine 5）を使用して何千もの架空の動物動画を作成しました。その後、巧妙な「逆転のトリック」（逆モデル）を用いて、実際の野生動物ドキュメンタリーを分析し、数学的に毛と皮膚を「剥ぎ取る」ことで、その下の荒々しい粘土の骨格がどう見えたかを推測しました。
結果： 彼らは AI を訓練するための「荒々しい粘土」と「実際の動物」の動画のペア 62,000 組からなる巨大なライブラリを作成しました。

2. 「指揮者」の問題：Role-Aware RoPE

AI に粘土のパンダを実際のパンダに変えるよう指示すると、AI は「いつ」何が起こるのかについて混乱します。

混乱： もし AI に、走る実際のパンダの動画と、走る粘土のパンダの動画を見せると、AI は実際のパンダの毛の動きが、粘土のパンダの体の動きとは異なるタイミングで起こるべきだと考えるかもしれません。これは、ドラムとバイオリンが異なる曲を演奏しているオーケストラを指揮しようとしているようなものです。
解決策： 彼らは Role-Aware RoPE というシステムを作成しました。これは、異なる入力に特定の「時間枠」を割り当てる厳格な指揮者だと考えてください。
- 粘土動画（体）と ターゲット動画（制作中のもの）は、完全に同期して動くよう、正確に同じ時間枠を割り当てられます。
- リファレンス動画（毛の質感）には「遅延した」時間枠が割り当てられます。これにより、AI は「このリファレンスから毛を使用するが、リファレンスの動きではなく、体の現在の動きに適用する」という指示を受けます。これにより、毛が滑り落ちたり、同期外に見えたりするのを防ぎます。

3. 「ノイズ」の問題：Asymmetric Decoupled Attention

AI が学習しようとする際、粘土の体の loud で明白な詳細（大きな筋肉や骨）が、毛の静かで小さな詳細を飲み込んでしまう傾向があります。

混乱： これは、誰かが叫んでいる（粘土の体の構造）中で、ささやき（毛の細部）を聞こうとするようなものです。AI はしばしばささやきを無視して叫び声だけをコピーし、結果として滑らかで禿げたような動物ができてしまいます。
解決策： 彼らは Asymmetric Decoupled Attention というフィルターを構築しました。一方向のガラスの窓を想像してください。
- AI は、毛をどこに配置するかを知るために粘土の体を見ることができます。
- AI は、毛がどのようなものかを知るためにリファレンス動画を見ることができます。
- 重要なのは、粘土の体が毛の細部に「叫ぶ」ことができず、毛の細部も体の構造に「叫ぶ」ことができないことです。それぞれが自分のレーンにとどまります。これにより、AI は体の形状を確実に維持しつつ、ぼやけずに繊細で高品質な毛の質感を追加することができます。

4. 結果

チームは、新しいベンチマーク MoZooBench で MoZoo をテストしました。

機能： 目標となる動物の画像や動画を見せるだけで、ライオンの荒々しい 3D モデルを実際のトラに変えたり、粘土のクマを実際のパンダに変えたりすることができます。
優れている点： 他の AI ツールと比較して、MoZoo は動物の体の動きを正しく保ちます（毛の揺れやジッターがない）。また、他のツールが通常滑らかにしてしまうような、個々の毛や筋肉の伸縮といった微小な詳細も保持します。

まとめ：
MoZoo は、毛や筋肉のアニメーションにおける困難で手作業の多い作業を省略する生成 AI です。これは、巨大な自社製データセットと賢明な「交通整理」システムを用いて、荒々しい 3D モデルを、動きが完璧で毛並みが詳細な高解像度のリアルな動物動画に瞬時に変換します。

技術サマリー：MoZoo – 動物の毛と筋肉のシミュレーションにおける動画拡散モデルの能力解放

1. 問題提起

映画品質の動物エフェクトの作成は、従来、スケルトンリギング、筋肉モデリング、高忠実度の毛合成を含む、労働集約的かつ計算コストの高いワークフローに依存していました。これらのプロセスでは、経験豊富なアーティストが微妙な変形や複雑な物理シミュレーションを手動で調整し、リアリズムを確保する必要があります。生成拡散モデルは芸術的ワークフローを進展させましたが、主に 2 つのボトルネックにより、高忠実度な動物シミュレーションへの応用は未だ十分に探求されていません。

データ不足: 拡散モデルを効果的に学習するために必要な、粗いメッシュとリアルな毛/筋肉の動画がペアになった高品質なデータが不足しています。
シミュレーションの複雑さ: 既存の参照ベースの動画生成手法は単一の画像に依存することが多く、密集した毛繊維の幾何学的複雑さや、複雑な光と毛の相互作用を捉えきれていません。さらに、標準的な拡散モデルは、特徴の干渉なしに複雑なテクスチャの詳細（毛/筋肉）を転送しながら、構造的整合性（骨格運動）を維持することに苦慮しています。

2. 手法

MoZoo は、従来のリファインメント段階を迂回するように設計された生成動力学ソルバーであり、マルチモーダルガイダンス（テキスト、画像、または動画）の下で、粗いメッシュ入力から直接フォトリアリスティックな動物動画を合成します。このフレームワークは Wan2.1 DiT（Diffusion Transformer）バックボーンに基づいて構築され、3 つの中核的な革新を導入しています。

A. MoZoo-Data: 合成から実写へのパイプライン

データボトルネックに対処するため、著者らは 62,000 のペアシーケンスからなる大規模データセット「MoZoo-Data」を構築しました。

合成生成: Unreal Engine 5 (UE5) を使用し、テクスチャあり・なしの多様な動物メッシュをレンダリングすることで、粗い幾何形状 ( $V_{mesh}$ ) と高忠実度動画 ( $V_{tar}$ ) の完全に整列したペアを作成しました。
実データのための逆マッピング: 合成データと実写映像の間のドメインギャップを認識し、合成データ上で逆生成モデルを学習させました。このモデルは、高解像度の野生動物ドキュメンタリーから推定される粗いメッシュシーケンスを抽出します。
参照構築: 参照動画 ( $V_{ref}$ ) は、同一種の異なるアクションクリップをサンプリングすることで生成され、アイデンティティと運動の分離を強制します。

B. 役割認識型 RoPE (RAR-RoPE)

標準的な 3D 回転位置エンベディング (RoPE) は連続的な時間インデックスを割り当てますが、異なる入力ストリーム（ターゲット、メッシュ、参照）を連結する際に人工的な時間的事前分布を生み出します。MoZoo は、異種のアライメント要件を処理するために RAR-RoPE を提案します。

同期: ターゲットとソースメッシュ動画は、正確な運動アライメントを確保するために同期された時間インデックスを共有します。
デカップリング: 参照コンテンツ（画像または動画）には固定された時間オフセット ( $\Delta$ ) が割り当てられ、実質的にノイズを含むターゲットトークンの前に配置されます。これにより、モデルが参照の時間的ダイナミクスとターゲットを混同するのを防ぎます。
空間的アンカリング: マスクはインデックス 0 にアンカーされ、その構造的役割を維持します。

C. 非対称デカップルドアテンション (ADA)

メッシュの強力な構造的信号と毛の微妙な高周波詳細との間の特徴干渉を防ぐため、MoZoo は Asymmetric Decoupled Attention を導入します。

分割: 潜在シーケンスは 4 つのセグメントに分割されます。ターゲット ( $x_{tgt}$ )、メッシュガイダンス ( $x_{mesh}$ )、マスク ( $x_{msk}$ )、参照 ( $x_{ref}$ ) です。
一方向フロー: この機構は一方向の情報フローを強制します。ターゲットクエリはすべてのモダリティから情報を集約しますが、ガイダンスブランチ（メッシュと参照）は分離され、自身の部分空間内でのみアテンションを計算します。
フレーム単位アライメント: ターゲットフレームは、メッシュシーケンス全体ではなく、対応する構造的キー ( $k_{mesh, i}$ ) のみに対してアテンションを向け、厳密な時間同期を確保しつつ、ターゲットシーケンスのノイズがクリーンなガイダンス信号を汚染するのを防ぎます。

3. 主要な貢献

MoZoo フレームワーク: 高価な従来の CG シミュレーション段階を置き換え、粗いメッシュからリアルな筋肉と毛のダイナミクスを備えた高忠実度な動物動画を直接生成する新しい動画拡散フレームワーク。柔軟な制御のためのマルチモーダルガイダンスをサポートします。
MoZoo-Data と MoZooBench: 合成から実写へのパイプラインを通じて構築された大規模データセット（62K クリップ）と、動物の毛レンダリングを評価するための包括的なベンチマーク（120 のメッシュ - 動画ペア）の導入。これらは公開されています。
アーキテクチャ革新: マルチモーダルアライメント課題を解決する RAR-RoPE の提案と、構造的ガイダンスをテクスチャ情報から分離する Asymmetric Decoupled Attention の提案。これにより、忠実度を向上させながら計算オーバーヘッドを大幅に削減しました。

4. 実験結果

著者らは、MoZooBench において、最先端の手法（VACE、Refacade）および自らのモデルの除去版（アブレーション版）に対して MoZoo を評価しました。

定量的性能: MoZoo は、構造的忠実度（PSNR、SSIM）と参照アライメント（LPIPS）において、一貫してベースラインを上回りました。具体的には、動画条件付きバージョンは PSNR 20.75、LPIPS 0.070 を達成し、画像条件付きベースラインを上回りました。
定性的性能: 視覚的比較により、MoZoo は複雑な高周波の毛の詳細を保持し、時空間的整合性を維持することが示されました。一方、ベースラインは過剰に平滑化された結果を生み出すか、テクスチャを正しい解剖学的領域にマッピングできず失敗することが多かったです。
アブレーション研究: RAR-RoPE を除去すると解剖学的特徴に空間的ドリフトが生じ、ADA を除去すると構造的信号が毛のテクスチャを圧倒し、微細な詳細が失われました。動画条件付きモダリティは、特に大幅な視点変化下において、画像条件付き設定よりも優れていることが証明されました。
種間転移: このモデルはゼロショット再スキンニング能力を示し、解剖学的整合性を維持しながら、ある種の生物学的テクスチャを別の種のメッシュに正常に転送しました。

5. 意義と主張

本論文は、MoZoo が高忠実度な動物キャラクター制作に関連する手作業と計算コストを大幅に削減すると主張しています。筋肉と毛のダイナミクスをエンドツーエンドの生成プロセスに統合することで、低コスト制作と工業グレードの視覚的忠実度の間のギャップを埋めています。

著者らは、この手法が多様な種にわたって優れたテクスチャ忠実度と整合性を達成する一方で、複雑な複数動物間の相互作用や重度の遮蔽の処理には課題が残ると指摘しています。今後の研究では、人間の髪や合成繊維を含む、汎用的な毛と毛並みのシミュレーションにフレームワークを一般化することを目指しています。また、著者らは、この技術が人間を対象に一般化するにつれ、無許可のデジタルアバターやディープフェイクの生成に関する潜在的な倫理的リスクを認識しています。