💻 computer science

EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

EverAnimate は、持続的な潜在空間伝播と復元的フローマッチングを組み合わせることで生成を潜在空間コンテキストメモリに固定し、累積する視覚的・意味的ドリフトを排除しつつキャラクターの同一性と背景の品質を維持する効率的な学習後手法であり、これにより分単位の人間アニメーションを可能にします。

原著者： Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが複雑な振り付けを踊るダンサーの、長く連続した映画を撮影しようとしていると想像してください。あなたはダンサーの写真（リファレンス）と、その動きの脚本（ポーズ）を持っています。あなたの目標は、脚本に完全に沿いつつ、90 秒間踊り続けても写真の人物と全く同じ姿を保った動画を生成することです。

論文「EverAnimate」は、特定の課題に取り組みます：AI がこのような長い動画を生成しようとすると、コピーの複製、さらにその複製のように、次第にぼやけて判別できなくなるのと同様に、内容が「ドリフト」してずれていく傾向があります。

以下に、この論文がシンプルなアナロジーを用いて課題と解決策を説明する方法を示します。

課題：「コピー＆ペースト」のバグ

現在の手法は、短いクリップ（チャンク）を継ぎ合わせて長い動画を作ろうとします。文章の段落をコピーし、そのコピーを次の段落の作成に使い、それを繰り返すことを想像してください。

背景のドリフト（低レベル）： 背景（壁や木など）は静止しているはずです。しかし、AI が次のクリップを開始するために画像を繰り返しコピーし直すため、壁はぼやけ始め、色が変化し、最終的にはひどいコピー機でコピーしたような見た目になります。
アイデンティティのドリフト（高レベル）： ダンサーは同じ姿であるはずです。しかし、動画が長くなるにつれ、ダンサーの顔の形がゆっくりと変化したり、服の色が変わったり、髪型が異なったりする可能性があります。彼らは「アイデンティティ」を失います。

この論文は、既存の手法が、AI に元の写真を繰り返し見せる（「シンク」やアンカーとして機能させる）ことでこの問題を修正しようとしていると主張していますが、それだけでは不十分だと述べています。AI は依然として、繰り返されるコピープロセスによって混乱します。

解決策：EverAnimate

著者らは、動画を再撮影するのではなく、AI の「脳」（潜在空間）の内部で完結する、これらの動画を生成する新しい方法を提案しています。彼らは主に 2 つのトリックを使用します。

1. 「永続的なバックパック」（永続的潜在伝播）

動画出力を取り、それを画像に戻し、それを次のクリップのために AI に再び入力する（これにより「コピー＆ペースト」エラーが発生する）代わりに、EverAnimate は AI の内部に記憶のバックパックを保持します。

仕組み： AI が動画の 1 つのチャンクを完了すると、最終的な画像を見るのではなく、次のチャンクに「バックパック」の中身である生データ（潜在コード）を渡します。
バックパックの中身は何か？
- 短期記憶： 踊りを滑らかに保つための最後の数秒間の動き。
- 長期記憶： ダンサーの顔や服の「ID カード」（多視点画像）のコレクションで、彼らの見た目が決して変わらないことを保証します。
アナロジー： リレー競技を想像してください。前のランナーのぼやけた写真をコピーするように渡すのではなく、直接、高品質なデータチップを渡され、元のランナーの特徴を失うことなく、レースをどのように継続すべきかを正確に教えてもらいます。

2. 「自己修正コンパス」（修復的フローマッチング）

良いバックパックがあっても、AI は単一のクリップの生成中に、たまに間違った方向に進む可能性があります。

課題： AI がわずかに軌道から外れ始めると（例えば、ダンサーの腕が少し奇妙に見えるなど）、標準的な手法はそのまま進み続け、エラーを悪化させます。
解決策： EverAnimate は、AI に特別な「コンパス」を用いて訓練します。訓練中、AI は意図的にわずかに「壊れた」または歪んだ経路を与えられます。AI は自分が軌道から外れていることを認識し、能動的に正しい、きれいな経路に戻るように舵を切ることを学びます。
アナロジー： 霧の中で歩くハイカーを想像してください。通常のハイカーは道が見えないため崖から外れてしまうかもしれません。EverAnimate は、道から外れるたびに振動して、迷う前に安全な道へ優しく戻す GPS を持ったハイカーのようなものです。

結果

この論文は、これらの 2 つの方法（記憶のバックパックと自己修正コンパス）を使用することで、EverAnimate は背景がぼやけたり、キャラクターの顔が変わったりすることなく、数分間（テストでは最大 90 秒まで）の動画を生成できると主張しています。

短い動画（10 秒）： すでに既存の最良の手法よりも優れています。
長い動画（90 秒）： 改善は圧倒的です。動画は鮮明なまま、背景は安定し、キャラクターは開始から終了まで全く同じ姿を保ちます。

まとめ

要約すると、EverAnimate は AI が動画の「コピーの複製」を作るのを防ぎます。代わりに、キャラクターとシーンの高品質なデジタル記憶を保持し、AI が進行中に自らの間違いを修正するように訓練することで、崩壊することなく、滑らかで高品質な、数分間のアニメーションを可能にします。

EverAnimate の技術的概要：潜在フロー復元による分単位の人間アニメーション生成

1. 問題定義

本論文は、高視覚的忠実度と一貫したキャラクターアイデンティティを維持しつつ、長期的なポーズ誘導型人間アニメーション動画（分単位）を生成するという課題に取り組む。既存の手法は通常、自己回帰的なチャンクごとの生成に依存しており、時間の経過とともに累積的なドリフトに悩まされる。著者は、ドリフトには 2 つの明確なタイプがあると特定している：

低レベルの品質ドリフト：チャンク間の引き継ぎフレームを VAE で繰り返しデコード・再エンコード（VAE 往復）することにより生じる、静的な背景やテクスチャの漸進的な劣化。
高レベルのセマンティックドリフト：キャラクターのアイデンティティ、顔の外観、衣服の細部、特に著しい運動を伴う領域における一貫性の欠如。

著者は、アテンションシンク（参照フレームをグローバルなアンカーとして使用すること）やエラーの再利用といった現在の解決策では不十分であると主張する。アテンションシンクは何を保持すべきかを指定する受動的な信号として機能するが、軌道の逸脱を能動的に修正することはできず、画像空間での継続を繰り返すことは、静的な領域の視覚的詳細を不可避的に損なう。

2. 手法：EverAnimate

EverAnimate は、画像空間ではなく潜在空間で直接動作することで、長編生成を安定化させるように設計された効率的な事後学習フレームワークである。これは、2 つの相補的なメカニズムを導入している：

A. 永続的潜在伝播 (Persistent Latent Propagation: PLP)
従来の標準的な引き継ぎパイプラインである、前チャンクの動画をデコードし、最終フレームを抽出して再エンコードする代わりに、EverAnimate は潜在メモリをチャンク間で直接伝播させる。

運動メモリ ( $M_{mot}$ )：前チャンクからの最後の $r$ 個の潜在スライスを伝播させることで、短期的な時間的連続性を保持する。
アイデンティティメモリ ( $M_{id}$ )：コンテキストチャンクからサンプリングされた少量のフレームをエンコードすることで構築され、すべてのチャンクにわたる多視点アイデンティティを固定する。
メモリ増強：メモリコンテキストが意図せず生成フレームの空間配置を決定する空間バイアスを防ぐため、訓練中にアイデンティティメモリに対して軽度の空間増強（ランダムな移動と再スケーリング）を適用する。
注入：これらのメモリは、ポーズ誘導型のターゲット潜在変数と連結され、拡散トランスフォーマー（DiT）の入力として形成される。これにより、モデルは破壊的な画像空間の再構成なしに、永続的なセマンティック情報に基づいて条件付けを行う。

B. 回復的フローマッチング (Restorative Flow Matching: RFM)
チャンク内で生じるドリフトに対処するため、EverAnimate はサンプリングプロセス中に暗黙的な回復目的を導入する。

概念：標準的なフローマッチング（FM）は、ガウスノイズをクリーンなデータ多様体へ輸送するようモデルを訓練する。しかし、長期的な生成においては、モデルが累積エラーにより擾乱された状態に遭遇する可能性がある。
メカニズム：訓練中、ターゲット端点を擾乱（ $\tilde{X}_1$ ）してドリフトをシミュレートする。その後、モデルはクリーンな経路に従うだけでなく、擾乱された状態からクリーンな端点へ能動的に軌道を修正する速度場を予測するように訓練される。
速度調整：ターゲット速度には回復項が含まれるように調整される： $\tilde{U}_t = U_t + \lambda(t)(X_t - \tilde{X}_t)$ 。
再スケジューリング：訓練の不安定性（クリーンな端点付近で修正項が不釣り合いに大きくなること）を防ぐため、有界な時間重み $\lambda(t)$ （ベル型スケジュール）が適用される。これにより、擾乱が有益な中間ノイズ領域で回復が最も強くなり、高ノイズまたは低ノイズの極端な領域での過剰修正を回避する。

訓練と推論
このフレームワークは、事前学習済みの DiT バックボーン（Wan-2.2-Animate）に対する軽量な LoRA 微調整を使用する。訓練は 2 段階で行われる：(1) 潜在伝播を学習するためのメモリ適応、(2) 回復的フローマッチング損失を使用したアンチドリフト適応。推論時には、モデルは潜在空間でチャンクごとに展開され、中間フレームをデコードすることなく、次のチャンクのために潜在スライスを再利用する。

3. 主要な貢献

問題の特定：著者は、画像空間での継続とアテンションシンクが分単位のアニメーションには不十分であることを実証的に明らかにし、VAE 往復の劣化やセマンティックなアンカーリングに対する現在の手法の具体的な限界を特定した。
潜在空間の原理：安定した長期的生成のための原理を導出した：セマンティックメモリは潜在空間で自己回帰的に伝播されなければならず、ドリフトは内在的な回復能力を通じて修正されなければならない。
EverAnimate フレームワーク：チャンク間連続性のための永続的潜在伝播と、チャンク内忠実度のための回復的フローマッチングから構成される事後学習手法であり、軽量な LoRA 微調整のみを必要とする。

4. 実験結果

この手法は、Champ、UBC、Seedance、および独自収集した YouTube 動画を組み合わせたデータセットで評価され、10 秒、30 秒、60 秒、90 秒の持続時間でベンチマークされた。

定量的性能：EverAnimate は、Wan-Animate、UniAnimate-DiT、SteadyDancer などを含む最先端手法を、すべての指標で上回った。
- 10 秒において、Wan-Animate に対して PSNR を 8%、SSIM を 7% 改善し、LPIPS を 22%、FID を 11% 削減した。
- 90 秒では、改善幅が大幅に増加：PSNR/SSIM はそれぞれ 15% 改善し、LPIPS/FID はそれぞれ 32%、27% 削減された。
- 最高の Face-PSNR（F-PSNR）を達成し、優れたアイデンティティの一貫性を示した。
定性的性能：視覚的比較により、ベースラインは時間の経過とともに背景の劣化やアイデンティティのちらつきに悩まされるのに対し、EverAnimate は 1 分間のシー全体を通じて安定した背景と一貫したキャラクターアイデンティティを維持することが示された。
アブレーション研究：回復的フローマッチング（RFM）を除去すると知覚品質が著しく低下し、永続的潜在伝播（PLP）を除去するとチャンク間連続性が弱まることから、両コンポーネントの必要性が確認された。

5. 意義と主張

本論文は、EverAnimate が長編アニメーションにおいて画像空間の継続から潜在状態制御への転換を表すと主張する。セマンティックメモリの伝播を画像のデコード/再エンコードという破壊的なサイクルから切り離し、モデルに軌道ドリフトを修正する内在的な能力を備えさせることで、EverAnimate は以前は高忠実度では達成不可能だった分単位の動画生成を可能にする。著者はこれを、運動構造と視覚合成の両方における累積エラーにより長期的生成が失敗する、ポーズ駆動型アニメーションにおける特定の訓練 - テスト非対称性に対する解決策として位置づけている。