Improving Motion in Image-to-Video Models via Adaptive Low-Pass Guidance

本論文は、画像から動画生成を行う際に見られる動きの抑制問題を、サンプリング過程の初期段階で条件画像の周波数成分を適応的に低域通過フィルタリングする「適応的低域通過ガイダンス（ALG）」というトレーニング不要な手法により解決し、動画の動的な表現力を大幅に向上させつつ画質やテキスト整合性を維持することを提案しています。

要約

画像から動画を作る AI の「動き」を劇的に良くする方法

～「適応型ローパスガイダンス（ALG）」の物語～

こんにちは！今日は、最新の AI 技術である「画像から動画を作る AI（Image-to-Video）」が抱えていたある**「悩み」と、それを解決した「魔法のテクニック」**について、わかりやすくお話しします。

---

🎬 1. 問題：「静止画」になりすぎて動かない！

皆さんは、AI に「この写真の猫が走っている動画を作って」と頼んだとき、どんな動画が返ってくるか想像してみてください。

最近の AI は、テキストから素晴らしい動画を作れるようになりました。でも、**「写真から動画を作る」**というタスクになると、ある奇妙な現象が起きます。

• AI の動き： 「写真の猫は、写真の猫そのままで、ほとんど動かないよ」
• 結果： 動画なのに、まるで**「静止画が少し震えているだけ」**のような、動きの乏しい動画になってしまいます。

これを論文の著者たちは**「動きの抑圧（Suppressed Motion）」**と呼びました。なぜこんなことが起きるのでしょうか？

🔍 2. 原因の正体：「細部」に囚われすぎた AI

著者たちは、この現象の原因を突き止めました。それは、「写真の細部（ハイテクな部分）」に AI が最初から取りつかれてしまうことです。

【アナロジー：完璧なコピー機と画家】
想像してみてください。

• 普通の AI（T2V）： 空想の世界から絵を描く画家です。「猫が走る！」というイメージだけで、自由に動きを創造します。
• 写真から動画を作る AI（I2V）： 写真を見ながら描く画家です。

ここで問題が起きます。写真には**「猫の毛一本一本の細かさ」や「背景の葉っぱの形」といった、「細部（ハイ周波数成分）」**がぎっしり詰まっています。
AI は「この写真に忠実にならなきゃ！」と必死になり、最初の瞬間に「猫の毛の一本一本」まで完璧にコピーしてしまおうとするのです。

【結果】
「毛の一本一本」に集中しすぎて、「猫が走る」という大きな動きを作る余地がなくなってしまいました。まるで、**「足元の砂利の粒を数えすぎて、前に進めなくなった」**ような状態です。

💡 3. 解決策：「ぼかし」で自由を取り戻す

では、どうすればいいでしょうか？著者たちはある実験をしました。

「入力する写真に、あえて『ぼかし（ローパスフィルター）』をかけてから AI に渡す」

• 実験結果： 写真が少しぼやけると、AI は「毛の一本一本」に囚われなくなります。そのおかげで、「猫が走る」という大きな動きを自由に創造できるようになりました！
• 副作用： でも、写真がぼやけすぎて、動画の画質も一緒にボロボロになってしまいました。「動きは良くなったけど、画質が悪すぎる」のです。

✨ 4. 登場！「適応型ローパスガイダンス（ALG）」

ここで、この論文の主人公である**「ALG（Adaptive Low-Pass Guidance）」**が登場します。

ALG は、**「タイミングを見極めて、ぼかすかぼかさないかを変える」**という、とても賢いテクニックです。

【ALG の魔法のステップ】

1. 最初のステップ（動きを作る瞬間）：

   • AI に**「ぼやけた写真」**を見せます。
   • 理由： 「毛の細部」に囚われさせず、「猫が走る」という大きな動きの方向性だけを決めさせます。
   • イメージ： 遠くから「猫が走っている！」という大まかなシルエットだけを見て、動きの計画を立てる。

2. 後半のステップ（完成させる瞬間）：

   • 動きが決まったところで、**「元の鮮明な写真」**に戻します。
   • 理由： 「猫の毛の一本一本」や「背景の細部」を、動きが決まった後で丁寧に描き足させます。
   • イメージ： 動きの骨組みが決まったので、今度は「毛の質感」や「光の反射」を完璧に仕上げます。

【結論】
この方法を使えば、**「動きはダイナミックで、画質は鮮明」**という、両方のいいとこ取りができるのです！

📊 5. 実際の効果

実験結果は驚くべきものでした。

• 動きの良さが 33% 向上！（VBench というテストで）
• 画質や写真との一致度は、落ちることなく、むしろ向上することもあった！
• 特別な学習（トレーニング）は不要で、「推論（動画を作る）のときだけ」このテクニックを適用するだけで済みます。

🌟 まとめ

この論文が伝えたかったことはシンプルです。

「AI に写真を見せるとき、最初から『細部』まで完璧に見せると、AI は『動き』を作るのを忘れてしまう。
だから、最初は『ぼやけた状態』で動きを誘導し、最後に『鮮明な状態』で仕上げをさせるのが正解なんだ！」

まるで、**「大きなスケッチを描いてから、最後に細部を塗りつぶす」**という、人間画家のテクニックを AI に教えたようなものです。

これで、これから作る AI 動画は、もっと生き生きと、躍動感あふれるものになるはずです！🎥✨

技術概要

論文要約：Improving Motion in Image-to-Video Models via Adaptive Low-Pass Guidance

この論文は、画像から動画への変換（Image-to-Video: I2V）モデルにおいて頻繁に発生する「動きの抑制（Motion Suppression）」問題を解決し、高品質な動的な動画を生成するための新しい手法「Adaptive Low-Pass Guidance (ALG)」を提案しています。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義：I2V モデルにおける動きの抑制

近年のテキストから動画生成（T2V）モデルは高品質でダイナミックな動画を生成できますが、これを基に画像から動画を生成する I2V モデル（参照画像を条件として微調整されたモデル）では、生成される動画が T2V に比べて著しく静的（Static）になる傾向があります。

• 現象: 参照画像の細部（高周波成分）にモデルが過度に依存し、動画生成の軌道が早期に固定化されてしまう。
• 原因の仮説: 生成プロセスの初期段階で、参照画像の高周波詳細（エッジやテクスチャなど）が露出することで、モデルが「ショートカット解（shortcut solution）」に陥る。これにより、粗い構造や大規模な動きの形成が阻害され、結果として動画が静止画のように見える。
• 既存の対策の限界: 単純に参照画像をローパスフィルタ（低域通過フィルタ）でぼかして入力すると動きは改善されるが、画像の忠実度（Fidelity）や画質が著しく低下するというトレードオフが存在する。

2. 提案手法：Adaptive Low-Pass Guidance (ALG)

著者らは、トレーニング不要（Training-free）で推論時のみ適用可能な新しいガイド手法「ALG」を提案しました。この手法は、サンプリングの時間ステップに応じて参照画像の周波数成分を適応的に制御します。

核心的なアイデア

• 初期段階（$t \approx 0$）: 参照画像に強いローパスフィルタを適用し、高周波成分を除去した状態でモデルに条件付けを行う。これにより、モデルが細部にロックインするのを防ぎ、大規模な動きや構造の形成を促す。
• 後期段階（$t \approx 1$）: 徐々にフィルタの強度を下げ、最終的には元の参照画像（高周波成分を含む）に戻す。これにより、生成された動画のフレームごとに元の画像の細部を忠実に再現し、画質と忠実度を維持する。

数式的な定式化

CLF（Classifier-Free Guidance）の枠組みを拡張し、条件画像 $x_{init}$ を時間 $t$ に応じて変化するフィルタ強度 $\kappa(t)$ で処理した $x^{(t)}_{init}$ を使用します。

速度場 $v_{ALG}$ は以下のように定義されます：
$$v_{ALG}(x_t, t) = v_\theta(x_t, x_{init}, t, \emptyset) + w \left( v_\theta(x_t, x^{(t)}_{init}, t, c) - v_\theta(x_t, x^{(t)}_{init}, t, \emptyset) \right)$$

ここで重要な設計選択は以下の通りです：

1. 無条件項（Unconditional term）: 最初の項 $v_\theta(x_t, x_{init}, t, \emptyset)$ には元のフィルタ未処理の画像を使用します。これにより、生成の安定性と画像への忠実度が保たれます。
2. 条件付き項（Conditional terms）: 括弧内の項には適応的にフィルタリングされた画像 $x^{(t)}_{init}$ を使用し、動きのダイナミクスを促進します。

この構成により、動きの強化と画像の忠実度の維持を両立させています。

3. 主要な貢献

1. 現象の特定と分析: I2V モデルにおける動き抑制が、参照画像の高周波成分による「ショートカット効果」に起因することを定量的・視覚的に証明しました。
2. ALG の提案: 画像の高周波成分を生成の初期段階のみで適応的に除去し、後期段階で復元する、トレーニング不要のシンプルな推論手法を提案しました。
3. 性能の大幅な向上: 複数の最新モデル（Wan 2.1, Wan 2.2, LTX-Video）およびベンチマーク（VBench, PVD, VidProM）において、画質や忠実度を損なうことなく、動画の動的度（Dynamic Degree）を大幅に向上させることを実証しました。

4. 実験結果

著者らは、Wan 2.1/2.2 および LTX-Video などのオープンソースモデルを用いて広範な評価を行いました。

• 動的度（Dynamic Degree）の向上:
  • VBench ベンチマークにおいて、複数のモデル間で平均 33% の動的度向上を達成しました。
  • 例：Wan 2.2 では 31.7 から 39.0 へ、Wan 2.1 では 28.9 から 39.4 へ向上。
• 画質と忠実度の維持:
  • 動的度が向上したにもかかわらず、Aesthetic Quality（美的品質）、Imaging Quality（画像品質）、Subject Consistency（被写体の一貫性）などの品質関連指標は、ベースライン（通常の CFG）と同等か、むしろわずかに改善されるケースも見られました。
  • 単純なローパスフィルタ適用とは異なり、画質の劣化を伴いません。
• 計算コスト:
  • 追加の計算コストは最小限（最大で約 11% の推論時間増加）であり、実用的な範囲内です。

5. 意義と結論

この研究は、I2V 生成モデルが抱える「動きの抑制」という根本的な課題に対し、モデルの内部構造やサンプリング軌道への理解に基づいた elegant な解決策を提供しています。

• 理論的意義: 生成プロセスの初期段階における高周波情報の扱いが、最終的な動画のダイナミクスに決定的な影響を与えることを明らかにしました。
• 実用的意義: 追加のトレーニングやモデル構造の変更なしに、既存の最先端 I2V モデルの性能を即座に向上させることができるため、実用化へのハードルが極めて低いです。
• 将来展望: この「適応的な周波数制御」のアプローチは、他の条件付き生成タスクや、より複雑な制御が求められる動画生成分野にも応用可能な可能性を秘めています。

結論として、ALG は「高画質」と「ダイナミックな動き」という、従来トレードオフ関係にあった二つの目標を両立させる画期的な手法であり、I2V 技術の発展に大きく寄与するものです。