🤖 AI

Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models

本論文は、アテンション機構における参照フレームの支配性を再調整することで画像から動画への生成における運動ダイナミクスを強化し、追加の学習を必要とせずに視覚的忠実度を損なうことなく運動の抑制を克服する、学習不要かつモデルに依存しない手法である DyMoS を紹介する。

原著者： Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

画像から動画への変換モデルにおけるモーション改善のために参照フレームの支配性を再調整する」という論文（DyMoS）について、簡単な言葉と創造的な比喩を用いて説明します。

問題：「凍りついた」動画

馬の写真を持って、コンピュータにそれを走る馬の動画に変えてほしいと頼んだと想像してください。馬が駆けることを期待するでしょう。しかし、現在の AI モデルは元の写真に対してあまりにも「礼儀正しい」ことがよくあります。与えられた写真を変えてしまうことを恐れるあまり、馬をその場に凍りつかせたままにし、耳を少し動かす程度に留めてしまうのです。

この論文では、これを「静的なモーションバイアス」と呼んでいます。AI は最初のフレーム（参照画像）を完璧に保つことに集中しすぎて、動画の残りの部分を動かすことを忘れてしまうのです。

発見：「過度に注意を向ける」学生

研究者たちは、これらの AI モデルがどのように機能するかを内部から調査しました。そして、「参照フレーム支配性」と呼ばれる特定の行動を発見しました。

AI モデルをテストを受ける学生だと考えてみてください。

テキストプロンプトは質問です：「馬を走らせてください」。
参照画像は机の上に置かれた馬の写真です。

通常のテキストから動画への変換モデルでは、学生は質問を見て、走る馬を想像します。
一方、画像から動画への変換モデルでは、学生は机の上の写真にあまりにも激しく凝視しています。動画の次のフレームを描こうとするたびに、学生は写真を見て、「よし、この次のフレームは写真と全く同じになるようにしなければならない」と言います。

学生が写真をコピーすることに夢中になっているため、実際に馬が動く様子は描かれません。「写真」が「想像力」を支配しているのです。

解決策：DyMoS（「モーションスライダー」）

研究者たちは、DyMoS（Dynamic Motion Slider：動的モーションスライダー）と呼ばれるツールを開発しました。これは AI の再学習を必要とせず、元の写真を変更する必要もありません。代わりに、それは学生の執着度を調整する「音量ノブ」のように機能します。

仕組み：

介入： 動画生成の最初の数瞬間（「ノイズ除去」ステップ）の間、DyMoS は学生に優しく肩を叩きます。「ねえ、参照画像を凝視しすぎないで。今はモーションを想像する必要があるよ」と伝えます。
メカニズム： 技術的には、AI の注意システム内の特定の数値（バイアス）を調整します。次のフレームがどのように見えるべきか決定しようとする際、参照画像のトークンに対して AI が与えるスコアをわずかに下げるのです。
結果： AI はまだ写真を見ることができます（だから馬は馬らしく見えます）が、それを完璧にコピーすることを強制されなくなります。これにより、AI は馬を走らせたり、車を走らせたり、水を跳ねさせたりする自由を得ます。

「スライダー」機能

DyMoS の最も素晴らしい点は、単なるオン/オフスイッチではなく、スライダーであることです。ユーザーが調整できるパラメータは一つだけです。

下げる（負の数）： AI は写真に対してより執着します。動画はさらに静的になります（ほとんど動かない静止画が必要な場合に有用です）。
上げる（正の数）： AI に写真の「凍りついた」性質をより無視するよう指示します。動画は非常にダイナミックでエネルギーに満ちたものになります。
中間： 動画が自然に動きながら、キャラクターが元の写真と全く同じに見える、完璧なバランスを見つけることができます。

以前の手法よりも優れている点

この「凍りついた動画」という問題を解決しようとした以前の試みは、エンジンを壊したり、車輪を塗りつぶしたりして車を修理しようとするようなものでした。

一部の手法は AI 全体を再学習させる必要がありました（高価で遅い）。
他の手法はモーションを強制するために入力画像をぼかしたり乱したりしようとしましたが、これにより動画が醜く歪んでしまうことがよくありました。

DyMoS が異なる理由は以下の通りです。

学習不要： AI に新しいことを教える必要はありません。AI が作業している間にこのツールを使うだけです。
モデル非依存： ほぼすべての最新の動画 AI（Wan 2.2、HunyuanVideo、CogVideoX など）で機能します。
品質維持： 画像をぼやけさせたり奇妙にしたりすることなく、動画に動きを与えます。

まとめ

この論文は、画像から動画への変換モデルが入力画像に対して「あまりにも礼儀正しい」ため、動画が退屈で静止したものになってしまうことを特定しました。彼らはこれをDyMoSで修正しました。これは単純なツールであり、音量ノブのように機能し、モーションが発生する程度に、開始写真への AI の執着を適切に下げることで、モデルや元の画像を変更することなく実現します。

技術概要：画像から動画へのモデルにおける運動改善のためのリファレンスフレーム支配の再バランス

問題定義

画像から動画への変換（I2V）モデルは、参照画像の外観を保持する能力を有している一方で、「静的な運動バイアス」に頻繁に悩まされています。テキストから動画への変換（T2V）モデルと比較して、I2V モデルは、テキストプロンプトが明示的に動的な動作を記述している場合でも、過度に制限された、あるいは弱い運動を生成する傾向があります。この問題を緩和するための既存のアプローチは、通常、画像条件付け経路の修正（ノイズの追加やフローマッチングの再設計など）や、条件付け信号の弱化を含みます。しかし、これらの手法は追加のトレーニングを必要とすることが多く、あるいは運動の改善が参照画像への忠実性の低下というトレードオフを伴うという課題があります。

手法：DyMoS（Dynamic Motion Slider）

著者らは、モデルの重みや入力画像を変更することなく、推論中の自己注意メカニズムに直接介入することで静的な運動バイアスに対処する、トレーニング不要かつモデル非依存の手法DyMoSを提案します。

核心的洞察：リファレンスフレーム支配

ペアリングされた T2V と I2V 生成における自己注意マップの分析を通じて、著者らはリファレンスフレーム支配と呼ばれる現象を特定しました。I2V モデルにおいて、非リファレンスフレームのクエリトークンは、T2V の対応するものと比較して、リファレンスフレーム（最初のフレーム）のキートークンに対して著しく多い注意を配分します。この過剰な注意は、時間軸全体にわたってリファレンス情報を伝播させ、フレーム間のダイナミクスを抑制し、静的な出力をもたらします。

技術的実装

DyMoS は、初期のノイズ除去ステップ中に注意ロジットを再バランスさせることで、この支配を緩和します。この手法は、リファレンスフレームのキートークンに関連する注意ロジットにスカラーバイアスシフトを導入します。

変調は以下のように適用されます：

ロジット調整: リファレンスキートークン（ $j \in I_{f0}$ ）に注意を向ける非リファレンスクエリトークン（ $i \notin I_{f0}$ ）に対して、softmax 操作前に注意ロジット $L[i, j]$ から正のスカラー $\gamma$ を減算します：
$\tilde{L}[i, j] = L[i, j] - \gamma \cdot \phi(f(i)) \cdot \mathbb{1}[j \in I_{f0}] \cdot \mathbb{1}[i \notin I_{f0}]$
ここで、 $\gamma$ は介入の強さを制御し、 $\phi(\cdot)$ はフレームごとのスケジュール（デフォルトは一様）です。
時間的範囲: 変調は、ノイズ除去ステップの最初の $\lambda$ 分のみ適用されます。これは、グローバルな運動が決定される初期段階をターゲットとしつつ、後続のステップでは標準的な注意を使用して外観と時間的整合性を洗練させることを可能にします。
分類器フリーガイダンス（CFG）: 変調は、CFG 方程式のテキスト条件付きブランチにのみ適用され、ヌルテキストブランチは変更されません。これにより、生成プロセスの構造的整合性を維持しつつ、ガイドされた更新をリファレンスフレーム支配から遠ざけます。

主要な貢献

メカニズムの特定: 本論文は、I2V モデルにおける静的な運動の主要な駆動力として、自己注意における「リファレンスフレーム支配」を特定し、単純な入力条件付けの問題とは区別しました。
トレーニング不要の介入: DyMoS は、微調整、再トレーニング、入力画像の修正を必要としない、シンプルでモデル非依存のソリューションを提供します。これは推論中の注意ロジットの調整のみによって機能します。
連続的な制御: この手法は、厳密な参照画像の保持（静的）から極めて動的な運動までのスペクトルをユーザーが連続的に制御できる単一のスカラーパラメータ（ $\gamma$ ）を導入し、I2V と T2V の運動ダイナミクス間のギャップを効果的に埋めます。
忠実性の保持: 運動を強化するために視覚品質や参照の整合性を犠牲にする先行手法とは異なり、DyMoS は参照画像と視覚品質への高い忠実性を維持しながら運動ダイナミクスを改善します。

実験結果

著者らは、Wan 2.2、Wan 2.1、HunyuanVideo-1.5、CogVideoX-5Bを含む複数の最先端 I2V バックボーンにおいて DyMoS を検証しました。

運動ダイナミクス: すべてのバックボーンにおいて、DyMoS は、従来のベースラインおよび最先端手法である ALG と比較して、一貫して高い運動度スコア（VBench および VideoScore によって測定）を達成しました。例えば、Wan 2.2 において、運動度はベースラインの 51.7 から DyMoS の 64.8 に増加し、ALG の 55.3 を大きく上回る顕著な改善を示しました。
視覚品質: 重要なのは、DyMoS がベースラインおよび ALG と同等の動画品質スコアを維持しており、運動の強化が視覚的忠実性を劣化させないことを実証している点です。
テキスト整合性: この手法は、比較対象の手法の中で最も高いViCLIPスコアを達成し、リファレンスフレーム支配を軽減することが、モデルがテキストプロンプト内の運動記述に従う能力を向上させることを示唆しています。
人間の評価: ユーザー調査において、DyMoS は、運動のダイナミズム、リファレンスフレームの忠実性、テキスト整合性、および全体的な好みというすべての基準において、ベースラインや ALG よりも頻繁に最良の動画として選択されました。
効率性: この手法は、追加のフォワードパスではなく、注意ロジットに対する軽量な要素ごとの演算のみを含むため、推論時のオーバーヘッドは無視できるレベル（Wan 2.2 において 1.2% など）です。

意義と主張

本論文は、I2V 生成における静的な運動バイアスが、条件付けメカニズムそのものの本質的な制限ではなく、リファレンス情報が自己注意を介してルーティングされる方法の結果であると主張しています。注意ロジットレベルで介入することで、DyMoS はモデルの焦点を効果的に再バランスし、I2V モデルの中核的な強み（参照忠実性）を損なうことなく動的な運動を実現します。

著者らは、DyMoS を単一のパラメータによる運動制御の「スライドスケール」を提供する、ユーザーおよび開発者向けの実用的なツールとして位置づけています。彼らは、この手法が効果的である一方で、過度に大きな変調強度は外観の整合性を低下させる可能性があり、将来的な作業として、特定のプロンプトや運動タイプに基づいた変調強度の自動適応を探求できる可能性に言及しています。この研究は、再トレーニングの計算コストを伴わずに、生成動画の品質を大幅に改善するために、注意メカニズムにおけるシンプルで標的を絞った介入が有効であることを実証しています。