🤖 AI

TriMotion: Modality-Agnostic Camera Control for Video Generation

TriMotionは、新しいデータセットと潜在的一貫性目的関数を通じて、ビデオ、ポーズ、およびテキスト入力を共有されたモーション埋め込み空間へと統合するモダリティに依存しないフレームワークであり、異種混合のユーザー入力に対して高品質で柔軟なカメラ制御ビデオ生成を可能にします。

原著者： Seunghyun Shin, Jifei Song, Wooseok Jeon, Hae-Gon Jeon, Jiankang Deng

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Seunghyun Shin, Jifei Song, Wooseok Jeon, Hae-Gon Jeon, Jiankang Deng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは映画監督だと想像してください。あなたには、脚本（テキストによる説明）、絵コンテ（リファレンス動画）、そして技術的な設計図（カメラ座標）があります。かつて、AIに特定のカメラワーク（スムーズなズームインや回転するオービットなど）を実現させたい場合、あなたはAIが使う特定の言語で話さなければなりませんでした。もしAIが設計図しか理解できなかったら、あなたは絵コンテを使うことができませんでした。もしAIが絵コンテしか理解できなかったら、テキストの脚本を使うことはできませんでした。一つの道具には一つの仕事しかできない状況に陥っていたのです。

TriMotionは、AI動画生成のための新しい「ユニバーサル翻訳機」です。これにより、テキスト、リファレンス動画、または技術的なカメラデータのいずれかを使用して、カメラをコントロールできるようになります。AIはこれらすべてを同じものとして理解します。

その仕組みを、シンプルな概念に分解して説明します：

1. 問題点：「言語の壁」

現在のほとんどのAI動画ツールは、一つの方言しか話せない専門家のようです。

設計図のスペシャリスト： 正確な数値（例：「カメラを左に5メートル動かす」）を必要とします。これは一般の人には書くのが困難です。
絵コンテのスペシャリスト： 動きをコピーするためのビデオクリップを必要とします。しかし、速度や方向を変えたい場合には柔軟性に欠けます。
脚本のスペシャリスト： テキストによる記述（例：「カメラが左にパンする」）を必要とします。しかし、AIは曖昧な言葉を、正確でスムーズな物理的動きへと変換することに苦戦することがよくあります。

2. 解決策：「共有されたダンスフロア」

研究者たちは、TriMotionと呼ばれるシステムを構築しました。AIの内部の脳を、巨大なダンスフロアだと考えてください。

以前は、AIにテキストによる説明を与えると、AIはそのテキストに合わせて踊ろうとしました。ビデオを与えると、AIはそのビデオに合わせて踊ろうとしました。それらは異なるダンスでした。
TriMotionは、AIがこれらすべてを同じダンスフロアへと翻訳することを教えます。テキストの脚本、リファレンス動画、あるいはカメラの設計図のどれを与えたとしても、AIはそれらすべてを、その脳内にある全く同じ「ダンスのステップ」（数学的な数値）へと変換します。
すべてが同じダンスフロアの上にいるため、AIはこれらを瞬時に切り替えることができます。テキストによる説明から始めて、それをビデオのリファレンスに置き換えても、カメラの動きは完全に一貫性を保ったままです。

3. 学習：「モーション・トリプレット（動きの三つ組）」

AIにこのユニバーサルな言語を教えるために、研究者たちはMotion Triplet Datasetと呼ばれる特別な学習用データセットを作成しました。

学習用のカードのセットを想像してください。各カードには3つの要素が載っています：
1. カメラが動いているビデオクリップ。
2. そのカメラの経路を示す正確な数学的座標。
3. カメラが何をしたかという記述（例：「カメラは右に回転しながら、ゆっくりとズームインしている」）。
AIはこれらのカードを何百万枚も学習しました。AIは、数学、ビデオ、そして言葉が、すべて全く同じ物理的な動きを記述していることを学びました。これにより、これら3つの入力が同じ意味を持つ「共有されたダンスフロア」を構築することができたのです。

4. 秘訣：「ゴースト・トラッキング」

AI動画における最大の課題の一つは、AIが「見た目」は正しくても「動き」を間違えてしまうことです（カメラが漂ったり、ガタついたりすることがあります）。

TriMotionは、**Latent Motion Consistency（潜在的動きの一貫性）**と呼ばれる巧妙なトリックを使用しています。
AIが絵を描いていると想像してください。通常、AIは絵全体を描き、それから線が真っ直ぐかどうかをチェックします。もしそうでなければ、消して描き直します。これは時間がかかり、絵を台無しにする可能性があります。
TriMotionには「ゴースト・トラッカー」が備わっています。AIが「スケッチ段階」（最終的な画像が完全に形成される前）で動画を描いている最中に、このゴースト・トラッカーが動きを即座にチェックします。そしてAIにこう囁きます。「おい、カメラは左に動くはずなのに、君のスケッチは右に流れているよ。今すぐ直して」。
これはAIの「スケッチ（潜在空間）」内部で行われるため、高品質な画像を消したり描き直したりすることに時間を浪費することはありません。これにより、最初のステップから動きをスムーズかつ正確に保つことができます。

5. 結果：何ができるのか？

論文では、どの入力を使用しても、TriMotionが高品質な動画を作成し、カメラの指示に完璧に従うことが示されています。

Text to Video（テキストから動画へ）： 「森に向かってゆっくりズームインする」と入力すれば、カメラはスムーズに動きます。
Video to Video（動画から動画へ）： カメラが回転しているクリップを見せれば、AIはその回転を新しいシーンに適用します。
「ミックス・アンド・マッチ」のトリック： すべてが同じダンスフロアにあるため、**Motion Composition（モーション・コンポジション）**のような面白いことができます。例えば、「ズームインから始めて」（テキストから）、「次に回転に切り替える」（ビデオのリファレンスから）と指示すれば、AIは再学習することなく、それらを一つの連続したショットへとシームレスにブレンドすることができます。

まとめ

TriMotionは、映画監督にユニバーサル・リモコンを与えてくれるようなものです。言葉で話そうと、サンプルクリップを見せようと、あるいは技術的な図面を渡そうと、AIはそれを全く同じカメラの動きとして理解します。それは、この翻訳を学ぶための特別な「学習データセット」と、動きをスムーズかつ正確に保つための「ゴースト・トラッカー」を使用しており、結果として、監督のビジョンを完璧に捉えたプロフェッショナルな外観の動画を生み出します。

技術要約: TriMotion

問題提起

カメラの動きの制御は、視点の変化を指示し、映画的な空間を構成し、生成ビデオシステムにおけるユーザーの意図を実現するための基本的な技術である。条件付きビデオ拡散モデルにおける最近の進歩により、様々な条件付け信号が可能になったが、既存のカメラ制御手法は、通常、特定の単一の入力モダリティに制限されている。

ポーズ条件付き手法は、明示的な幾何学的カメラ軌道を必要とするが、これは一般的なユーザーにとって直感的ではなく、正確に指定することも困難である。
リファレンスビデオに基づくアプローチは、動きのパターンを暗黙的にエンコードするが、明示的な軌道制御に欠け、柔軟性が限定的である。
テキスト記述は直感的ではあるものの、明示的な時間構造や幾何学的制約を欠いているため、カメラ制御への活用は未開拓であり、精密で物理的に一貫した軌道の実行を困難にしている。

このモダリティ固有の制限は、生成システムの柔軟性を制限している。異なる入力タイプ（ビデオ、ポーズ、テキスト）間で一貫したカメラモーション制御を可能にするために、ヘテロジニアスな入力を橋渡しする共有されたモーション表現が必要とされている。

手法

著者らは、カメラ制御されたビデオ生成のための、統一されたモダリティ非依存のフレームワークであるTriMotionを提案する。このフレームワークは、ビデオ、ポーズ、テキストという多様な制御信号を、単一の連続的なモーション埋め込み空間へとマッピングする。

1. モーション・トリプレット・データセット

同期された監督（supervision）を必要とするクロスモーダル空間を訓練するために、著者らはMulti-Cam Video Datasetを拡張してMotion Triplet Datasetを構築した。

ソース: 正確なグラウンドトゥルースのカメラ外部パラメータを持つ、136Kの高忠実度Unreal Engine 5ビデオ。
処理: 自動化されたパイプラインにより、生のカメラ外部パラメータを幾何学に基づいた自然言語記述へと変換する。
- 生のポーズシーケンスは、最初のフレームに固定された相対的な軌道へと変換される。
- フレームごとの並進および回転の変化を計算し、コンパクトな記号的シーケンスを形成するために、標準的なカメラ操作（例：ドリー、パン、ティルト）にマッピングする。
- 大規模言語モデル（Qwen3-4B-Instruct）が、短い要約と、時間的な遷移や速度の変化を記述する詳細な段落の2レベルの記述を生成する。この際、明示的なメトリック値は避ける。
結果: ビデオ、カメラ軌道、およびモーション記述に対して整列された監督を提供するデータセット。

2. 統一モーション埋め込み空間

TriMotionは、ビデオ、テキスト、ポーズの入力が整列される共有表現を学習する。

エンコーダー: モダリティ固有のエンコーダー（ $\Phi_{video}, \Phi_{text}, \Phi_{pose}$ $Φ_{v i d eo}, Φ_{t e x t}, Φ_{p ose}$ ）が、モーション・トークンのシーケンスを生成する。
- ビデオ: 多視点幾何情報からカメラ・トークンを抽出するために、特徴量集約モジュール（VGGTに基づく）を使用する。
- テキスト: 学習可能なモーションクエリを備えた凍結されたT5エンコーダーを使用し、テキスト・トークンにクロスアテンションをかけることで、時間的なダイナミクスを推論する。
- ポーズ: 平坦化されたカメラ外部行列をフレームごとのMLPを介して投影する。
整列目的関数: エンコーダーは、以下のことを保証するために複合損失を用いて訓練される：
- グローバル整列: InfoNCE損失が、モダリティ間のグローバルなモーション・トークンを整列させる。
- 時間的同期: 対応する時間的トークン間のコサイン距離の最小化。
- 幾何学的忠実度: 共有ポーズ回帰器が埋め込みからカメラ外部パラメータを予測し、空間が物理的な3D幾何学を保持することを保証する。

3. レイテント・モーション一貫性

ピクセル空間でのデコーディングのコストをかけずに厳密な幾何学的一貫性を保証するために、TriMotionは**Latent Motion Consistency（レイテント・モーション一貫性）**目的関数を導入する。

モーション埋め込み予測器 ( $\mathcal{M}_{pred}$ ): クリーンな潜在ビデオ表現（ $z_0$ ）からモーション埋め込みシーケンスを推定する、3D畳み込みと時間的Transformerからなるモジュール。
訓練戦略: 予測器は、その出力をグラウンドトゥルースのビデオから導出されたターゲット・モーション埋め込みと一致するように訓練される。
拡散の統合: 拡散訓練中、モデルはノイズを含む入力からクリーンなターゲット潜在変数を再構成する。この再構成された潜在変数は、凍結された予測器に供給される。その後、予測されたモーション埋め込みは、モーション一貫性損失を用いてターゲットのモーション埋め込みと比較される。これにより、生成された軌道が潜在空間内で直接ターゲットと一致するように強制される。

4. 生成バックボーン

フレームワークは、潜在ビデオ拡散トランスフォーマーを利用する。

条件付け: デノイザーは、グローバルな外観記述、最初のソースフレーム、およびブロック固有の投影MLPを介して注入される統一モーション埋め込みシーケンスによって条件付けられる。
訓練: モデルは、事前学習された生成プリバイアスを保持するために、アテンション層と投影MLPのみを更新することで、I2V（Image-to-Video）とV2V（Video-to-Video）の両方をバランスよく共同訓練することをサポートする。

主な貢献

TriMotionフレームワーク: ビデオ、ポーズ、またはテキスト入力を通じて、それらを共有モーション埋め込み空間にマッピングすることにより、カメラ制御を可能にする統一されたアプローチ。
モーション・トリプレット・データセット: 多視点ビデオと幾何学に基づいたテキスト記述をペアにした新しいデータセットであり、同期されたマルチモーダルな監督を可能にする。
レイテント・モーション一貫性: 拡散バックボーンを潜在空間内で正則化し、ピクセル空間での繰り返しのデコーディングを回避しながら、軌道の忠実度を向上させる新しい目的関数。
クロスモーダル能力: 共有埋め込み空間により、シーケンシャル・モーション・コンポジション（異なるモダリティからの動きの組み合わせ）やクロスモーダル・モーション補間といった新しいアプリケーションが可能になる。

実験結果

Koala-36MおよびRealEstate10Kデータセットを用いて、I2VおよびV2Vタスクに関する広範な実験が行われた。

定量的性能: TriMotionは、視覚的品質（FVD、FID、CLIP Score）、動的品質（モーションの滑らかさ、時間的ちらつき）、およびカメラモーションの正確さ（回転誤差、並進誤差、CamMC）の全般において、最先端または競争力のある結果を達成している。特に、ポーズ条件付きのバリアントがほとんどの指標で最高の性能を示したが、ビデオおよびテキストのバリアントも非常に高い競争力を維持しており、共有空間の有効性を検証している。
定性的比較: TriMotionは、CamI2V、MotionClone、ReCamMasterなどのベースラインよりも、よりクリーンなビデオを生成し、動きがより安定しており、ターゲットの軌道をより忠実に追従する。また、明示的な3Dポイントクラウドレンダリングに依存する手法（例：TrajectoryCrafter）に見られるアーティファクトやテクスチャの劣化を回避している。
アブレーション研究:
- レイテント・モーション一貫性損失を除去すると、カメラの正確さが著しく低下する。
- ターゲットのみの条件付けは、ソースまたはターゲットの埋め込みの結合や減算よりも、最もクリーンなモーション信号を提供する。
- 統一モーション空間は、強力なクロスモーダル整列（高いRecall@1）と幾何学的忠実度（競争力のあるポーズ回帰精度）を示している。
ユーザー調査: ヒューマン評価により、幾何学に基づいたキャプション生成パイプラインが高品質な記述を生成すること、およびTriMotionが従来の手法よりもアーティファクトが少なく、ターゲットの動きをより忠実に追従するビデオを生成することが確認された。

意義と主張

本論文は、モダリティ固有の入力という制限を克服することにより、TriMotionがカメラ制御可能なビデオ生成の新たなベンチマークを確立することを主張している。共有モーション埋め込み空間を学習することで、このフレームワークはヘテロジニアスな入力にわたる柔軟かつ一貫したカメラ制御を可能にする。

著者らは、レイテント・モーション一貫性目的関数が、従来のデコーディングのボトルネックを回避しながら軌道の忠実度を向上させる上で極めて重要であることを強調している。さらに、共有空間は、再学習や手動の軌道設計なしに、シーケンシャル・モーション・コンポジションやクロスモーダル・モーション補間を成功させることで、新しいインタラクション・パラダイムを切り拓いている。

論文は、TriMotionが滑らかなカメラモーションを効果的に転送できる一方で、未学習の領域を必要とする極端な軌道は依然として境界の外側へのアウトペインティング（outpainting）アーティファクトを生じる可能性があることを認め、控えめに結論づけている。今後の課題として、明示的な3D背景アウトペインティングの統合や、カラーグレーディングのような他のシネマティック属性を共同でモデル化するための拡張が示唆されている。