🤖 AI

TeleMorpher: Toward Robust Simultaneous Motion-Location Editing

TeleMorpherは、被写体と背景を分離し、ポーズ・ワーピングのためのモーション・プライアを活用し、高品質で制御可能な結果を保証するために新たなLPIPSベースの指標を導入することで、ビデオにおける堅牢な同時モーションおよびロケーション編集を可能にする、新しいワンショットかつ学習不要のフレームワークである。

原著者： Haengbok Chung

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haengbok Chung

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

友人がリビングルームで踊っているホームビデオがあると想像してください。さて、ここで同時に2つのことを変えたいとします。一つは、友人に全く別のダンスの動きをさせること（モーションの変更）、もう一つは、友人を部屋の中央から隅へと移動させることです（位置の変更）。

現在の動画編集ツールでこれを行うのは、家具や壁を汚したり崩したりすることなく、古い絵の上に新しい絵を描こうとするようなものです。通常、人物を動かそうとすると背景が乱れたり、人物の顔が不自然になったりします。また、ダンスを変えようとすると、人物がグリッチ（ノイズ）を起こしたり、チカチカと点滅したりするように見えることがあります。

TeleMorpherは、この特定の問題を解決するために設計された新しいツールです。その仕組みを簡単に説明します。

1. 「切り貼り」戦略（もつれ解き / Disentanglement）

ビデオをレイヤー状のケーキだと考えてください。下の層は背景（部屋）であり、上の層は人物（主人公）です。

従来の方法： ケーキ全体を一度に編集しようとすると、多くの場合、アイシング（背景）を台無しにしたり、ケーキの層（人物）を壊したりしてしまいます。
TeleMorpherの方法： これはスマートな「デジタルナイフ」を使用して、背景を残したまま人物を慎重に切り出します。その後、背景の空いたスペースを埋めて、背景が完全な状態に見えるようにします。これで、清潔で独立したお皿の上で、人物だけを編集できるようになります。

2. 「ゴーストダンサー」によるガイド（モーション・プライア / Motion Priors）

人物に新しいダンスを教える際、従来のツールでは、誰かがその正確な動きをしている参照ビデオが必要でした。しかし、もしその特定の動きをしたビデオが見つからない場合はどうすればよいでしょうか？

TeleMorpherの方法： 本物のビデオを探す代わりに、「ゴーストダンサー」を使用します。これは、あらゆる動きを完璧にこなすことができるコンピュータ生成の3Dアバターです。このツールは、この完璧で合成されたダンスをガイドとして使用します。これは、カメラクルーを動員して撮影することなく、完璧な動きを見せてくれる完璧なダンスインストラクターがいるようなものです。

3. 「ストレッチ・スーツ」（ポーズ・ワーピング / Pose Warping）

完璧なガイドがあったとしても、ビデオ内の人物はゴーストダンサーとは異なる姿をしているかもしれません（例えば、背が高かったり、違う服を着ていたりする場合など）。単に新しいダンスを無理に当てはめようとすると、不自然に見えてしまいます。

TeleMorpherの方法： これは「トレーニングフリーのポーズ・ワーピング」を行います。人物がストレッチ素材のスーツを着ていると想像してください。このツールは、新しいダンスを適用する「前」に、新しいダンスに合うように、現在の人物のポーズを優しく引き伸ばし、形を整えます。これにより、人物が歪んだり、溶けているように見えたりするのを防ぎます。これは、服を着る前に体に完璧にフィットするように仕立てるようなものです。

4. 「シームレスな再会」

人物が新しいダンスを踊り、新しい場所に移動するように編集されたら、TeleMorpherは慎重にその人物を元のリビングルームのビデオへと配置します。背景を別々に保ち、人物のみを編集したため、部屋は全く同じに見え、人物はチラつきや不自然なエッジもなく完璧に馴染みます。

なぜこれが大きな進歩なのか？

論文によると、従来のツールはモーションと位置の両方の変更を同時に行うことに失敗することが多いとされています。背景が変な見た目になったり、人物が点滅したり、あるいはビデオを壊すことなく人物を新しい場所に移動させることができなかったりしました。

TeleMorpherは、以下の方法でこれを解決します：

シーンを壊さないために、人物を背景から分離する。
参照ビデオを探す制限をなくすために、合成ガイド（ゴーストダンサー）を使用する。
新しい動きが自然に見えるよう、人物のポーズを優しく引き伸ばす。

著者らは実写ビデオを用いてテストを行い、この手法が人物の顔や衣服をリアルに保ち、背景を安定させ、他の現行の手法よりも上手く、人物を新しい場所に移動させながら新しいダンスを実現できることを明らかにしました。また、背景が一定であるかどうか、そして人物の骨格（スケルトン）が実際に新しい位置へと移動しているかどうかを具体的にチェックする、新しい成功指標も作成しました。

要約すると、TeleMorpherは、周囲のシーンの現実感を壊すことなく、ビデオ内のキャラクターの動作と位置を書き換えることができる、魔法のようなエディターなのです。

テクニカル・サマリー: TeleMorpher

問題提起

拡散モデルはビデオ生成および編集において大きな成功を収めてきましたが、**動き（motion）と位置（location）**の同時編集は、依然として未開拓かつ困難な領域として残っています。既存の動き編集手法（例：MotionEditor、Edit-Your-Motion）は、ワンショットの編集に焦点を当てていますが、実用的なアプリケーションにおいて極めて重要な「位置の変化」への対処には失敗することがよくあります。これらの既存のアプローチには、以下のような根本的な問題が存在します：

外観の一貫性の欠如（Appearance Inconsistency）: 主題（プロタゴニスト）の外観や背景における、ちらつき（flickering）やドリフト。
時間的一貫性の欠如（Temporal Inconsistency）: フレーム間における滑らかな遷移の欠如。
動きと位置のギャップ（Motion-Location Gap）: ソースとターゲットの間の大きな乖離、特にターゲットが大幅な空間シフト（位置の変化）を伴う場合に生じる困難。
リファレンスへの依存（Dependency on References）: 実世界の参照ビデオへの依存により、ターゲットとなる動きの多様性と制御性が制限される。

著者らは、編集品質の低下は主に3つの要因、すなわちギャップ（Gap）（ソースとターゲット間の動きと位置の差異）、曖昧さ（Ambiguity）（主題と背景の低解像度または高い類似性）、および情報量（Information Amount）（複雑な背景や急速な動きのダイナミクス）に起因すると特定しています。

手法: TeleMorpher

TeleMorpherは、堅牢な動きと位置の同時編集のために設計された、ワンショットかつ学習不要（training-free）なフレームワークです。これは、特定された課題に対処するために、編集プロセスを分離するモジュール化されたパイプラインを通じて動作します。

1. 前景と背景の分離（Foreground-Background Disentanglement）

背景の干渉を排除し、モデルを主題に集中させるために、パイプラインはまず入力ビデオ（ $X_s$ ）を以下のように分離します：

主題ビデオ（ $X_p$ ）: 事前学習済みのセグメンテーションモデル（Segment Anything）を使用して抽出。
背景ビデオ（ $X_b$ ）: 残りの背景は、後の再統合のためにクリーンな背景を作成するインペインティングモデル（Inpaint Anything）を使用して補完。

2. 動きの事前情報の活用（Motion Prior Utilization）

実世界の参照ビデオに依存する代わりに、TeleMorpherは、高度に制御可能な3Dアバターシステムから生成された**合成的な動きの事前情報（synthetic motion priors, $X_m$ ）**を利用します。これらの事前情報は、ターゲットとなる動きのグラウンドトゥルースとして機能し、以下を提供します：

高い制御性とスケーラビリティ。
手動のレンダリングや追加のアバター制御の必要性の排除。
既存のビデオデータセットよりも幅広い動きのパターンの利用。

3. 学習不要のポーズ・ワーピング（Training-Free Pose Warping）

主題の外観を維持しながら、ソースの動きとターゲットの動きの事前情報の間のギャップを埋めるために、本フレームワークは学習不要のポーズ・ワーピング戦略を導入しています。これは、残差スタイルのガイダンスメカニズムとして機能します：

マスク分析（Mask Analysis）: ソースとターゲットのセグメンテーションマスクの積集合と対称差を計算し、構造的な不一致（例：伸びた肢体）を特定します。
スケルトン整合（Skeleton Alignment）: 両方のソースとターゲットからスケルトンを抽出し、対応する身体部位（例：左腕から左腕へ）を分離します。
ワーピング戦略:
- パラメトリック・ワーピング（Parametric Warping）: 対応する身体部位の中心線に二次曲線（quadratic curves）を適合させ、垂直方向の変位（ $\Delta y$ ）を計算してソースの画像ピクセルをワープさせます。
- 確率的合成（Stochastic Synthesis）: 幾何学的なフィッティングが失敗する場合（遮蔽や断片化による）、ソースからターゲットの形状へピクセルをランダムにサンプリングして再分配し、局所的な外観を維持します。

4. 主題によるガイド付き推論（Protagonist-Guided Inference）

ワープされた主題の条件（ $P$ ）は、推論中にベースラインの動きエディタ（MotionEditor）のUNetのアテンション層に直接注入されます：

アテンション注入（Attention Injection）: 主題の条件から繰り返されるRGB特徴量を用いて、アテンションのキー（ $K$ ）と値（ $V$ ）のサブセットを上書きし、外観と動きの一貫性を強制します。
ミックスアップ戦略（Mixup Strategy）: 入力ビデオ（ $X$ ）を係数 $\lambda$ を用いて主題の条件（ $P$ ）と線形混合し、ターゲットのコンディショニング効果をさらに強化します。

5. 最終統合（Final Integration）

編集された主題のビデオをインペイントされた背景ビデオと結合し、シームレスなブレンディングを実現して最終的な出力を生成します。

主な貢献

問題分析: 著者らは、動きと位置の同時編集を劣化させる要因を、ギャップ、曖昧さ、情報量として体系的に分析しました。
TeleMorpherパイプライン: 実世界の参照ビデオの代わりに動きの事前情報（合成3Dアバターの動き）を活用することで、より精密で柔軟な制御を可能にするワンショットフレームワークを導入しました。
学習不要のガイダンス: 追加のネットワーク学習なしにソースとターゲットの動きを整合させ、外観を保持する新しいポーズ・ワーピング手法を提案しました。
新しい評価指標: 2つの新しいLPIPSベースの指標を提案しました：
- LPIPS-B (Background): 背景領域を分離することで、背景の保持率を測定。
- LPIPS-P (Pose): 抽出されたスケルトンを編集後の出力とターゲットの事前情報と比較することで、動きの整合性を測定。
リソースの公開: コード、収集されたビデオ、およびベースラインの結果（TeleMorpher-smallpack）を公開。

実験結果

フレームワークは、20本のイン・ザ・ワイルド（in-the-wild）ビデオ（YouTube, Hailuo AI, Pexels）およびTaiChiデータセットを用いて評価され、最先端のベースライン（Follow-Your-Pose, ControlVideo, MasaCtrl, MotionDirector, MotionEditor）と比較されました。

定量的性能: TeleMorpherは、LPIPS-S（ソースの外観保持）、LPIPS-B（背景の保持）、LPIPS-P（ポーズの整合）、およびCLIP Score（意味的整合）において最高のスコアを達成しました。また、ほとんどのベースラインと比較して、優れた時間的一貫性（LPIPS-N）とターゲットの動きへの忠実度（LPIPS-T）を示しました。
定性的性能: 視覚的な比較により、TeleMorpherが主題の外観と背景の完全性を維持しながら、動きと位置を同時に編集することに成功し、他の手法で見られるちらつきや外観のドリフトを回避していることが示されました。
ユーザー調査: 25人の参加者を対象とした調査において、TeleMorpherは動きの整合性（M-A）、外観の整合性（A-A）、および**テキストとの整合性（T-A）**のすべての項目において、すべてのベースラインよりも好まれました。

意義と主張

本論文は、TeleMorpherが現代の3Dアバタープラットフォームの高い制御性と、実世界の人間ビデオの編集との間の溝を埋めるものであると主張しています。動きの事前情報と分離された編集パイプラインを活用することで、ユーザーは追加のレンダリング、アニメーション、または手動の制御を行うことなく、仮想アバターを通じて望ましい動きを指定し、それを既存のビデオに転送することができます。

著者らは、TeleMorpherをビデオ構造のスケーラブルで精密な編集への一歩として位置づけており、オブジェクト編集、主題とオブジェクトの相互作用、およびマルチプロタゴニスト（複数人）シナリオへの将来的な応用への基礎を築いています。この研究は、主題を背景から分離し、合成された動きのガイダンスを利用することが、堅牢で高忠実な動きと位置の同時編集を実現するために極めて重要であることを強調しています。

限界

著者らは主に2つの限界を認めています：

色の変化（Color Shifts）: 編集された主題において時折発生する色の不一致。これは、事後処理の色補正によって軽減できる可能性があります。
ビデオの長さ（Video Length）: 計算リソースの制約により、実験は短いクリップ（5フレーム）に限定されています。著者らは、分割されたクリップに対して反復的に適用することが、潜在的な緩和策になると示唆しています。