💻 computer science

YOSE: You Only Select Essential Tokens for Efficient DiT-based Video Object Removal

YOSE は、バッチ可変長インデキシングを通じて必須トークンを適応的に選択し、拡散プロセスシミュレータでマスクされていない領域をシミュレートすることで推論を高速化する、DiT ベースの動画オブジェクト除去向けの効率的なファインチューニングフレームワークであり、視覚品質を維持しながら最大 2.5 倍の高速化を達成します。

原著者： Chenyang Wu, Lina Lei, Fan Li, Chun-Le Guo, Dehong Kong, Xinran Qin, Zhixin Wang, Ming-Ming Cheng, Chongyi Li

公開日 2026-05-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chenyang Wu, Lina Lei, Fan Li, Chun-Le Guo, Dehong Kong, Xinran Qin, Zhixin Wang, Ming-Ming Cheng, Chongyi Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

忙しい通りの映像があると仮定し、フレームを横切る特定の人物を除去したいとします。過去、これを行おうとしたAIモデルは、単に人物の上を塗りつぶすのではなく、変更を行うたびに全体の通り、空、そして背景のすべての車を再描画しようとする画家のチームのようでした。映像の90%は触れる必要がないにもかかわらず、これは信じられないほど遅く、無駄なものでした。

この論文は、YOSE（You Only Select Essential Tokens：必要なトークンのみを選択する）という新しい手法を紹介します。これは賢く外科的な編集者のように機能します。キャンバス全体を再描画するのではなく、YOSEは修正が必要な特定の箇所のみを塗り、それでも新しい塗料が手つかずの部分と完璧に馴染むようにします。

以下に、YOSEの仕組みを簡単な概念に分解して示します。

1. 問題点：「キャンバス全体」アプローチ

現在のAI動画ツール（「DiT」と呼ばれるものに基づいています）は、物体の除去には非常に優れていますが、遅いです。たとえ動画から小さな鳥を1羽だけ除去したい場合でも、コンピュータは動画のすべてのピクセルを処理します。それは、ナットを割るために金槌を使うようなものです。論文によれば、既存の最良のツールでさえ、約1秒間に10フレーム（FPS）しか処理できず、リアルタイム使用には遅すぎます。

2. 解決策：2つの賢いツール

YOSEは、既存のAIに2つの特別な「ギア」を追加して、品質を損なうことなく速度を向上させます。

ギアA：「賢いクリッパー」（バッチ可変長インデックス）

アナロジー： 100枚の宿題の束があり、そのうち5枚だけが間違いを含んでいると想像してください。通常の教師は100枚すべてを1枚ずつ採点します。YOSEは、間違いのある5枚だけを即座に切り取り、それらだけを採点してから束に戻す教師のようなものです。
仕組み： AIは変更したい領域である「マスク」を確認します。BVIと呼ばれる技術を用いて、そのマスク内のデータポイント（トークン）のみを物理的に選択します。重労働の間、残りの映像は無視されます。これにより、コンピュータは物体の大きさによって変化する可変数のアイテムを処理できるようになり、固定された巨大な数の処理を回避できます。

ギアB：「ゴーストの囁き手」（拡散プロセスシミュレーター）

アナロジー： 人物がいた小さな部分だけを塗りつぶした場合、新しい塗料は周囲の通りの照明や質感に合わないシールのようになる可能性があります。新しい塗料を馴染ませるには、通りの残りの部分がどのように見えるかを知る必要があります。
問題点： 時間を節約するために「悪い」部分を切り取ると、AIは「良い」部分がどのように見えるかを忘れてしまいます。文脈を失うのです。
解決策： YOSEはDiffSimと呼ばれるモジュールを使用します。これは実際には（遅くなる）動画の「良い」部分を処理するのではなく、それらの良い部分が何をしているかのシミュレーション、つまり「ゴースト」を作成します。AIに「ねえ、ここにある空は青く、あそこにある車は左に動いているよ」と囁くことで、AIが新しいパッチをシームレスに融合させる方法を知ることができます。これは、街全体を歩くのではなく、1つの地区だけを歩きながら、街全体の地図を持っているようなものです。

3. 「シームレスな継ぎ目」（融合戦略）

ゴーストの囁き手があっても、新しい映像と古い映像が出会う場所にわずかに見える線が残る可能性があります。YOSEは最後のトリックを使用します：端をわずかに重ね合わせ、明るさと色の統計情報（平均と分散）を調整して、遷移を不可視にします。これは、写真の切り抜きを背景に消えるように端をフェード処理するようなものです。

結果：高速かつクリーン

この論文は、これらのトリックを使用することで以下のような成果を挙げています：

速度： YOSEは、以前の最良の方法よりも2.5倍高速です。旧方式が10秒かかっていた場合、YOSEは約4秒で済みます。
スケーラビリティ： 速度は除去する物体のサイズに依存します。小さな点であれば超高速です。大きな建物を除去すれば速度は低下しますが、旧方式よりも遅くなることはありません。
品質： 動画の品質は、遅い完全処理方式と同じように保たれます。実際、背景を誤って壊さない（無視するため）ため、背景はむしろより安定して見えることが多いです。

まとめ

YOSEは、単一の物体を除去するために宇宙全体を再シミュレーションする必要はないと理解する「賢い編集者」です。不要な作業を切り取り、無視した部分の文脈を覚えるための巧妙なシミュレーションを使用し、すべてを完璧に縫い合わせて、違いがわからないようにします。これにより、遅く重たいプロセスが、高速で外科的なものへと変わります。

以下は、論文「YOSE: You Only Select Essential Tokens for Efficient DiT-based Video Object Removal」の詳細な技術的サマリーです。

1. 問題定義

動画物体除去（VOR） は、空間的なリアリズムと時間的な一貫性を維持しながら、動画から不要な物体を消去することを目的としています。最近の最先端（SOTA）手法であるMiniMax Removerなどは、高品質な結果を得るためにDiffusion Transformers（DiT）を活用しています。しかし、これらの手法は著しい推論遅延と計算効率の低さに悩まされています。

核心的な課題: 既存の DiT ベースの VOR モデルは、処理が必要な領域がマスクされた小さな領域に限られる場合でも、すべてのフレームとピクセルにわたる時空間トークン空間全体に対して密な計算を実行します。
結果: 計算複雑性はマスクサイズに関係なく一定のままです。現実世界の VOR タスクでは通常、マスク比率が小さい（例えば、約 70% のケースでマスクが 20% 未満）ため、これにより膨大な冗長性が生じます。例えば、MiniMax Remover は約 10 FPS で動作し、実用的な応用を制限しています。

2. 手法：YOSE フレームワーク

著者らは、基盤モデルの再構築なしに DiT ベースの VOR を加速するために設計された、軽量でプラグイン型の微調整フレームワーク**YOSE（You Only Select Essential Tokens）**を提案します。YOSE は 2 つの中核コンポーネントを導入します。

A. バッチ可変長インデックス付け（BVI）

BVI は、モデルがマスク領域内のトークンのみ（必須トークン）を処理できるようにする、微分可能な動的インデックス付け演算子です。

メカニズム: 勾配の流れを阻害するハードインデックス付けの代わりに、BVI は grid_sample を通じた連続的な補間ベースの選択を使用し、マスクされたトークンを可変長のシーケンスにマッピングします。
前方インデックス（ $Ind_F$ ）: 処理のためにマスク領域から必須トークンを選択します。
後方インデックス（ $Ind_B$ ）: 処理された結果を元の時空間位置に戻します。
利点: バッチ全体で可変長のトークン処理をサポートし、モデルが異なるマスクサイズを効率的に処理できるようにすると同時に、エンドツーエンドのトレーニングのための勾配の流れを維持します。これにより、計算複雑性は $O(N_{total})$ から $O(N_{masked})$ に削減されます。

B. 拡散プロセスシミュレータ（DiffSim）モジュール

マスクされたトークンのみを処理することは、マスクされていない（背景）領域との意味的連続性を損なうリスクがあります。DiffSim は、これらマスクされていない領域を処理することなくその影響をシミュレートすることでこの問題を解決します。

メカニズム:
1. ノイズ潜在変数とマスク付き動画潜在変数の差を表す**残差潜在変数（ $Res_{Nis}$ ）**を構築します。
2. 学習可能なパラメータ（結合パラメータ $G$ 、スケーリングパラメータ $S$ 、バイアス $Bias$）を使用して、マスクされていない領域のための代理 Key および Value（KV）特徴量を生成します。
3. シミュレートされた KV の式は以下の通りです： $KV = G \cdot Lat_{mask} + (1-G) \cdot Res_{Nis}$ 。これにスケーリングとバイアス変調が続きます。
利点: これらのシミュレートされた特徴量は、DiT の自己注意機構に注入されます。これにより、「内部」（マスクされた）トークンが「外部」（マスクされていない）コンテキストに注意を向けることが可能になり、完全なトークン計算のコストなしに境界を越えた意味的および時間的一貫性を維持します。

C. 融合戦略

処理済み領域と未処理領域の統計的不一致に起因する境界アーティファクトを排除するために：

マスクを膨張させて重なり領域を作成します。
生成された重なり領域の平均と分散を、元のマスクされていない領域と整合させます。
滑らかな遷移を確保するために重み付けブレンド戦略を適用します。

3. 主な貢献

YOSE フレームワーク: 必須トークンのみを処理することで DiT ベースの VOR（例：MiniMax Remover）を加速する、マスク認識型の微調整フレームワーク。マスク比率に対して線形の計算複雑性を実現します。
バッチ可変長インデックス付け（BVI）: 効率的な可変長トークンの選択と処理を可能にする微分可能な演算子。動的なマスクに関連する勾配の流れとバッチ並列化の問題を解決します。
拡散プロセスシミュレータ（DiffSim）: DiT ブロック内でマスクされていない領域の拡散影響を近似する新規モジュール。冗長な計算なしにグローバルな意味的一貫性を保証します。
性能: 視覚品質はベースラインと同等かやや優れておりながら、最大2.5 倍の高速化（20% のマスク比率で約 25 FPS に到達）を達成します。

4. 実験結果

著者らは、DAVISおよびYouTube-VOSデータセットを使用して、MiniMax RemoverおよびVACE上で YOSE を評価しました。

速度と効率:
- FLOPs と遅延: YOSE は推論時間とマスク比率の間に線形関係を示します。
- 高速化: 5% のマスク比率で3.3 倍、20% のマスク比率（典型的な現実世界のシナリオ）で2.5 倍の加速を達成します。
- FPS: 480p 解像度において、約 10 FPS（MiniMax）から約 25 FPS（YOSE）に増加します。
視覚品質:
- 指標: YOSE は、VBench 指標（動きの滑らかさ、美的品質）および背景指標（PSNR、SSIM、LPIPS）において、同等かやや改善されたスコアを維持します。
- 背景の保存: 特筆すべきは、YOSE（VACE）が元の VACE と比較して、背景の PSNR を5.47 dB、SSIM を0.07改善し、背景におけるマスク形状のアーティファクトの「幻覚」を効果的に防止したことです。
アブレーション研究:
- DiffSimを除去すると、動きの滑らかさと背景再構成品質の両方が低下します。
- 融合戦略を除去すると、目に見える境界アーティファクトが生じます。
- トレーニング効率: BVI により、従来の手法で約 11 時間かかるところを、8 GPU でバッチサイズ 4 のトレーニングを約 4 時間で実行できます。

5. 意義

YOSE は、実用的なリアルタイム動画編集に向けた重要な一歩を表しています。計算コストを動画の総サイズから切り離し、関心領域（マスク）に厳密に紐付けることで、現在の DiT ベースの生成動画モデルの主要なボトルネックを解決します。

スケーラビリティ: 高忠実度の動画物体除去を、消費者向けハードウェアや遅延が重要なリアルタイムアプリケーションで実現可能にします。
汎用性: このフレームワークはモデル非依存（プラグアンドプレイ）であり、複数の DiT ベースアーキテクチャ（MiniMax Remover、VACE）で成功裏に検証されています。
品質対速度: 過激な高速化が必ずしも視覚忠実度のトレードオフを必要としないことを示しています。場合によっては、選択的処理により、モデルがマスクされていない領域を過剰に解釈することを防ぎ、背景の安定性が向上することさえあります。