OSVE: One Step Video Editing with One Step Diffusion Models

魔法の筆を持っていて、写真の中の犬に向かって「猫にして！」とささやくだけで、瞬時に猫に変えてしまうことができると想像してみてください。これがテキスト・トゥ・イメージ（Text-to-Image）AIの世界です。ここでは、コンピュータが言葉から画像を生成することを学びます。では、もしこれを映画一本に対して行いたいとしたらどうでしょう？そこで登場するのが**テキスト誘導型ビデオ編集（Text-Guided Video Editing）**です。問題は、現在の魔法の筆は信じられないほど遅いことです。ビデオを編集するために、それらはすべてのフレームを一度「ぼやけた塊」へと描き戻し、その後、フレームごとに数百回もステップ・バイ・ステップで「描き直す」必要があります。それは、まるで小説を書き直す際に、一文字ずつ消しては書き直すという作業を、何度も何度も繰り返しているようなものです。短いクリップを編集するのに数日かかることもあり、リアルタイムの編集は不可能です。

では、今度は、たった一度の素早いストロークで全工程をこなせる、新しい種類の筆を想像してみてください。科学者たちは最近、静止画のためのこの「ワンステップ」の筆を作る方法を見つけ出しましたが、誰もそれを、映像がグリッチ（不具合）やちらつきの悪夢のように見えることなく、動画として使う方法を知りませんでした。これが、論文OSVEが取り組んでいるパズルです。研究者たちは、その超高速なワンステップ技術を取り入れ、キャラクターやオブジェクトがデジタル的なスープのように溶け落ちたりすることなく、安定し、一貫した見た目を維持しながら動画を編集する方法を見つけられるか検証したいと考えました。

ワンステップの革命：OSVE

この論文は、ビデオ編集におけるスピードの怪物として機能する新しいシステム、OSVE（One Step Video Editing）を紹介しています。古い、遅い手法のようにビデオのフレームを何度も消しては描き直す代わりに、OSVEは、わずかたった一回のステップで全体の変換を行おうとします。著者らは、これは単純に聞こえるものの、直接これを行うと、3つの大きな災厄を招くことを発見しました。すなわち、ビデオが形を失い、オブジェクトが崩壊し、そしてフレーム同士が一致しなくなることで、ストロボライトのような効果が発生してしまうのです。

これを解決するために、チームは巧妙な3部構成のツールキットを構築しました。

1. 「メモリ」エンコーダー（形状の問題を解決する）
通常、ビデオを編集するには、コンピュータは元のビデオを表す「隠れたコード（潜在ノード）」を理解するために長い時間を費やす必要があります。OSVEは、特殊な学習可能なエンコーダー（learnable encoder）を使用することで、これをスキップします。このエンコーダーを、ビデオフレームを見て、それを再現するために必要な正確な「開始時のノイズ」を即座に推測する、非常に賢い翻訳者だと考えてください。
しかし、ここでのトリックは、著者らがこの翻訳者を特別なゲームを用いて訓練したことにあります。彼らは、構造的には同一だが「個性」が異なる画像（例えば、全く同じポーズで立っている狼とクマ）のペアをエンコーダーに見せました。そして、画像の骨格を保持するように開始時のノイズを予測するよう、エンコーダーを訓練したのです。これにより、コンピュータが新しいビデオを生成する際、たとえ動物を狼からクマに変えたとしても、鼻や耳がどこにあるべきかを正確に把握できるようになります。これがないと、ビデオは「構造的崩壊（structural collapse）」を起こし、動物の頭が回転したり、足が消えたりしてしまいます。

2. 「グループハグ」テクニック（ちらつきの問題を解決する）
ビデオをフレームごとに編集する場合、各フレームはまるで自分自身に話しかけている人のようです。彼らは隣の人が何を言っているのかを知らないため、途中で意見を変えてしまい、結果としてビデオがちらつく原因となります。OSVEは**統合フレーム編集（Unified-Frame Editing: UFE）**を導入しています。フレームを一つずつ見るのではなく、ビデオを生成する前に、すべてのフレームを一つの巨大で長いデータストリップへと結合します。
全員が同時に歌い、ハーモニーを保つために互いの声を聞き合っている合唱団を想像してください。このストリップ全体を一度に処理することで、AIはフレーム1にある「トラの鼻」を確認し、それがフレーム2、3、4の「トラの鼻」と一致するように調整できます。これにより、ビデオは滑らかで一貫したものになり、高速編集でよく起こる、ジリジリとした点滅現象を防ぐことができます。

3. 「アンカー」戦略（長いビデオのために）
すべてのフレームを結合する方法は短いクリップには素晴らしいですが、長い映画の場合、コンピュータのメモリ（VRAM）が爆発してしまいます。これを解決するために、OSVEはアンカーフレームを用いたスライディングウィンドウを使用します。
これは、長い本の章ごとに編集していく様子に似ています。まず、メインのスタイルやキャラクターを代表する一つの「アンカー（錨）」となるページを選びます。本を進めていく間、そのアンカーページを手元に持ち続け、参照点とします。一度に編集するのは小さな区間（ウィンドウ）のみであり、常にそのアンカーと照らし合わせることで、物語が逸れてしまわないようにチェックします。これにより、OSVEはメモリ不足に陥ったり、シーンの全体的な一貫性を失ったりすることなく、あらゆる長さのビデオを編集することができます。

結果：スピード vs クオリティ

著者らは、彼らのシステムを現在の最高の手法と比較テストしました。その結果は驚くべきものでした。従来の手法が短いビデオの編集に数時間（あるいは数日）を要していたのに対し、OSVEはほんのわずかな時間で完了しました。具体的には、以前の最速の手法であるRAVEよりも155倍から171倍高速であることが判明しました。

この劇的なスピードアップにもかかわらず、品質が損なわれることはありませんでした。実際、多くのテストにおいて、OSVEは従来の遅い手法と同等、あるいはそれ以上の品質のビデオを生成しました。OSVEはビデオの構造をしっかりと維持し、ちらつきを防ぎ、テキストの指示に正確に従うことに成功しました。研究者らは、これらを短いクリップ（20フレーム）と長いビデオ（90フレーム）の両方で実証し、犬の色を変えることからシーンの背景全体を変えることまで、システムがうまく機能することを示しました。

これが意味すること

この論文は、標準的なワンステップ画像生成器に、これらの特別な修正を加えることなくそのまま適用できるという考えを明確に否定しています。著者らは、そうした場合に「構造的崩壊」と、ビデオが崩壊してしまう「オーバーステアリング（制御過剰）」が起こることを示しました。また、現在のワンステップ・ビデオ生成器（Text-to-Video）は、ぼやけた、ちらつきのある結果を生み出すため、バックボーンとして使用するにはまだ不十分であるとも指摘しています。だからこそ、彼らは高品質なワンステップ・イメージ生成器の上にOSVEを構築し、ビデオとして機能させるための独自の「時間的接着剤（temporal glue）」を加えたのです。

要約すると、OSVEは、もはやスピードと品質のどちらか一方を選ぶ必要はないということを示唆しています。AIに描き始める前に構造を理解させ、フレーム同士を「会話」させることで、私たちはついに、文章を打ち込むのと同じ速さでビデオを編集できるようになります。この突破口は、リアルタイムのビデオ編集アプリケーションへの道を開き、これまで遅くて高価だったプロセスを、一般的なコンピュータで瞬時に実行できるものへと変貌させるものです。