InstructAV2AV: Instruction-Guided Audio-Video Joint Editing
本論文は、新たに構築された大規模データセット（InsAVE-80K）と専門的な 2 段階学習戦略を活用して、同期された高品質な編集コンテンツの生成において既存の手法を上回る、指示に基づく音声・映像の共同編集のための初のエンドツーエンドフレームワークである InstructAV2AV を紹介する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
友人がスピーチをしているホームビデオを想像してみてください。次に、その人物が何を言っているかを変更したり、あるいは全く別の人物に差し替えたりしたいと想像してみてください。ただし、背景の雑音、照明、タイミングは完璧に自然なまま保ちたいとします。
通常、動画編集と音声編集は別々の作業です。動画を変更すると、音声はしばしば同期が外れたり、不自然に聞こえたりします（口元に合わないナレーションなど）。この論文は、動画と音声を単一の不可分なパッケージとして扱う新しいツール「InstructAV2AV」を紹介します。シンプルなテキストコマンドを入力するだけで、画像と音声を同時に即座に書き換えます。
以下、その仕組みを簡単な概念に分解して説明します。
1. 「魔法のレシピ」（データの問題）
コンピュータにこれを学習させるには、「Before（変更前）」と「After（変更後）」のビデオの数千の例が必要です。しかし、「こんにちは」と言っている人物が、背景はそのままに「さようなら」と言うように魔法のように変化するビデオのライブラリは存在しません。
著者らはデータ工場（InsAVE-80K と呼ばれる）を構築しました。これはハイテクキッチンのようなものです。
- インターネットから生動画を入手しました。
- 「マスクガイド型」のロボットシェフを使って、特定の部分（人物の顔や車など）を切り出しました。
- テキスト指示に基づき（例：「男性を女性に変更」）、AI を用いてそれらの特定部分に対する新しい音声と動画を生成しました。
- これらの新しい部分を元の動画に戻し、背景は変更せずに配置しました。
- 最後に、人間と高性能なコンピュータが結果を味見（評価）し、見た目がリアルで、音も自然であることを確認しました。これにより、8 万個のトレーニング例からなる巨大な料理本が完成しました。
2. 「スマート編集者」（モデル）
このシステムの核心はデュアルストリーム・ブレインです。指揮者が視覚シーン（動画）用と音声用の二つのオーケストラを同時に指揮している様子を想像してください。
- アンカー: 編集を依頼すると、システムは単に推測するわけではありません。空、木々、背景雑音などを誤って変更しないよう、元の動画と音声を「安全アンカー」として参照します。
- 指示: 「男性を、茶髪の若い女性に変え、『もう一度試すべきだと思う』と言うように変更」といったコマンドを入力します。
- ゲートド・アテンション（SIGA）: これが論文の秘密の調味料です。動画のあらゆる瞬間ごとに、調光スイッチや信号機を想像してください。
- 信号が赤の場合、システムは「元の動画・音声をそのまま保持する」と判断し（背景を保存）、
- 信号が緑の場合、「指示に合わせてこの部分を変更する」と判断します。
- このスイッチは自動的に調整されるため、システムは正確に「何を変更し」「何をそのままにするべきか」を知り、新しい声が新しい顔と完璧に一致することを保証します。
3. 「二歩のダンス」（トレーニング戦略）
動画と音声を同時に編集するようコンピュータに教えるのは困難です。すべてを一度に教えようとすると、混乱してしまいます。
著者らは二段階トレーニング戦略を採用しています。
- ステップ 1（ソロ練習）: まず、動画部分と音声部分をそれぞれ個別に編集する方法を教えます。互いを気にせず、それぞれの動きを学習します。
- ステップ 2（デュエット）: ソロ演奏が上手になったら、一緒に踊るよう教えます。動画で車のエンジンが始まる瞬間に、音声でエンジン音が完全に同期して鳴るよう、完璧な同期を学習します。
何ができるか
この論文は、テキスト指示のみを用いた 4 つの主要な「動き」を実証しています。
- アイデンティティの交換: 声と口の動きを同期させたまま、男性を女性へ（またはその逆へ）変更します。
- スピーチの書き換え: 人物の顔と声はそのままに、話している言葉を新しい内容に変更します。
- 挿入: 新しい物体（ vintage の車が通り過ぎるなど）を追加し、それに合うエンジン音を生成します。
- 除去: 物体（岩の上のリスなど）を消去し、その鳴き声を無音化し、最初からいなかったかのように見せます。
結論
要約すると、InstructAV2AVは、テキストプロンプトのみを使用して動画のストーリーとそのサウンドトラックを同時に編集できる最初のシステムです。単に古い動画の上に新しい音声を貼り付けるのではなく、視覚を変更すれば音声も変更されなければならず、音声を変更すれば視覚もそれに合致しなければならないことを理解しています。これは、巨大な自作の事例ライブラリから学習し、何を保持し何を変更するかを正確に決定するスマートな「調光スイッチ」を使用することで実現しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。