あなたは、映画のシーンを撮影しようとしているディレクターだと想像してください。しかし、手元にあるのは単一の脚本ではなく、写真の無秩序な山と一つのビデオクリップです。そして、俳優に何をすべきか正確に伝えなければなりません。これが、コンピュータが私たちの指示に基づいてビデオを変化させる方法を学習する分野、「AIビデオ編集」の世界です。長い間、これらのコンピュータは、熱心だが混乱しているインターンのようでした。もしあなたが「空をこの写真のようにして、キャラクターをあの写真のようにして」と頼んだとしても、彼らは空とキャラクターを入れ替えてしまったり、両方の画像を奇妙な塊として混ぜ合わせてしまったりすることがよくありました。核心的な問題は、コンピュータが画像を見ることができなかったことではなく、どの特定の画像に基づいてビデオのどの部分を変更すべきかという「指示」を明確に理解できなかったことにありました。

この論文「ReBind」は、単に賢いビデオ生成器を持つことではなく、より賢い「翻訳者」を持つことこそが秘訣であると気づくことで、この混乱に対処します。著者たちは、従来の指示の出し方――「写真2の人物で、その男を置き換えて」といった曖昧な文章――は、複数の写真が関わる場合にはコンピュータにとって扱いづらすぎるほど曖昧であると提案しています。代わりに、彼らはAIに対する新しい対話方法を提案しています。それは、厳格なステージマネージャーのように振る舞い、あらゆる写真を明示的に指し示して、「ビデオのこの部分はこの特定の画像から来ており、あの部分はあの画像から来ている」と言う方法です。指示を先に修正することで、ビデオ編集のマジックは実際に機能するのです。

問題点：「多すぎる写真」による混乱

3つの異なる料理本から材料を混ぜ合わせなければならないレシピに従って、ビデオを編集しようとしている場面を想像してみてください。もしレシピが単に「本Aからスパイスを少し、本Bから野菜を加えて」と言っただけなら、人間のシェフは推測できるかもしれませんが、コンピュータはしばしばパニックに陥ります。間違ったスパイスを掴んだり、野菜を間違った料理と混ぜてしまったりすることがあります。

著者たちは、既存のAIモデルが**マルチリファレンス・ビデオ編集（Multi-Reference Video Editing）**に苦戦していることを発見しました。これは、例えば（ある男が通りを歩いているような）ビデオを取り上げ、複数の参照画像から詳細を使用して変更したい場合のことです（例えば、通りを画像1のようなサイバーパンクな街にし、男を画像2のようなロボットにしたい場合など）。

従来の方法が失敗したのは、使用していた指示があまりにも曖昧だったからです。それらは、どの写真がどの部分に一致するかをAIが「推測する」ことに依存していました。論文では、汎用的なAIモデル（私たちとチャットしたり質問に答えたりするもの）は、この特定の仕事においては非常に劣っていると論じています。それらは、どの視覚的詳細がどのソース画像に属しているのかについて混乱し、その結果、ロボットがサイバーパンクな街のライティングになってしまったり、背景が変わるべきでない場所が変わってしまったりするという結果を招きます。著者たちはこれを「決定的な欠陥」と呼んでいます。つまり、指示に**明示的な参照関係（explicit reference relationships）**が欠けているということです。

解決策：ReBindと「マジックタグ」

これを解決するために、チームはReBindと呼ばれる新しいシステムを構築しました。物語を書いているとき、単に「赤い車」と言うのではなく、「赤い」という言葉に、「この赤い車は写真1から来ている」という文字通りの、壊れないタグを付けなければならないと想像してください。

ReBindは、**明示的参照トークンを用いた高密度な指示（Dense Instructions with Explicit Reference Tokens）**という新しいタイプの指示を導入しています。

• 従来の方法： 「若い男性を、2枚目の写真の年配の男性と置き換えて。」（AIはどの写真がどれで、どこで変更が行われるのかを推測しなければならない）。
• ReBindの方法： 「ビデオ内の<Video_1>の若い男性は、<Image_2>に一致する顔を持ち、<Image_1>のセーターを着た年配の男性に置き換えられる。」

これらの特別な「タグ」（<Image_1>のようなもの）を、説明のすぐ隣に直接埋め込むことで、AIはどこを見るべきかを正確に知ることができます。これは、近所の口頭での説明ではなく、X印が付いた地図をコンピュータに与えるようなものです。

AIへの教え方：2段階のトレーニング

論文では、標準的なAIにこれらの特別な指示を与えただけでは機能しないため、それらを書くように特別に訓練する必要があることが説明されています。著者たちは、新しいAIであるReBind-Instructのための2段階のトレーニングプロセスを作成しました。

1. ステージ1：フォーマットの学習（教師あり微調整 / Supervised Fine-Tuning）
   まず、AIにこれらの構造化された文章を書く方法を教えました。彼らは、数千のビデオとその「前後」のバージョン、および正しい「タグ付き」の指示を見せました。AIは、変化を観察し、「ああ、この部分は画像1によって変わったのだ、そしてこの部分は元のビデオからそのまま残っているのだ」と言う方法を学びました。AIは、正しい場所に<Image_1>タグを配置することを学習しました。

2. ステージ2：正確さを学ぶ（強化学習 / Reinforcement Learning）
   フォーマットを知っているだけでは不十分です。AIは正確である必要があります。もしAIが「帽子は画像1から来ている」と言いながら、実際には帽子が画像2からのものだった場合、それは失敗です。これを修正するために、チームは**グループ相対方策最適化（Group Relative Policy Optimization: GRPO）**という手法を用いました。

• これは、AIがいくつかの異なるバージョンの指示を書くゲームのようなものです。
• 「判定役」（別のAI）が、チェックリストに照らしてそれらを検証します。変化したすべての事項に言及したか？ 帽子を正しい写真に正しくリンクさせたか？ そこに存在しないことを作り上げていないか（ハルシネーション）？
• AIは、リンクを正しく設定できた場合には「報酬」を、混ぜてしまった場合には「ペナルティ」を受け取ります。時間をかけて、AIは常に正しい詳細に正しい写真タグを付けることを学習していきます。

結果：より賢いエディター

AI（ReBind-Instruct）がこれらの完璧なタグ付き指示を書くエキスパートになった後、彼らはこの指示を使用して、ReBind-Editと呼ばれるビデオエディターを訓練しました。このエディターは、タグ付きの指示を受け取り、ビデオ生成モデル（LTX-2.3というシステムに基づいています）を導くために使用します。

結果は目覚ましいものでした。UniVBenchやIntelligentVBenchといったベンチマークでテストしたところ：

• 指示の質： ReBind-Instructは、標準的な汎用AIモデルよりも、明確で正確な指示を書くことに長けていました。視覚的な詳細をソース画像に正しくリンクさせる能力において、最も強力な「クローズドソース」モデル（コードが公開されていないモデル）をも凌駕しました。
• ビデオの質： ReBind-Editが生成したビデオは、他のオープンソースの手法よりも大幅に優れていました。AIが1枚の写真を使ってキャラクターの顔を入れ替え、別の写真を使って背景を変更しなければならないテストにおいて、ReBind-Editは詳細を正しく維持できましたが、他のモデルはしば_多くの場合、これらを混ぜ合わせてしまったり、元のビデオの動きを保持できなかったりしました。

著者たちは、指示の質がビデオの質を直接決定することを発見しました。新しい「高密度」なタグ付き指示を使用してビデオエディターを訓練した結果は、古い曖昧な指示を使用したときよりもはるかに良好でした。これは、ビデオ編集におけるボトルネックは必ずしもビデオ生成器そのものではなく、私たちが行う指示の質にあることを示唆しています。

なぜこれが重要なのか

論文は、AIが複雑なビデオ編集（例えば、5つの異なる写真から要素を組み合わせて一つのシーンを作りたい場合など）を真にマスターするためには、指示を単純な文章として扱うのではなく、構造化されたマップとして扱う必要があると結論付けています。AIに対して「このピクセルはこの写真から来ている」と明示的に言わせることで、混乱を排除できるのです。

著者たちは、あらゆるビデオ生成の問題を解決したと主張しているわけではありませんが、**明示的な参照グラウンディング（explicit reference grounding）**こそが欠けていた鍵であることを示しました。彼らの手法であるReBindは、正しい「翻訳者」を用いて指示を書かせれば、オープンソースのモデルであっても最高のクローズドソースシステムに対抗できることを証明しており、単に視覚的にクールなだけでなく、ディレクターの特定の、複数の写真を活用したビジョンに実際に従うビデオを作り出すことができるのです。