💻 computer science

Bernini: Latent Semantic Planning for Video Diffusion

Bernini は、MLLM ベースのプランナーが ViT 埋め込み空間で意味論的推論を行い、DiT ベースのレンダラーを誘導するという分業体制を活用した統合ビデオ生成・編集フレームワークであり、効率的な個別学習やセグメント対応 3D 回転位置符号化のような新規コンポーネントを通じて最先端のパフォーマンスを達成する。

原著者： Bernini Team, Chenchen Liu, Junyi Chen, Lei Li, Lu Chi, Mingzhen Sun, Zhuoying Li, Yi Fu, Ruoyu Guo, Yiheng Wu, Ge Bai, Zehuan Yuan

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bernini Team, Chenchen Liu, Junyi Chen, Lei Li, Lu Chi, Mingzhen Sun, Zhuoying Li, Yi Fu, Ruoyu Guo, Yiheng Wu, Ge Bai, Zehuan Yuan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、Bernini論文の説明を、比喩を用いた日常言語に翻訳したものです。

大きなアイデア：建築家と建設業者

あなたが注文住宅を建てたいと想像してください。あなたには2人の専門家が必要です。

建築家（MLLM）： この人はあなたの漠然としたアイデアを理解し、複雑な設計図を読み解き、どのような家が完成すべきかを考えることに長けています。彼らは推論能力に優れていますが、実際にレンガを積むことには全く不向きです。
建設業者（拡散モデル）： この人は熟練職人です。レンガを積み、壁を塗り、窓を取り付けることを、写真のようなリアルさで完璧にこなせます。しかし、単に「きれいにしてください」と言われただけでは、あなたがコテージを望んでいるのに城を建ててしまうかもしれません。彼らは非常に具体的な指示を必要とします。

Berniniは、この2人の専門家をつなぐシステムです。建築家にレンガを積ませたり、建設業者に複雑な推論をさせたりするのではなく、Berniniは彼らが互いに話すための専門的な言語を提供します。

仕組み：「秘密の設計図」

過去には、これら2種類のAIを組み合わせようとする試みは散漫でした。Berniniは「分業」を導入することでこれを解決します。

計画フェーズ（建築家）：
あなたがBerniniに「天気を嵐の夜に変えて、犬を幸せにして」といった命令を与えると、MLLMプランナーは直接動画を描こうとしません。代わりに、それは建築家が高レベルの設計図をスケッチするのと同じ役割を果たします。
- 秘密のソース： この設計図は画像でも文章でもありません。それはシーンの意味を表す数学的なコード（「ViT 埋め込み」と呼ばれる）のセットです。これは、建築家が建設業者に絵や図面ではなく、座標と感情的なトーンの一覧を手渡すようなものです。
レンダリングフェーズ（建設業者）：
DiT レンダラー（建設業者）はこの設計図を受け取ります。また、編集を行っている場合は元の動画も参照して、背景の一貫性を保ちます。設計図をガイドとして使い、フレームごとに実際のピクセルを生成し、写真のようなリアルな動画を完成させます。

なぜこれが優れているのか？ 建築家と建設業者は別々に訓練できるからです。建築家は人間の言語を理解する能力を高め続け、建設業者は美しい画像を作る能力を向上させ続けます。彼らが互いに必要なのは、この「秘密の設計図」言語を読み解く方法だけであり、システム全体を最初から再訓練するよりもはるかに容易です。

新しいツール：「ネームタグ」と「思考のステップ」

これを完璧に機能させるために、研究者たちは2つの巧妙な工夫を加えました。

「ネームタグ」システム（SA-3D RoPE）：
想像してみてください。全員が同じ服装をした大勢がいる部屋で、「赤い帽子の人のほうを見て」と叫んだとします。もし赤い帽子を被っている人が3人いたら、それは混乱を招きます。
動画編集において、AIはしばしば元の動画、参照画像、そして新しい動画を同時に扱う必要があります。ある場合、元の動画のピクセルと新しい動画のピクセルが全く同じ位置にあることがあります。
Berniniはパズルのすべてのピースに**「ネームタグ」**（セグメントインデックス）を付けます。これにより、AIに「この赤い帽子は元の動画に属し、あの赤い帽子は新しい動画に属する」と伝えることができます。これにより、AIが混乱してソースと結果を混同することを防ぎます。
「思考の発声」ステップ（Chain-of-Thought）：
時には、単純な命令だけでは不十分な場合があります。「カートゥーンのように見せて」と言っても、AIは単に色を変えるだけかもしれません。
Berniniのプランナーは、設計図を描く前に思考を声に出すように訓練されています。タスクを分解するのです。「まず、照明を理解する必要がある。次に、肌の質感を変える必要がある。最後に、動きを調整する必要がある」。この段階的な推論により、AIは複雑なタスク、例えば動画内の火が自然に消えるように天候を変えるような（因果推論）処理をこなせるようになります。

何ができるのか？

論文は、Berniniが動画のための「スイスアーミーナイフ」であることを示しています。以下が可能になります。

テキストから動画へ： 説明に基づいてゼロから動画を生成する。
動画から動画への編集： 既存の動画のスタイルを変更したり、オブジェクトを追加・削除したり、天候を変えたりする。
参照ガイド付き編集： 「この動画の人物を、この写真の人物のように見せて」。
モーション転送： 「この写真の人物を、この動画の人物のように踊らせて」。

結果：レースの勝利

研究者たちは、Berniniを彼らが作成した新しいベンチマークBernini-Benchにおいて、Kling や Wan などの他のトップクラスの動画 AI モデルと対比してテストしました。

スコア： Bernini は「動画編集リーダーボード」で優勝し、一貫性と指示の遵守において競合他社を凌駕しました。
決定的な勝利： 特に動画の一貫性を保つことにおいて優れていました。動画の一部を編集しても、残りの部分は歪んだり不具合を起こしたりしません。要求された部分のみを変更しつつ、元のシーンに忠実な状態を維持します。

まとめ

Berniniは、完璧な指示書を書く天才建築家を雇い、それを熟練した建設業者に渡すようなものです。彼らが専門的な「設計図言語」で話し合い、動画のどの部分がどれであるかを追跡するためのツールを与えられることで、Berniniは美しいだけでなく、複雑で論理的な変化を理解できる賢さを持った動画を生成します。

技術的概要：Bernini – ビデオ拡散のための潜在意味計画

1. 問題定義

マルチモーダル大規模言語モデル（MLLM）と拡散モデルは、ほぼ独立した軌跡をたどって成熟してきた。MLLM は意味論的推論、複雑な指示の解釈、マルチモーダルな文脈への回答の根拠付けにおいて優れている一方、拡散モデル（特に Diffusion Transformer、DiT）は、フォトリアリスティックな画像および動画合成の標準となっている。しかし、意図を理解し、かつ所望の出力を生成できる両者のファミリーを単一のシステムに統合することは、依然として未解決の課題である。既存のアプローチは、MLLM の深い意味論的理解を拡散モデルのピクセルレベル生成に直接転送しようとする際、どちらかのコンポーネントの事前学習された強みを損なったり、過剰な共同学習を必要として破滅的忘却を引き起こしたりすることに直面している。

2. 手法

Bernini は、意味論的計画とピクセルレンダリングを分離する統合フレームワークを提案し、単純な役割分担を利用する：

プランナー（MLLM）： 意味論的推論を処理し、目標視覚表現を予測する。
レンダラー（DiT）： 高レベルの意味論的ガイダンスと低レベルの視覚特徴に基づいてピクセルを合成する。

2.1 アーキテクチャ

このフレームワークは、ViT 埋め込み空間を介した意味論的インターフェースで接続された 2 つの主要コンポーネントで構成される。

MLLM ベースのプランナー：
- 統合入力： テキスト、ソース画像、ソース動画、および目標出力は、統合された 1 次元トークン列にシリアライズされる。
- マスク付き生成モデリング： テキストトークンを生成する代わりに、プランナーは高密度な ViT 埋め込みとして目標視覚意味論を予測する。訓練中は、目標トークンがランダムにマスクされ、モデルは文脈からそれらを推論する。推論中は、モデルは完全にマスクされたトークンから完全な列へと目標表現を反復的に洗練させる。
- 思考の連鎖（CoT）： プランナーは CoT メカニズムを組み込み、最終的な意味論的埋め込みを生成する前に、潜在空間（自己テキストおよび自己視覚 - テキスト推論を介して）で推論を行う。これにより、モデルは複雑な編集タスクを中間視覚状態に分解できる。
- ViT 埋め込みデコーダー： 軽量デコーダー（MLP + ResNet ヘッド）が、プランナーの隠れ状態を真の ViT 埋め込み空間にマッピングし、フローマッチングによって訓練される。
DiT ベースのレンダラー：
- フローマッチング： レンダラーは VAE 潜在空間で動作し、フローマッチングによるノイズ除去を実行して最終動画を合成する。
- 条件付け： これは、プランナーからの意味論的埋め込み（クロスアテンションを介して）、テキスト特徴、およびソース VAE 特徴（編集タスクにおける詳細保持のため）に基づいて条件付けられる。
- セグメント認識型 3D RoPE（SA-3D RoPE）： ソース動画、参照画像、目標など、複数の視覚入力を統合された列内で処理するために、Bernini は SA-3D RoPE を導入する。標準的な 3D 回転位置埋め込み（RoPE）は、異なるセグメントからのトークンが同じ $(t, h, w)$ 座標を共有する場合に困難に直面する。SA-3D RoPE は、各視覚入力に一意のセグメントインデックスを割り当て、これを回転周波数ベクトルに組み込むことで、セグメント依存のグローバル位相変調を導入する。これにより、アテンション機構は異なるセグメントからのトークンを区別しつつ、時空間モデル化特性を保持できる。

2.2 訓練戦略

Bernini は、両コンポーネントの事前学習能力を保持しつつ整合させるために、3 段階の訓練パイプラインを採用する：

ステージ I（MLLM 事前学習）： プランナーと ViT デコーダーは、テキストから画像、テキストから動画、および編集データ（画像/動画ペア）の混合で訓練される。目的は、MLLM を目標視覚表現を推論できる意味論的プランナーに変換することである。タスク依存のマスク率戦略を用いて情報漏洩を制御し、プランナーが可視の目標トークンではなく文脈から意味論を推論することを強制する。
ステージ II（DiT 事前学習）： レンダラーは、高忠実度合成とソース保持を確保するために、大規模な生成および編集データの混合で独立して訓練される。
ステージ III（共同訓練）： プランナーとレンダラーは軽微に共同訓練される。この段階は、過度な干渉なしに意味論的計画（ViT 空間）と視覚レンダリング（VAE 空間）を整合させ、システムが多モーダル推論を忠実な視覚出力に変換できるようにする。

2.3 データ構築

本論文は、多様なタスクを支援するための包括的なデータ構築パイプラインを詳述する：

事前学習データ： 一般コーパスとチュートリアル動画から抽出された 2,000 万の動画ペアと 3,000 万の画像ペアを、類似度でフィルタリングし、高密度なプロンプトで注釈付けする。
編集データ： 高品質な動画から動画（V2V）データを、強力な画像編集モデルと組み合わせた伝播ベースの手法を用いて合成する。画像から動画＋動画から動画のデュアルブランチフレームワークを用いて、自然な人間 - 物体相互作用を確保する運動認識型編集データを生成する。
参照ガイド型データ： 参照から動画（R2V）および参照＋動画から動画（RV2V）のパイプラインは、生成画像ではなく実映像から参照をソースとして取り込むことで、特に人間におけるアイデンティティ保持を確保する。
推論強化データ： MLLM が指示を構造化された中間プロンプトに書き換えたり、編集プロセスを誘導するために視覚的中间状態を生成したりする、明示的な思考の連鎖（CoT）データを構築する。

3. 主要な貢献

潜在意味インターフェースを備えた統合フレームワーク： Bernini は、MLLM のネイティブ ViT 埋め込み空間を拡散生成器への意味論的ブリッジとして使用することで、生成と編集を統合する。これにより、事前学習された理解が生成に直接転送され、多様な動画タスク全体で強力な汎化が可能になる。
スケーラブルなデータ構築： 著者らは、大規模なマルチタスクコーパスを生み出すデータパイプラインのスイートを設計した。これには、動画/画像ペアによる事前学習、高品質な伝播ベースの編集データ、運動認識型データ、および推論強化データセットが含まれ、高品質な動画編集データの不足に対処する。
セグメント認識型 3D RoPE： 同じ時空間座標を共有する異なるセグメント（ソース、参照、目標）からの視覚トークンを明確にする新しい位置埋め込みメカニズムであり、マルチモーダル入力処理に不可欠である。
最先端のパフォーマンス： Bernini は、OpenVE-Bench、OpenS2V-Eval、および新たに提案された Bernini-Bench を含む広範なベンチマークでトップクラスの成果を達成する。

4. 実験結果

動画編集（Bernini-Bench）： Bernini は、Kling O3 や Wan2.7 などの強力なベースラインを上回る。Bernini-V2V ベンチマークにおいて、総合スコア（OS）は 3.49（Wan2.7 は 3.30）を達成し、競合他社よりも非編集領域をよりよく保持する優れた動画一貫性（VC）を示す。人間によるサイドバイサイド評価において、Bernini は一貫性と指示追従において顕著な優位性を示す。
公開ベンチマーク：
- OpenVE-Bench： Bernini は総合スコア 4.04 を記録し、以前の最高記録（VINO の 3.18）を大幅に上回る。
- EditVerse： 最高編集品質スコア（8.02）とテキスト整合性を達成する。
- FiVE： 構造保持、背景保持、編集精度において最先端のパフォーマンスを達成する。
動画生成：
- テキストから動画（VBench）： Bernini は基盤モデル（Wan2.2-A14B）の基礎品質を維持し、総合スコア 84.64（ベースは 84.79）を達成し、統合設計が生成品質を劣化させないことを証明する。
- 対象から動画（OpenS2V-Eval）： Bernini はすべての競合他社の中で最高総合スコア（62.94）を達成する。特に、FaceSim スコアは 78.20 に達し、次点のベースライン（Kling O3 の 57.20）を 20 ポイント以上上回り、優れた顔アイデンティティ保持を示す。
アブレーション研究： 実験は、ViT 意味論的インターフェース、MLLM プランナー、および SA-3D RoPE の必要性を確認する。SA-3D RoPE を除去すると参照漏洩のアーティファクトが生じ、プランナーを除去すると指示追従が劣化する。

5. 意義と主張

本論文は、Bernini がマルチモーダル理解と生成の統合に向けた重要な一歩を表すと主張する。インターフェースを MLLM の ViT 埋め込み空間に固定することで、このフレームワークは 2 つのコンポーネントをほぼ独立して訓練可能にし、それぞれの事前学習された強み（MLLM における推論、DiT における合成）を保持しつつ、効果的な協働を可能にする。

著者らは、Bernini が「雨が降ったらどうなるか？」といった因果推論、焦点の移動、複雑な運動変化といった困難な編集タスクに汎化する能力は、思考の連鎖（CoT）推論と意味論的計画パラダイムの統合に由来すると強調する。このモデルは単に変換を記憶するのではなく、転送可能で構成的な指示追従能力を学習する。

限界： 著者らは控えめに、Bernini は基盤モデル（Qwen2.5-VL および Wan2.2）の能力に制限されていると指摘する。複雑なシナリオでは、依然として十分に詳細な指示を提供するために外部 LLM リライターに依存しており、そのネイティブ推論は最も困難な編集にはまだ完全には十分ではないことを示唆している。さらに、一貫性においてリードしているものの、対象から動画生成における生の視覚品質は、Wan2.7 などの最強のクローズドソースシステムにわずかに劣っている。