💻 computer science

CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition

CogOmniControl は、正確な創造的意図の認知のための専用 CogVLM と、統合された CogOmniDiT 生成器、およびクローズドループの Best-of-N 選択メカニズムを統合することで、既存モデルに比べて専門ベンチマークにおいて優れた性能を達成する、推論駆動型の制御可能な動画生成フレームワークである。

原著者： Hongji Yang, Songlian Li, Yucheng Zhou, Xiaotong Zhao, Alan Zhao, Chengzhong Xu, Jianbing Shen

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hongji Yang, Songlian Li, Yucheng Zhou, Xiaotong Zhao, Alan Zhao, Chengzhong Xu, Jianbing Shen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがアニメーターのチームに複雑なシーンを説明しようとしている映画監督だと想像してください。あなたの手元には、ラフなスケッチ（ストーリーボード）、キャラクターの粘土模型、そして「雨っぽく、悲しい雰囲気になってほしい」といった曖昧なメモがいくつかあります。

かつての AI 動画生成ツールは、厳密でピクセル単位の指示しか理解できないアニメーターのようでした。ラフなスケッチを与えると、混乱したり、濁った失敗作を作ったり、あなたの感情的なメモを完全に無視したりしていました。彼らには、なぜそのシーンを特定の見た目にする必要があるのかを理解する「創造的な脳」が欠けていたのです。

CogOmniControl は、この問題を解決するために設計された新しいシステムです。これは、あなた（ユーザー）とアニメーションチーム（AI 生成器）の間に座る超優秀なクリエイティブ・ディレクターのように機能します。その仕組みを簡単なステップに分解して説明します。

1. 問題点：「翻訳のギャップ」

現在の AI 動画ツールは、リアルな映像を作るのが得意ですが、手書きのスケッチや粘土模型のような抽象的で乱雑な指示を与えられると苦労します。

従来の方法： スケッチを与えると、AI はラインを正確にコピーしようとしますが、感情や物語を見逃してしまいます。
結果： 動画の見た目が不自然になり、キャラクターの顔が変わってしまったり（アイデンティティのドリフト）、動きがぎくしゃくしたりします。

2. 解決策：二部構成のチーム

著者たちは、二人の主要なキャラクターが協力するシステムを構築しました。

キャラクター A：「クリエイティブ・ディレクター」（CogVLM）

これは、数千ものプロのアニメーション制作ビデオを見てきた、高度に訓練された映画監督だと考えてください。

役割： スケッチを単に見るだけでなく、あなたの意図を理解します。雨の中のキャラクターのスケッチを見せると、この「ディレクター」は単に線を見るのではありません。「キャラクターは悲しんでいる、地面は濡れているはずだ、雨は波紋を立て、照明は曇り空のように暗くすべきだ」と推論します。
魔法： 曖昧で抽象的なアイデアを密度の濃い詳細な計画に変換します。それは翻訳者のように機能し、あなたの「創造的意図」を、コンピューターが実際に実行できる明確な指示セットに変換します。
訓練： このディレクターは、単なるランダムなインターネット動画ではなく、プロのアニメーションスタジオからの実際のデータ（ストーリーボードや粘土レンダリング）を用いて訓練されました。これにより、単に「物がどのように見えるか」ではなく、「物がどのようにあるべきか」に精通した専門家となりました。

キャラクター B：「アニメーター」（CogOmniDiT）

これが実際の動画生成器、つまりピクセルを描く者です。

役割： クリエイティブ・ディレクターからの詳細な計画と、元のスケッチを受け取り、動画を構築します。
魔法： ディレクターの詳細な計画に耳を傾けているため、キャラクターをどのように動かすか、服がどのように翻るか、光がどのように変化するかが正確に分かります。推測するのではなく、論理的なロードマップに従います。

3. 「ハーネス」システム：品質管理ループ

ここが最も巧妙な部分です。通常、動画を生成してうまくいくことを願うしかありませんが、CogOmniControl は品質管理ハーネスを追加します。

アイデア： 最終的な動画が表示される前に、クリエイティブ・ディレクター（CogVLM）がプロデューサーのように振る舞います。「さて、3 つ確認する必要がある。キャラクターの顔は一定か？雨は自然に動いているか？照明は適切か？」と言います。
プロセス：
1. システムは動画の複数のバージョンを生成します（4 つの異なるテイクを試すようなものです）。
2. ディレクターは、シーンが必要とするものに基づいて特定の「検査員」（評価者）を選びます。特定のキャラクターがいるシーンなら「アイデンティティ検査員」を、嵐のシーンなら「物理検査員」を選びます。
3. これらの検査員が動画を評価します。
4. システムは最良のもの（Best-of-N）を選び、それをあなたに見せます。

4. 新しい「試運転」（ベンチマーク）

システムが機能することを証明するために、著者たちは標準的なテストだけでなく、CogReasonBench と CogControlBench という 2 つの新しい「走行コース」を構築しました。

これらのコースは、ラフなストーリーボードを映画の最終シーンに変えるなど、現実のプロフェッショナルな課題で満たされています。
彼らのシステム、CogOmniControl は、他のオープンソースモデルすべてよりも優れたパフォーマンスを発揮し、高価なプライベートシステムに非常に近い結果を出しました。

要約の比喩

あなたが非常に具体的で複雑なケーキを焼きたいと想像してください。

従来の AI： ナプキンの上に描かれたケーキの落書きを渡すと、その落書きを正確にコピーしようとして、焦げ付き、形も崩れた失敗作になります。
CogOmniControl： そのナプキンをマスターシェフ（CogVLM） に渡します。シェフは落書きを読み、「ラズベリーの芯が入ったしっとりしたチョコレートケーキが欲しい」という意図を理解し、正確なレシピを書き出します。次に、パン屋（CogOmniDiT） がそのレシピを完璧に実行します。最後に、シェフは数回分を味見し、特定のチェックリストを使って最良のものを選び、完璧なケーキをあなたに提供します。

この論文は、このアプローチが「曖昧な人間のアイデア」と「正確なコンピューターの実行」の間のギャップを埋め、単純なスケッチや抽象的なアイデアから高品質でプロフェッショナルな動画の生成を可能にすると主張しています。

技術サマリー：CogOmniControl

1. 問題定義

最近の拡散ベースの動画生成モデルは、フォトリアリズムと動作の滑らかさにおいて著しい進歩を遂げています。しかし、ストーリーボードスケッチやクレイレンダリングなど、プロフェッショナルな制作ワークフローで一般的に見られる抽象的、疎、または複雑な制御条件に直面すると、依然として脆弱です。既存のアプローチは通常、以下の2つのカテゴリに分類されます：

アダプターベースの手法：追加モジュールを介して条件を注入しますが、多様でピクセル整合性の取れていない制約を処理する柔軟性に欠け、アーティファクトやアイデンティティのドリフトを引き起こす傾向があります。
汎用 VLM 結合手法：条件を解釈するために汎用ビジョン・ランゲージモデル（VLM）を統合します。しかし、汎用 VLM はプロフェッショナルな文脈における創造的意図の根本的な理解に苦しみ、ドメイン固有の知識に基づいた生成計画を策定できないことが多くあります。さらに、その推論出力はノイズを導入する可能性があり、VLM の抽象的な推論と最終的なピクセルレベルの動画生成との間にミスマッチのギャップが存在します。

核心的な課題は、抽象的なユーザー条件と、真の創造的意図に合致する忠実で高品質な制御可能な動画生成との間のギャップを埋めることです。

2. 手法

著者は、制御可能な動画生成を創造的意図の認知と生成という2つの明確な段階に分解する、推論駆動型のフレームワークであるCogOmniControlを提案します。このフレームワークは、CogVLMとCogOmniDiTという2つの主要コンポーネントで構成されます。

2.1 CogVLM：創造的意図の認知

CogVLM は、「プロフェッショナルなディレクター」として機能するように訓練された専門的なビジョン・ランゲージモデルです。その役割は、制御動画、参照画像、テキスト記述といったマルチモーダル入力を受容し、ユーザーの創造的意図を認知して、疎な手がかりを密で論理的な推論出力に変換することです。

訓練戦略：CogVLM は2段階の訓練プロセスを経ます：
1. 教師あり微調整（SFT）：プロフェッショナルなワークフローを学習するため、本物のアニメ制作データ（ストーリーボード、クレイレンダリング）で訓練されます。
2. 強化学習微調整（RFT）：LLM をジャッジとして用いた包括的報酬と事実検証報酬メカニズムを活用し、創造的意図、物理的妥当性、情報の完全性、および動作記述を最適化します。これにより、推論が事実に基づき、幻覚を回避することが保証されます。
出力：CogVLM は生成計画を詳細に記述する推論出力を生成し、さらに重要なことに、特定の入力条件に適した評価器（ツール）のセットを事前定義されたライブラリから識別します。

2.2 CogOmniDiT：統合動画生成

CogOmniDiT は、多様な制御信号を単一のシーケンス内で統合する動画拡散トランスフォーマ（DiT）です。

入力シーケンス：ノイズを含む潜在変数、参照画像の潜在変数、制御動画の潜在変数、および CogVLM からの高レベル意味埋め込みを連結します。
訓練：コンテキスト内生成、コネクタ整合、共同訓練という3段階の SFT 戦略を採用し、その後 RFT を実施します。RFT は、条件追従と動画品質に対する報酬を用いて、DiT のピクセルレベル出力を CogVLM の高レベル推論に整合させます。
メカニズム：コンテキスト内学習を活用することで、CogOmniDiT は条件と潜在変数が自己注意を通じて自身および互いをモデル化することを可能にし、制御信号の正確な注入を確保します。

2.3 クローズドループ検証（評価器ハーネス）

CogOmniControl の独自の特徴は、「ハーネスのような」アーキテクチャです。すべての生成に対して固定された評価器セットを使用するのではなく、CogVLM は入力条件に基づいて特定の評価器（例：アイデンティティの一貫性、物理的ダイナミクス、ストーリーボード注釈の追従）を動的に選択します。

Best-of-N 選択：システムは複数の動画候補（ $N$ ）を生成し、CogVLM が選択した評価器を用いてそれらをスコアリングします。最も高いスコアを持つ候補が選択され、推論・生成・検証のクローズドループパイプラインが形成されます。

3. ベンチマークとデータ

プロフェッショナルな創造的意図の評価に関するベンチマークの欠如に対処するため、著者は現実世界の専門的なアニメ制作パイプラインから派生した2つの新しいデータセットを導入します：

CogReasonBench：VLM のマルチモーダル入力からの創造的意図の認知と推論実行能力を評価するように設計されています。
CogControlBench：抽象的かつ疎な条件下での制御可能な動画生成の品質と条件追従を評価するように設計されています。
既存のベンチマークがしばしばシミュレーションまたは合成データを使用するのとは異なり、これらのベンチマークはプロフェッショナルなワークフロー（ストーリーボード、クレイレンダリング）およびそれに対応する最終動画からのネイティブデータを利用します。

4. 実験結果

実験は提案されたベンチマークで行われ、最先端のオープンソースモデル（例：VACE、VINO、OmniWeaving）およびプロプライエタリシステム（例：Kling、Seedance）と比較されました。

CogVLM の性能：CogReasonBench において、RFT 訓練済み CogVLM は、マルチモーダル意図、情報の完全性、および動作記述において、汎用 VLM（例：Qwen3-VL-Thinking）を大幅に上回り、ドメイン固有の訓練の必要性を実証しました。
CogOmniControl の性能：CogControlBench において、CogOmniControl はオープンソースモデルの中で最高の平均スコア（0.727）を達成し、VINO（0.686）および VACE-Wan2.1（0.665）を凌駕しました。また、最強のプロプライエタリシステムである Seedance2.0（0.750）との性能差を縮めました。
Best-of-N の影響：適応的に選択された評価器を用いた Best-of-N 選択を適用することで、さらに性能が向上（0.742）し、クローズドループハーネスアーキテクチャの有効性が検証されました。
定性的結果：視覚的比較により、CogOmniControl はアーティファクトや意味的ミスマッチに悩まされがちなアダプターベースの手法と比較して、より優れた視覚的一貫性、滑らかな動作、および抽象的制御（クレイレンダリングなど）へのより正確な追従を実現した動画を生み出すことが示されました。

5. 意義と主張

本論文は、CogOmniControl が単純な条件注入から推論駆動型生成への転換を表すと主張しています。その意義は以下の点にあります：

認知ギャップの埋め合わせ：専門データで訓練された専用 CogVLM によって、抽象的な条件を解釈し、高レベルの創造的意図に整合させることに成功しています。これは汎用 VLM が失敗するタスクです。
クローズドループアーキテクチャ：適応型評価器ハーネスの統合により、自己修正型の生成プロセスを可能にし、各入力の特定の創造的意図に合わせた Best-of-N 選択を実現します。
プロフェッショナルな関連性：現実世界の制作データとベンチマークを活用することで、単なる一般テキスト・ツー・ビデオタスクではなく、プロフェッショナルなワークフロー（ストーリーボード作成、クレイレンダリング）の特定のニーズに対応しています。

著者は、CogOmniControl が既存のオープンソース制御動画生成器を一貫して上回り、推論駆動型フレームワークがプロフェッショナルな動画制作の複雑さを効果的に処理できることを実証していると結論付けています。