💻 コンピュータサイエンス

VideoGen Model 1: Prompt Expansion Versus Formatting in Audiovisual Generation

VideoGen Model 1の制御されたパイロット運用において、クリエイティブなプロンプト拡張は、生のプロンプトや単に再フォーマットされたプロンプトと比較して、視覚的な品質はほとんど変化しなかった一方で、VA-Judgerによって評価された際に、全体的な音響・視覚的品質およびプロンプトへの整合性スコアを大幅に向上させた。

原著者： David Grossman, Anton Koenig

公開日 2026-10-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： David Grossman, Anton Koenig

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

単純なテキストによる記述からビデオを作成する作業は、言語と視覚芸術が交差する領域に位置しています。コンピュータが動く映像を生成するためには、言葉を、照明、動き、音響を備えた物語を伝える一連のフレームへと翻訳しなければなりません。課題は、人間の簡潔なアイデアと、機械が必要とする具体的な指示との間にある隔たりにあります。「テーブルの上のキャンドル」というプロンプトは、人間にとっては明確ですが、ビデオ生成器にとっては、光がどのように落ちるか、炎がどのように動き、あるいは部屋がどのような音を発するかを決定するために必要な詳細が欠けています。研究者たちは以前から、より詳細で構造化された指示を提供すれば、より良い結果が得られるのではないかと疑ってきましたが、問題は、その改善が単に言葉を正しく整理したことによるものなのか、それとも元のプロンプトには含まれていなかった新しい創造的な詳細を加えたことによるものなのかという点でした。

VideoGenの研究チームは、自社のビデオ生成モデルである「Model 1」をテストすることで、この問いに答えるべく乗り出しました。彼らは、「フォーマット化（形式化）」という行為と「拡張」という行為を分離するために、制御された実験を設計しました。実験の設定において、彼らは商業広告から自然、ファンタジーのシーンまで、幅広い主題を網羅する30種類の異なるテキストプロンプトを取り上げました。各プロンプトに対して、コンピュータに投入するための3つのバージョンを作成しました。最初のバージョンは、ユーザーが書いた通りに、全く加工していない元のテキストです。2番目のバージョンは、元のアイデアは維持したまま、コンピュータが理解しやすい特定の構造へと再配置したものです。これは、新しい創造的な内容を追加することなく、視覚的描写、効果音、背景音楽のためのフィールドに指示を整理したものです。3番目のバージョンは、洗練された執筆システムを用いて、両方を行うものでした。つまり、プロンプトを要求された構造に整理した上で、カメラアングル、素材の質感、登場人物の具体的な動き、そしてオーディオ環境の細部といった、豊かな創造的詳細を付け加えたものです。

研究者たちは90本の短いビデオクリップを生成し、あらゆる他の要因が同一であることを確認しました。彼らは、すべてのバージョンのプロンプトに対して、同じコンピュータハードウェア、同じ生成プロセスのランダムな開始点、および同じ設定を使用しました。この厳格な制御により、最終的なビデオの差異は、テキスト指示の書き方にのみ起因することが保証されました。結果を評価するために、彼らは2つの異なる自動システムを使用して各クリップを格付けしました。これらのシステムは、元のアイデアへの適合性、オーディオとビデオの一致度、音質の質、映像の質、そしてシーンの完全性と一貫性の5つのカテゴリーにおいて、1から10のスケールでビデオを採点しました。

結果は、拡張されたプロンプトの明確な優位性を示しました。フォーマット化はされているが内容は変わっていないプロンプトから生成されたビデオと比較して、拡張された詳細な指示から作られたビデオは、全体的に高いスコアを獲得しました。一方の評価システムは、拡張版に対して平均で0.5ポイント以上高いスコアを与えており、これは統計的に有意な差でした。もう一方のシステムも改善を示しましたが、その差はより小さく、その結果の確実性はより低いものでした。最も劇的な改善が見られたのは、ビデオがプロンプトの意図にいかに忠実であるかという点でした。拡張された指示は、フォーマット化のみの場合よりも、コンピュータが特定のビジョンをより正確に理解し、実行するのを助けました。

興味深いことに、ビデオ映像自体の質は、異なる手法間でそれほど変化しませんでした。視覚的な明瞭さや細部の描写は、プロンプトが単にフォーマットされた場合でも、完全に拡張された場合でも、ほぼ同じ状態を維持していました。しかし、オーディオの質については、拡張版において顕著な向上が見られました。オーディオを評価したシステムは、拡張されたクリップに対し、フォーマットのみのクリップと比較して平均で丸々1ポイント高いスコアを付けました。このことは、音風景、背景音楽、そしてアクションとノイズの関係についての具体的な記述を加えることで、コンピュータがより説得力のある高品質なオーディオ体験を作り出すことができたことを示唆しています。この研究は、テキストを単に整理することも役立つものの、真の価値は、漠然としたアイデアを、機械がより精密に追従できる豊かで多感覚的な指示へと変える、創造的な拡張にあることを示しています。

VideoGen Model 1: Prompt Expansion Versus Formatting in Audiovisual Generation

技術要約：VideoGen Model 1：音響映像生成におけるプロンプト拡張とフォーマット化の比較

問題提起

手法

システムアーキテクチャ：「ライターズ・ルーム（Writers' Room）」

実験設計

主な結果

全体スコア

次元別の知見

意義と主張