SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model
SkyReels V4 は、テキストや画像、動画、マスク、音声など多様な入力を統合的に処理し、1080p 解像度・32 フレーム・15 秒の映画級の高品質な映像と同期した音声を同時に生成・修正・編集できる、初のマルチモーダル動画基盤モデルです。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
🎬 スカイリールズ-V4：映画のような映像と音声を、一言で生み出す「魔法のスタジオ」
この論文は、**SkyReels-V4（スカイリールズ・バージョン 4）**という、画期的な AI モデルについて紹介しています。
これを一言で言うと、**「テキスト、写真、動画、音声、マスク（消したい部分の指定）など、あらゆる情報を混ぜて、高画質な映画レベルの映像と、それに完璧に同期した音声を、一瞬で作り出すことができる『万能の映画スタジオ』」**です。
これまでの AI は「映像だけ作る」か「音声だけ作る」か、あるいは「映像を編集する」か「音声を作る」かを別々に行うことが多かったのですが、SkyReels-V4 はこれらをすべて一つの頭脳で統合してしまいました。
以下に、専門用語を排し、身近な例え話を使って解説します。
1. 二つの頭脳を持つ「双子の天才」
SkyReels-V4 の最大の特徴は、「映像を作る頭脳」と「音を作る頭脳」が、双子のようにペアになって働いていることです。
- 映像の頭脳（ビデオ・ブランチ）： 画面の動き、光、色、登場人物の表情などを描きます。
- 音の頭脳（オーディオ・ブランチ）： 会話、BGM、効果音などを生み出します。
これらは別々に働いているのではなく、**「共通の言語（テキスト）を理解する先生（MLLM）」**を共有しています。そのため、「犬が走って、鳴き声を上げる」と指示すると、映像の頭脳は「走る犬」を描き、音の頭脳は「ワンワン」という声を同時に作ります。まるで二人のミュージシャンが、同じ指揮者の下で息を合わせて演奏しているかのようですね。
2. 「パズル」のように映像を自由自在に操る
この AI は、映像の「生成（ゼロから作る）」「修正（インペインティング）」「編集」を、すべて**「パズルの穴埋め」**という同じ仕組みで処理します。
- ゼロから作る： 白いパズル盤に、指示通りに絵を描き足す。
- 画像から動画へ： 最初の一枚の写真をパズルの「完成形の一部」として置き、残りを埋める。
- 編集や消去： 「この部分（マスク）を消して、別の風景に書き換えて」と言うと、AI はその部分だけをパズルのように差し替えて、周囲と自然に馴染ませます。
これまでは「映像を作る AI」と「編集する AI」は別々でしたが、SkyReels-V4 は**「パズルを埋める」という一つのルールで、あらゆる作業をこなせる**ため、非常に柔軟です。
3. 「参考書」と「下書き」で、高画質・長時間を実現
1080p（高画質）で 15 秒間、30 枚以上のフレーム（32 フレーム/秒）の動画を、音声付きで生成するのは、通常、計算量が膨大すぎて「重すぎて動かない」という問題がありました。
SkyReels-V4 は、これを**「下書きと仕上げ」の 2 段階プロセス**で解決しました。
- 下書き（低解像度）： まず、全体像を低解像度でサクッと作ります。同時に、重要な場面（キーフレーム）だけ高解像度で描きます。
- 仕上げ（超解像・補間）： 専門の「仕上げ職人（リファイナー）」が、下書きを元に高解像度化し、フレーム間の動きを滑らかに補間します。
これは、**「まずスケッチで全体の構図を決め、重要な部分だけ丁寧に描き、最後に全体を鮮明に仕上げる」**という、画家の作業工程に似ています。これにより、高画質でありながら、驚くほど高速に生成できます。
4. 何でもできる「万能な指示」
この AI は、単なるテキストだけでなく、以下のような多様な情報を「指示」として受け取れます。
- テキスト： 「夕焼けのビーチで、猫が走っている動画を作って」
- 画像： 「この写真の猫を、この動画の動きに合わせて走らせて」
- 動画： 「この動画の背景を、この写真の森に変えて」
- 音声： 「この声のトーンで、このセリフを喋らせて」
- マスク： 「この部分だけ消して、新しい服を着せて」
これらを組み合わせることで、**「写真 A の人物が、動画 B の動きで、音声 C のトーンで、新しい背景 D を背景に喋る動画」**といった、複雑なリクエストも一度にこなしてしまいます。
5. どれくらいすごいのか？（実績）
このモデルは、世界中の他のトップクラスの AI（Google の Veo や、Kuaishou の Kling など）と比べても、「映像と音声を同時に作る」分野でトップクラスの評価を得ています。
- 指示に従う力： 複雑なリクエストを正確に理解し、実行します。
- 動きの自然さ： 人物の動きやカメラワークが滑らかで、不自然な揺れがありません。
- 音と映像の同期： 口パクと声、あるいは足音と歩行が完璧に合っています。
まとめ：未来のクリエイターはこうなる
SkyReels-V4 は、「映像と音声を別々に作っていた時代」から、「映像と音声が一体となって、あらゆる指示に応える時代」への転換点を示しています。
まるで、**「あなたの頭の中のイメージを、言葉や写真、音さえあれば、すぐに映画館で上映できるレベルの作品に変えてくれる魔法のスタジオ」**が手元にあるようなものです。これにより、映画監督や広告クリエイターだけでなく、誰でも簡単に高品質なストーリーテリングが可能になる未来が近づいています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。