GVC-RT: Towards Real-Time Generative Video Compression at Ultra-Low Bitrates
GVC-RTは、非対称アーキテクチャと軽量なデトカナイザーを採用することで推論時のボトルネックを排除し、1080pのビデオ処理を55 fps超で実現することで、超低ビットレート圧縮と最先端の忠実度を達成するリアルタイム生成ビデオコーデックである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは友人に映画を送ろうとしていると想像してみてください。しかし、あなたのインターネット接続は非常に遅いため、1秒間に数枚のとても小さなポストカードを送ることしかできません。ビデオ圧縮の世界では、これが「超低ビットレート」という課題です。何十年もの間、科学者たちはビデオデータをより小さく、より小さなパッケージに押し込もうと試みてきました。従来の方法はフォトコピーパー（複写機）のように機能します。つまり、すべてのピクセルを正確に同じ状態に保とうとするのです。しかし、写真をあまりに小さく縮小しすぎると、ぼやけた、ブロック状のひどい状態になってしまいます。
最近、「生成ビデオ圧縮（Generative Video Compression）」と呼ばれる新しいアプローチが登場しました。単にピクセルをコピーするのではなく、これらのシステムは熟練した芸術家のように振る舞います。彼らはいくつかのラフなスケッチ（「コード」）を送り、受信側のコンピュータにこう伝えます。「ねえ、船がどんな形をしているか知ってるよね？ ここに本当に素晴らしい船を描いておいて」と。これにより、極めて少ないデータ量でも、見事で見事な、リアルな画像を作り出すことができます。しかし、落とし穴があります。それは、受け手側にいる「芸術家」が通常、巨大で、遅くて、スーパーコンピューターのような脳を持っていることです。絵を描くのに時間がかかりすぎるため、リアルタイムで動画を見ることができません。それはまるで、たった一コマの絵を完成させるのに3日もかかる熟練の画家がいるようなものです。研究者たちの大きな疑問は、「この芸術的な魔法を、動画が送られてくるのと同時に視聴できるほど速く実現できるのか？」ということでした。
ここで、この「芸術家」を一般的なビデオプレーヤーの速度まで引き上げるために設計されたシステム、GVC-RTを紹介する論文が登場します。研究者たちは、Tianjian Dang氏とその同僚たちによるものですが、従来のやり方は重すぎると気づきました。彼らは、これらの生成システムがなぜこれほど遅かったのかについて、主に3つの理由を特定しました。ビデオを「スケッチ」に変換するプロセス（トークン化）が重すぎたこと、スケッチが芸術家のスタイルと一致していることを確認するプロセス（アライメント）が複雑すぎたこと、そして、スケッチを再び画像に戻す最終ステップ（デトークン化）がコストがかかりすぎたことです。
これを解決するために、彼らは巧妙な「非対称」のアプローチを用いて、システムを完全に再設計しました。これは、メッセージを送る人（エンコーダー）は速くてシンプルなランナーであり、メッセージを受け取る人（デコーダー）は強力でクリエイティブな画家である、というハイステークスな「伝言ゲーム」のようなものです。従来のシステムでは、ランナーが画家の仕事もこなさなければならず、それが全体の速度を低下させていました。G로G-RTでは、ランナーは不可欠な情報だけを掴み取り、それを手渡すだけです。重労働である「生成アライメント（ジェネレーティブ・アライメント）」、つまり受信側が正確にどのスタイルを使用すべきかを確認する作業は、完全にトレーニング段階へと移動されました。これは、ゲームが実際に始まる前に、画家がランナーの特定のハンドサインを完璧に認識できるように教えておくようなものです。そうすれば、実際のゲーム中には、確認のために立ち止まる必要がなくなります。
さらに、彼らは巨大で遅い画家を、「蒸留（ディスティル）」されたバージョン、つまり、才能はそのままに、はるかに速く動く軽量な芸術家に入れ替えました。彼らは、この軽量な芸術家に、重くて遅いマスターの仕事をコピーさせることで、膨大な計算コストをかけることなく、同じ高品質な結果を生み出せるよう訓練しました。
結果は素晴らしいものです。チームは、標準的で強力な家庭用グラフィックスカード（NVIDIA RTX 4090）を用いてシステムをテストしました。その結果、GVC-RTは高精細な1080pビデオにおいて、123.1 fpsでエンコードし、55.1 fpsでデコードできることがわかりました。これを換算すると、標準的な映画は24または30 fpsで再生されるため、このシステムは余裕を持ってリアルタイムのストリーミングを処理できる速度を備えています。品質面では、以前の最高モデル（GLC-Video）を大幅に上回り、人間の目には同じ、あるいはそれ以上に良く見える状態で、データ使用量を約**12.4%から48.8%**削減しました。
この論文は、「トークン化」の重いステップを取り除き、複雑なスタイルマッチングをトレーニング段階に移動させることで、高品質で芸術的なビデオ圧縮とリアルタイムの速度との間の溝を埋めることに成功したと示唆しています。彼らは、自分たちのシステムがいまだに強力なコンシューマー向けハードウェアに依存していることを認めてはいますが、リアルタイムの生成ビデオ圧縮が、もはやスーパーコンピューターだけの夢ではなく、今日のゲーミングセットアップに見られるようなデバイスで実行可能な現実であることを証明しました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。