Data-driven Video Codec with Implicit Neural Representations

膨大な高解像度の映画を友人に送ろうとしている場面を想像してみてください。デジタルメディアの世界では、通常、ビデオとオーディオは、小さな色のタイル（ピクセル）で作られた巨大なモザイク画と、それとは別の音波のストリームとして扱われます。従来のビデオコーデックは、このモザイク画を観察し、退屈で繰り返されるパターンを見つけ出し、より少ないタイルを使ってそれを再構築するための非常に巧妙な指示書を作成する、熟練の記録係のようなものです。これらは驚異的に効率的ですが、固定されたピクセルのグリッドに依存しています。

では、別の方法を想像してみてください。タイルそのものを保存する代わりに、たった一つの「超スマートなレシピ」を保存するとしたらどうでしょう？そのレシピとは、数学的な関数であり、「この特定の場所、この特定の時間におけるピクセルの色は何か？」と問いかけると、即座にその正確な色と音を答えてくれるものです。これが**潜在的ニューラル表現（Implicit Neural Representations: INRs）**の世界です。これは、キャンバスの写真を撮るのではなく、ロボットに筆致（ブラシストローク）を学習させる方法に似ています。もしロボットがそのレシピを完璧に理解していれば、後でその動画全体を再現するために、そのレシピ（ロボットの「脳」や重み）を保存するだけでよいのです。この論文では、ビデオとオーディオの両方を一つの単一の脳の中に一緒に保存できるのか、そしてその脳を実用的なサイズまで小さくできるのかを探求しています。

「単一の脳」ビデオコーデック

ネパールのトリブバン大学の研究者たちは、大胆な問いを投げかけました。「単一のニューラルネットワーク、つまりデジタルな脳を構築して、ビデオプレーヤーとサウンドシステムの両方を同時に学習させることができるだろうか？」通常、ビデオとオーディオは別々のシステムによって処理されます。ここでは、SIREN（Sinusoidal Representation Network）と呼ばれる統一されたネットワークを構築しました。

このネットワークを「魔法の翻訳機」と考えてみてください。あなたは座標のセットを入力します：画像内のどこにいるか（x, y）、映画のどのフレームか（t）、そして音の正確な瞬間（T）。するとネットワークは、その瞬間のピクセルの色と音の音量を返します。何百万ものピクセルを含むファイルとして保存する代わりに、彼らはネットワークの「重み」、つまり翻訳機を機能させるための数学的な設定を保存します。

しかし、問題がありました。ビデオとオーディオは非常によく異なる性質を持っています。ビデオはゆっくりと変化しますが（歩いている人など）、オーディオは驚くほど速く変化します（バイオリンの弦の振動など）。研究者たちは、単一のネットワークの「最初の層」では、両方をうまく扱うことができないことを見出しました。それは、本を読むための眼鏡と交響曲を聴くための眼鏡を、一つの眼鏡で使い分けようとするようなもので、どちらもうまくいきませんでした。そこで、彼らはネットワークの最初に、ビデオ用の「遅い動き」とオーディオ用の「速い動き」に調整された二つの異なる「眼鏡」（初期化層）を与え、それらを一つの共有された脳へと統合しました。

圧縮のマジック・トリック

このアイデアの最大の課題は、「レシピ」（学習済みネットワーク）がしばしば巨大であることです。実際、短いビデオであっても、レシピがビデオファイル自体よりも大きくなることがあります！これを解決するために、チームは3段階の圧縮パイプラインを使用しました。

1. 教師と生徒: まず、ビデオを完璧に記憶するために、大規模で複雑な「教師（Teacher）」ネットワークを学習させました。この教師は巨大でした（約9.05 MiB）。次に、**知識蒸留（Knowledge Distillation）**という手法を用いました。教師がより小さく単純な「生徒（Student）」ネットワークにビデオを説明する様子を想像してください。生徒は単に生のビデオを学ぶのではなく、教師の回答を模倣することを学びます。これにより、モデルを大幅に縮小することができました。
2. 量子化（丸めゲーム）: ネットワークの重みは通常、高い精度（32ビットの数値など）で保存されます。研究者たちは、これらの数値をより少ないビット数（例えば16ビットの整数）に切り捨てる実験を行いました。これは、非常に精密なレシピが「塩を1.000001グラム加える」と言っているのを、「塩を1グラム加える」と簡略化するようなものです。彼らは1ビット（非常に粗い）から32ビット（非常に精密）まであらゆるパターンをテストしました。その結果、16ビットに達した時点で、品質の向上は止まることがわかりました。それ以上に精度を上げてもビデオは良くならず、それ以下に下げると見た目がひどくなってしまいました。
3. ロスレス・パッキング: 最後に、残ったデータを情報を失うことなく圧縮するために、.xz ファイルなどで使われる標準的な圧縮ツールである LZMA2 を使用しました。

結果：混合的な評価

チームはこの手法をいくつかの短いビデオでテストしました。結果は以下の通りです。

• サイズの勝利: テストした6.08 MiBのビデオに対し、最終的な圧縮モデルは2.33 MiBでした。これは2.61の圧縮率です。彼らはビデオとオーディオを、元のファイルの半分以下のサイズに押し込めることに成功しました。
• 品質のトレードオフ: ビデオの品質はそこそこでしたが、素晴らしいとは言えませんでした。テストされた中で最高のビデオは、PSNR 28.72 dB（値が高いほど高品質を示す指標）とSSIM 0.75を記録しました。オーディオは、PSNR 24.18 dBでした。
• 「短いビデオ」の問題: これが最も重要な発見です。ネットワークには固定されたサイズがあるため（動作するために一定の「脳」を必要とするため）、短いビデオを圧縮すると、逆にサイズが大きくなってしまいます。わずか5秒間のクリップの場合、圧縮後のファイルは元のファイルよりも大きくなりました。この手法は、ネットワークの固定コストを正当化できるほどビデオが十分に長くなって初めて、スペースの節約が始まります。
• 巨人たちとの比較: 彼らの手法を、業界標準である H.264 や HEVC（YouTubeやNetflixで使用されているコーデック）と比較したところ、彼らの手法は敗北しました。従来のコーデックはビデオの圧縮においてはるかに優れており、しばしば10倍以上の圧縮率を実現します。彼らの手法が従来のコーデックと同等の品質を実現できたのは、従来のコーデックが最も「粒の荒い」低品質設定になっている場合に限られていました。

なぜこれが重要なのか（完璧ではないとしても）

著者たちは非常に正直に、現在の限界について認めています。現時点では、この手法はYouTubeやNetflixに取って代わる準備ができているわけではありません。学習に時間がかかりすぎ（一つのビデオを「教える」ために数千時間のコンピュータ計算時間を要する）、動きの速いシーンにも苦戦します。

しかし、彼らはユニークな発見をしました。それは、ファイルサイズが一定であるということです。従来のビデオでは、ビデオの長さが2倍になればファイルサイズも2倍になります。しかし、この手法では、ある一定の最小限の長さを超えると、ビデオが1分であっても1時間であっても、ファイルサイズはほぼ同じに保たれます。これは、非常に長い高解像度のコンテンツに対して、このアプローチが将来的に非常に効率的になる可能性を示唆しています。

また、彼らはウェブブラウザ上で動作するプロトタイプを構築し、標準的なウェブ技術を使用して、これらの「ニューラル・ビデオ・レシピ」をインターネット経由で学習、送信、再生することが可能であることを示しました。

要するに、この論文は現在のチャンピオンを打ち負かす新しいビデオ形式を発明したわけではありません。その代わりに、ビデオとそのサウンドトラックを単一の数学的な脳の中に格納でき、その脳を品質を損なうことなく実用的なサイズまで縮小できることを証明しました。これは、私たちが単にピクセルを送るのではなく、ピクセルを想像するための「指示書」を送るようになる未来への、有望な一歩なのです。