Predicting total time to compress a video corpus using online inference systems

あなたは、膨大な数のビデオファイルが圧縮（ストリーミング用にサイズを縮小する作業）のために次々と持ち込まれる、巨大なデジタルライブラリを運営していると想像してください。この「圧縮」というプロセスは、スーツケースの荷造りに似ています。ビデオデータを折り畳んだり押し込んだりしてスペースを節約しなければなりませんが、ビデオの動きが激しかったりテクスチャが複雑だったりすると、その分、時間がかかります。クラウドコンピューティングの世界では、この荷造りに正確にどれくらいの時間がかかるかを知ることは非常に重要です。なぜなら、企業がどれだけの電力を消費すべきか、そしてより重要なことに、顧客にいくら請求すべきかを判断できるからです。現在、ほとんどのシステムは「目隠しをしたシェフ」のように振る舞っています。彼らは、料理を食べ終わった後にしか、その食事の値段を教えてくれません。これでは予算管理が困難になります。科学者たちは、個々のビデオクリップの時間を予測しようと試みてきましたが、それはトラック一杯のレンガの総重量を、レンガを一つずつ重さで測って予想しようとするようなものです。それは時間がかかりすぎますし、誤差も蓄積されてしまいます。大きな疑問は、「作業を完了する前に、ビデオの全集合（コーパス）の圧縮にかかる合計時間を予測できるのか？ そして、作業を進めながらより賢くなれるのか？」ということです。

トリニティ・カレッジ・ダブリンのチームによるこの論文は、まさにその問題に取り組んでいます。彼らは、ビデオクリップ一つひとつに対して時間を予測する代わりに、ビデオのコレクション（コーパス）全体の圧縮に必要な時間を予測する、新しい種類の「スマートな計算機」を構築しました。彼らは、全体像を見る方が個々の断片を見るよりもはるかに優れていることを見出しました。実際、彼らの「全体の時間を予測する手法」は、従来の「個別のクリップを推測する手法」よりも2倍以上正確でした。

彼らのシステムの仕組みを、楽しい比喩を使って説明します。あなたが600もの異なる部屋の塗装作業を行う建設現場の現場監督だと想像してください。小さなプレーンな部屋もあれば、巨大で複雑な壁画がある部屋もあります。

• 従来の方法（クリップごとの予測）： 作業を開始する前に、すべての部屋を塗るのにどれくらいの時間がかかるかを予想しようとします。例えば、壁画のある部屋には10時間、クローゼットには1分かかると予想するかもしれません。しかし、もし一つの予想でも外れると、作業全体の推定値は狂ってしまいます。
• 新しい方法（コーパス予測）： 塗装を開始します。数部屋（例えば、作業全体のわずか2%）を塗り終えたところで、一度立ち止まって状況を確認します。そして、「おや、今まで塗った部屋は平均して1部屋あたり15分かかっているな」と気づきます。次に、この現実世界のデータを使って、残りの588部屋にどれくらいの時間がかかるかを予想します。

著者たちは、このアイデアを2つの異なる「塗装ツール」（x264およびx265と呼ばれるビデオコーデック）と、高品質な4Kビデオクリップ600個の巨大なデータセットを用いてテストしました。彼らはただ推測したのではなく、進行しながら学習するシステムを構築しました。彼らはこれを「オンライン推論」と呼んでいます。これは、静的な地図を最初に与えるのではなく、新しいランドマークを通過するたびにルートと到着時刻を更新するGPSのようなものです。

彼らはいくつかの戦略をテストしました：

1. 「プログレスバー」による推測： 最も単純な方法です。これは、すでに完了したものの平均時間と同じ時間が残りのビデオにもかかると仮定します。悪くはありませんが、優れているとは言えません。
2. 「グルーピング」による推測： この方法は、ビデオの複雑さに基づいてビデオをグループ（クラスター）に分類します（部屋を、壁画がある部屋とプレーンな壁の部屋に分けるようなものです）。そして、各グループ内の残りの部屋の時間を個別に予測します。これはより優れた方法です。
3. 「スーパーブレイン」による推測（機械学習）： これはXGBoostと呼ばれるスマートなアルゴリズムを使用します。すでに処理したビデオの詳細を分析し、残りの時間を予測するための複雑なパターンを学習します。

結果は驚くべきものであり、印象的でした。著者たちは、作業全体を通して「スーパーブレイン」を使う必要はないことを見出しました。実際、最良の戦略は「ミックス・アンド・マッチ」のアプローチでした。

• 開始前： 全般的な「スーパーブレイン」モデルを使用して、大まかな目安を得ます。x264ツールの場合、この予測の誤差は全時間の約13.5%でした。
• 2%完了後： オンラインで学習する「スーパーブレイン」に切り替えます。これにより、誤差は約8.75%に減少しました。
• 6%完了後： より単純な「グルーピング」手法に切り替えます。驚くべきことに、このシンプルな手法の方がさらに正確になり、誤差はわずか5%未満（x264で4.89%、x265で5.11%）にまで下がりました。

この論文は、良い結果を得るために、すべてに対して単一の複雑なモデルを訓練する必要があるという考えに対して、明確に反論しています。彼らは、他のソースから得られたデータで訓練された「一般的なモデル」は、実際の作業が始まった後は性能が低下することを証明しました。また、正確な予測（誤差5%未満）を得るために、作業が50%や90%完了するまで待つ必要はないことも証明しました。わずかなビデオを処理しただけで、非常に正確な予測が可能になります。

チームは、2秒または4秒の長さの600個のクリップを処理する、64コアの強力なコンピュータ上でこれを測定しました。彼らは、これらの予測を実行するために必要な「脳の力（計算負荷）」は極めて小さく、ビデオ圧縮プロセス全体に加える時間は0.2%未満であることを発見しました。これは、彼らのシステムが、実際のビデオ圧縮を遅らせることなくリアルタイムで使用できるほど高速であることを意味します。

要約すると、この論文は、膨大なビデオ作業にどれくらいの時間がかかるかを予測するには、「水晶玉（予知能力）」よりも「学習する現場監督」である方が適していることを示唆しています。小さなサンプルを観察し、作業を進めながら予想を調整することで、一つひとつのステップを事前に予測しようとするよりも、はるかに高い精度で総コストと時間を予測できるのです。これは、クラウド企業がコストを節約し、顧客が作業を開始する前に、自分が支払うことになる金額を正確に知ることを可能にします。