AbsoluteDegradation: A Physics-Inspired Synthetic Film-Degradation Pipeline and Archival Film Restoration Benchmark

あなたは、1920年代の、埃っぽく、傷だらけで、色褪せた古いホームビデオを持っていると想像してください。あなたは、家族が再びそれを鮮明に見られるように、その映像を修復したいと考えています。問題は、オリジナルの完璧なバージョンは、時とともに朽ち果ててしまい、永遠に失われてしまったということです。そのため、コンピュータにどのように修正すべきかを教えるために、悪いバージョンと「完璧な」バージョンを並べて比較することはできません。なぜなら、完璧なバージョンは存在しないからです。

「AbsoluteDegradation」と題されたこの論文は、この問題を解決するために、バーチャル・タイムマシンと、古い映画を修復しようとするコンピュータのための新しいテスト場を構築しています。

彼らがどのように行ったのかを、簡単に説明します。

1. 問題点：「偽物」対「本物」

壊れたフィルムを修復する方法をコンピュータに教えるには、通常、「壊れた」バージョンと「完璧な」バージョンを並べて見せる必要があります。しかし、完璧なバージョンは失われているため、科学者たちはコンピュータを訓練するために偽の壊れたビデオを作ってきました。

• 従来の方法： 以前の手法は、子供が写真の上に落書きをするようなものでした。きれいな写真に対して、単にランダムに傷や埃、ぼやけを追加するだけでした。しかし、実際のフィルムの損傷はもっと複雑です。それは単なるランダムなものではありません。それは特定の順序（フィルムが露光され、現像され、その後スキャンされるプロセスのように）に従って発生し、時間の経過とともに特定の動きをします（例えば、10秒間同じ場所に留まる傷のように）。古い偽のビデオは十分に「リアル」ではなかったため、コンピュータは間違った教訓を学んでしまっていました。
• 新しい方法 (AbsoluteDegradation)： 著者たちは、物理ベースのシミュレーターを構築しました。画面にランダムに汚れを投げつけるのではなく、フィルムがどのように損傷するかという、実際の化学的および機械的なプロセスをシミュレートしました。
  • 「ゲート・ウィーブ（Gate Weave）」： 古いプロジェクターやスキャナーは、わずかに揺れます。著者たちは、コンピュータにこの特定の、リズムを持った揺れ（「オルンシュタイン＝ウーレンベック過程」という数学的概念を使用。これは、単に「揺れるが中心に戻ってくる」という高度な表現です）を模倣するようにプログラムしました。
  • 「粒子（グレイン）」： 本物のフィルム粒子は単なる静止ノイズではなく、画像の明るさに応じて変化します。彼らはこの特定の挙動をモデル化しました。
  • 「傷」： 本物の傷は、単に現れて瞬時に消えるのではなく、一定期間持続し、滑らかに移動します。彼らのシステムは、実際の物理的な損傷と全く同じように振る舞う傷を作り出します。

比喩： 車のエンジンを修理する方法を誰かに教えようとしていると想像してください。

• 従来の方法： あなたは彼に玩具の車を与え、それに砂を投げつけて「壊して」と言います。彼らは砂を直すことは学べますが、本物のエンジンについては学べません。
• 新しい方法： あなたは彼に本物のエンジンを与え、50年間にわたって錆、熱、摩擦がどのようにエンジンを壊していくかを正確にシミュレートして分解します。これで、彼らが本物の車を修理しようとする時、彼らは実際に正しい知識を持っています。

2. 新しい「試験」（ベンチマーク）

より良いトレーニング方法があったとしても、科学者たちは、コンピュータが本当にうまくやっているかどうかをテストするためのより良い方法を必要としていました。

• 問題点： 既存のテストデータセットは規模が小さかったり、品質が低かったり、あるいはアニメーション（実写フィルムとは見た目が異なる）が混ざっていたりしました。また、修復の成績を付けるための「採点基準（メトリクス）」も厄介でした。時として、コンピュータは画像をより「シャープ」にしますが、同時に「偽物」にもなります（本来存在しない詳細を追加してしまう）。そして、採点システムはそのような画像に高いスコアを与えてしまうことがありました。
• 解決策： 著者たちは、AbsoluteDegradation ベンチマークと呼ばれる大規模な新しいデータセットを作成しました。
  • 彼らは、議会図書館（Library of Congress）から収集した、実在するパブリックドメインの映画（1896年〜1918年）から、81,576枚の高解像度フレームを集めました。
  • これらは、現実世界の「野生の」映像であり、ウォーターマーク（透かし）もなく、アニメーションでもありません。
  • 彼らは、現在の「採点システム」が、高いスコアを得るためにコンピュータに偽の画像を作らせてしまうことがあることを証明しました。彼らの新しいベンチマークは、たとえ少し粒子が残っていたとしても、コンピュータが正直であり、オリジナルの歴史を保存するように強制します。

3. 結果

彼らの新しいトレーニング方法（AbsoluteDegradation）を従来の方法と比較した結果：

• 優れた汎用性： 彼らの「物理ベース」の偽ビデオで訓練されたコンピュータは、従来の単純な偽ビデオで訓練されたコンピュータよりも、実際の古い映画を修復することにおいてはるかに優れていました。
• 「幻覚（Hallucinations）」の回避： 古い手法は、しばズレた詳細を「修正」しようとして、新しい詳細を捏造することがよくありました（例えば、傷を線のように見えるまでシャープにするなど）。新しい手法は、慎重に行動することを学び、元のテクスチャや歴史を損なうことなく、偽の詳細を追加しないように学習しました。
• 「オーバー・スムージング（過度な平滑化）」の罠： 論文では、単純な「ホワイトノイズ」（古いテレビの砂嵐のようなもの）を使用してコンピュータを訓練すると、コンピュータはすべてを滑らかにしてしまい、人の顔をぼやけた塊に変えてしまうことが判明しました。複雑でリアルなノイズを使用することで、コンピュータは帽子の折り目や顔の質感といった微細なディテールを維持することを学習しました。

まとめ

この論文は、主に2つのことを導入しています。

1. 物理学に基づいたシミュレーター： 物理的なプロセス（化学的および機械的なプロセス）を模倣した、非常にリアルな偽のビデオを作成する方法であり、これにより訓練されたコンピュータは、実際の古い映画を実際に修復することができます。
2. 現実世界でのテスト： コンピュータが単に採点システムを欺いているのではなく、実際にうまく機能していることを証明するための、高品質な実在の古い映画の大規模なデータセット。

究極の目標は、単にビデオを「綺麗」にすることではありません。偽の詳細を捏造したり、オリジナルのフィルムの特性を消し去ったりすることなく、その映像の真の歴史を忠実に復元することです。