PixRestore: Unified Image Restoration via Pixel Diffusion Transformer

私たちのカメラは、日々、不完全な形で世界を捉えています。突然の豪雨がレンズに筋を残し、濃い霧が遠くの山をぼやけさせ、薄暗い部屋は顔を影へと変えてしまいます。何十年もの間、科学者たちは、これらの損傷した画像を修正し、ぼやけたり、ノイズが入ったり、遮蔽されたりした写真を、鮮明でシャープなものへと戻すことができるコンピュータプログラムを構築しようと試みてきました。画像復元として知られるこの分野は、長らく2つの主要な戦略に依存してきました。第一の手法は、問題を単純な数学パズルとして扱い、損傷した画像に基づいて最も可能性の高い元の画像を計算しようとするものです。この方法は高速ですが、結果が滑らかになりすぎ、写真に実在感を与える微細なテクスチャが失われてしまうことがよくあります。第二の手法は、テキストによる記述から新しい画像をゼロから生成するために設計された強力な生成モデルを使用します。これらのモデルはリアルな詳細を捏造することには長けていますが、時として存在しないものを作り出したり、画像を抽象的な隠れコードへと圧縮してから修正を試みるために、保存すべき特定の細部を見落としたりすることがあります。

香港理工大学とOPPOリサーチインスティテュートの研究者たちは、このギャップを埋める「PixRestore」と呼ばれる新しいアプローチを開発しました。アートをテキストから生成するための重厚で複雑なシステムや、詳細を滑らかにしてしまう単純な数学に頼るのではなく、彼らは画像の生のピクセル上で直接機能するシステムを構築しました。画像を、圧縮されたファイルとしてではなく、色とりどりの小さな点の広大なグリッドとして想像してみてください。現代のほとんどの復元ツールは、時間を節約するために、これらの点をより小さく抽象的な表現へと押しつぶします。これは、長い本をいくつかの箇条書きに要約するようなものです。問題は、要約する過程で、物語の具体的なニュらぎを失ってしまうことが多い点です。PixRestoreはこの要約ステップを完全にスキップします。それは、色の付いた点のフルグリッド上で直接動作します。これにより、すべての微細なエッジやテクスチャを保持しながら作業を行うことができます。これによって、システムは競合他社よりもはるかに少ない計算能力を使用しながら、驚くほど効率的に動作し、鮮明で実生活に忠実な結果を生み出すことができるのです。

この新しいシステムの核となるのは、「拡散トランスフォーマー（Diffusion Transformer）」と呼ばれる一種の人工知能アーキテクチャです。簡単に言えば、このモデルは劣化のプロセスを逆転させることを学習します。ノイズの乗った、損傷した画像から始まり、クリーンな画像が現れるまで、段階的にノイズ、雨、またはぼやけを取り除く方法を学びます。PixRestoreをユニークにしているのは、このプロセスをどのように導くかという点です。研究者たちは、異なる種類の損傷には異なる種類の注意が必要であることに気づきました。例えば、雨の筋を取り除くには、細く鋭い線を見る必要がありますが、暗い低照度の写真を修正するには、シーン全体の形状や明るさを理解する必要があります。これに対処するため、システムは、異なる焦点レベルを持つ「視覚の専門家」のように機能する、事前学習済みのモデルを使用します。この専門家は損傷した画像を観察し、画像のどの部分がまだ信頼できるのか、そしてどの部分が信頼するには損傷が激しすぎるのかを復元モデルに伝えます。画像の層がまだクリアであれば、システムはそれを強力なガイドとして使用します。もし層がひどく損傷していれば、システムはその層を無視し、クリーンな画像がどうあるべきかという自身の知識により多く頼ることを知っています。この適応的なガイダンスにより、モデルが除去しようとしている損傷によって混乱することを防いでいます。

このアプローチの結果は驚くべきものです。研究者たちは、雨、雪、霞、ぼやけ、低照度を含む8種類の異なる画像損傷に対してモデルをテストしました。これらのテストにおいて、PixRestoreは画像の詳細をシャープに保ちながら、従来の手法よりも効果的に損傷を取り除くことに成功しました。おそらく最も驚くべきことは、これらすべてをわずか約5,000万個のパラメータを持つモデルで行ったことです。これを比較するために、重厚なテキスト・トゥ・イメージ技術を使用する多くの競合システムが、単一の画像を生成するために膨大な計算量と時間を必要とし、それらは数十億倍も大きいということを念頭に置いてください。対照的に、PixRestoreは、標準的なハードウェア上で1秒未満で、単一のステップで復元画像を生成できます。このスピードと効率性は、このようなテクノロジーが大規模なデータセンターに留まるのではなく、スマートフォンなどの日常的なデバイスで動作できる可能性を意味しています。

チームはまた、単にモデルを大きくするだけで、さらに優れたものにできることも発見しました。彼らはシステムのより大きなバージョンをテストし、それらのスケールアップされたモデルはさらに高品質な結果を生み出したため、彼らの設計は計算能力の向上に合わせて成長できる準備ができていることを示唆しています。しかし、研究者たちは、彼らのシステムは大きな進歩ではあるものの、完璧ではないとも指摘しています。有用な情報がほとんど残っていないほど損傷した画像に対しては依然として苦戦しており、現在は特定の画像解像度において最もよく機能します。こうした限界はあるものの、この研究は、画像を効果的に復元するために、必ずしも巨大で複雑なシステムは必要ないということを証明しています。生のピクセルで直接作業し、スマートで適応的なガイダンスを用いることで、速く、かつ元のシーンに忠実なツールを構築することが可能です。このアプローチは、単なる規模や複雑さよりも、明瞭さと効率性を優先する、画像復元の新たな道を提示しています。