$\pi$-SUB: A Physics-Informed Synthetic Underwater Benchmark Dataset for Underwater Image Enhancement

沈没船の完璧な写真を撮ろうとしている場面を想像してみてください。しかし、潜るたびに、水が巨大で不機嫌なフィルターのように振る舞います。赤系の色を奪い、浮遊する塵で細部を濁らせ、すべてを夢の中の水中であるかのように見せる霧のようなベールを被せてくるのです。これは、ロボットやカメラが海洋を探索する際の日常的な苦闘です。コンピュータに、これらのぼやけた青みがかった写真を修正する方法を教えるために、科学者たちは「教師の解答集」——つまり、乱れた水中写真と比較するための、完璧でクリーンなシーンを必要としています。しかし、ここには落とし穴があります。水が目の前にある状態で、沈没船の写真を撮らずに済む方法など存在しないのです。写真を撮るためだけに魔法のように海水を排出することはできません。そのため、長年、科学者たちはコンピュータ上に偽の水中世界を構築してAIを訓練しようとしてきました。問題は、これらの偽の世界の多くが、まるで質の低い映画のセットのようなものであることです。遠目にはそれなりに見えますが、光が深海でどのように振る舞うかという実際のルールに従っておらず、AIがその「偽のセット」で学んだことを実際の海洋写真の修正に適用しようとすると、混乱してしまうのです。

この論文は、π-SUBと呼ばれる、よりスマートな偽の水中世界の構築方法を紹介しています。これは、森の段ボールの切り抜きから、あらゆる葉、日光の光線、そして浮遊する塵の一つひとつが実際の物理法則に従う、完全にシミュレートされた生態系へとアップグレードすることだと考えてください。著者たちは、単に水中がどう見えるかを推測するだけでなく、さまざまな種類の水（澄んだ青い海から濁った沿岸の湾まで）がどのように光を吸収するか、カメラがどのくらいの深さにいるか、さらには微細な海洋植物（クロロフィルなど）がいかに水の色彩を変化させるかといった、実際の科学を用いて計算するシステムを作り上げました。彼らは、この「物理学に基づいた（physics-informed）」データセットを、より単純で古い偽のデータセットと比較検証し、それがより現実的であることを証明しました。π-SUBを使用して4種類のAI画像修正ツールを訓練したところ、それらのツールは実際の水中写真を修正する能力が大幅に向上しました。これは、完璧で科学的に正確なシミュレーションでロボットを教えれば、現実の世界をより良く見ることができるということを証明しています。

問題点：「偽の」海洋の罠

長年、水中写真を修正しようとする研究者たちは、大きな悩みを抱えてきました。コンピュータにぼやけた画像を修正する方法を教えるには、通常、ぼやけた画像と、同じ画像の完璧でクリーンなバージョンの両方を見せる必要があります。しかし、海においては、「完璧な」バージョンは存在しません。なぜなら、常に水が存在しているからです。そのため、科学者たちは合成データセット、つまりコンピュータによって生成された偽の水中画像を作り始めました。

しかし、これまでの試たちの多くは、まるで「カードの家」を建てているようなものでした。それらは、深くなるにつれて光が変化すること（「下降照度」）を無視したり、光を吸収する微細な生物学的粒子（藻類に含まれるクロロフィルなど）を忘れたり、すべての水を同じものとして扱ったりしていました。また、光が異なる粒子によってどのように散乱するかという複雑な現実世界の数学を用いる代わりに、光がブロックされる仕組みとして、単一の単純な公式を使用することがよくありました。その結果、これらの「段ボール」のようなデータセットで訓練されたAIモデルは、間違った教訓を学んでしまいました。彼らは特定の偽の画像に対しては修正が得意になりましたが、実際の海からの写真を修正しようとすると、失敗することがよくありました。なぜなら、実際の海は、偽のモデルが考慮していなかった、乱雑で深く、生物学的な驚きに満ちているからです。

解決策：物理学の力を借りたシミュレーター、π-SUB

論文の著者たちは、より優れたシミュレーターを構築することに決め、それをπ-SUBと名付けました。単に推測するのではなく、Jaffe–McGlameryモデルと呼ばれる古典的な物理モデルの拡張版に基づいたフレームワークを構築しました。しかし、彼らはそこで立ち止まりませんでした。従来のモデルが逃していた3つの主要な「超能力」でアップグレードしたのです。

1. 深さが重要であること： 彼らは、シーンに当たる光が、物体からどれだけ離れているかだけでなく、カメラがどれほどの深さにいるかに依存することに気づきました。彼らは、水柱を通って光がどのように衰退していくかをシミュレートするレイヤーを追加し、深さに応じて照明がリアルに変化するようにしました。
2. 水の生物学： 彼らは水の「成分」を分解しました。単に「水」と言うのではなく、クロロフィル（水を緑にするもの）やCDOM（溶存有機物）といった、水に含まれる特定の生物学的要素をモデル化しました。これにより、シミュレーターは、澄んだ青い海で見られるような景色や、藻類が豊富な緑色の湾で見られるような景色を、それぞれの正しい色彩の変化とともに作成できるようになります。
3. 「乱雑な」エキストラ： 実際の中水写真は、単に光が衰退しているだけではありません。浮遊する塵、霧のような霞、そして奇妙な光の演出があります。π-SUBフレームワークは、これらの「残差」現象を、個別の制御可能なレイヤーとして追加します。レシピにスパイスを加えるように、「浮遊する塵」をオン・オフしたり、「体積的な霞（volumetric haze）」を追加したりすることができるのです。

このシステムは3つのステップで動作します。第一に、クリーンな画像（データベースからの実写またはUnreal Engineのようなゲームエンジンからの3Dレンダリング）を取り込み、すべてのピクセルがどれくらい離れているかを算出します。第二に、新しい詳細な物理モデルを適用して、そのクリーンな画像を、水の種類と深さに基づいて光がどのように見えるべきかを正確に計算しながら、リアルな水中画像へと変換します。第三に、それらの追加の「乱雑な」エフェクトを加え、現実の世界により似せます。

結果：それは本当に機能するのか？

著者たちは単にこれを作っただけではありません。実際にテストを行いました。彼らが知りたかったのは2つのことです。それは、「リアリズムがあるか？」そして「AIの学習を助けるか？」ということです。

リアリズムを確認するために、彼らはπ-SUBを他の一般的な合成データセットと比較しました。彼らは、コンピュータが2つの画像グループがどれほど似ているかを測定する指標である、Fréchet Inception Distance（FID）という指標を使用しました。スコアが低いほど、画像はより現実的であることを意味します。結果は驚くべきものでした。π-SUBは、次に優れた合成データセット（Syrea）よりも46%低いFIDスコアを達成しました。これは、π-SUBが生成する画像が、従来のデータセットよりもはるかに実際の水中写真に近い見た目であることを意味します。

汎用性（このデータで訓練されたAIが実際の写真を修正できるかどうか）を確認するために、彼らは4つの最先端のAIモデル（FUnIE-GAN、Pix2Pix、PUIE-Net、Phaseformer）を取り上げ、π-SUBで訓練しました。その後、これらの訓練されたモデルを6つの異なる現実世界の水中データセットでテストしました。結果は、π-SUBで訓練されたモデルが最高のパフォーマンスを示したことを示しました。具体的には、品質スコアであるUIQMにおいて、次に優れたデータセット（PHISWID）より4.18%、Syreaより**9.46%向上しました。また、「ノイズ」スコア（NIQE）をそれぞれ48.78%および23.98%**減少させました。

簡単に言えば、この物理学に重きを置いた新しいデータセットで訓練されたAIモデルは、以前のより単純な偽のデータで訓練されたモデルよりも、実際の水中写真を修正することに非常に優れていました。彼らは重要な詳細（サンゴ礁の端など）をより多く保持し、不快な青い霞や色の歪みをより多く取り除きました。

なぜこれが重要なのか

本論文は、π-SUBが「超現実的で汎用性の高いベンチマーク」であると結論付けています。それは、コンピュータ・シミュレーションの偽の世界と、海洋の乱雑な現実との間の溝を埋めるものです。光、水深、および海洋生物学の実際の物理学を尊重するシミュレーターを用いてAIを教えることで、著者たちはロボットやカメラが水中での視界を向上させるためのツールを作り上げました。これは単に綺麗な写真を作るためのものではありません。自律型水中車両（AUV）や遠隔操作型水中探査機（ROV）が、パイプラインの検査、沈没船の探索、あるいはサンゴ礁のモニタリングといった任務をより効果的に遂行するのを助けるためのものです。論文は、もし私たちがAIに真に水中世界を理解させたいのであれば、推測をやめ、物理学の法則を用いてシミュレートを開始しなければならないと示唆しています。