Looking Into the Water by Unsupervised Learning of the Surface Shape

この論文は、水面の屈折による画像歪みを除去し、かつ水面形状を推定するために、水面高さの時間的・空間的変化をモデル化する 2 つのニューラルフィールドネットワーク（SIREN を使用）を用いた教師なし学習アプローチを提案し、実データおよびシミュレーションデータにおいて既存の教師なし画像復元手法を上回る性能を実証したものである。

要約

波の向こう側を「透視」する魔法のレンズ

〜水面の揺らぎを消して、水中の真実を浮かび上がらせる AI の話〜

皆さん、泳いでいる時に水面を見上げると、底の景色がギザギザに歪んで見えたことはありませんか？あるいは、ダイビングやドローンから海を撮影する際、波のせいで水中の魚やサンゴがボヤけて見えてしまうことがあります。

この論文は、**「水面の波の揺らぎによって歪んだ写真から、元のきれいな景色を復元する」**という、まるで魔法のような技術を紹介しています。

この技術を、難しい数式を使わずに、3 つのステップでわかりやすく解説します。

---

1. 問題：水面は「揺れる鏡」のようなもの

まず、なぜ水中の景色が歪むのかを考えてみましょう。

光が空気から水に入るとき、**「屈折（くっせつ）」**という現象が起きます。これは、ストローをコップの水に入れたとき、ストローが折れて見えるのと同じ原理です。
さらに、水面が波で揺れていると、この「屈折の角度」が瞬間瞬間で変わってしまいます。

• イメージ： 水面を、常に形を変えている「歪んだ鏡」や「ゆがんだガラス」だと想像してください。その鏡を通して見ている景色は、波の形に合わせてグニャグニャに歪んで見えます。

これまでの技術では、この歪みを直すのは非常に難しかったです。なぜなら、波は常に動き続けていて、その「波の形（高さ）」を正確に測るデータが現実世界ではほとんどないからです。

2. 解決策：AI に「波の動き」と「景色」を同時に教える

この研究チームは、「一瞬一瞬の波の形」と「変わらない下の景色」を、AI に同時に学習させるというアイデアを考えました。

彼らが使ったのは、**「SIREN（サイレン）」**という特殊な AI の仕組みです。これを料理に例えてみましょう。

• 通常の AI： 歪んだ写真を見て「多分これは魚だろう」と推測する（推測だけ）。
• この論文の AI（SIREN）：
  1. 「波のシェフ」： 写真の各ピクセルが「どのくらい波で歪んでいるか（水面の高さ）」を計算します。
  2. 「景色のシェフ」： 歪みのない「本当の景色」を想像して描き出します。

この 2 人のシェフがチームワークで動きます。

• 「景色のシェフ」が描いたきれいな絵を、「波のシェフ」が「今の波の形」に合わせて歪ませます。
• その結果、「実際の撮影写真」と「AI が歪ませた絵」が一致するかどうかをチェックします。
• 一致しないなら、2 人のシェフは「あ、波の形をこう変えよう」「景色の色をこう直そう」と調整を繰り返します。

これを何枚もの写真（動画のフレーム）を使って行います。波は動いているけれど、**「下の景色は動かない」**という事実を利用することで、AI は自然と「波の形」と「元の景色」の両方を正しく推測してしまうのです。

3. 結果：波の形まで見えるようになる！

この方法のすごいところは、単にきれいな写真を作るだけでなく、「水面の高さ（波の形）」まで計算して出せることです。

• 従来の方法： 歪んだ写真からきれいな写真を作るだけ。
• この方法： きれいな写真 ＋ 「今、水面がどこまで盛り上がっているか」の地図まで作れます。

実験の結果、この方法は既存の技術よりもはるかに鋭い画像を復元できました。

• 歪んでいた数字がはっきり読めるようになった。
• 曲がっていた格子模様がまっすぐになった。
• 波の動きに合わせて、水面の高さの変化も正確に再現できた。

4. 実社会での活用：ドローンで海を「透視」する

この技術が実用化されれば、どんなことが変わるでしょうか？

• サンゴ礁の調査： ドローンから撮影するだけで、波の揺らぎを消して、サンゴの白化（病気）や損傷を正確にチェックできます。
• 水難救助： 海やプールで溺れている人がいる場合、波のせいで見えにくい人を、AI が「透視」して見つけ出す手助けができます。
• 養殖場の管理： 魚の数を正確に数えたり、健康状態を確認したりできます。

まとめ：波の向こう側を「読み解く」力

この研究は、「波というノイズ（邪魔なもの）」を、逆に「景色を復元するためのヒント」に変えるという発想の転換が素晴らしいです。

まるで、揺れる水面という「カオス（混沌）」の中から、AI が静かな「秩序（元の景色）」を聞き出しているようなものです。
これにより、私たちは空から海を覗き見る際、波の揺らぎに惑わされず、水中の真実を鮮明に見ることができるようになるのです。

---

一言で言うと：
「波で歪んだ水中の写真を、AI が『波の動き』と『元の景色』を同時に推理することで、きれいな写真だけでなく、水面の形まで復元する新技術」です。

技術概要

以下は、提示された論文「Looking Into the Water by Unsupervised Learning of the Surface Shape（水面形状の教師なし学習による水中への視認）」の技術的サマリーです。

1. 問題設定 (Problem)

航空機やドローンなどから水面を介して水中の物体を観測する際、空気と水の界面での屈折（スネルの法則）により、水中の物体の位置や形状が歪んで見えるという問題があります。

• 課題: 水面の波は時間的に変化し、複雑な干渉波（異なる周期や振幅の波の重ね合わせ）を形成するため、単一の画像から元の形状を復元することは極めて困難です。
• 既存手法の限界: 教師あり学習（Supervised Learning）は、現実世界の複雑な波の挙動を網羅する大規模な真値（Ground Truth）データセットの不足により、実世界への汎化が難しいという課題を抱えています。また、既存の教師なし手法は、水面の高さそのものを推定する機能に欠けるか、学習プロセスが複雑である傾向があります。

2. 提案手法 (Methodology)

この論文では、**教師なし学習（Unsupervised Learning）**を用いて、歪んだ画像シーケンスから元の清浄な画像と水面の高さを同時に復元する手法を提案しています。

核心的なアプローチ

1. 物理モデルの統合:

   • 水中のシーンは静止しており、カメラは空気中にあり、水面が動的に変化すると仮定します。
   • スネルの法則に基づき、水面の高さ $h(x, t)$ とその空間微分（勾配 $\nabla h$）から、画素の歪み変位 $d(x, t)$ を計算します（式 1）。
   • $d(x, t) = (1 - 1/n) \cdot h_0 \cdot \nabla h(x, t)$ （$n$: 屈折率、$h_0$: 平均水深）。

2. 二重のニューラルフィールドネットワーク:
   提案手法は、2 つの SIREN（Sinusoidal Representation Networks）ネットワークで構成されます。

   • 水面高さモデル ($H_\theta$): 空間位置 $x$ と時間 $t$ を入力とし、SIREN の周期性活性化関数の特性を活かして、水面の高さ $h(x, t)$ とその空間勾配 $\nabla h(x, t)$ を効率的に予測します。
   • 画像モデル ($I_\phi$): 歪みのない元の画像のピクセル値を空間位置 $x$ に対して予測するニューラルフィールドです。

3. 再構成と損失関数:

   • 予測された歪み $d$ を用いて、元の画像 $I_\phi$ を歪ませ、観測された歪んだ画像 $I_t$ と一致させます（式 2）。
   • 学習プロセス:
     1. 初期化ステージ: 歪みがゼロとなる高さ、および平均歪んだ画像を予測するように重みを初期化。
     2. 再構成ステージ: 観測画像と再構成画像の差（L1 ノルム）を最小化して学習します。
   • 既存の教師なし手法（NDIR など）が複数の損失項を必要としたのに対し、本手法は再構成誤差のみで学習可能であり、より簡素なトレーニングセットアップを実現しています。

技術的利点

• SIREN の活用: 周期性活性化関数を持つ SIREN は、連続信号とその微分（ここでは水面勾配）を同時に高精度にモデル化できるため、屈折による歪みの物理的計算に適しています。
• 教師なし学習: 真値データが不要であり、歪んだ画像シーケンス自体に含まれる情報（時間的変化）を学習信号として利用します。

3. 主要な貢献 (Key Contributions)

1. 水面形状の推定: 画像の復元だけでなく、各フレームにおける水面の高さ（Surface Height）を直接推定可能にしました。
2. 高性能な教師なし復元: 最新の教師なし手法（NDIR）や教師あり手法と比較し、より少ない計算コストと簡素な学習設定で、より高い復元精度を達成しました。
3. 物理的整合性: 屈折の物理法則（スネルの法則）をニューラルネットワークの構造に組み込むことで、時間的な波の動きに基づいた整合的な歪み予測を実現しました。

4. 実験結果 (Results)

提案手法は、実データセット（James Real1, TianSet）と合成データセット（3 種類の波タイプ）で評価されました。

• 定量的評価:
  • Real1 データセット: 全体的に PSNR、SSIM、LPIPS（知覚的品質）のすべての指標で既存手法（NDIR, Li et al., NeRT）を上回りました。特に LPIPS において顕著な改善が見られ、画像の鮮明さと忠実度が高いことを示しています。
  • 合成データセット: 全ての波タイプ（Gaussian, Ripple, Ocean）において、NDIR を上回る結果を示しました。
• 定量的評価:
  • 歪んだ画像の文字やグリッド線が、提案手法によってより鮮明に復元され、直線性が保たれていることが視覚的に確認できました。
  • 推定された水面の高さは、実際の歪みのパターンと強く相関しており、合成データでは真値との RMSE も低く抑えられました。
• アブレーション研究:
  • 水面高さの推定と時空間情報のモデル化が性能向上に不可欠であることを確認しました。
  • 学習の初期化ステージや位置符号化（Positional Encoding）が有効であることを示しました。

5. 意義と応用 (Significance)

• 海洋観測への貢献: ドローンによる海洋調査、サンゴ礁の白化現象の監視、養殖場の管理、水難事故の検知など、広範囲かつ高速な観測を必要とする分野で、歪みのない詳細な画像を提供できます。
• 科学的価値: 教師なし学習によって、真値データが得られない複雑な自然環境（実世界の波）における物理現象の解明と画像復元を可能にしました。
• 将来展望: 復元された画像を、特徴点マッチングや単眼 SLAM（Simultaneous Localization and Mapping）などの下流タスクの前処理として活用する可能性が示唆されています。

この論文は、物理法則と深層学習（特にニューラルフィールド）を融合させることで、従来のアプローチでは困難だった「水面を介した水中画像の復元」という課題に対し、高精度かつ汎用性の高い解決策を提示した点に大きな意義があります。