Wat3R: Underwater 3D Geometry Learning without Annotations

沈没船の3Dマップを作ろうとしている場面を想像してみてください。しかし、あなたは目隠しをされており、周囲の水は霧が立ち込め、砂が渦巻き、奇妙な色が混ざり合ってすべてがぼやけて見えます。それが、コンピュータが水中シーンを理解しようとするときに直面する日常的な苦闘です。長年、コンピュータに水中の見え方を教える最善の方法は、完璧に手書きされた3Dラベルが付いた何百万枚もの写真を見せることでした。しかし、ここに落とし穴があります。海にはそのようなラベルが存在しないのです。水が濁りすぎているため、また光の挙動が特殊であるため、それらを作成することは不可能です。

そこで登場したのが、地図を手渡されることなく潜水の仕方を学ぶ賢い学生のような手法、Wat3Rです。

問題点： 「陸上専用」の脳

現代のほとんどの3Dビジョンモデルは、晴れて澄んだ教室（陸上）でしか勉強していない学生のようなものです。彼らは乾燥した場所では驚くほど優秀ですが、海に放り込まれると混乱してしまいます。水は光を吸収し、散乱させ、すべてを青や緑に変えてしまいます。もし「陸上で訓練された」モデルを水中で使おうとすれば、それはつまずいてしまいます。そして、すべてのビデオに対して海底の3Dマップを描くためにダイバーのチームを雇うことはできないため、従来の方法でこれらのモデルを再学習させることもできません。

解決策： 深海における教師と生徒

この論文の著者たちは、ラベルなしでこれを解決するために、「教師・生徒」のトリックを用いたWat3Rと呼ばれるシステムを作り上げました。

次のように考えてみてください：

1. 教師： 何百万もの澄んだ乾燥した写真から完璧に3D幾何学を学んだ、非常にスマートなロボットを想像してください。しかし、このロボットは水がどのように作用するかを知りません。
2. シミュレーション： 研究者たちは、教師の澄んだ写真を取り出し、それをデジタル的に「溺れ」させます。物理公式を使用して、偽の霧、色の変化、光の散乱を加え、澄んだ陸上の写真を偽の水中写真へと変貌させます。これで、教師は「ラベル付き」の偽の水中シーンのデータセットを手に入れます。
3. 生徒： これは私たちが訓練したいモデルです。生徒は、教師の偽の水中写真から学習することから始めます。
4. 本物のダイブ： その後、生徒は5,504個の実在する水中ビデオクリップ（約359,000枚の画像）を観察します。これらにはラベルが一切ありません。ただ魚や岩、泡を眺めるだけです。

ここが魔法の瞬間です。教師（生徒よりも少し古く、安定したバージョン）も同じ実在のビデオを見て、3D形状がどのようになるかを推測します。生徒はそれらの推測に一致するように努めます。正解すれば学習が進み、間違えれば調整が行われます。これが何度も繰り返されることで、生徒は誰にも答えを教えられることなく、実在のビデオを観察するだけで水中の幾何学の「ルール」を学んでいくのです。

秘密兵器：「クロスビュー一貫性（Cross-View Consistency）」

水中では、単一の写真があまりにぼやけていて何も見えないことがあります。しかし、ビデオがあれば、多くの角度が存在します。論文では、クロスビュー一貫性と呼ばれる特別なルールを導入しています。

あなたが汚れた窓越しに岩を見ているところを想像してください。よくは見えません。しかし、同じ岩を、窓の少しきれいな部分から別の角度から覗き込めば、よりよく見えるはずです。Wat3Rはこれを数学的に行います。もしモデルがある視点での霧によって混乱した場合、ビデオ内の他の視点を見て、その岩が本来どう見えるべきかを判断します。モデルはビデオの「クリアな部分」を利用して、ぼやけた部分を修正します。これにより、モデルは水の「ノイズ」を無視して、実際の形状に集中できるようになります。

彼らが証明したこと（および証明できなかったこと）

著者たちは単に推測したのではなく、これを厳格にテストしました。

• データセット： 彼らは、正確な3Dマップ（ポーズと深度）を含む、42個の実在する水中シーンからなる新しいデータセットWater3Dを構築しました。既存の水中データセットは規模が小さすぎるか、適切な3Dラベルを欠いていることが多いという点で、これは大きな成果です。
• 結果： Sea-thruやFLSea Stereoといった標準的な水中データセットでWat3Rをテストしたところ、現在の最高モデル（VGGT、DA3、MapAnythingなど）を打ち破りました。
  • Sea-thruデータセットにおいて、Wat3Rは10ビューのテストで、従来の最高モデル（VGGT）と比較してエラー率を約**12.1%**減少させました。
  • 深度精度に関しては、一部の指標で**23.7%**向上しました。
  • 単一の写真（単眼深度）を見る場合でも、Wat3Rは単一画像用に訓練されたモデルよりも優れており、「クロスビュー」学習が水中の理解に役立つことを証明しました。
• 明確に否定した事項： 論文は、何が機能しないかを非常に明確に述べています。
  • 先に画像を強化すること： 彼らは、水中の写真を既存のツール（Sea-thruやPSPLなど）でクリーンアップしてから、3Dモデルに投入することを試みましたが、これは結果をほとんど改善しませんでした。著者らは、画像をクリーンアップすると、3Dモデルを混乱させる新しいエラーや不整合が生じることがあると主張しています。問題を修正しようとするのではなく、その「乱れ」を透過して見るようにモデルを教える方が良いのです。
  • 合成データのみの使用： 偽の水中データを使用して開始しましたが、偽のデータだけでは不十分であることを示しました。モデルを真に堅牢にするには、ラベルのない実在のビデオが必要です。

彼らの確信度は？

著者たちは、4つの異なる公開データセットと独自のWater3Dデータセットを用いてテストを行っており、その数字に自信を持っています。彼らは単に結果をシミュレートしたのではなく、利用可能な場合は実測値（グラウンドトゥルース）と比較して測定しました。

• 彼らは、Wat3Rが「軽度」から「重度」の劣化状況においてより良く機能することを示しましたが、極端に濁った水や高速で動く物体がある場合、視覚情報が単純に不足しているため、依然として困難があることも認めています。
• 彼らは、自分たちの手法が、水中の3Dアノテーションを必要とせずに水中シーンに汎用化できる、最初の半教師あり学習フレームワークであることを明言しています。

結論

Wat3Rは、地図を読むのではなく、光がどのように屈折し、物体が異なる角度からどのように見えるかを観察しながら、霧を無視して深海を航行することを学ぶダイバーのようなものです。これは、完璧なラベルがなくても、コンピュータに水中の見え方を教えることができることを証明しています。ただ、現実のビデオの混沌から学ぶためのスマートな方法さえあればよいのです。コードと新しいWater3Dデータセットは誰でも試せる形で公開されており、不可能と思われていた「あらゆる滴のラベル付け」を介さずに、より優れた水中ロボット、考古学、およびマッピングへの扉を開いています。