DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

数枚のスマートフォンで撮影された写真だけを使って、部屋の完璧な3Dホログラムを作ろうとしているところを想像してみてください。これは、コンピュータが平面的な写真から現実世界の形や外観を理解しようとする試みである、「3D再構成」というエキサイティングな世界です。通常、こうしたコンピュータの「建築家」たちは、写真が極めて鮮明であるときに最も優れた働きを見せます。しかし、もし雨が激しく降っていたらどうなるでしょうか？ 写真は水の筋で覆われ、レンズ上の水滴によるぼやけたスポット、そして霞んだ灰色の霧に包まれてしまいます。もしこれらの乱れた写真を使って3Dモデルを構築しようとすると、コンピュータは混乱し、出来上がったホログラムは歪んだり壊れたりしたものになってしまいます。これは、悪天候の中でも安全にナビゲートするために「見る」必要がある自動運転車やロボットにとって、大きな問題です。

長い間、科学者たちにはこれらを解決するための主に2つの方法がありました。1つ目の方法は、3Dモデルを構築する前に、汚れた窓を拭いてから中を見るように、各写真を個別にクリーニングしようとする方法でした。もう1つの方法は、特定の雨のシーンごとに何度も調整しながらゆっくりとモデルを構築する方法でしたが、これは非常に時間がかかります。より新しく、より高速な手法である「3D Gaussian Splatting」が登場しました。これは、一瞬の素早い眼差しで3Dシーンを構築できるものです。しかし、この高速な手法は晴れた日のために設計されたものであり、雨に直面すると崩壊してしまいます。研究者たちが問い続けてきた大きな疑問は、「コンピュータに数枚の雨の写真を提示し、写真をまず綺麗にする必要も、結果が出るまで何時間も待つ必要もなく、瞬時にその下にある清潔で乾いた3Dの世界を『見る』ことを教えられるだろうか？」ということでした。

ここで、新しいアプローチである「DerainSplat」が登場し、「はい、可能です！」と答えます。この研究の背後にある研究者たちは、写真を先に綺麗にしてからモデルを構築しようとすることは、悪いアイデアであることに気づきました。なぜなら、綺麗にされた写真同士が一致せず、結果として乱れた3D結果を招くからです。代わりに彼らは、コンピュータに「雨そのもの」を理解させるための、大規模なトレーニング用遊び場を作り上げました。彼らは、美しい晴天の3Dシーンを用意し、そこにデジタル技術で雨を4つのリアルな段階で追加した合成データセットを作成しました。まず、曇り空を模して光を暗くし、次に、遠くの物体ほど厚くなる距離依存の霞（ヘイズ）を加え、さらに、リアルな雨の筋を描き込み、最後に、視界を歪ませるカメラレンズに付着した水滴を追加しました。

このトレーニングデータを用いることで、DerainSplatは単に窓を拭くのではなく、雨がどのように視界を乱しているのかを正確に解明する超スマートな探偵のように振る舞います。それは「天候因子」――例えば、どこに雨の筋があるかのマップ、霧の厚さ、そしてレンズの滴がどこに隠れているかといったマップ――を予測します。そして、これらのマップを使用して3D構築プロセスをガイドします。これは、どのレンガが泥に覆われているかを正確に知っている建設作業員のようなものです。泥をこすり落とそうとするのではなく、単に泥だらけの部分を無視し、他の角度からの綺麗なレンガを使って隙間を埋め、同時に泥だらけの箇所の信頼度を下げることで、構造を台無しにしないようにするのです。

結果は目覚ましいものです。実世界の雨のシーンを含む様々なデータセットでテストした際、DerainSplatは従来のメソッドよりもはるかにクリーンで正確な3Dモデルを生成しました。いくつかのテストでは、画像品質スコアを4 dB以上向上させるなど、既存の高速手法を大幅に上回る性能を示し、しかもそれをわずか数分の一の秒数で行いました。この論文は、ステップを分けて処理するのではなく、「天候」と「シーン」を一度に切り離して学習することで、ついに曇り空で地面が濡れている時でも、信頼できる3D世界を構築できることを示唆しています。これにより、将来的には、ロボットや自動運転車が、雨の街でも晴れた日の街と同じくらい自信を持ってナビゲートできるようになるかもしれません。嵐の中でも、世界の真の姿をしっかりと見通せるようになるのです。