DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

몇 장의 스마트폰 사진만으로 방 전체를 완벽한 3D 홀로그램으로 구현하려고 한다고 상상해 보세요. 이것은 컴퓨터가 평면적인 사진을 통해 실제 세상의 형태와 모습을 이해하려고 노력하는 분야인 **3D 재구성(3D reconstruction)**의 흥미로운 세계입니다. 보통 이러한 컴퓨터 '설계자'들은 사진이 아주 선명할 때 가장 잘 작동합니다. 하지만 비가 쏟ốt는다면 어떻게 될까요? 사진에는 물줄기가 지나간 자국, 렌즈에 맺힌 물방울로 인한 흐릿한 점들, 그리고 뿌연 회색 안개가 가득하게 됩니다. 만약 이 지저한 사진들로 3D 모델을 만들려고 시도한다면, 컴퓨터는 혼란에 빠지고 그 결과물인 홀로그램은 뒤틀리고 깨진 모습이 됩니다. 이는 악천후 속에서도 안전하게 길을 찾아야 하는 자율주행 자동차나 로봇과 같은 분야에서 매우 큰 문제입니다.

오랫동안 과학자들은 이를 해결하기 위해 두 가지 주요 방법을 사용해 왔습니다. 한 가지 방법은 3D 모델을 만들기 전에 각 사진을 개별적으로 깨끗하게 닦아내는 것으로, 마치 창문 너머를 보기 전에 더러운 창문을 닦는 것과 같습니다. 다른 한 가지 방법은 특정 비 오는 장면마다 모델을 조금씩 계속 조정하며 천천히 구축하는 것인데, 이는 시간이 엄청나게 오래 걸립니다. 최근에는 **3D 가우시안 스플래팅(3D Gaussian Splatting)**이라는 더 빠르고 새로운 방식이 등장했습니다. 이 방식은 단 한 번의 번개처럼 빠른 시선만으로 3D 장면을 구축할 수 있습니다. 하지만 이 빠른 방식은 맑은 날을 위해 설계되었기에, 비가 오면 무너져 버립니다. 연구자들이 던진 핵심 질문은 이것입니다. "컴퓨터가 몇 장의 비 오는 사진을 보고, 사진을 먼저 깨끗하게 닦거나 결과가 나올 때까지 몇 시간씩 기다리지 않고도, 그 아래에 있는 깨끗하고 건조한 3D 세상을 즉각적으로 '볼' 수 있도록 가르칠 수 있을까?"

여기서 **데레인스플랫(DerainSplat)**이라는 새로운 접근 방식이 "네, 가능합니다!"라고 답합니다. 이 연구의 개발자들은 사진을 먼저 깨끗하게 만든 다음 모델을 만드는 것이 좋지 않은 생각이라는 점을 깨달았습니다. 왜냐하면 깨끗하게 만든 사진들이 서로 일치하지 않아 결국 지저한 3D 결과물을 초래하기 때문입니다. 대신, 그들은 컴퓨터가 비 자체를 이해할 수 있도록 거대한 훈련 놀이터를 구축했습니다. 그들은 아름답고 맑은 3D 장면을 가져와 디지털 방식으로 네 단계의 현실적인 비 효과를 추가하여 합성 데이터셋을 만들었습니다. 첫째, 흐린 하늘을 흉내 내기 위해 조도를 낮추었습니다. 둘째, 멀리 있는 물체일수록 더 짙어지는 거리 의존형 안개를 추가했습니다. 셋째, 사실적인 빗줄기를 그려 넣었습니다. 마지막으로, 시야를 왜곡시키는 카메라 렌즈에 붙은 물방울들을 추가했습니다.

이 훈련 데이터를 사용하여, 데레인스플랫은 단순히 창문을 닦아내는 것이 아니라, 비가 시야를 정확히 어떻게 망치고 있는지 파악하는 초스마트 탐정처럼 행동합니다. 이 방식은 빗줄기가 어디에 있는지 나타내는 지도, 안개가 얼마나 짙은지, 그리고 렌즈 방울이 어디에 숨어 있는지와 같은 "날씨 요소"를 예측합니다. 그런 다음 이 지도들을 사용하여 3D 구축 과정을 안내합니다. 이것은 마치 어떤 벽돌이 진흙에 덮여 있는지 정확히 알고 있는 건설 현장 팀과 같습니다. 그들은 벽돌을 닦아내려고 애쓰는 대신, 진흙 묻은 부분을 무시하고 다른 각도에서 얻은 깨끗한 벽돌로 그 빈틈을 채우며, 구조를 망치지 않도록 진흙 묻은 부분의 신뢰도를 낮춥니다.

결과는 인상적입니다. 실제 비 오는 장면을 포함한 다양한 데이터셋에서 테스트했을 때, 데레인스플랫은 기존 방식들보다 훨씬 더 깨끗하고 정확한 3D 모델을 만들어냈습니다. 일부 테스트에서는 이미지 품질 점수를 4 dB 이상 향로하며 기존의 빠른 방식들을 크게 앞질렀으며, 이 모든 것을 불과 0.1초도 안 되는 짧은 시간에 해냈습니다. 이 논문은 "날씨"와 "장면"을 별개의 단계가 아닌 한꺼번에 분리하는 법을 배움으로써, 마침내 흐린 하늘과 젖은 땅 위에서도 신뢰할 수 있는 3D 세계를 구축할 수 있다고 시사합니다. 이는 미래에 로봇과 자율주행 차량이 비 오는 거리에서도 햇살 가득한 날처럼 자신 있게 주행하며, 폭풍 속에서도 세상의 참된 형태를 볼 수 있음을 의미합니다.