💻 computer science

Wat3R: Underwater 3D Geometry Learning without Annotations

이 논문은 교사-학생 구조와 교차 뷰 일관성 손실을 통해 공기 중에서 훈련된 모델을 레이블이 없는 비디오에 적응시킴으로써 어떠한 주석 데이터 없이도 수중 환경에서의 3D 기하학적 재구성을 가능하게 하는 교차 도메인 준지도 학습 프레임워크인 Wat3R을 소개하며, 이와 함께 Water3D라는 새로운 벤치마크 데이터셋의 공개를 발표한다.

원저자: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

게시일 2026-07-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

침몰한 배의 3D 지도를 만든다고 상상해 보세요. 하지만 당신은 눈이 가려져 있고, 주변의 물은 안개로 자욱하며, 모래가 소용돌이치고, 기묘한 색상들이 모든 것을 흐릿하게 보이게 만듭니다. 이것이 컴퓨터가 수중 장면을 이해하기 위해 매일 겪는 고군분투입니다. 수년 동안 컴퓨터에게 수중을 보는 법을 가르치는 가장 좋은 방법은 완벽하게 손으로 그린 3D 라벨이 포함된 수백만 장의 사진을 보여주는 것이었습니다. 하지만 여기 문제가 있습니다. 아무도 바다를 위한 그런 라벨을 가지고 있지 않습니다. 물이 너무 탁하고 빛이 이상하게 작동하기 때문에 그것을 만드는 것은 불가능합니다.

여기에, 지도 없이도 스스로 잠수하는 법을 배우는 영리한 학생처럼 행동하는 새로운 방법인 Wat3R이 등장했습니다.

문제점: "육지 전용" 두뇌

대부분의 현대적인 3D 비전 모델은 햇살이 내리쬐는 맑은 교실(육지)에서만 공부한 학생들과 같습니다. 그들은 마른 땅 위의 사물을 보는 데는 뛰어나지만, 바닷속에 떨어뜨려 놓으면 혼란에 빠집니다. 물은 빛을 흡수하고 산란시키며, 모든 것을 파란색이나 초록색으로 변하게 합니다. 만약 "육지에서 훈련된" 모델을 수중에서 사용하려고 하면 제대로 작동하지 못합니다. 그리고 우리는 모든 수중 영상마다 3D 지도를 그리기 위해 잠수부 팀을 고용할 수 없으므로, 예전 방식대로 이 모델들을 재학습시킬 수도 없습니다.

해결책: 심해 속의 스승과 제자

이 논문의 저자들은 라벨 없이도 이 문제를 해결하기 위해 "교사-학생(teacher-student)" 트릭을 사용하는 Wat3R이라는 시스템을 만들었습니다.

이렇게 생각해보세요:

스승(The Teacher): 수백만 장의 맑고 건조한 사진을 공부했기 때문에 3D 기하학을 완벽하게 알고 있는 초스마트 로봇을 상상해 보세요. 하지만 이 로봇은 물이 어떻게 작용하는지는 모릅니다.
시뮬레이션(The Simulation): 연구진은 스승의 맑은 사진들을 가져와 디지털 방식으로 "익사"시킵니다. 물리 공식을 사용하여 가짜 안개, 색상 변화, 빛의 산란을 추가함으로써, 맑은 육지 사진을 가짜 수중 사진으로 바꿉니다. 이제 스승은 가짜 수중 장면에 대한 "라벨이 붙은" 데이터셋을 갖게 됩니다.
제자(The Student): 이것이 우리가 훈련시키고자 하는 모델입니다. 제자는 스승의 가짜 수중 사진으로부터 학습을 시작합니다.
실제 잠수(The Real Dive): 그 다음, 제자는 라벨이 전혀 없는 5,504개의 실제 수중 영상 클립(약 359,000장의 이미지)을 관찰합니다. 제자는 그저 물고기, 바위, 거품을 지켜봅니다.

여기서 마법이 일어납니다: 스승(제자보다 약간 더 오래되고 안정적인 버전)은 동일한 실제 영상을 보며 3D 형상이 어떻게 생겼는지 추측합니다. 제자는 그 추측에 맞추려고 노력합니다. 제자가 맞히면 학습이 되고, 틀리면 조정됩니다. 이 과정이 반복되면서, 제자는 누구도 정답을 알려주지 않음에도 불구하고 실제 영상을 관찰함으로써 수중 기하학의 "규칙"을 배우게 됩니다.

비밀 병기: "교차 뷰 일관성 (Cross-View Consistency)"

수중에서는 단 한 장의 사진이 너무 흐릿해서 아무것도 볼 수 없을 수도 있습니다. 하지만 영상이 있다면, 여러 각도가 존재합니다. 이 논문은 교차 뷰 일관성이라는 특별한 규칙을 도입합니다.

더 먼지가 낀 창문을 통해 바위를 보고 있다고 상상해 보세요. 잘 보이지 않습니다. 하지만 창문의 더 깨끗한 부분을 통해 같은 바위를 약간 다른 각도에서 본다면, 더 잘 보일 수 있습니다. Wat3R은 이를 수학적으로 수행합니다. 모델이 한 뷰(view)에서의 안개 때문에 혼란을 겪는다면, 영상의 다른 뷰들을 살펴보고 바위가 어떠해야 하는지를 파악합니다. 모델은 영상의 깨끗한 부분들을 사용하여 흐릿한 부분을 수정합니다. 이는 모델이 물의 "노이즈"를 무시하고 실제 형상에 집중하도록 돕습니다.

무엇을 증명했는가 (그리고 무엇을 하지 않았는가)

저자들은 단순히 추측한 것이 아니라 엄격하게 테스트했습니다.

데이터셋: 그들은 정확한 3D 지도(포즈 및 깊이)를 포함한 42개의 실제 수중 장면이 담긴 Water3D라는 새로운 데이터셋을 구축했습니다. 이는 기존의 수중 데이터셋이 종종 너무 작거나 적절한 3D 라벨이 부족하다는 점을 고려할 때 매우 중요한 성과입니다.
결과: 그들이 Sea-thru 및 FLSea Stereo와 같은 표준 수중 데이터셋에 Wat3R을 테스트했을 때, 기존의 최고 모델들(VGGT, DA3, MapAnything 등)을 능가했습니다.
- Sea-thru 데이터셋에서, Wat3R은 10-뷰 테스트에서 이전 최고 모델인 VGGT에 비해 오차율을 약 12.1% 줄였습니다.
- 깊이 정확도 측면에서, 일부 지표에서는 23.7% 개선되었습니다.
- 단일 사진(단안 깊이, monocular depth)을 볼 때도, Wat3R은 단일 이미지에 특화되어 훈련된 모델들보다 뛰어났으며, 이는 "교차 뷰" 학습이 물을 이해하는 데 도움이 되었음을 입증합니다.

명시적으로 배제한 것들

논문은 무엇이 효과가 없는지에 대해서도 매우 명확히 밝히고 있습니다:

이미지를 먼저 개선하는 것: 그들은 수중 사진을 가져와 기존 도구(Sea-thru 또는 PSPL 등)로 먼저 깨끗하게 만든 다음 3D 모델에 입력하는 시도를 했습니다. 하지만 이 방식은 결과 개선에 거의 도움이 되지 않았습니다(실패했습니다). 저자들은 이미지를 깨끗하게 만드는 과정이 오히려 새로운 오류나 불일치를 유발하여 3D 모델을 혼란스럽게 만든다고 주장합니다. 모델에게 "지저도(mess)"를 먼저 고치라고 하기보다, 그 지저도 속을 "통해 보는" 법을 가르치는 것이 더 낫습니다.
합성 데이터만 사용하는 것: 가짜 수중 데이터를 사용하여 시작하긴 했지만, 가짜 데이터만으로는 충분하지 않다는 것을 보여주었습니다. 모델을 진정으로 견고하게 만들기 위해서는 라벨이 없는 실제 영상이 반드시 필요합니다.

얼마나 확신하는가?

저자들은 4개의 서로 다른 공개 데이터셋과 자신들의 Water3D 데이터셋을 통해 테스트했기 때문에 그 수치에 자신감을 보입니다. 그들은 단순히 결과를 시뮬레이션한 것이 아니라, 가능한 경우 실제 정답(ground truth)과 대조하여 측정했습니다.

그들은 Wat3R이 "완만한" 퇴적부터 "심각한" 퇴적 상황까지 잘 작동함을 보여주었지만, 극도로 탁한(muddy) 물이나 빠르게 움직이는 물체 속에서는 시각적 정보 자체가 부족하기 때문에 여전히 어려움이 있음을 인정했습니다.
그들은 자신들의 방법이 수중 3D 주석(annotation) 없이도 수중 장면에 일반화될 수 있는 최초의 준지도 학습(semi-supervised) 프레임워크라고 명시했습니다.

핵심 요약

Wat3R은 지도를 읽는 것이 아니라, 안개를 무시하면서 빛이 어떻게 굴절되는지, 그리고 물체가 다양한 각도에서 어떻게 보이는지를 관찰하며 심해를 항해하는 법을 배우는 다이버와 같습니다. 이는 컴퓨터에게 수중을 보는 법을 가르치기 위해 완벽한 라벨이 필요한 것이 아니라, 실제 영상의 혼돈으로부터 배우게 하는 영리한 방법이 필요하다는 것을 증명합니다. 코드와 새로운 Water3D 데이터셋은 누구나 시도해 볼 수 있도록 공개되어 있으며, 이는 모든 물방울에 라벨을 붙여야 하는 불가능한 작업 없이도 더 나은 수중 로봇, 고고학, 그리고 매핑의 문을 열어줍니다.

기술 요약: Wat3R – 어노테이션 없는 수중 3D 기하학 학습

문제 정의
수중 환경에서 3D 기하학(카메라 포즈, 깊이, 포인트 클라우드)을 추정하는 것은 빛의 감쇠, 산란, 뷰 의존적 저하를 포함한 독특한 물리적 도전 과제로 인해 어려움을 겪습니다. 이러한 요인들은 지상 장면과 비교하여 상당한 도메인 변화(domain shifts)를 야기합니다. 또한, 실제 수중 데이터에 대한 대규모의 고품질 3D 어노테이션이 부족하기 때문에, 일반적으로 방대한 밀집 정답(ground truth)에 의존하는 최첨단(SOTA) 피드포워드(feed-forward) 재구성 모델을 직접 학습시키는 것이 불가능합니다. 기존 방법들은 도메인 변화로 인해 일반화에 실패하거나, 실용적이지 못한 양의 어노테이션된 수중 데이터를 요구합니다.

방법론: Wat3R 프레임워크
저자들은 어노테이션된 수중 데이터 없이도 피드포워드 3D 재구성 모델인 VGGT를 수중 장면으로 적응시키기 위해 설계된 교차 도메인 준지도 학습(semi-supervised learning) 프레임워크인 Wat3R을 제안합니다. 이 프레임워크는 교사-학생 구조(Mean Teacher 패러다임)를 기반으로 작동하며 두 가지 주요 데이터 소스를 활용합니다:

합성 레이블 데이터: 기존의 어노테이션된 지상 데이터셋(VGGT의 원래 학습 세트)에 다양한 수중 열화를 시뮬레이션하기 위한 물리 기반 렌더링을 적용하여 증강합니다. 이는 수중 도메인에 대한 강력한 기하학적 사전 지식(priors)을 초기화합니다.
레이블이 없는 실제 데이터: 대규모의 실제 수중 비디오 푸티지를 레이블이 없는 학습 세트로 사용하여 모델을 정제하고 일반화합니다.

주요 기술 구성 요소:

물리 기반 렌더링: 레이블된 합성 데이터를 생성하기 위해, 저자들은 직접적인 투과 감쇠와 백스캐터(backscatter)를 시뮬레이션하는 단순화된 수중 이미징 모델( $I = J e^{-\beta^D z} + B^\infty(1-e^{-\beta^B z})$ )을 채택합니다. 원본 기하학적 어노테이션을 감독(supervision)을 위해 보존하면서 수중 외관을 렌더링하기 위해 단안 모델(DA3)로부터 얻은 밀집 깊이 맵이 사용됩니다.
시퀀스 레벨 증강: 모델 붕괴를 방지하고 레이블 없는 비디오 데이터에서 기하학적 다양성을 높이기 위해, 프레임 순서 셔플링, 무작위 서브샘플링, 회전, 컬러 지터링을 포함하는 시퀀스 레벨 증강을 수행하여 모델이 시간적 연속성이 아닌 견고한 기하학적 단서를 학습하도록 합니다.
일관성 인식 학습 목적 함수: 전체 손실 함수는 세 가지 구성 요소의 결합으로 이루어집니다:
- 지도 학습 손실(Supervised Loss): 정답 어노테이션을 사용하여 합성 데이터에 적용됩니다.
- 뷰별 일관성 손실(Per-View Consistency Loss): 교사의 예측을 의사 레이블(pseudo-labels)로 취급하여 레이블 없는 데이터에 적용됩니다.
- 교차 뷰 일관성 손실(Cross-View Consistency Loss): 정보 저하 문제를 해결하기 위해 설계된 새로운 손실 함수입니다. 이는 현재 뷰의 가시성 상실을 보상하기 위해 다른 뷰의 기하학적 단서를 활용합니다. 이 과정에서 K-means를 통해 깊이 맵과 다중 뷰 일관성 검사를 거쳐 도출된 **정적 마스크(static mask)**를 사용하여 동적 객체 및 불안정한 영역(예: 개활 수역 또는 심한 탁도)을 필터링함으로써, 교차 뷰 감독이 신뢰할 수 있는 정적 전경 픽셀에만 적용되도록 보장합니다.

주요 기여

Wat3R 프레임워크: 어노테이션된 수중 데이터 없이도 다양한 수중 장면에 일반화되는 VGGT 기반의 최초 준지도 학습 프레임워크입니다. 이는 레이블이 없는 실제 수중 비디오만으로도 견고한 기하학적 표현을 학습할 수 있음을 입증합니다.
교차 뷰 일관성 손실: 수중 감쇠 및 산란으로 인한 시각적 저하를 보상하기 위해 여러 뷰로부터 기하학적 정보를 집계하여, 심하게 저하된 영역에서도 학습을 가능하게 하는 메커니즘입니다.
Water3D 데이터셋: 포괄적인 3D 어노테이션(카메라 포즈 및 깊이)을 포함하는 다양하고 새로운 수중 다중 뷰 데이터셋을 구축했습니다. 이 데이터셋은 해당 분야의 종합적인 평가 벤치마크 부족 문제를 해결합니다.

실험 결과
공공 데이터셋(Sea-thru, FLSea, SQUID)과 새로운 Water3D 데이터셋을 대상으로 네 가지 작업에 대해 광범위한 실험을 수행했습니다:

다중 뷰 깊이 추정: Wat3R은 SOTA 방법들(VGGT, DA3, $\pi^3$ , MapAnything 포함) 및 이미지 향상과 3D 모델을 결합한 2단계 파이프라인보다 우수한 성능을 보였습니다. Sea-thru 데이터셋에서 Wat3R은 VGGT 대비 RMSE 측면에서 23.7%의 개선을 달랐습니다.
포인트 클라우드 재구성: Water3D에서 Wat3R은 베이스라인들에 비해 우수한 정확도와 완결성을 보여주었으며, 전체적인 지표(예: VGGT 대비 전체 정확도 +31.6% 개선)에서 유의미한 향상을 나타냈습니다.
카메라 포즈 추정: SeaThru-NeRF에서 평가했을 때, Wat3R은 포즈 추정의 견고함이 향상되었으며 VGGT 대비 AUC@5°에서 37.8%의 개선을 달성했습니다.
단안 깊이 추정: 단일 이미지 감독 학습을 거치지 않았음에도 불구하고, Wat3R은 네 개의 데이터셋 모두에서 최고의 성능을 기록하여 학습된 기하학적 사전 지식이 단일 뷰 입력으로도 성공적으로 전이됨을 보여주었습니다.

의의 및 주장
본 논문은 Wat3R이 어노테이션이 부족한 복잡한 환경에서 기하학적 학습을 위한 실용적인 패러다임을 제공한다고 주장합니다. 어노테이션된 수중 데이터의 필요성을 제거하고 레이블이 없는 실제 비디오를 활용함으로써, 이 방법은 시야가 좋지 않은 조건에서도 견고한 성능을 달성합니다. 저자들은 이 접근 방식이 지상 및 수중 비전 사이의 도메인 격차를 성공적으로 메우며, 수중 로보틱스, 매핑 및 고고학을 위한 효과적이고 확장 가능한 솔루션을 제공한다고 강조합니다. 이 연구는 일관성 제약과 합성-실제 전이(synthetic-to-real transfer)에 의해 가이드되는 강력한 피드포워드 모델의 직접적인 적응이 수중 3D 인식을 위한 유망한 경로임을 보여줍니다.