💻 computer science

M2Depth: Unifying Monocular Depth Foundation Priors with Multi-View Stereo

본 논문은 단안 깊이 파운데이션 사전 지식(monocular depth foundation priors)을 다중 뷰 스테레오(multi-view stereo)와 결합하여 양방향 상호 정제 전략(bidirectional mutual refinement strategy) 및 사전 지식 가이드 비용 볼륨 최적화(prior-guided cost volume optimization)를 통해 구현함으로써, 밀집 및 희소 뷰 설정 모두에서 우수한 깊이 맵 완결성, 일반화 성능 및 정확도를 달성하는 새로운 프레임워크인 M2Depth를 제안한다.

원저자: Byeonggwon Lee, Sanggi Lee, Siwoo Lee, Khang Truong Giang, Soohwan Song

게시일 2026-08-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Byeonggwon Lee, Sanggi Lee, Siwoo Lee, Khang Truong Giang, Soohwan Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

단 한 장의 사진만을 이용해 방의 상세한 3D 모델을 구축한다고 상상해 보십시오. 벽이 어디에 있는지, 가구가 얼마나 떨어져 있는지 추측할 수는 있겠지만, 두 번째 시점과 비교하여 대조해 보지 않고서는 정확한 거리를 알 수 없습니다. 이것이 평면적인 이미지를 통해 3차원의 세계를 재구성하는 데 있어 발생하는 근본적인 과제입니다. 수십 년 동안 과학자들은 여러 각도에서 촬영된 여러 장의 사진을 결합하여 깊이를 계산하는 멀티뷰 스테레오(multi-view stereo)라고 불리는 기술에 의존해 왔습니다. 이 방법은 강력하지만, 장면이 복잡하거나, 물체의 일부가 가려져 있거나, 사용할 수 있는 사진이 매우 적을 때 종종 난관에 봉착합니다. 이러한 어려운 지점에서 컴퓨터는 이미지 간의 일치하는 점을 찾는 데 어려움을 겪으며, 이는 최종 모델의 빈 공간이나 왜곡된 형태를 초래합니다.

동시에, 단 한 장의 이미지를 보고 모든 픽셀의 깊이를 추측할 수 있는 새로운 세대의 인공지능이 등장했습니다. 방대한 이미지 라이브러리를 통해 학습된 이 시스템들은 이전에 본 적 없는 곳이라 할지라도 장면의 일반적인 형태를 이해하는 데 매우 뛰어납니다. 그러나 단 하나의 사진에만 의존하기 때문에, 이들은 종로 종종 규모(scale)를 잘못 파악하곤 합니다. 자동차는 모양은 맞지만 장난감 크기로 보일 수 있고, 건물은 형태는 정확하지만 수 마일 떨어져 있는 것처럼 보일 수 있습니다. 수년간 연구자들은 이 두 가지 접근 방식, 즉 멀티뷰 스테레오의 기하학적 정밀함과 단일 이미지 AI의 직관적인 형태 인식 능력을 결합하려고 시도해 왔습니다. 이전의 시도들은 단순히 AI의 추측치를 멀티뷰 시스템에 붙여넣거나 그 반대로 하는 방식이었습니다. 이러한 일방통행 방식은 자주 실패했는데, 한쪽의 오류가 다른 쪽을 끌어내려 최종 모델을 미완성 상태로 만들거나 기하학적으로 어긋나게 만들었기 때문입니다.

한 연구팀은 이 간극을 메울 새로운 방법을 제안하여, 두 방법이 서로의 실수를 바로잡기 위해 끊임없이 소통하는 시스템을 만들어냈습니다. 이 프레임워크는 단일 이미지 AI를 정적인 가이드로 취급하는 대신, 멀티뷰 시스템과 단일 이미지 AI가 서로를 개선할 수 있는 연속적인 루프를 허용합니다. 멀티뷰 시스템은 카메라가 어떻게 움직였는지에 대한 지식을 사용하여 AI의 추측치를 수정하고 정렬합니다. 그 대가로 AI는 강력한 전체 구조감을 제공하여, 사진이 부족하거나 시야가 가려진 곳에서 멀티뷰 시스템이 빈 곳을 채울 수 있도록 돕습니다. 이러한 상호 보완적 교정은 초기 초안 단계부터 최종 상세 모델에 이르기까지 모든 단계에서 일어납니다.

연구진은 실내 공간과 실외 풍경을 포함하여 복잡한 장면이 담긴 표준 데이터셋을 통해 이 접근 방식을 테스트했습니다. 그 결과, 그들의 방식이 기존의 최첨단 기술들보다 훨씬 더 깨끗하고 완전한 3D 재구성을 생성한다는 것을 발견했습니다. 기존 방식들이 가려진 영역에 구멍을 남기거나 왜곡된 표면을 만들어냈던 것과 달리, 이 새로운 시스템은 날카로운 경계와 정확한 기하학적 구조를 유지했습니다. 이러한 개선은 특히 불리한 각도에서 촬영된 단 세 장의 사진만 주어졌을 때와 같이 까다로운 조건에서 두드러졌는데, 이는 전통적인 방식들이 보통 실패하는 시나리오입니다. 이 시스템은 이러한 어려운 작업에 대해 특별히 학습되지 않았음에도 불구하고, 희소 데이터(sparse data)만을 위해 설계된 방식들과 견줄 만한 수준의 세부 정보와 정확도로 장면을 재구성하며 뛰어난 일반화 능력을 보여주었습니다.

이러한 성공의 핵심은 시스템이 불확실성을 처리하는 방식에 있습니다. 멀티뷰 시스템이 이미지 사이에서 명확한 일치점을 찾지 못할 때, 시스템은 단순히 추측하는 것이 아니라 구조적 단서를 얻기 위해 단일 이미지 AI를 살핍니다. 반대로, AI의 깊이 추정치가 모호하거나 구체적인 규모가 부족할 때, 멀티뷰 시스템은 정밀한 기하학적 데이터를 통해 이를 고정합니다. 이러한 상호 정교화 과정은 최종 출력이 단순히 두 개의 불완전한 추측을 혼합한 것이 아니라, 한쪽의 강점이 다른 쪽의 약점을 보완하는 통일된 구조가 되도록 보장합니다. 그 결과, 이 시스템은 제한적이거나 까다로운 시각적 데이터로부터도 고품질의 3D 모델을 생성할 수 있는 강력한 도구가 되었으며, 기계가 물리적 세계를 인식하고 재구성하는 방식에 있어 중요한 진전을 이루었습니다.

기술 요약: M2Depth

문제 정의

딥러닝 기반의 다중 뷰 스테레오(Multi-View Stereo, MVS)는 크게 발전했으나, 가려짐(occlusion), 제한된 뷰 중첩, 또는 복잡한 기하학적 구조가 존재하는 미학습 장면(unseen scenes)에 대한 일반화 능력에서 어려움을 겪고 있습니다. 반면, DepthAnythingV2와 같은 깊이 파운데이션 모델(Depth Foundation Models, DFMs)은 강력한 일반화 능력을 갖춘 견고한 단안(monocular) 깊이 예측을 제공하지만, 본질적인 스케일 모호성과 명시적인 다중 뷰 기하학적 일관성의 결여라는 문제를 안고 있습니다.

이 두 가지 양식을 통합하려는 기존 방식들은 일반적으로 정적이고 단방향적인 융합 체계에 의존합니다:

MVS 중심 방법론 (예: MonoMVSNet): 단안 사전 정보(monocular priors)를 정적인 가이드로 주입하지만, 사전 정보의 스케일 오류를 수정하지 못하거나 질감이 없는 영역에서의 모호성을 해결하기 위해 다중 뷰 기하학을 충분히 활용하지 못합니다.
DFM 중심 방법론 (예: MVSAnywhere): 다중 뷰 정보를 사용하여 단안 모델을 조건화하지만, 느슨한 결합과 수정되지 않은 스케일 오류의 전파로 인해 정렬되지 않은 기하학적 구조를 초래하는 경우가 많습니다.

이러한 단방향 접근 방식은 두 양식 간의 동적인 보상을 방해하며, 결과적으로 노이즈가 섞인 재구성이나 기하학적으로 일치하지 않고 어긋난 3D 구조를 생성하게 됩니다.

방법론

저자들은 M2Depth를 제안합니다. 이는 DFM과 계층적(cascade) MVS 파이프라인을 **양방향 상호 정제 전략(bidirectional mutual refinement strategy)**을 통해 긴밀하게 결합하는 새로운 프레임워크입니다. 이 시스템은 4단계의 조-세(coarse-to-fine) 파이프라인을 통해 반복적으로 작동하며, 단안 및 MVS 깊이 표현이 서로를 점진적으로 개선하도록 보장합니다.

1. 사전 정보 가이드 비용 볼륨 정제 (Cost-Crafter)

초기 계층 단계에 적용되는 이 모듈은 다중 뷰 비용 볼륨( $CV_{multi}$ )과 DFM에서 유도된 단안 비용 볼륨( $CV_{mono}$ )을 융합합니다.

이산화(Discretization): 연속적인 단안 깊이를 $M$ 개의 깊이 빈(bin)으로 이산화하여 구조적 빈 마스크( $M_{bin}$ )를 생성합니다.
토큰화 및 어텐션(Tokenization & Attention): 이 모듈은 콤팩트한 빈 기반 토큰화 전략을 채택합니다. 유사한 사전 깊이 레벨을 공유하는 픽셀들을 대표적인 "빈 토큰(bin tokens)"으로 그룹화합니다.
순서 기반 깊이 인코딩(Ordinal Depth Encoding): 기하학적 구조를 보존하기 위해 픽셀과 빈 모두에 스칼라 위치 편향 항(scalar positional bias terms)을 도입합니다. 이를 통해 어텐션 메커니즘이 의미론적 특징을 오염시키지 않으면서 유사한 깊이 레벨의 특징들 간의 상호작용을 선호하도록 합니다.
양방향 상호작용: 이 모듈은 두 번의 교차 어텐션(cross-attention)을 수행합니다:
- Pixel-to-Bin: 픽셀이 구조적으로 유사한 깊이 빈으로부터 전역적 문맥(global context)을 집계합니다.
- Bin-to-Pixel: 정제된 전역 응답이 모호한 픽셀(예: 질감이 없거나 가려진 영역)로 다시 분배됩니다.
  이 과정은 초기 비용 볼륨을 정규화하여 후속 단계들을 위한 견고한 기하학적 토대를 구축합니다.

2. 상호 깊이 정제 (Mutual Depth Refinement, MDR)

모든 계층 단계에서 작동하는 이 모듈은 두 개의 대칭적인 브랜치를 사용하여 MVS 깊이( $D_{mvs}$ )와 단안 깊이( $D_{mono}$ )를 반복적으로 업데이트합니다:

MVS 가이드 정렬 (MVS-Guided Alignment, MVS-GA): 단안 깊이를 MVS 기하학에 정렬합니다. 이는 기하학적 특징 볼륨(곡률 기반 신뢰도 큐 포함)을 사용하여 픽셀 단위 잔차(residual)를 반복적으로 예측함으로써, 단안 예측의 공간적으로 변화하는 스케일 모호성을 수정합니다.
단안 가이드 정제 (Mono-Guided Refinement, Mono-GR): 스케일이 정렬된 단안 구조를 사용하여 MVS 깊이를 정제합니다. 이 브랜치는 광학적 매칭(photometric matching)이 신뢰할 수 없는 저질감 또는 가려진 영역에서 특히 효과적입니다. 이는 신뢰도 게이트형 불일치 인코더(confidence-gated discrepancy encoder)를 사용하여 MVS 매칭이 불확실한 곳에서만 단안 큐가 지배적으로 작용하도록 합니다.
적응형 앵커링 (Adaptive Anchoring): 지수 이동 평균(EMA)을 통해 업데이트되는 지속적인 신뢰도 맵이 적응형 앵커 역할을 합니다. 높은 신뢰도를 가진 MVS 픽셀은 고정된 앵커 역할을 하며, 낮은 신뢰도를 가진 영역은 단안 사전 정보가 누락된 구조를 생성(hallucinate)할 수 있도록 허용합니다.

3. 학습 목적 함수 (Training Objective)

프레임워크는 모든 단계에서 세 가지 상호 보완적인 손실 함수를 사용하여 학습됩니다:

교차 엔트로피 손실 ( $L_{CE}$ ): 표준적인 깊이 분포 정확도.
상호 정제 손실 ( $L_{mut}$ ): 중간 정제 반복 과정을 감독하는 감쇠된 $\ell_1$ 손실.
순서 보존 손실 ( $L_{ord}$ ): 국부적 구조를 유지하기 위해 픽셀 쌍의 상대적 깊이 순서 위반에 대해 패널티를 부여함.

주요 기여

양방향 상호 정제: MVS 깊이가 단안 스케일 모호성을 해결하고, 단안 깊이가 MVS의 구조적 완전성과 디테일을 향상시키는 혁신적인 전략으로, 정적인 융합을 넘어섭니다.
사전 정보 가이드 비용 볼륨 정제: 어텐션 기반 메커니즘을 통해 단안 비용 볼륨과 구조적 빈 마스크를 통합하여 국부적 기하학적 일관성을 촉진하는 "Cost-Crafter" 모듈을 제공합니다.
강력한 희소 뷰 일반화(Sparse-View Generalization): 본 프레임워크는 별도의 학습 없이도 희소 뷰 설정(예: 3 뷰)에 대해 놀라운 일반화 성능을 보여주며, 전용 희소 뷰 방법론들을 능가하는 동시에 효율적인 정확도-효율성 트레이드오프를 유지합니다.
최첨단 성능(SOTA): 이 방법은 표준 벤치마크에서 3D 재구성과 깊이 추정 모두에서 우수한 결과를 달고합니다.

실험 결과

본 방법은 DTU, Tanks and Temples (TNT), RobustMVD 벤치마크에서 평가되었습니다.

DTU 벤치마크: M2Depth는 정확도(Accuracy, 0.301 mm), 완결성(Completeness, 0.241 mm), 그리고 종합 점수(Overall, 0.271 mm)에서 가장 낮은 오차를 기록하며, 기존의 MVS 방법론(예: MVSFormer++)과 최신 DFM 기반 하이브리드 모델(예: MonoMVSNet, MVSAnywhere)을 모두 능가했습니다.
TNT 벤치마크: 중간 및 고급 테스트 세트 모두에서 가장 높은 평균 F-score를 달성하여, 대규모의 제약 없는 장면에 대한 강력한 일반화 능력을 입증했습니다.
RobustMVD (깊이 추정): 교차 데이터셋 깊이 추정에서 M2Depth는 DTU와 TNT에서 최상의 결과를 얻었으며, KITTI에서도 경쟁력 있는 결과를 보여주어 순수 DFM 접근 방식과 MVS 중심 하이브리드 모델보다 뛰어난 성능을 보였습니다.
희소 뷰 재구성 (Sparse-View Reconstruction): SparseRecon 프로토콜(불리한 3 뷰 조건) 하에서 평가되었을 때, M2Depth는 전용 희소 뷰 방법론인 UFORecon 및 SparseRecon을 능가하며 가장 낮은 평균 Chamfer Distance(0.79)를 달 기록했습니다. 이는 본 모델이 희소 뷰 최적화를 위해 명시적으로 설계되지 않았음에도 불구하고 달성한 결과입니다. 또한 이러한 특화된 방법들과 비교하여 훨씬 더 나은 실행 시간 및 메모리 프로파일을 유지했습니다.

의의 및 주장

본 논문은 M2Depth가 정적인 단방향 융합을 긴밀하게 결합된 양방향 상호작용으로 대체함으로써 기존 하이브리드 방법들의 한계를 성공적으로 해결했다고 주장합니다. 단안 사전 정보를 다중 뷰 기하학에 지속적으로 정렬함으로써, 프레임워크는 스케일 모호성을 완화하는 동시에 도전적인 영역에서의 MVS 불완전성을 보완합니다.

저자들은 이 접근 방식이 일반화된 3D 재구성을 위한 실용적인 방향을 제시한다고 강조합니다. 이는 MVS의 미터법적 신뢰성을 희생하지 않으면서 파운데이션 모델의 구조적 완전성을 활용합니다. 결정적으로, 이 방법은 특정 학습이나 비용이 많이 드는 테스트 타임 최적화 없이도 희소 뷰 설정에 강력하게 일반화되어, 표준 MVS 파이프라인 및 특화된 희소 뷰 재구성 기술과 비교하여 우수한 정확도-효율성 트레이드오프를 제공합니다.