💻 computer science

Optimization of Monodepth2-Based Monocular Vision Measurement Method Using Prior Geometric Features and Semantic Segmentation

본 논문은 건설 현장에서 서브 밀리미터 수준의 정밀도를 달성하기 위해 시맨틱 세그멘테이션과 사전 기하학적 특징을 이용한 고정 가중치 공간 보정을 통합하여 최적화된 Monodepth2 기반 단안 시각 측정 방법을 제안하며, 이는 기존 방식 대비 96% 이상의 오차 감소를 입증한다.

원저자: Shuzhan Wu, Lizhen Huang, Jingwen Liu, Hualin Tang, Kai Zhao, Tianfan Zhang

게시일 2026-07-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuzhan Wu, Lizhen Huang, Jingwen Liu, Hualin Tang, Kai Zhao, Tianfan Zhang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 한 쪽 눈으로 3D 보기

사진 한 장만 보고 자동차가 얼마나 멀리 있는지 맞히려고 노력하는 상황을 상상해 보세요. 이것이 바로 **단안 시각(monocular vision)**이 하는 일입니다. 인간의 눈처럼 단 하나의 카메라만을 사용하여 깊이(거리)를 파악하려고 시도하는 것이죠.

문제는 무엇일까요? 평면 사진에는 깊이감이 없습니다. 마치 산을 그린 그림을 보는 것과 같습니다. 색상은 볼 수 있지만, 산봉우리가 정확히 얼마나 멀리 떨어져 있는지는 알 수 없습니다. 기존의 컴퓨터 프로그램들(예: Monodepth2)은 추측을 잘 해내지만, 종종 규모(scale)를 틀리곤 합니다. 작은 장난감 자동차를 실제 자동차로 착각하거나, 물체의 가장자리를 뭉툭하게 만들어 흐릿하게 보이게 만들기도 합니다.

이 논문은 이러한 컴퓨터 프로그램에 새로운 "초능력"을 부여합니다. 컴퓨터가 실수를 바로잡을 수 있도록 두 가지 추가 기술을 가르칩니다:

시맨틱 세그멘테이션(Semantic Segmentation): 자신이 무엇을 보고 있는지 아는 것 (예: 사람과 나무를 구별하는 것).
사전 기하학적 특징(Prior Geometric Features): 물체의 '규칙'을 아는 것 (예: 콘크리트 블록은 완벽한 직사각형이라는 것을 아는 것).

3단계 "수정(Fix-It)" 프로세스

저자들은 마치 탐정이 미스터리를 풀 듯이 작동하는 3단계 시스템을 구축했습니다.

1단계: 거친 스케치 (Monodepth2)

먼저, 컴퓨터는 사진 한 장을 찍고 깊이에 대한 "거친 스케치"를 만듭니다. 무엇이 가까이 있고 무엇이 멀리 있는지 추측하는 단계입니다.

결함: 이 스케치는 종종 흐릿합니다. 물체의 가장자리가 뭉툭하고 거리가 약간 어긋날 수 있는데, 이는 마치 지형을 한 번도 본 적 없는 사람이 그린 지도와 같습니다.

2단계: "형광펜" (Semantic Segmentation)

다음으로, 시스템은 UNet++(AI의 일종)라는 도구를 사용하여 형광펜 역할을 수행합니다.

비유: 여러분이 붐비는 경기장 사진을 보고 있다고 상상해 보세요. 경기장 안의 선수들과의 거리를 측정하고 싶지만, 관중석의 관중들이 방해가 됩니다. 이때 "형광펜"은 선수들은 초록색으로, 관중은 빨간색으로 칠합니다.
결과: 이제 컴퓨터는 배경 소음(관중)을 무시하고 오직 "관심 영역(Region of Interest)"(선수들)에만 집중할 수 있습니다. 이를 통해 컴퓨터가 측정할 필요가 없는 것들 때문에 혼란에 빠지는 것을 방지합니다.

3단계: "자(Ruler)" (Prior Geometric Features)

이것이 이 논문의 가장 큰 혁신입니다. 컴퓨터는 자신이 측정하려는 물체(프리캐스트 콘크리트 블록)가 특정한, 완벽한 기하학적 규칙을 가지고 있다는 것을 알고 있습니다.

비유: 벽돌 담장을 보고 있다고 상상해 보세요. 설령 사진이 약간 왜곡되어 있더라도, 여러분은 벽돌이 직선 가장자리를 가진 완벽한 직사각형이라는 것을 알고 있습니다. 만약 컴퓨터의 "거친 스케치"가 벽돌을 곡선이거나 울퉁불퉁하게 그린다면, 컴퓨터는 자신의 "자"(알려진 기하학적 구조)를 사용하여 스케치를 다시 직선으로 바로잡습니다.
"고정 가중치(Fixed-Weight)" 기술: 이미지를 수정하는 방식을 계속 바꾸는 대신(이는 느리고 복잡합니다), 시스템은 고정 가중치 보정을 사용합니다. 이것은 미리 설정된 템플릿과 같습니다. 만약 컴퓨터가 콘크리트 블록을 발견하면, 그 모양에 효과가 검증된 특정 "직선화" 규칙을 적용합니다. 더 이상 추측할 필요 없이, 그 규칙을 적용하기만 하면 됩니다.

결과: "흐릿함"에서 "서브 밀리미터" 수준으로

연구진은 이 방법을 콘크리트 블록(건축 건설에 사용되는 것과 같은)에 테스트했습니다.

수정 전: 컴퓨터의 깊이 추정치는 꽤 엉망이었습니다. 오차가 컸는데, 이는 마치 늘어나는 고무 자로 방을 측정하는 것과 같았습니다.
수정 후: "형광펜"을 사용하여 물체에 집중하고 "자"를 사용하여 가장자리를 바로잡음으로써 오차가 극적으로 줄어들었습니다.
- 정확도가 96% 이상 향상되었습니다.
- 최종 측정값은 서브 밀리미터(sub-millimeters) 단위(동전 두께보다 작은 수준) 내로 정확했습니다.

이 논문이 중요한 이유 (논문에 따르면)

이 논문은 이 방법이 단일 카메라를 사용하여 값비싼 다중 센서 시스템에서나 가능했던 정밀도로 대형 건설 물체를 측정할 수 있게 해준다고 주장합니다. 또한, 알려진 물체의 형태를 존중하도록 강제함으로써 "규모 모호성(scale ambiguity)"(무언가가 작아서 가까운 것인지, 혹은 커서 멀리 있는 것인지 알 수 없는 문제)을 해결합니다.

요약하자면: 연구진은 거리 추측은 잘하지만 디테일에는 약했던 컴퓨터에게, 올바른 물체에 집중할 수 있는 형광펜을 주고, 물체가 실제의 완벽한 모양을 갖추도록 강제하는 자를 쥐여주었습니다. 그 결과, 단 하나의 카메라만으로도 매우 정확한 3D 측정 시스템을 만들어냈습니다.

기술 요약: Monodepth2 기반 단안 시각 측정의 최적화

문제 정의
단안 시각 시스템은 대규모 공간 측정에 있어 비용과 단순성 측면에서 상당한 이점을 제공하지만, 2D 이미징 과정에서 발생하는 불가역적인 깊이 정보의 손실 문제로 어려움을 겪는다. Monodepth2와 같은 기존의 딥러닝 기반 단안 깊이 추정 방식, 특히 비지도 학습 방식은 실제 응용 분야에서 세 가지 결정적인 한계에 직면한다:

스케일 불일치(Scale Inconsistency): 전역적 깊이 추정은 종종 절대적인 깊이 기준이 부족하여 스케일 모호성과 누적 오차를 초래한다.
디테일 평활화(Detail Smoothing): 객체의 가장자리나 윤곽선과 같은 국부적인 기하학적 특징이 평활화되는 경향이 있어, 미세한 구조적 정보의 복원을 방해한다.
전경-배경 혼동(Foreground-Background Confusion): 표준 방식은 대상 특유의 기하학적 제약 조건을 활용하여 깊이 지도를 적응적으로 최적화하는 데 어려움을 겪으며, 이로 인해 대상 객체가 배경과 혼동되는 오류가 자주 발생한다.

기존 연구들이 기하학적 사전 지식(prior)을 통합하려는 시도를 해왔으나, 이들은 대개 복잡한 윤곽 특징을 동적으로 모델링할 수 있는 유연성이 부족한 경직된 템플릿이나 지나치게 단순화된 가정에 의존한다.

방법론
본 논문은 세만틱 세그멘테이션(semantic segmentation)과 사전 기하학적 특징 제약을 Monodepth2 비지도 학습 파이프라인에 통합하는 하이브리드 프레임워크를 제안한다. 방법론은 세 가지 주요 단계로 구성된다:

전역 깊이 기초 (Monodepth2):
시스템은 이미지 재구성 제약 조건에 기반한 자기 지도 학습 전략을 사용하는 Monodepth2 프레임워크를 활용한다. 이는 밀집된 정답(ground-truth) 깊이 라벨 없이도 초기 깊이 지도를 생성하기 위해 인코더-디코더 아키텍처(ResNet 기반)를 사용한다. 이를 통해 기초적인 공간 표현을 구축한다.
세만틱 가이드 ROI 추출:
전경-배경 혼동 문제를 해결하기 위해, 본 방법은 UNet++ 아키텍처를 사용하여 이미지 세만틱 세그멘테이션을 수행한다. 이 모듈은 관심 영역(ROI)—구체적으로는 프리캐스트 콘크리트 부품—을 배경으로부터 분리한다. 세그멘테이션된 ROI에 깊이 추정을 집중함으로써, 시스템은 국부적 디테일을 보존하고 무관한 장면 요소로 인한 오류를 줄인다.
사전 기하학적 특징 교정:
알려진 기하학적 제약 조건을 사용하여 추정된 깊이 지도를 교정하기 위한 고정 가중치 교정 모듈이 도입된다.

기하학적 모델링: 대상 표면은 알려진 물리적 치수( $W$ 및 $H$ )를 가진 이상적인 직사각형으로 모델링된다.
투영 변환(Perspective Transformation): 시스템은 이미지상의 추정 사각형을 투영 변환을 사용하여 표준 직사각형으로 매핑한다.
오류 모델링: 깊이 추정 오차는 거리에 따라 선형적으로 증가한다고 가정한다. 추정된 픽셀 치수와 알려진 물리적 치수 사이의 편차를 최소화하기 위해 최소 제곱법(least squares fitting)을 사용하여 교정 계수( $k$ )를 계산한다.
그리드 분할: 비균일한 오차 분포를 처리하기 위해 ROI를 그리드(예: $36 \times 30$ )로 나눈다. 교정 계수는 각 그리드 셀별로 개별적으로 계산되어, 동적 가중치 조정의 계산 복잡성 없이 국부적인 공간 정규화를 가능하게 한다.

주요 기여

세만틱 및 기하학적 사전 지식의 통합: 본 논문은 ROI 국지를 위한 세만틱 세그멘테이션과 깊이 정교화를 위한 고정 가중치 기하학적 교정을 결합한 협력적 최적화 접근 방식을 소개한다.
고정 가중치 교정 전략: 동적 가중치 조정이나 경직된 템플릿을 필요로 하는 방법들과 달리, 이 방식은 명시적인 기하학적 모델링(예: 콘크리트 부품의 대칭성 및 알려진 치수)을 기반으로 한 계산 효율적인 고정 가중치 교정을 사용한다.
그리드 기반 국부 정교화: 다중 스케일 그리드 분할 전략의 구현을 통해 전역 추정의 스케일 불일치를 완화하는 동시에 국부적인 기하학적 디테일을 보존할 수 있다.

실험 결과
본 방법은 Intel RealSense D415 깊이 카메라(정답 및 RGB 획득용)와 스마트폰 카메라(단안 입력 시뮬레이션)를 포함하는 설정으로 검증되었다. 실험은 다양한 운용 조건 하의 표준 콘크리트 시편을 대상으로 수행되었다.

정확도 향상: $36 \times 30$ 그리드 분할 구성에서, 제안된 방법은 0.0071의 평균 절대 오차(MAE)와 0.0096의 평균 제곱근 오차(RMSE)를 달연했다.
비교: 이러한 결과는 기존 방식(Baseline MAE: 0.2416; RMSE: 0.2678) 대비 96% 이상의 개선을 나타낸다.
강건성(Robustness): 본 방법은 실내 테스트에서 서브 밀리미터(sub-millimeter) 단위의 정확도를 입증했다. 여러 독립적인 객체와 복잡한 배경을 포함한 다양한 운용 조건에서도 낮은 오차율을 유지하며, 전통적인 평면 피팅 방식(Mean Normal Plane, Least Squares, RANSAC)보다 우수한 성능을 보였다.
그리드 민감도: 실험 결과, 그리드 밀도를 높임에 따라( $12 \times 10$ 에서 $60 \times 50$ 까지) 교정 오차가 점진적으로 감소하였으며, 이는 국부 디테일 최적화를 위한 미세한 그리드 분할의 효과를 입증한다.

의의 및 주장
저자들은 본 연구가 건설 현장, 특히 프리캐스트 콘크리트 부품의 측정을 위한 정량적 응용 분야에 새로운 패러다임을 제공한다고 주장한다. 단일 이미지 단안 조건에서 서브 밀리미터 정확도를 달성함으로써, 이 방법은 지능형 건설 및 산업 계측을 위한 강건한 솔루션을 제공한다.

본 연구는 현재의 한계점을 인정하며, 본 방법이 주로 평면 객체에 대해 검증되었으며 곡면 또는 불규칙한 기하학적 구조에서는 어려움이 있을 수 있음을 명시한다. 또한, ROI 추출의 정확도는 세만틱 세그멘테이션 경계의 정밀도에 의존한다. 향-후 연구로는 복잡한 기하학적 구조로의 검증 확장과 강건성 향상을 위한 LiDAR-비전 융합 탐색이 제안되었다.