기술 요약: 메트릭 깊이 복원을 위한 이미지 적응형 스케일 필드 학습

문제 정의

단안 깊이 추정 (MDE) 은 트랜스포머 기반 아키텍처와 대규모 사전 학습의 발전으로 크게 진전되었습니다. 그러나 가장 널리 사용되는 방법들은 대부분 알려지지 않은 스케일과 시프트에 대해서만 정의된 깊이 맵을 생성합니다. 일부 접근법은 직접 메트릭 깊이를 추정하지만, 로봇공학, 자율 주행, 3D 재구성 등 많은 실용적 응용 분야는 명시적인 메트릭 정렬을 요구합니다. 이러한 정렬은 일반적으로 희소 메트릭 앵커 (예: LiDAR 포인트 또는 구조로부터의 운동 제약) 에 의존합니다.

희소 앵커로부터 메트릭 깊이를 복원하는 기존 방법들은 일반적으로 두 가지 범주로 나뉩니다:

1. 전역 아핀 정렬: 이미지 전체에 걸쳐 균일한 스케일과 시프트를 가정합니다. 안정적이지만, 편향이 균일하지 않은 다양한 객체나 복잡한 레이아웃이 있는 장면에서는 실패합니다.
2. 로컬/지역적 접근법: 조각별 아핀 정렬, 지역 가중 회귀 (LWLR), 그리드 기반 최적화, 지역 인식 적응과 같은 방법들은 공간적으로 변하는 편향을 모델링하려고 시도합니다. 그러나 이러한 방법들은 종종 실제 장면에서 성립하지 않을 수 있는 구조적 가정에 의존하거나 희소 앵커 세트를 분할하여, 앵커가 부족할 때 불안정한 추정으로 이어집니다.

핵심적인 과제는 희소 앵커로부터 밀집된 픽셀별 스케일 및 시프트 필드를 복원하는 것이 본질적으로 잘 정의되지 않은 (ill-posed) 문제라는 점입니다. 기존 솔루션들은 극단적인 희소성 하에서 신뢰할 수 없을 수 있는 사전 정의된 구조적 사전 지식을 부과합니다.

방법론

저자들은 메트릭 깊이 복원을 이미지 적응형 스케일 필드 모델링으로 공식화합니다. 깊이 맵을 직접 수정하는 대신, 이 방법은 수정을 학습된 기저 맵의 저차원 선형 결합으로 재구성합니다.

1. 로그 공간에서의 매개변수화

메트릭 깊이 $D_{gt}(x)$는 아핀 변환을 통해 추정된 깊이 $D_{MDE}(x)$와 관련이 있습니다:
$$D_{gt}(x) = s(x) D_{MDE}(x) + t(x)$$
큰 깊이를 가진 픽셀이 최적화를 지배하는 깊이 의존적 기울기 스케일링 문제를 피하기 위해, 저자들은 로그 공간에서 작동합니다. 그들은 로그 스케일 필드 $\ell(x) = \log s(x)$를 정의하고, 시프트 항 $t(x)$를 스케일 필드 내의 깊이 의존적 보정으로 흡수합니다.

2. 기저 맵 생성기

로그 스케일 필드는 $K$개의 이미지 적응형 기저 맵의 선형 결합으로 모델링됩니다:
$$\ell(x) = \sum_{m=1}^{K} w_m E_m(x) = E(x)^\top w$$
여기서 $w \in \mathbb{R}^K$는 이미지별 가중치이고, $E_m(x)$는 기저 맵입니다.

기저 맵 생성기는 다음 세 가지 입력을 기반으로 이러한 맵을 생성하는 신경망입니다:

• 중간 표현 ($F(x)$): 깊이 헤드 이전에 MDE 백본에서 추출된 특징으로, 의미론적 및 구조적 맥락을 포착합니다.
• 추정 로그 깊이: $\log D_{MDE}(x)$와 그 공간 기울기로, 깊이 의존적 기하학을 인코딩합니다.
• 이미지 좌표 ($x$): 공간적 경향을 모델링하기 위해 사용됩니다.

생성기 아키텍처는 다음과 같습니다:

• 특징 $H(x)$를 생성하는 공유 합성곱 트렁크.
• 원시 기저 맵 $B(x)$를 예측하는 기저 헤드.
• (소프트맥스를 통해) 정규화된 가중치 $G(x)$를 예측하는 게이트 헤드.
• 최종 기저 맵은 $E(x) = G(x) \odot B(x)$로 계산됩니다. 이 분해는 공간 패턴이 게이트 맵에 의해 제어되는 다양한 크기로 이미지 영역 전반에 걸쳐 재사용될 수 있게 합니다.

3. 최소 제곱을 통한 가중치 추정

가중치 $w$는 희소 메트릭 앵커 $A = \{a_i\}$에 모델을 피팅함으로써 결정됩니다. 각 앵커 $a_i$에 대해 목표는 $y_i = \log D_{gt}(a_i) - \log D_{MDE}(a_i)$입니다. 가중치는 정규화된 최소 제곱 문제를 풀어 찾습니다:
$$w^* = \arg \min_w \|Mw - y\|_2^2 + \lambda \|w\|_2^2$$
여기서 $M$은 앵커 위치에서의 기저 맵 값들의 행렬입니다. 이는 폐쇄형 해를 제공하여 극단적인 앵커 희소성 하에서도 안정성을 보장합니다.

4. 훈련 목적 함수

기저 맵 생성기는 다음을 사용하여 훈련됩니다:

• 밀집 손실: 복원된 메트릭 깊이와 실제 메트릭 깊이 간의 SmoothL1 손실.
• 앵커 손실: 앵커 위치에서 예측된 로그 스케일과 목표 로그 스케일 간의 MSE.
• 비상관 손실: 중복을 방지하기 위해 기저 맵 간의 직교성을 장려합니다.
• 게이트 정규화: 지나치게 날카로운 게이트 할당을 방지하기 위한 음의 엔트로피 손실.

주요 기여

1. 저차원 재구성: 이 논문은 메트릭 깊이 복원을 복잡한 공간 필드를 직접 학습하는 대신 이미지 적응형 기저 맵에 대한 소수의 가중치를 추정하는 것으로 축소하는 공식을 도입합니다.
2. 희소성에 대한 강건성: 전역 집계 최소 제곱 솔버를 사용함으로써, 이 방법은 매우 적은 수의 앵커 (예: 이미지당 1~9 개) 로도 안정적인 해를 달성하며, 앵커를 분할하거나 로컬 회귀에 의존하는 방법들을 능가합니다.
3. 해석 가능성: 이 접근법은 공간적 스케일 변이의 해석 가능한 분해를 제공합니다. 학습된 기저 맵과 그 가중치는 전역 및 로컬 편향이 어떻게 구조화되는지 보여줍니다.
4. 범용 적용성: 이 방법은 아키텍처에 구애받지 않으며, 사전 훈련된 MDE 모델로부터의 중간 표현과 깊이 추정만 필요합니다. 외부 분할 모델이나 특정 백본 아키텍처를 요구하지 않습니다.

실험 결과

이 방법은 Depth Anything 3 (DA3) 과 MiDaS 를 대표적인 MDE 모델로 사용하여 KITTI, UrbanSyn, SUN RGB-D 데이터셋에서 평가되었습니다.

• 성능: 제안된 방법 ("Basis") 은 모든 데이터셋과 앵커 밀도에서 전역, 조각별, LWLR, 그리드 기반, 지역 인식 베이스라인보다 일관되게 우수한 성능을 보였습니다.
  • KITTI 에서 10~15 개의 앵커 (낮은 영역) 로 테스트했을 때, 이 방법은 DA3 기준 0.15, MiDaS 기준 0.13 의 AbsRel 을 달성하여 전역 베이스라인 (0.31/0.17) 보다 훨씬 좋았습니다.
  • UrbanSyn/SUN RGB-D 에서 낮은 앵커 영역에 대해 DA3 기준 0.08, MiDaS 기준 0.14 의 AbsRel 을 달성했습니다.
• 극단적 희소성: 앵커를 1 개까지 줄이는 "앵커 드롭" 테스트에서 이 방법은 안정적으로 유지되었습니다. 스펙트럼 분석은 앵커 임베딩 행렬의 지배적인 고유 모드가 거의 전적으로 전역 스케일 채널에 해당함을 보여주어 강건성을 설명했습니다.
• 애블레이션: 중간 표현 ($F(x)$) 이 중요하다는 것이 확인되었습니다; 이를 비활성화하면 모델이 증가된 기저 용량 (더 높은 $K$) 의 혜택을 받지 못했습니다.

중요성과 주장

저자들은 그들의 접근법이 현대 MDE 시스템에 희소 메트릭 정보를 통합하기 위한 실용적인 프레임워크를 제공한다고 주장합니다. 주요 교훈은 다음과 같습니다:

• 향상된 정확도: 이 방법은 다양한 장면과 앵커 밀도에서 최첨단 메트릭 깊이 정렬 정확도를 달성합니다.
• 강건성: 저차원 공식화와 전역 최소 제곱 추정은 앵커가 부족하여 로컬 방법이 실패하는 상황에서 강력한 강건성을 제공합니다.
• 해석 가능성: 기저 맵으로의 분해는 MDE 모델의 스케일 - 시프트 편향을 분석하고 이해하는 새로운 방식을 제공합니다.

이 논문은 성실하게도 성능이 여전히 앵커의 정보성 (공간적 커버리지와 다양성) 에 의존하며, CNN 기반 MDE 모델에 대한 검증은 향후 과제로 남아있다고 언급합니다. 그러나 제안된 공식은 여러 기존 정렬 전략을 특수한 경우로 포함하는 일반화 가능한 솔루션으로 제시됩니다.