기술 요약: Depth2Pose

문제 제기

단안 깊이 추정 (MDE) 은 딥러닝과 대규모 학습 데이터의 발전으로 인해 크게 진전되었으며, 예측된 깊이는 구조로부터의 운동 (SfM), 시각적 위치 추정, 동시 위치 추정 및 지도 작성 (SLAM), 그리고 조밀한 3D 재구성 과 같은 하위 기하 작업에 중요한 입력으로 increasingly 활용되고 있습니다. 그러나 MDE 의 평가는 여전히 픽셀 단위 깊이 정확도 지표 (예: AbsRel, RMSE, $\delta_1$) 에 의존하는 전통적인 프로토콜에 의해 제한받고 있습니다. 이러한 지표들은 오류를 전역적으로 집계하여 모든 이미지 영역을 동일하게 취급하므로, 하위 작업에 대한 서로 다른 영역의 기하학적 중요성 변화를 반영하지 못합니다. furthermore, 표준 벤치마크는 LiDAR 또는 RGB-D 센서를 통해 획득된 조밀한 정답 깊이 (ground-truth depth) 에 의존합니다. 이러한 의존성은 평가를 특정 환경으로 제한하고, 대규모 야외 장면, 식생, 반사 표면과 같은 까다로운 시나리오를 배제하며, 학습 데이터와 테스트 데이터 간의 분포적 중복을 생성하여 일반화 능력을 흐리게 만듭니다.

방법론

저자들은 직접적인 깊이 정확도 대신 상대 카메라 자세 추정에 대한 유용성에 기반하여 MDE 품질을 평가하는 작업 주도 평가 프레임워크인 Depth2Pose를 제안합니다. 핵심 전제는 기하학적으로 정보 풍부한 영역에서의 정확한 깊이 예측이 깊이 인식 기하 솔버 내에서 사용될 때 더 정확한 상대 자세 추정으로 이어진다는 것입니다.

평가 파이프라인

1. 데이터 준비: 주어진 장면에 대해 성숙한 SfM 파이프라인 (COLMAP) 을 사용하여 카메라 자세를 재구성하여 가짜 정답 (pGT) 으로 활용합니다. 이는 픽셀 단위 깊이 정답이 필요하지 않도록 합니다.
2. 이미지 쌍 선택: SfM 모델을 기반으로 최소 10% 의 시각적 중첩을 가진 이미지 쌍을 샘플링합니다.
3. 특징 매칭: 학습된 로컬 특징 (구체적으로 LoMa 또는 SuperPoint+LightGlue) 을 사용하여 이미지 쌍 간에 특징점을 탐지하고 매칭합니다.
4. 깊이 인식 자세 추정: 평가 중인 MDE 가 예측한 깊이 값으로 매칭된 2D 대응점을 보강합니다. 이를 깊이 인식 상대 자세 솔버 (구체적으로 RePoseD 프레임워크의 변형) 에 입력합니다. 솔버는 점 대응점과 깊이를 결합하여 상대 카메라 운동 ($R, t$) 을 추정합니다.
5. 지표 계산: 추정된 상대 자세를 SfM 재구성에서 얻은 참조 자세와 비교합니다. 평가 지표는 $10^\circ$ 임계값까지의 자세 오류 (회전 및 이동) 에 대한 **평균 평균 정확도 (mAA)**입니다.

솔버 변형

프레임워크는 깊이의 영향을 분리하기 위해 여러 솔버 구성을 평가합니다:

• 기선 (B): 2D-2D 대응점만 사용하는 고전적인 5 점 솔버 (깊이 없음).
• 하이브리드 (H): 스케일 불변 솔버로, 스코어링에는 Sampson 오류를, 최적화에는 결합된 Sampson 및 대칭 재투영 오류를 사용하는 하이브리드 오류를 사용합니다.
• 재투영 (R): 스코어링과 최적화 모두에 대칭 재투영 오류만 사용하는 솔버로, Sampson 오류가 깊이 부정확성을 보상하지 못하게 함으로써 깊이 영향을 더 직접적으로 평가합니다.
• 아핀 불변: 스케일 정보가 보존되지 않는 시나리오를 위해 아핀 불변 깊이를 가정하는 변형들.

주요 기여

1. Depth2Pose 프레임워크: 정답 깊이를 정답 자세로 대체하는 새로운 평가 패러다임입니다. 이는 조밀한 깊이 센싱이 비실용적이거나 불가능한 다양한 실제 환경에서 확장 가능한 평가를 가능하게 합니다.
2. 작업 관련 평가: 이 프레임워크는 공간적으로 불균일한 깊이 품질을 포착하여, 하위 작업에 기하학적으로 정보 풍부한 영역 (예: 안정적인 특징 대응이 있는 영역) 을 강조하고, 질감이 없거나 덜 중요한 영역의 오류를 벌점하지 않습니다.
3. D2P 데이터셋: 표준 학습 데이터의 분포 밖에 있는 24 개의 까다로운 실제 장면 (12 개의 "조각상"과 12 개의 "식생") 으로 구성된 새로운 데이터셋입니다. 이 장면들은 복잡한 기하학, 중첩된 가림, 그리고 큰 깊이 변화를 특징으로 하며, 일반화를 테스트하도록 특별히 설계되었습니다.
4. 확장 가능한 프로토콜: 픽셀 단위 깊이 주석이 필요 없이 이전에 접근 불가능했던 시나리오에서 벤치마킹을 용이하게 하는 간단하고 재현 가능한 평가 파이프라인입니다.

결과

• 표준 지표와의 상관관계: 확립된 벤치마크 (ETH3D, ScanNet++, Sintel, LaMAR) 에서 자세 기반 지표 (mAA) 는 표준 깊이 지표 ($\delta_1$) 와 강하게 상관관계가 있습니다. 그러나 저자들은 높은 $\delta_1$ 점수가 반드시 높은 자세 정확도를 보장하지는 않는다고 지적합니다. 왜냐하면 자세 추정은 균일한 픽셀 정확도보다는 안정적인 대응점의 하위 집합에 의존하기 때문입니다.
• 일반화 격차: D2P 데이터셋에서는 표준 벤치마크와 비교하여 MDE 의 순위가 크게 바뀝니다. 표준 데이터셋에서 가장 잘 수행되는 방법들 (예: MoGeV2) 이 D2P 에서도 항상 최상위 성능을 유지하는 것은 아니며, 반면 일부 표준 벤치마크 점수가 낮은 방법들은 경쟁력 있는 성능을 보입니다. 이는 전통적인 평가에서 포착되지 않는 일반화 격차를 강조합니다.
• 깊이 유용성: 현재 MDE 들은 D2P 데이터셋에서 "깊이 없음" 기선 (2D-2D 대응점만 사용) 을 일관되게 능가하지 못합니다. 이는 깊이 인식 솔버가 개선의 길을 제시하지만, 현재 깊이 예측에는 까다로운 분포 외 (out-of-distribution) 장면에서 견고한 자세 추정으로 이어지지 않는 오류가 포함되어 있음을 시사합니다.
• 솔버 민감도: 솔버 선택 (H 대 R) 은 깊이 오류와 자세 정확도 간의 상관관계에 영향을 미칩니다. 재투영 오류에 크게 의존하는 R 변형은 깊이 품질에 대한 더 엄격한 테스트를 제공하는 반면, H 변형은 시스템 성능에 대한 실용적인 통찰력을 제공합니다.

중요성 및 주장

이 논문은 깊이를 고립된 재구성 작업으로 평가하는 것에서 기하학적 추론 시스템의 구성 요소로 평가하는 것으로의 필수적인 전환을 Depth2Pose 가 제공한다고 주장합니다. 표준 벤치마크가 까다로운 실제 장면 (D2P) 의 성능을 예측하지 못함을 입증함으로써, 저자들은 커뮤니티가 작업 주도 평가 프로토콜이 필요하다고 주장합니다.

저자들은 겸손하게도 그들의 프레임워크가 표준 깊이 지표를 대체하는 것이 아니라 보완한다고 명시합니다. 그들은 한계를 인정하며, 이 프레임워크는 정확한 카메라 자세를 복구할 수 있는 경우 (예: SfM 을 통해) 에만 적용 가능하며, 매칭된 영역과 매칭되지 않은 영역 (예: 거울) 간의 정확한 깊이를 구별할 수 없다고 지적합니다. furthermore, 그들은 상대 자세 추정이 중복을 통해 더 높은 오류를 허용할 수 있는 SLAM 과 같은 복잡한 파이프라인보다 깊이 오류에 더 민감하다고 언급합니다. 궁극적으로 이 작업은 다양한 실제 환경에서 하위 기하 작업에 견고하고 유용한 MDE 개발을 장려하는 것을 목표로 합니다.