MapAnything: Evaluating Monocular Metric Depth Models for 3D Urban Asset Localization

기술 요약: MapAnything

문제 제기
도시 행정 기관은 교통 표지판, 나무와 같은 인프라 자산 및 낙서, 도로 손상과 같은 사건에 대한 포괄적이고 최신의 공간 데이터베이스 및 도시 디지털 트윈을 유지하는 데 상당한 어려움을 겪고 있습니다. 현재 데이터 수집 방법은 LiDAR 센서, 항공 사진 측량 또는 수동 측량과 같은 비용이 많이 들고 자원 집약적인 기술에 크게 의존하며, 이는 데이터 수집 빈도와 확장성을 제한합니다. 카메라 좌표만 사용하거나 다중 뷰 삼각 측량이 필요한 기존 대안들은 종종 정확한 매핑에 필요한 정밀도가 부족하거나, 객체가 여러 이미지에서 보이지 않을 때 실패합니다. 또한 많은 접근 방식은 객체 차원에 대한 사전 지식을 필요로 하는데, 이는 항상 구할 수 있는 것이 아닙니다. 사전 객체 지식이나 중첩된 시점을 요구하지 않고 단일 2D 스트리트 뷰 이미지에서 3D 공간 데이터를 추출할 수 있는 확장 가능하고 저비용의 방법이 필요합니다.

방법론
이 논문은 단일 단안 이미지에서 도시 객체의 공간 매핑을 자동화하는 지오 로컬라이제이션 프레임워크인 MapAnything을 소개합니다. 방법론은 다음 세 가지 주요 단계로 구성됩니다:

1. 객체 탐지/분할: 시스템은 수동 주석 또는 딥러닝 모델 (예: U-Net, Vision Transformers) 을 사용하여 이미지 내의 대상 객체를 식별합니다.
2. 계량적 깊이 추정 및 기하학적 계산:
   • 이 프레임워크는 이미지의 모든 픽셀에 대해 밀도 있는 깊이 지도 (미터 단위) 를 예측하기 위해 단안 계량적 깊이 추정 (Monocular Metric Depth Estimation) 모델을 사용합니다.
   • 객체 위치 (바운딩 박스의 중심 또는 분할 마스크의 가중 평균) 에서 추정된 깊이 ($d$) 와 카메라의 내부 및 외부 파라미터를 사용하여 시스템은 객체의 3D 위치를 계산합니다.
   • 이 과정에는 픽셀 좌표 정규화, 카메라 광축에 대한 각도 오프셋 계산, 그리고 카메라의 요 (yaw) 및 피치 (pitch) 보정이 포함됩니다.
   • 수평 거리 및 좌표 델타 ($\Delta x, \Delta y$) 는 삼각 함수 관계를 통해 유도되며, 이후 지구 반지름을 사용하여 위도와 경도 변화로 변환됩니다.
3. 중복 제거 및 매칭: 프레임워크는 동일한 클래스의 객체 간 최소 거리를 계산하여 여러 이미지에서의 중복 탐지를 필터링하고, 정의된 반경 내의 예측을 병합합니다. 또한 각도 오프셋 및 거리 임계값을 사용하여 기존 데이터베이스 항목과 예측을 매칭합니다.

저자들은 DepthAnything, DepthPro, UniDepth, Metric3D라는 네 가지 최첨단 깊이 추정 모델을 평가했습니다.

주요 기여

• MapAnything 프레임워크: 단일 2D 스트리트 뷰 이미지에서 도시 자산의 지오 좌표를 추출하는 확장 가능한 파이프라인으로, 다중 뷰 데이터나 사전 객체 크기 지식이 필요하지 않습니다.
• 포괄적인 모델 평가: 고정밀 LiDAR 포인트 클라우드에 대한 네 가지 최근 단안 계량적 깊이 모델의 상세한 벤치마킹. 이 평가는 다양한 거리 구간 (<5m~>20m) 과 의미적 카테고리 (평평한 표면, 건설, 객체, 자연) 에 따른 성능을 분석합니다.
• 실용적 사례 연구: 두 가지 실제 응용을 통한 프레임워크 유효성 검증:
  • 교통 표지판 매핑: 시의회 데이터베이스 및 수동 주석과 예측 위치 비교.
  • 도로 포장 손상 탐지: 손상 사례에 대한 로컬라이제이션 정확도 평가.

결과

• 깊이 추정 정확도:
  • UniDepth와 Metric3D (ViT 백본) 은 일반적으로 LiDAR 정답과 비교했을 때 가장 정확한 결과를 생성했습니다.
  • UniDepth는 짧은 거리 (<20m) 와 대형 인공 구조물 (평평한 표면/건설 그룹) 에서 가장 우수한 성능을 보였습니다.
  • Metric3D는 더 먼 거리의 객체와 "객체" 및 "자연" 카테고리에서 우수한 성능을 보였으나, 모든 모델이 식생의 세부 사항 처리에는 어려움을 겪었습니다.
  • DepthPro는 날카로운 윤곽선을 생성했지만 특정 거리 구간에서 더 높은 절대 오차를 보였습니다.
  • 추론 시간은 크게 달라졌으며, 소형 UniDepth 모델이 가장 빠르고 DepthPro가 가장 느렸습니다.
• 사례 연구 1 (교통 표지판):
  • 고품질 Cyclomedia 이미지를 사용하여 UniDepth를 탑재한 시스템은 이론적으로 가시적인 표지판의 87% 를 성공적으로 로컬라이제이션했습니다.
  • 시스템은 현재 도시 데이터베이스에 기록된 것보다 더 많은 표지판을 탐지했으며, 공식 기록에 누락된 임시 설치 표지판도 포함되었습니다.
  • 로컬라이제이션 정확도는 20 미터 이내의 표지판에서 가장 높았으며, 이 범위를 넘어선 경우 오차가 크게 증가했습니다.
  • 크라우드 소싱된 Mapillary 데이터는 GPS 부정확성으로 인해 더 큰 도전을 제시했지만, 대부분의 표지판은 여전히 탐지 가능했습니다.
• 사례 연구 2 (도로 손상):
  • 도로 손상에 대한 로컬라이제이션 오차는 일반적으로 교통 표지판보다 낮았는데, 이는 손상이 카메라에 더 가깝기 때문 (평균 7.55m) 입니다.
  • DepthAnything은 전체적으로 가장 작은 편차를 보였으며, UniDepth는 6 미터 이내의 손상에서 가장 잘 수행했습니다.
• 오차 분석: 제거 분석 (ablation study) 에 따르면 분할 단계는 전체 좌표 오차에 미미하게 기여했으며, 깊이 추정이 편차의 주요 원인이었습니다.

의의 및 주장
이 논문은 MapAnything이 전통적인 LiDAR 기반 매핑에 대한 매우 확장 가능하고 저비용의 대안을 제공한다고 주장하며, 이를 통해 도시 행정 기관이 표준 이미지를 사용하여 도시 디지털 트윈을 효율적으로 업데이트할 수 있다고 합니다. 이 프레임워크는 공간 편차가 일관되게 5 미터 운영 임계값 아래에 유지되는 약 20 미터 거리 내의 객체 매핑에 특히 효과적입니다. 이 임계값은 기존 데이터베이스의 수동 측정 좌표조차도 운영 가치를 유지하면서 최대 5 미터의 편차를 보일 수 있으므로 실용적인 지자체 재고 관리에 충분하다고 간주됩니다.

저자들은 프레임워크의 지속적인 유지 관리 및 시간적 변화 탐지 잠재력을 강조합니다. 서로 다른 날짜의 스트리트 뷰 이미지를 처리함으로써 시스템은 새로운 측량을 의뢰하지 않고도 누락되거나 손상된 자산을 자동으로 플래그할 수 있습니다. 또한, 이 접근 방식은 불법 투기나 심각한 도로 손상과 같은 이상 현상에 대한 지오 좌표를 제공하기 위해 특수 하드웨어가 필요 없는 시민 보고 (예: 사용자가 제출한 이상 현상 사진) 를 자동화된 도시 관리 시스템에 통합하는 도구로 위치 지어집니다.