UnLoc: Leveraging Depth Uncertainties for Floorplan Localization

1. 문제 정의 (Problem Definition)

실내 환경에서의 카메라 국소화 (Localization) 는 증강현실 (AR) 과 로봇 공학에 필수적입니다. 기존 방법들은 주로 사전 구축된 3D 모델이나 대규모 이미지 데이터베이스에 의존하는데, 이는 저장 공간이 많이 들고 유지보수가 어려우며 동적인 환경 변화에 취약합니다.

최근에는 2D 평면도 (Floorplan) 를 활용한 국소화 방법이 주목받고 있으며, 특히 F3Loc과 같은 시퀀스 기반 시각 평면도 국소화 방법이 기존 베이스라인을 크게 앞섰습니다. 하지만 F3Loc 은 다음과 같은 두 가지 주요 한계를 가지고 있습니다:

1. 불확실성 모델링 부재: F3Loc 은 단안 깊이 (Monocular depth) 예측값을 모두 동일한 정확도를 가진다고 가정합니다. 그러나 유리벽, 열린 문, 특징 없는 벽 등 실내 환경에서는 깊이 예측이 매우 불확실할 수 있습니다. 이러한 불확실성을 고려하지 않고 시퀀스 정보를 융합하면 부정확한 예측이 국소화 성능을 저하시킵니다.
2. 데이터셋 특화 깊이 네트워크: F3Loc 은 각 환경 (데이터셋) 마다 별도의 깊이 예측 네트워크를 학습시켜야 합니다. 이는 새로운 환경에 대한 확장성과 신속한 배포를 어렵게 만듭니다.

2. 제안 방법: UnLoc (Methodology)

저자들은 위 한계를 해결하기 위해 UnLoc이라는 새로운 확률론적 모델을 제안합니다. UnLoc 은 입력된 이미지 시퀀스를 처리하여 각 이미지 열 (column) 에 대한 평면도 깊이 (Floorplan depth) 와 해당 불확실성을 예측하고, 이를 기반으로 카메라의 SE(2) 포즈 확률 분포를 생성합니다.

주요 기술적 구성 요소는 다음과 같습니다:

• 중력 정렬 (Gravity Alignment): 손에 들거나 머리에 착용한 장치에서 촬영된 이미지의 임의된 방향을 보정하기 위해 카메라의 롤 (roll) 과 피치 (pitch) 각도를 이용해 이미지를 중력 기준에 맞춰 정렬합니다.
• 오프더셰프 (Off-the-Shelf) 깊이 모델 활용: 환경별 학습이 필요한 커스텀 네트워크 대신, 대규모 데이터셋으로 사전 학습된 최첨단 단안 깊이 모델 (Depth Anything v2) 을 직접 사용합니다. 이는 새로운 환경에 대한 일반화 능력을 크게 향상시킵니다.
• 불확실성 인식 깊이 예측 (Uncertainty-Aware Depth Prediction):
  • 모델은 깊이 예측값 ($\hat{d}_t$) 과 불확실성 ($\hat{b}_t$) 을 동시에 예측합니다.
  • 깊이 예측을 명시적인 확률 분포 (라플라스 분포) 로 모델링합니다. 즉, 예측된 깊이를 중심 (location) 으로 하고 불확실성 추정치를 스케일 파라미터로 하는 분포를 가정합니다.
  • 이를 통해 유리벽이나 멀리 있는 객체처럼 예측이 불확실한 영역에서는 분포가 넓어지고 (낮은 신뢰도), 명확한 영역에서는 분포가 좁아집니다 (높은 신뢰도).
• 불확실성 인식 매칭 (Uncertainty-Aware Matching):
  • 예측된 깊이와 불확실성을 사용하여 평면도 전체에 대한 관측 가능도 (Observation Likelihood) 를 계산합니다.
  • 라플라스 분포를 사용하여 관측 가능도를 모델링하며, 불확실성이 높은 예측은 국소화 과정에서 자연스럽게 가중치가 낮아지도록 설계되었습니다.
• 히스토그램 필터 (Histogram Filter):
  • 시퀀스 정보를 통합하기 위해 히스토그램 필터를 사용합니다.
  • 이전 시간의 사후 확률 (Prior) 과 현재 프레임의 관측 가능도 (Likelihood) 를 결합하여 카메라 포즈의 사후 확률 분포를 업데이트합니다.
  • 깊이 예측의 불확실성이 직접적으로 이 필터의 업데이트 과정에 반영됩니다.
• 후처리 최적화 (Post-Processing Optimization):
  • 마지막 $k$프레임에 대해 SE(2) 변환 (회전 및 병진) 을 적용하여 전역적으로 일관된 궤적을 보정합니다.
  • 이 과정에서 불확실성 가중치를 사용하여 신뢰도가 낮은 프레임의 기여도를 줄여 노이즈에 강인하게 만듭니다.

3. 주요 기여 (Key Contributions)

1. 불확실성 인식 깊이 예측: 평면도 깊이 예측을 명시적인 확률 분포 (라플라스 분포) 로 모델링하여 각 예측의 신뢰도를 정량화했습니다. 이는 어려운 환경에서의 국소화 정확도를 높이고, 후처리 최적화에 원칙적인 가중치를 제공합니다.
2. 사전 학습된 모델 활용: 환경별 학습이 필요한 커스텀 네트워크 대신, 대규모 데이터로 사전 학습된 단안 깊이 모델을 '플러그 앤 플레이' 방식으로 활용하여 확장성과 일반화 능력을 입증했습니다.
3. 성능 및 효율성: 기존 최첨단 방법 (F3Loc) 대비 정확도와 강인성에서 획기적인 개선을 이루었으며, 실시간 성능을 유지하면서도 새로운 환경에 대한 적응력을 높였습니다.

4. 실험 결과 (Results)

저자들은 합성 데이터셋 (Gibson) 과 대규모 실세계 데이터셋 (LaMAR HGE, LaMAR CAB) 에서 UnLoc 을 평가했습니다.

• 정확도 및 강인성:
  • LaMAR HGE 데이터셋: 짧은 시퀀스 (15 프레임) 에서 기존 F3Loc 대비 42.2 배 높은 국소화 성공률 (Success Rate) 을 기록했습니다. 긴 시퀀스 (100 프레임) 에서는 2.7 배 향상되었습니다.
  • Gibson 데이터셋: 15 프레임 시퀀스에서도 80% 이상의 성공률을 유지했으며, F3Loc 은 최소 50 프레임이 필요했습니다.
• 일반화 능력: LaMAR HGE 에서 학습된 모델을 LaMAR CAB (다른 건물) 에 적용한 제로샷 (Zero-shot) 테스트에서, F3Loc 은 완전히 실패한 반면 UnLoc 은 정확한 국소화를 수행했습니다.
• 성능 비교:
  • UnLoc 은 GT(Ground Truth) 깊이를 사용한 경우에도 후처리 최적화를 통해 추가적인 성능 향상을 보였습니다.
  • 다양한 인코더 (Depth Anything v2, DepthPro, DINOv2 등) 를 사용한 실험에서, 불확실성 추정 모듈을 추가하면 모델 크기가 작더라도 성능이 크게 향상됨을 확인했습니다.
• 런타임: 깊이 예측 및 매칭 단계에서 약 1 초/프레임 수준으로 실시간 응용에 적합하며, 불확실성 모델링으로 인한 추가 계산 비용은 허용 가능한 수준입니다.

5. 의의 및 결론 (Significance)

UnLoc 은 실내 평면도 기반 국소화 분야에서 다음과 같은 중요한 의의를 가집니다:

• 실용성: 별도의 환경 학습 없이도 사전 학습된 모델을 바로 사용할 수 있어, 새로운 건물이나 환경에 대한 신속한 배포가 가능합니다.
• 신뢰성: 깊이 예측의 불확실성을 명시적으로 모델링함으로써, 유리와 같은 반사면이나 특징이 부족한 공간에서도 국소화 실패를 줄이고 안정성을 확보했습니다.
• 차세대 표준: 기존 방법들의 한계를 극복하고, 불확실성 기반의 확률론적 접근이 시각 국소화 분야에서 필수적임을 입증했습니다.

결론적으로, UnLoc 은 정확도, 강인성, 확장성 측면에서 기존 최첨단 기술을 압도하며, 증강현실 및 로봇 공학 분야에서 실용적인 실내 국소화 솔루션을 제공합니다.