DisCo-FLoc: Using Dual-Level Visual-Geometric Contrasts to Disambiguate Depth-Aware Visual Floorplan Localization

1. 문제 정의 (Problem Definition)

**비주얼 플로어플랜 로컬라이제이션 (Visual Floorplan Localization, FLoc)**은 카메라가 촬영된 RGB 이미지를 2D 건물 평면도 (Floorplan) 상의 특정 위치와 방향에 매핑하는 작업입니다. 이는 로봇 공학 및 증강현실 (AR) 에서 중요한 과제입니다.

• 기존 방법의 한계:
  • 반복적 구조로 인한 모호성: 미니멀한 형태의 평면도는 벽, 문, 구석 등 반복적인 기하학적 구조를 많이 포함하고 있어, 시각적 관측과 평면도 간의 단순한 기하학적 정합만으로는 정확한 위치를 특정하기 어렵습니다 (다중 모드 모호성 발생).
  • 시각적 가림 (Occlusion): 3D 객체 (가구 등) 에 의한 시선 가림은 위치 추정에 편향을 일으킵니다.
  • 의존성 문제: 기존 모호성 해결 방법들은 방의 종류나 창문/문 등의 시맨틱 (Semantic) 레이블을 필요로 합니다. 하지만 이러한 레이블은 수동 주석이 필요해 비용이 많이 들며, 평면도에 항상 존재하지는 않아 적용 범위가 제한적입니다.

2. 제안 방법: DisCo-FLoc

저자들은 추가적인 시맨틱 레이블 없이 **이중 수준 (Dual-Level) 의 시각 - 기하학적 대비 (Contrasts)**를 활용하여 깊이 인식 (Depth-aware) FLoc 의 모호성을 해결하는 DisCo-FLoc을 제안합니다. 이 방법은 크게 두 단계로 구성됩니다.

2.1. 레이 회귀 예측기 (Ray Regression Predictor, RRP)

• 목적: 레이 캐스팅 (Ray-casting) 기반 FLoc 을 위해 깊이 추정 전문 지식을 활용하여 FLoc 후보군을 생성합니다.
• 구조:
  • Depth-Aware Encoder: Depth Anything V2의 DINO V2와 같은 사전 훈련된 깊이 추정 모델을 사용하여 시각적 특징을 추출합니다. 이는 대규모 깊이 데이터셋에서 최적화된 일반화 능력을 제공합니다.
  • 레이 예측: 이미지 높이를 따라 픽셀의 깊이 특징을 압축하여 쿼리를 생성하고, 특정 방향의 벽까지의 거리를 이산된 구간 (bins) 의 가중 합으로 예측합니다.
  • DAFPM 생성: 예측된 깊이 레이를 평면도 기하학과 비교하여 **깊이 인식 FLoc 확률 지도 (Depth-Aware FLoc Probabilistic Map, DAFPM)**를 생성합니다. 이 지도는 여러 개의 FLoc 후보 (Top-X) 를 제공합니다.
• 한계: RRP 만으로는 반복적인 구조로 인한 모호성을 완전히 제거할 수 없습니다.

2.2. 시각 - 기하학적 대비 학습 (Visual-Geometric Contrastive Learning, CL)

• 목적: RRP 가 생성한 후보군 중에서 최적의 촬영 자세를 선택하기 위해 모호성을 제거 (Disambiguation) 합니다.
• 메커니즘:
  • 양성 샘플 (Positive Samples): 실제 촬영 자세 (x, y, θ) 에 해당하는 RGB 이미지와 평면도에서 잘라낸 기하학적 구조를 매칭합니다.
  • 음성 샘플 (Negative Samples) - 이중 수준 제약:
    1. 위치 수준 (Position-level): 현재 평면도 내 다른 위치나 다른 평면도에서의 관측 위치를 변경하여 생성합니다. 이는 잘못된 위치와의 상관관계를 제거합니다.
    2. 방향 수준 (Orientation-level): 관측 위치는 유지하되 방향을 회전시켜 생성합니다. 이는 모델의 방향 민감도를 높여 올바른 방향을 식별하게 합니다.
  • 학습 과정: PointInfoNCE 손실 함수를 사용하여 시각 특징 (DINO V2) 과 평면도 구조 특징 (ResNet-18) 간의 거리를 최소화하고, 음성 샘플과의 거리를 최대화합니다.
• 모호성 제거 (Disambiguation):
  • RRP 로부터 생성된 Top-X 후보들의 평면도 구조를 잘라내어 특징을 추출합니다.
  • 대비 학습된 특징을 사용하여 시각 이미지와의 코사인 유사도를 계산하여 **모호성 제거 확률 지도 (Disambiguation Probability Map, DPM)**를 생성합니다.
  • DAFPM 과 DPM 을 가중치 ($w$) 로 융합하여 최종 최적의 FLoc 을 선택합니다.

3. 주요 기여 (Key Contributions)

1. 계층적 FLoc 프레임워크: 레이 캐스팅 기반 FLoc 에 특화된 깊이 인식 RRP를 설계하여 고품질의 FLoc 후보를 생성합니다.
2. 시맨틱 레이블 불필요한 대비 학습: 추가적인 시맨틱 주석 없이 위치 수준과 방향 수준의 이중 제약을 가진 시각 - 기하학적 대비 학습을 도입하여 FLoc 모호성을 효과적으로 해결합니다.
3. 성능 향상: 두 가지 표준 벤치마크 (Gibson, Structured3D) 에서 기존 최첨단 (SOTA) 방법들, 특히 시맨틱 정보를 사용하는 방법들보다 뛰어난 정확도와 강건성을 입증했습니다.

4. 실험 결과 (Results)

논문은 Gibson 및 Structured3D(full) 데이터셋에서 다양한 기준 (0.1m, 0.5m, 1m 정확도 및 30 도 방향 오차) 으로 평가했습니다.

• Gibson 데이터셋:
  • DisCo-FLoc 은 시맨틱 레이블을 사용하지 않는 기존 SOTA 방법 (3DP, RSK 등) 보다 모든 정확도 지표에서 우위를 점했습니다.
  • 특히 Gibson(f) 데이터셋에서 3DP & RSK 대비 R@0.1m 에서 2.2%, R@1m 에서 8.8% 등의 성능 향상을 보였습니다.
• Structured3D(full) 데이터셋 (더 어려운 환경):
  • 시맨틱 정보를 사용하지 않는 방법들과 비교했을 때, DisCo-FLoc 은 R@0.5m 에서 30.4%, R@1m 에서 10.1% 의 큰 개선을 보였습니다.
  • 시맨틱 기반 방법과의 비교: 시맨틱 레이블 (문, 창문 등) 을 사용하는 SemRayLoc 계열 방법들보다도 성능이 뛰어났습니다. 이는 제안된 방법이 시맨틱 정보 없이도 반복 구조와 가림 현상을 효과적으로 처리함을 의미합니다.
  • 방향 정확도: 위치 정확도 (R@1m) 와 방향 정확도 (R@1m 30°) 간의 격차를 시맨틱 레이블 없이도 크게 줄였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시맨틱 의존성 탈피: 평면도 기반 로컬라이제이션 분야에서 고비용의 시맨틱 주석 없이도 반복 구조와 가림 현상을 극복할 수 있음을 증명했습니다.
• 깊이 추정과 기하학의 융합: 깊이 추정 (Depth Estimation) 전문 지식을 레이 캐스팅 FLoc 에 효과적으로 통합하고, 대비 학습을 통해 기하학적 일치를 강화한 새로운 패러다임을 제시했습니다.
• 방향 민감도: 방향 수준 (Orientation-level) 의 대비 학습이 위치 수준 학습보다 모호성 제거에 더 효과적임을 실험을 통해 규명했습니다.

이 연구는 시각적 FLoc 의 핵심 난제인 모호성 문제를 해결하면서도 실용적인 적용 가능성 (시맨틱 레이블 불필요) 을 높였다는 점에서 중요한 의의를 가집니다.