기술 요약: 해양 인지 내 교차 장면 시각적 장소 인식(VPR)을 위한 ProteusVPR

1. 문제 정의

자율 로봇의 해양 환경 검사는 극심한 교차 장면 지각 변화(cross-scene perceptual shifts)로 인해 시각적 장소 인식(VPR) 측면에서 독특한 과제에 직면해 있습니다. 선박 내부를 항해하는 로봇은 시각적으로 매우 이질적인 두 영역 사이를 이동해야 합니다:

• 개방형 데크(Open Decks): 희소한 텍스처, 반복되는 하늘-바다 배경, 그리고 날씨와 반사로 인한 심각한 조명 변화가 특징입니다.
• 밀폐된 선실(Enclosed Cabins): 고도로 반복적인 구조, 좁은 복도, 그리고 외관 유사성이 강한 다층 레이아웃으로 정의됩니다.

기존의 VPR 방법들(예: NetVLAD, CosPlace, MixVPR)은 주로 도시 또는 실내 장면용으로 설계되어 이러한 극명하게 다른 시나리오 전반에 걸쳐 안정적으로 일반화되지 못하고 실패합니다. 이들은 정밀한 위치 추정보다는 이미지 수준의 검색에 최적화되어 있어, 반복적인 실내 구조의 모호함과 개방형 데크의 텍스처 부족 문제로 인해 어려움을 겪습니다. 또한, 단순히 기존 모델을 해양 데이터셋에 미세 조정(fine-tuning)하는 것만으로는 불충분한데, 이는 해당 모델들의 근본적인 특징 표현이 반복적인 실내 위치 추정보다는 일반적인 대규모 검색을 위해 설계되었기 때문입니다.

2. 방법론: ProteusVPR

저자들은 기존 VPR 시스템의 검색 백본을 재설계하지 않고도 해양 선실 환경에 적응할 수 있도록 설계된 2단계 검색-정밀화(retrieval-refinement) 프레임워크인 ProteusVPR을 제안합니다.

1단계: 초기 이미지 검색

첫 번째 단계는 표준 사전 학습된 VPR 모델(예: MutualVPR, CosPlace, SALAD)을 사용하여 지리적 태그가 지정된 데이터베이스에서 가장 시각적으로 유사한 참조 이미지($I_{r1}$)를 검색합니다. 이 단계는 검색된 이미지의 지리적 위치($\mathbf{p}_{r1}$)와 시야 중심 방위각($y_{r1}$)을 출력합니다.

2단계: 기하학적-시각적 추정 네트워크

두 번째 단계는 상대적 변위 추정 네트워크를 사용하여 초기 검색 결과를 정밀화합니다. 이 네트워크는 검색된 이미지($I_{r1}$)와 쿼리 비디오 시퀀스의 직전 두 프레임($I_{r2}, I_{r3}$)을 입력으로 받습니다. 네트워크는 정밀한 위치를 추정하기 위해 여러 양상(modality)을 융합합니다:

1. 시각적 특징 추출: 동결된 DINOv2 ViT-B/14 인코더가 쿼리 및 세 개의 참조 이미지를 처리합니다. 특징은 CLS 토큰과 평균 패치 토큰의 결-합을 통해 강화되며, 이후 참조 간 및 쿼리-참조 간 어텐션 메커니즘을 거칩니다.
2. 기하학적 디스크립터 인코딩: 네트워크는 세 개의 참조 지점 간의 기하학적 관계(변위, 거리 및 각도)를 계산합니다. 이들은 전역 기하학적 디스크립터($\mathbf{f}_{geo}$)로 인코딩됩니다.
3. 로컬 아핀 좌표계: 회전 및 평행 이동 불변성을 달로 하기 위해, 세 개의 참조 지점을 사용하여 로컬 2D 아핀 좌표계를 구축합니다. 쿼리의 위치는 글로벌 좌표계가 아닌, 이 로컬 시스템의 무게중심에 대한 변위($\boldsymbol{\delta}_{local}$)로 추정됩니다.
4. 방위각 인코딩: 쿼리와 참조 이미지의 시야 중심 방위각(yaw angles)이 인코딩되고 융합되어 방향적 문맥을 제공합니다.
5. 회귀 및 변환: MLP는 로컬 변위 벡터를 회귀합니다. 이는 구축된 아핀 기저(affine basis)를 사용하여 글로벌 좌표계로 다시 변환됩니다.

손실 함수(Loss Function): 네트워크는 다음의 조합을 사용하여 엔드투엔드(end-to-end)로 학습됩니다:

• 절대 위치 손실 ($\mathcal{L}_{abs}$): 예측된 위치와 실제 위치(ground-truth) 사이의 유클리드 거리.
• 기하학적 일관성 손실 ($\mathcal{L}_{geo\_cons}$): 예측된 위치가 참조 지점들과 기하학적으로 타당한 상태를 유지하도록 보장하며(중심점 제약 조건), 참조 클러스터에서 크게 벗어나는 예측에 페널티를 부여합니다.

3. XHZ 데이터셋

엄격한 평가를 지원하기 위해 저자들은 실제 운항 중인 선박에서 수집한 XHZ (Xinhongzhuan Visual) 데이터셋을 도입합니다.

• 범위: 내부 선실(다층 구조), 데크 전환 구역, 외부 데크 영역을 포함합니다.
• 특징: 고도로 반복적인 공간 레이아웃, 강한 시각적 유사성, 그리고 제한된 운동 궤적을 특징으로 합니다.
• 주석(Annotation): 엄격한 쿼리-데이터베이스 분리를 가진 2,996개의 파노라마 이미지(버전 1)를 포함합니다. 이 데이터셋은 2D 투영에서 서로 다른 데크(L0–L3)를 구분하기 위해 특정 좌표 오프셋 전략을 사용하여 층간의 잘못된 연관성을 방지합니다.
• 평가 프로토콜: 쿼리는 특정 yaw 각도(0°)에서 선택되는 반면, 데이터베이스에는 이산적 관측 및 밀집 매핑 시나리오를 시뮬레이션하기 위해 다른 각도와 시간적 프레임이 포함됩니다.

4. 실험 결과

XHZ 데이터셋을 사용하여 여러 VPR 백본(BoQ, CosPlace, EigenPlaces, MixVPR, SALAD, MutualVPR)과 사전 학습 및 미세 조정된 가중치를 대상으로 광범위한 실험을 수행했습니다.

• 검색 성능: 미세 조정은 베이스라인 성능을 크게 향 향상시켰습니다. 미세 조정된 MutualVPR은 가장 높은 재현율(Layer 3에서 R@1 최대 97.3%)과 모든 레이어에서 가장 낮은 90% 분위수 위치 오차를 달성했습니다.
• 정밀화 성능: ProteusVPR 정밀화 단계는 위치 추정 정확도를 일관되게 개선했습니다.
  • 평균적으로, 이 프레임워크는 여러 백본에 대해 평균 위치 오차를 60% 이상 감소시켰습니다.
  • Layer 3의 미세 조정된 MutualVPR의 경우, 평균 오차가 1.519 m(Stage 1)에서 **0.242 m(Stage 2)**로 감소하여 84.1%의 감소율을 보였습니다.
  • Layer 3의 미세 조정된 CosPlace의 경우, 평균 오차가 4.416 m에서 0.275 m로 감소했습니다(93.8% 감소).
• 강건성(Robustness): 정밀화 단계는 초기 검색이 부정확했던 "롱테일(long-tail)" 오류(치명적 실패)를 수정하는 데 특히 효과적이었으며, 이전 프레임들의 시간적 연속성을 활용하여 교차 층(cross-floor) 검색 오류를 종종 바로잡았습니다.

절제 연구 (Ablation Study)

• 기하학적 디스크립터: 기하학적 디스크립터 인코딩을 제거하면 성능이 급격히 저하되었습니다(예: Layer 3 90% 분위수 오차가 0.432 m에서 2.974 m로 증가). 이는 그 결정적인 역할을 확인시켜 줍니다.
• 로컬 아핀 좌표계: 이 시스템을 제거하고(글로벌 좌표계에서 회귀 수행) 성능이 크게 저하되었으며, 이는 불변성의 필요성을 입증합니다.
• 방위각 인코딩: 명시적인 방위각 인코딩을 제거했을 때 성능 손실은 미미했으며, 이는 선박 내부의 시각적 특징이 방향 정보를 암시적으로 인코딩하고 있음을 시사합니다.

5. 의의 및 주장

본 논문은 ProteusVPR이 도전적인 교차 장면 해양 환경에서 정밀한 시각적 위치 추정을 위한 효과적이고 강건한 솔루션을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 일반적 적응성: 완전한 구조적 재설계 없이도 해양 환경에서 기존 VPR 시스템의 성능을 향상시킬 수 있는 범용적인 2단계 정밀화 프레임워크 역할을 합니다.
2. 격차 해소: 개방형 해역 시나리오(예: 자율 접안)와 밀폐된 환경(예: AR 기반 선실 검사) 사이의 격차를 성공적으로 메우며, 반복적인 선박 내부에서 발생하는 특유의 지각적 모호성을 해결합니다.
3. 벤치마킹: XHZ 데이터셋의 도입은 선박에서의 교차 장면 항해를 평가하기 위한 적절한 데이터셋의 부재를 해결하며, 정밀하고 세밀한 해양 VPR 벤치마크를 제공합니다.

저자들은 프레임워크가 초기 검색 품질에 의존한다는 점(심각한 검색 실패는 완전히 수정될 수 없음)과 현재 데이터셋이 단일 선박으로 제한되어 있다는 점을 언급하며 한계를 인정했습니다. 향후 연구로는 불확실성을 고려한 검색(uncertainty-aware retrieval)과 더 크고 다양한 해양 데이터셋 탐구를 제안했습니다.