기술 요약: 다중 뷰 기반 모델을 통한 통합 파노라마 기하학 추정 (PaGeR)

문제 제기

기반 모델을 통해 제로샷 3D 재구성이 가능한 단일 렌즈 (monocular) 기반의 원근 이미지 기하학 추정은 크게 성숙되었으나, 이러한 능력을 파노라마 (360°) 이미징으로 확장하는 것은 여전히 어렵습니다. 기존 파노라마 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 데이터 부족과 과적합: 미터 단위로 정확한 깊이와 표면 법선을 갖춘 고품질 파노라마 데이터셋은 수집이 번거롭고 희소하여, 모델이 소규모 데이터셋에 과적합되고 일반화에 어려움을 겪게 합니다.
2. 기하학적 왜곡: 대부분의 방법은 극점 근처의 극단적인 신축을 유발하는 심한 비선형 왜곡을 도입하는 이구면 투영 (Equirectangular Projection, ERP) 에 의존합니다. 이러한 도메인 변화는 원근 데이터로 훈련된 병진 불변 아키텍처의 효율성을 저하시키고, 강력한 원근 사전 지식을 파노라마 도메인으로 전이하는 것을 방해합니다.

방법론

저자들은 대규모 재훈련이나 맞춤형 아키텍처 없이 최첨단 원근 기반 모델 (특히 Depth Anything 3, DA3) 을 파노라마 도메인으로 확장하기 위해 설계된 PaGeR(Panoramic Geometry Reconstruction) 프레임워크를 소개합니다.

핵심 전략: 큐브맵 표현

파노라마를 왜곡된 이구면 이미지로 처리하는 대신, PaGeR 는 입력을 단위 큐브의 면에 매핑된 여섯 개의 90° 시야각 원근 이미지인 **큐브맵 (cubemap)**으로 표현합니다. 이 접근법은 다음과 같은 장점을 가집니다:

• 원근 훈련 모델의 귀납적 사전 지식과 정렬됩니다.
• 광선 공간의 균일한 샘플링을 제공합니다.
• ERP 에 내재된 기하학적 왜곡을 피합니다.

아키텍처 적응

전체 360° 추정을 위해 다중 뷰 트랜스포머 백본 (DA3) 을 적응시키기 위해 저자들은 몇 가지 주요 수정을 구현했습니다:

1. 암시적 인코더 동기화: 비전 트랜스포머 (ViT) 인코더는 구조적 변경 없이 파노라마 데이터로 미세 조정됩니다. 여섯 개의 면에 대해 고정된 카메라 행렬과 축 정렬 외향 파라미터를 공급함으로써, 네트워크는 교차 뷰 어텐션 레이어를 통해 인접한 큐브맵 면 간에 컨텍스트를 라우팅하고 특징을 동기화하는 법을 학습합니다.
2. 구면 인식 디코더 패딩: 밀집 업샘플링 중 큐브맵 면의 경계에서 기하학적 및 광도학적 불연속성을 방지하기 위해, 디코더는 **교차 면 유효 패딩 (cross-face valid padding)**을 사용합니다. 표준 제로 패딩 대신 이 레이어는 기하학적으로 인접한 면에서 특징을 동적으로 추출하여 구면 매니폴드 전체에 걸쳐 매끄러운 전환을 보장합니다.
3. 하이브리드 훈련 체계: 사전 훈련된 원근 모델의 풍부한 사전 지식을 보존하고 시뮬레이션에서 현실로의 도메인 간극을 완화하기 위해, 모델은 혼합 훈련을 거칩니다. 이는 다음 사이클을 번갈아 수행합니다:
   • 파노라마 배치: 활성 교차 면 패딩과 함께 전체 여섯 면 구성을 처리합니다.
   • 원근 배치: 90° 시야각으로 왜곡된 단일 실세계 이미지를 표준 제로 패딩과 함께 처리합니다.
     이 전략은 모델이 연속적인 구면 관측을 처리하도록 가르치는 동안 파기적 망각 (catastrophic forgetting) 을 방지합니다.

통합 다중 태스크 디코딩

PaGeR 는 공유 트랜스포머 백본과 특수화된 결합 태스크 헤드를 사용하여 단일 순전달 (forward pass) 에서 여러 기하학 모달리티를 디코딩합니다:

• 스케일 불변 (SI) 깊이: 미터 변동을 압축하기 위해 국소 로그 평면 깊이를 예측합니다. 픽셀 정밀도, 기울기 보존, 법선 일관성을 균형 있게 고려하는 복합 손실 함수를 사용합니다.
• 표면 법선: 사전 훈련된 깊이 가중치로 초기화된 병렬 분기로, 과도한 평활화를 방지하기 위해 코사인 유사도와 지각 손실을 결합한 공동 목적 함수로 최적화됩니다.
• 미터 스케일: SI 깊이를 조잡한 미터 로그 깊이 맵과 정렬하여 전역 스케일 인자를 예측하는 조잡한 저해상도 디코더입니다. 이는 절대 스케일 추정을 고해상도 구조 재구성에서 분리합니다.
• 하늘 분할: 무한 깊이 영역을 명시적으로 분리하여 유한 구조에 대한 미터 회귀를 안정화시키기 위한 경량 분기입니다.

주요 기여

1. 새로운 적응 전략: 큐브맵 표현과 하이브리드 훈련을 사용하여 ERP 왜곡을 우회하며 원근 기반 모델을 360° 도메인으로 전이하는 방법.
2. PaGeR 프레임워크: 공유 트랜스포머 백본과 SI 깊이, 미터 깊이, 표면 법선, 하늘 마스크의 동시 예측을 위한 특수화된 헤드를 갖춘 통합 모델.
3. ZüriPano 벤치마크: 장거리 야외 시나리오에 대한 엄격한 평가 데이터 부족 문제를 해결하기 위해 고안된, 고정밀 LiDAR 스캔이 포함된 실외 도시 파노라마의 새로운 데이터셋.
4. 최첨단 성능: 다양한 실내 및 야외 환경에서 제로샷 일반화를 입증하여 특정 설정에 국한된 기존 방법들을 능가했습니다.

실험 결과

저자들은 PaGeR 를 실내 (Matterport3D360, Stanford2D3DS) 및 실외 (ZüriPano) 데이터셋 모두에서 평가했습니다.

• 정량적 성능: PaGeR 는 모든 벤치마크에서 최첨단 결과를 달성했습니다. 까다로운 실외 ZüriPano 데이터셋에서 절대 상대 오차 (AbsRel) 를 이전 최선 (RPG360) 인 18.27 에서 9.36으로 줄였습니다. 미터 깊이 추정에서 ZüriPano 에서 530.85의 RMSE 를 달성하여 다음 최선 방법 (716.38) 을 크게 능가했습니다.
• 표면 법선: Structured3D 데이터셋에서 PaGeR 는 평균 각도 오차 **5.49°**와 MSE 174.9를 달성하여 PanoNormal 및 HyperSphere 와 같은 전용 아키텍처를 능가했습니다.
• 정성적 결과: 시각적 비교는 PaGeR 가 과도한 평활화로 고통받는 DAP 및 DA2 와 같은 베이스라인에 비해 더 날카로운 경계와 더 정확한 전역 구조를 복원함을 보여줍니다. 점군 재구성은 다른 방법에서 흔히 발생하는 경계 아티팩트 없이 정교한 실내 구조와 복잡한 실외 지형을 보존하는 프레임워크의 능력을 입증합니다.
• 효율성: 이 모델은 단일 소비자 등급 GPU 에서 2K 파노라마 전체를 0.5 초에 처리하며 12.8 GB 의 메모리를 소비합니다.

중요성과 주장

이 논문은 PaGeR 가 제로샷 파노라마 기하학 재구성을 위한 새로운 최첨단 상태를 확립한다고 주장합니다. 그 주요 중요성은 최소한의 아키텍처 변경 (큐브맵 표현 및 교차 면 패딩) 과 하이브리드 훈련 전략을 통해 강력한 원근 기반 모델을 구면 도메인에 효과적으로 적응시킬 수 있음을 입증한 데 있습니다.

저자들은 그들의 접근법이 다음과 같음을 강조합니다:

• 풍부한 사전 지식 유지: 사전 훈련된 DA3 백본을 활용함으로써, 모델은 처음부터 다시 학습할 필요 없이 3D 표면 구조에 대한 강력한 이해를 유지합니다.
• 전역 일관성 보장: 교차 면 패딩과 동기화된 인코더는 전체 360° 뷰에 걸쳐 매끄러운 재구성을 가능하게 하여 이전 다중 면 접근법의 경계 불연속성 문제를 해결합니다.
• 강건한 일반화: 이 프레임워크는 이전 방법들이 종종 실패하는 장거리 야외 장면을 포함한 보이지 않는 환경에서 탁월한 성능을 발휘합니다.

이 논문은 현재 구현이 DA3 를 사용하지만, 아키텍처 원칙은 다른 기하학 트랜스포머와 호환되어 원근 및 파노라마 3D 장면 이해 간의 도메인 간극을 연결하는 일반화된 방법론을 제공한다고 결론지었습니다. 저자들은 반사성 또는 투명한 표면과 같은 어려움과 같은 단일 렌즈 추정에 공통적인 한계를 인정하며, 드물고 구조적으로 복잡한 장면에서는 미묘한 경계 정렬 오차가 여전히 발생할 수 있음을 지적합니다.