기술 요약: 대규모 단안 3D 재구성을 위한 깊이, 포즈 및 국소 복사 휘도장(Local Radiance Field)의 공동 학습

문제 정의

미교정 비디오로부터의 단안 3D 재구성은 대규모 장면(수백 미터)에 적용될 때 세 가지 결정적인 실패 모드에 직면합니다:

1. 스케일 모호성(Scale Ambiguity): 자기 지도 학습 기반의 깊이 네트워크는 알 수 없는 스케일에 따라 모호한 깊이 지도를 생성하여 "고스트 기하 구조(ghost geometry)"를 유발합니다.
2. 포즈 드리프트(Pose Drift): 누적된 카메라 포즈 추정 오차는 긴 궤적에 걸쳐 정렬을 손상시키며, 이는 외부 교정이 없는 비제약 환경에서 더욱 악화됩니다.
3. 제한된 복사 범위(Limited Radiance Extent): 표준 신경 복사 휘도장(NeRF)은 단일 전역 표현에 의존하므로, 메모리 점유율이 지나치게 커지고 도시 블록 크기 규모의 콘텐츠로 확장하는 데 실패합니다.

기존 솔루션들은 일반적으로 이러한 문제 중 하나 또는 두 가지만을 해결합니다. 자기 지도 기반의 깊이-포즈 네트워크는 미터법 스케일이 부족하며, 고전적인 구조 복원(SfM)은 질감이 있는 장면과 사전 교정된 내부 파라미터를 요구합니다. 또한 NeRF 기반 방식(예: BARF, NoPe-NeRF)은 대규모 궤적에서 드리프트 문제가 발생하거나 밀집된 SfM 초기화가 필요합니다.

방법론

저자들은 외부 교정이나 SfM 부트스트래핑 없이 미터법 깊이, 카메라 포즈, 그리고 점진적인 국소 복사 휘도 표현을 공동으로 최적화하는 통합된 엔드 투 엔드 미분 가능 프레임워크를 제안합니다. 파이프라인은 세 가지 핵심 모듈로 구성됩니다:

1. 미터법 스케일 깊이 추정

객체 크기 사전 지식(object-size priors)으로 학습된 비전 트랜스포머(ViT) 백본이 조밀한 깊이 지도를 예측합니다.

• 아키텍처: 네트워크는 ResNet-50 토큰 임베딩을 사용하는 ViT 인코더와 스킵 연결이 있는 경량 CNN 디코더를 사용하여 $16 \times 16$ 패치를 처리합니다.
• 감독(Supervision): 깊이 손실($L_{depth}$)은 광도 워핑 에러(photometric warping error), 엣지 인식 평활도(edge-aware smoothness), 그리고 **미터법 스케일 앵커(metric scale anchor)**를 결합합니다. 미터법 앵커($L_{metric}$)는 경량 검출기를 사용하여 "서 있는 사람" 픽셀을 식별하고, 중앙값 깊이를 고정된 높이($h_0 = 1.7$ m)에 고정함으로써 미터법 일관성을 강제합니다.

2. 특징 기반 번들 조정 (Feature-Based Bundle Adjustment, FBA)

취약한 키포인트에 의존하는 대신, 시스템은 특징 공간에서 카메라 포즈($SE(3)$)와 내부 파라미터를 직접 정밀하게 조정합니다.

• 메커니즘: 공유 U-Net이 연속된 프레임에 대해 다중 스케일 특징 맵과 신뢰도 맵을 추출합니다.
• 최적화: 프레임 간에 보이는 3D 점들의 특징 사이에서 가중치 잔차(weighted residuals)를 계산합니다. 코스-투-파인(coarse-to-fine) 레벤버그-마쿼트(Levenberg–Marquardt, LM) 최적화 도구가 이 잔차를 최소화하며, 자코비안(Jacobian)을 통해 그래디언트를 전파합니다. 이 접근 방식은 학습된 피라미드 기술자(pyramidal descriptors)를 활용하여 비제약 궤적에서의 드리프트를 억제합니다.

3. 점진적 국소 복사 휘도장 (Incremental Local Radiance Fields)

단일 GPU에서 대규모 장면을 처리하기 위해, 시스템은 계층적인 경량 국소 해시 그리드(hash-grid) NeRF를 사용합니다.

• 동적 할당: 카메라가 이동함에 따라, 현재 필드의 수축된 단위 큐브에 대한 시야 기선(viewing baseline)이 임계값을 초과하면 새로운 해시 그리드 NeRF가 생성됩니다.
• 동결 전략: 특정 필드가 더 이상 주요 뷰가 아니게 되면(즉, 새로운 광선의 80% 이상이 해당 영역 밖에 위치할 때), 해당 필드를 동결합니다. 이 "학습 후 동결(train-once-freeze)" 휴리스틱은 완료된 필드의 그래디언트 업데이트를 방지하여 메모리 사용량을 제한(< 7 GB)하는 동시에, 동결된 필드의 $L_2$ 색상 사전 정보를 통해 원활한 핸드오버를 보장합니다.

공동 최적화 스케줄

모든 모듈은 점진적인 윈도우 스케줄에 따라 학습됩니다:

1. 부트스트랩(Bootstrap): 초기 5개 프레임에 대해 깊이, 포즈, 내부 파리미터 및 첫 번째 복사 휘도장을 최적화합니다.
2. 슬라이딩 윈도우(Sliding Window): 각 32개 프레임 배치마다 다음 과정을 교대로 수행합니다:
   • 깊이 웜업 (50회 반복)
   • 특징 공간 BA 포즈 정밀 조정 (30회 반복)
   • 복사 휘도 미세 조정 (30회 반복)
3. 필드 전환(Field Shift): 광선 커버리지에 따라 현재 필드를 동결하고 새로운 필드를 생성하는 트리거를 작동시킵니다.

주요 기여

1. 통합 미터법 깊이-포즈 루프: 단일 미분 가능한 루프 내에서 깊이, 내부 파라미터, 포즈를 공동으로 정밀하게 조정하는 ViT 기반 깊이 추정기와 특징 수준의 번들 조정을 결$합하여 스케일 모호성과 드리프트를 제거합니다.
2. 확장 가능한 국소 복사 휘도 표현: 미터법 스케일의 궤적에 대해서도 학습 시간과 메모리를 제한하면서 도시 블록 규모까지 확장 가능한 점진적 해시 그리드 NeRF 아키텍처를 제공하며, 정답 포즈 없이도 작동합니다.
3. 포괄적인 평가: Tanks & Temples, Static Hikes 및 커스텀 스마트폰 영상 데이터셋에 대한 광범한 벤치마크를 통해 포즈 정확도와 뷰 합성 품질에서 최첨단 성능을 입증했습니다.

실험 결과

본 방법론은 Tanks & Temples 벤치마크(8개 시퀀스)와 Static Hikes (Indoor) 데이터셋에서 평가되었으며, BARF, NoPe-NeRF, LocalRF, DS-NeRF와 비교되었습니다.

• 포즈 정확도: 본 방법은 0.001 m에서 0.021 m 사이의 절대 궤적 오차(ATE)를 달성했습니다. 이는 BARF 대비 최대 18배, NoPe-NeRF 대비 2배 감소한 수치입니다. 상대 포즈 오차(RPE)는 서브 픽셀 수준을 유지합니다.
• 뷰 합성: Static Hikes 데이터셋에서 시스템은 PSNR 20.19 dB, SSIM 0.704, LPIPS 0.62를 달성하여 기존 베이스라인과 대등하거나 이를 능가하는 성능을 보였습니다.
• 정성적 성능: 재구성은 100미터 이상의 궤적에서도 드리프트가 없고 미터 단위로 정확한 기하 구조를 보여줍니다. 고스트 기하 구조를 생성하는 BARF나 얇은 구조를 흐리게 만드는 NoPe-NeRF와 달리, 제안된 방법은 선명한 엣지와 미터법 정렬을 보존합니다.
• 효율성: 점진적 접근 방식은 피크 VRAM 사용량을 6~7 GB로 줄이고, 단일 전역 NeRF에 비해 학습 시간을 약 65% 단축합니다.

의의 및 주장

본 논문은 단일 미교정 RGB 카메라로부터 미터법 스케일의 드리프트 없는 3D 재구성과 고충실도 신규 뷰 합성이 가능하다는 것을 입증한다고 주장합니다.

미터법 깊이, 특징 공간 번들 조정, 점진적 복사 휘도장을 긴밀하게 결합함으로써, 이 프레임워크는 외부 센서나 교정 없이 수백 미터에 걸쳐 기하학적 일관성을 유지하는 모노큘러 재구성의 "성배" 문제를 해결합니다. 저자들은 이 연구를 다음과 같은 실질적인 응용 분야를 위한 기초 단계로 포지셔닝합니다:

• AR/VR 매핑: 구조화되지 않은 환경에서 현실적인 오버레이 구현.
• 자율 로봇 인지: 탐사를 위한 견고한 위치 추정 및 매핑 제공.
• 디지털 트윈 생성: 핸드헬드 영상으로부터 정확한 3D 모델 생성.

저자들은 해시 그리드 해상도로 인한 매우 가는 구조(예: 전선)의 어려움, 동적 객체로 인한 간헐적인 고스트 아티팩트, 실시간 추론을 위한 데스크톱급 GPU 필요성 등의 현재 한계를 인정합니다. 그러나 제안된 공동 학습 프레임워크가 기존의 분리된 접근 방식들이 가진 주요 실패 모드들을 성공적으로 무력화했다고 주장합니다.