기술 요약: X-Lens

문제 정의

자율 로봇 및 시각-언어-행동(VLA) 모델을 포함한 현대의 체화된 시스템(embodied systems)은 포괄적인 공간 범위를 확보하기 위해 협각(narrow-FOV) 핀홀 카메라와 광각(wide-FOV) 어류형(fisheye) 카메라를 결합한 다중 카메라 리그에 점점 더 의존하고 있습니다. 그러나 기존의 3D 깊이 추정 및 기하학적 파운데이션 모델들은 다음과 같은 **이종 카메라 설정(heterogeneous-camera setting)**에서 상당한 한계에 직면해 있습니다:

1. 모델 불일치(Model Mismatch): 대부분의 방법론은 핀홀 중심의 가정이나 단일 카메라 모델을 기반으로 구축되어, 혼합된 리그의 비균일한 투영 기하학 및 뷰 의존적 왜곡을 처리하는 데 실패합니다.
2. 계산 비용: 기존의 기하학적 파운데이션 모델들은 종종 계산 집약적이어서, 엄격한 지연 시간(latency)과 메모리 예산 하에서 실시간 엣지 추론을 어렵게 만듭니다.
3. 데이터 부족: 이종(어류형 + 핀홀) 다중 뷰 구성에 대해 조밀한 미터법 기반 그라운드 트루스(dense metric ground truth)를 포함하는 대규모 동기화 데이터셋이 부족합니다.
4. 비효효율성: 현재의 접근 방식들은 광각 입력을 처리하기 위해 파노라마 스티칭(원래의 기하학적 구조를 변경함)이나 보조 재구성 타겟(최적화 복잡성을 증가시킴)에 의존하는 경우가 많습니다.

방법론

X-Lens는 가변적인 수의 교정된 어류형 및 핀홀 뷰로부터 실시간 미터법 깊이 추정을 수행하도록 설계된 소형 피드포워드(feed-forward) 모델입니다. 이 모델은 파노라마 스티칭이나 보조 재구성 타겟을 피하고, 조밀한 깊이와 전역 미터 스케일을 직접 예측하는 데 집중합니다.

1. 정식화 및 설계

• 일반적 광선 표현(Generic Ray Representation): 특정 핀홀 내적 행렬 $K$에 의존하는 대신, X-Lens는 일반적인 언프로젝션 맵(unprojection map) $G$를 사용하여 카메라를 추상화합니다. 이는 아키텍처의 변경 없이 핀홀 및 어류형(파라메트릭 왜곡) 모델을 모두 수용하며, 픽셀 좌표를 공유 광선 공간(shared ray space)의 역투영된 단위 광선으로 매핑합니다.
• 분리된 예측(Factored Prediction): 모델은 다음의 세 가지 요소(triplet)를 출력합니다:
  • $\hat{D}$: 정규화된 깊이 필드 (스케일 불변).
  • $\hat{C}$: 자기 교정된 신뢰도 맵(self-calibrated confidence map).
  • $\hat{m}$: 단일 전역 미터 스칼라.
  • 최종 미터법 깊이는 $\hat{D}_m = \hat{m} \cdot \hat{D}$로 재구성됩니다. 이는 절대 스케일을 1차원 경로로 격리하여, 기하학적 손실(geometric losses)이 스케일 불변 공간에서 작동할 수 있도록 합니다.

2. 이종 투영 트랜스포머(Heterogeneous Projection Transformer)

핵심 아키텍처는 로컬(뷰 내부) 및 글로벌(뷰 간) 레이어가 교차되는 비전 트랜스포머(ViT) 백본이며, 두 가지 핵심 요소로 강화되었습니다:

• 학습 가능한 교정 토큰(Learnable Calibration Tokens): 렌즈 특유의 왜곡이 공유된 시각적 토큰을 오염시키는 것을 방방지하기 위해, 모델은 레이어 및 카메라 유형별 교정 토큰($\Theta$)을 시퀀스에 주입합니다. 이 토큰들은 특정 뷰에 로컬하게 어텐션하여 왜곡 패턴을 교정하지만, 다음 레이어로 넘어가기 전에 제거되어 전역 미터 융합에 간섭하지 않도록 합니다.
• Jacobian 파라미터화 왜곡 바이어스(Jacobian-Parameterized Distortion Bias): 뷰 사이의 기하학적 간극을 메우기 위해, 어텐션 메커니즘에 바이어스 항이 주입됩니다. 이 바이어스는 언프로젝션 맵의 야코비안(Jacobian)(로컬 광선 방향 및 투영 왜곡)으로부터 유도됩니다. 이는 단순한 외관 유사성이 아닌, 호환 가능한 3D 광선 기하학 및 로컬 투영 구조를 가진 패치를 선호하도록 어텐션 가중치를 조절합니다.
• 스케일 어텐션(Scale Attention): 견고한 미터 스케일 예측을 보장하기 위해, 모델은 신뢰도가 낮은 하위 25%의 픽셀(주로 어류형 경계 근처)을 버리고, 남은 신뢰할 수 있는 영역에 대해 신뢰도 가중치 풀링(confidence-weighted pooling)을 수행한 후 전역 스케일 $\hat{m}$을 회귀합니다.

3. 다단계 학습 전략

X-Lens는 렌즈 특유의 적응과 공동 최적화를 분리하기 위해 점진적인 3단계 학습 파이프라인을 사용합니다:

1. 1단계 (핀홀 사전 학습): 모델은 다중 뷰 핀홀 데이터를 통해 견고한 기하학적 사전 지식과 스케일 인지 능력을 학습합니다. 이때 교정 토큰과 왜곡 바이어스는 비활성화됩니다.
2. 2단계 (어류형 토큰 적응): 백본은 고정된 상태에서 어류형 데이터를 사용하여 교정 토근만을 업데이트합니다. 이를 통해 기존의 핀홀 사전 지식을 덮어쓰지 않고 광각 FOV 왜곡에 적응합니다.
3. 3단계 (이종 공동 학습): Jacobian 왜곡 바이어스가 활성화되며, 모델은 혼합된 어류형-핀홀 데이터(새로운 OmniScene 데이터셋 포함)와 순수 핀홀 데이터를 사용하여 뷰 간 상호작용을 조정하기 위해 공동 미세 조정(fine-tuning)됩니다.

4. OmniScene 데이터셋

데이터 부족 문제를 해결하기 위해 저자들은 대규모 합성 데이터셋인 OmniScene을 소개합니다:

• 규모: 103개의 실내외 장면 전반에 걸친 약 266,000개의 동기화된 6뷰 프레임 (1.7M 이미지).
• 구성: 4개의 어류형(180° FOV)과 2개의 핀홀 카메라로 구성된 강체(rigid) 6-카메라 리그.
• 품질: 모든 프레임에 대해 조밀하고 노이즈가 없는 미터법 그라운드 트루스(z-depth), 유효성 마스크, 그리고 교정된 내적/외적 파라미터를 제공합니다.

주요 결과

실제 환경(KITKI360, ETH3D, ScanNet++) 및 합성 환경(OmniScene) 데이터셋에 대한 광범위한 실험 결과, X-Lens는 정확도와 효율성 측면에서 우월함을 입증했습니다:

• 이종 성능: OmniScene-Full 벤치마크(6개 뷰: 4 어류형 + 2 핀홀)에서 X-Lens는 가장 강력한 베이스라인인 MapAnything에 비해 AbsRel을 25.4% 감소시키면서도, 88.9% 적은 파라미터(0.04B vs. 1.23B)를 사용했습니다.
• 실시간 추론: X-Lens는 NVIDIA H100 GPU에서 단일 어류형 뷰에 대해 41 FPS, 전체 이종 6-뷰 입력에 대해 22 FPS를 달성하여 더 큰 모델들을 속도 면에서 크게 앞질렀습니다.
• 일반화: 모델은 보지 못한 환경에서도 강력한 제로샷 일반화 성능을 보여주며, 균질한 핀홀 전용 또는 어류형 전용 설정에서도 경쟁력 있는 성능을 유지합니다.
• 파라미터 효율성: 단 0.04B개의 파라미터만으로 최첨단 미터법 깊이 정확도를 달성하였으며, 이는 다른 기하학적 파운데이션 모델(예: VGGT, DepthAnything3)의 극히 일부 수준입니다.

의의 및 주장

본 논문은 X-Lens가 체화된 시스템을 위한 실시간 공간 지능을 향한 중요한 진전이라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 네이티브 이종 지원: 파노라마 스티칭이나 하드웨어 특화 스테레오 볼륨을 요구하지 않고, 가공되지 않은 혼합 어류형 및 핀홀 입력을 네이티브하게 지원하는 최초의 소형 모델입니다.
2. 효율성-정확도 트레이드오프: 깊이 인지를 전체 3D 재구성(포즈, 내적, 포인트 맵)으로부터 분리하고 미터법 깊이와 스케일에 집중함으로써, X-Lens는 엣지 배포에 적합한 높은 정확도와 낮은 지연 시간 사이의 균형을 달s성했습니다.
3. 데이터 자원: OmniScene의 공개는 이종 다중 뷰 깊이 인지 학습 및 평가를 위한 핵심 자원을 제공하여 해당 분야의 공백을 메워줍니다.

저자들은 X-Lens를 단순한 깊이 추정기가 아니라, 로봇 계획 및 상호작용과 같은 실시간 다운스트림 애플리케이션과 미터법 깊이 모델링 사이의 간극을 메울 수 있는 **기하학 인지적 시각 인코더(geometry-aware visual encoder)**로 정의합니다. 또한 그라운드 트루스 교정에 대한 의존성과 극단적이고 보지 못한 렌즈 구성에서의 sim-to-real 간극 등의 한계를 인정하며, 향-후 연구 과제로 시간적 집계(temporal aggregation) 및 더 넓은 내적 다양성을 제시하였습니다.