기술 요약: RayTun3R

문제 정의

최근의 3D 파운데이션 모델(예: DUSt3R, MASt3R, VGGT, $\pi^3$, Depth Anything 3)은 표준 핀홀 이미지를 대상으로 한 피드포워드(feed-forward) 깊이 및 포즈 추정에서 탁월한 성능을 보입니다. 그러나 어안(fisheye) 또는 광각 입력을 적용할 경우 성능이 크게 저하됩니다. 저자들은 이러한 실패가 사전 학습된 모델의 위치 인코딩(positional encodings)에 내재된 **핀홀 카메라 편향(pinhole camera bias)**에서 기인함을 식별했습니다.

LoRA나 어댑터 레이어와 같은 표준 매개변수 효율적 미세 조정(PEFT) 방법은 일반적인 특징 변환을 수정하지만, 핀홀 카메라와 어안 카메라가 동일한 이미지 그리드 위치에 서로 다른 광선 기하학(ray geometries)을 할당한다는 구체적인 기하학적 불일치를 해결하지는 못합니다. 어안 이미지를 여러 개의 가상 핀홀 크롭(예: Center-PH, Multi-PH)으로 분할하는 기존의 우회책은 계산 오버헤드를 발생시키며, 어업 기하학을 직접 모델링하지 않고 복잡한 예측 융합을 요구합니다.

방법론: RayTun3R

RayTun3R은 백본을 재학습하지 않고도 고정된 3D 파운데이션 모델의 핀홀 편향을 교정하도록 설계된 경량 온라인 카메라 적응 방식입니다. 핵심 가설은 토큰 위치와 카메라 광선을 연결하는 구성 요소를 적응시키는 것이 일반적인 특징을 적응시키는 것보다 더 효과적이라는 것입니다.

주요 구성 요소

1. 고정된 백본 (Frozen Backbone): 사전 학습된 3D 모델(가중치 $\theta$)은 완전히 고정된 상태로 유지됩니다.
2. 경량 어댑터 (Lightweight Adapter): 토큰 위치 및 카메라 기하학과 결이 같은 특정 구성 요소만 업데이트됩니다. 총 학습 가능한 매개변수는 매우 적습니다 (DA3-Small 기준 10,752개).
   • 위치 임베딩 교정 (Positional Embedding Correction): 주점(principal point)을 기준으로 극좌표계(반지름 $\rho$ 및 각도 $\theta$)에서의 절대 위치 임베딩($P_A$)에 대한 교정을 매개변수화합니다. 이는 학습 가능한 방사형 및 각도 룩업 테이블(lookup tables)로 구현됩니다.
   • 회전 위치 인코딩 (RoPE) 교정: RoPE를 사용하는 모델의 경우, 학습 가능한 방사형 교정이 회전 각도에 적용됩니다.
   • 매개변수 프리 교정 (Parameter-Free Corrections):
     • 예측 그리드 좌표: 정규 그리드 좌표를 언디스토션(undistorting)된 어업 그리드 위치를 통해 얻은 카메라 인식 좌표로 대체합니다.
     • 패치 토큰화 (Patch Tokenization): 유효한 어업 렌즈 외부의 패치는 평균 유효 토큰으로 대체되며, 핀홀 크롭을 근사하기 위해 토큰화 전 패치를 국소적으로 언디스토션합니다.

학습 전략

어댑터는 정답(ground-truth) 깊이나 포즈 없이, 자가 지도 기하학적 손실(self-supervised geometric losses)을 사용하여 짧은 시간적 세그먼트의 어업 프레임 상에서 온라인으로 학습됩니다.

• 재투영 손실 ($L_{reproj}$): 예측된 3D 점과 기성 매처(off-the-shelf matcher, UFM)로부터 얻은 대응점 사이의 일관성을 강제합니다.
• 포즈 정규화 ($L_{pose}$): 초기 최적화를 안정화하기 위해 고정된 상대 포즈 추정치(MAGSAC++로부터)를 의사 라벨(pseudo-label)로 사용합니다.
• 매끄러움 사전 지식 (Smoothness Priors): 위치 교정이 사전 학습된 테이블에 비해 작고 매끄럽게 유지되도록 에지 인식 깊이 매끄러움(edge-aware depth smoothness) 및 L2/Total Variation 정규화를 포함합니다.

주요 기여

1. 핀홀 편향 분석: 저자들은 사전 학습된 위치 임베딩의 로컬 자코비안(local Jacobian)이 핀홀 카메라의 상수 기하학을 따른다는 것을 입증했습니다. 또한, 적응 후 이 자코비안이 반지름 의존적(radius-dependent)으로 변하여 어업 기하학에 정렬됨을 보여줍니다.
2. 경량 어댑터 설계: 백본을 고정한 채 위치 구성 요소(절대 및 회전)만을 적응시키는 RayTun3R을 소개합니다. 이 방식은 LoRA보다 약 14배 적은 학습 매개변수를 사용하며 무시할 만한 추론 오버헤드를 추가합니다.
3. 실증적 검증: 다양한 어업 데이터셋(FOV 110°–200°)과 세 가지 서로 다른 고정된 백본(Depth Anything 3, VGGT, $\pi^3$)을 통해 방법론을 검증했습니다.

결과

다섯 가지 데이터셋(ETH3D, KITKI-360, TUM-VI, ScanNet++, FIORD)에 대한 실험에서 RayTun3R은 베이스라인을 지속적으로 능가했습니다:

• 포즈 정확도: RayTun3R은 비적응 모델에 비해 회전 오차를 2~12배 줄였으며, LoRA 및 캘리브레이션 토큰(CalTok)보다 유의미하게 높은 성능을 보였습니다. 예를 들어, KITTI-360에서 Vanilla 모델의 회전 오차가 1.69°, LoRA가 1.37°일 때, RayTun3R은 0.84°를 달와성했습니다.
• 깊이 정확도: 투영 기반 방식(Center-PH)이 훈련 분포를 모방함으로써 중간 수준의 FOV에서 경쟁력 있는 깊이를 보여주기도 하지만, RayTun3R은 전체 어업 시야각을 활용하면서도 경쟁력 있는 깊이 정확도를 달성합니다.
• 효율성: 여러 뷰를 처리하기 위해 약 300%의 추론 비용이 발생하는 Multi-PH와 달리, RayTun3R은 원래의 추론 속도(~100ms/frame)를 유지하며 오버헤드가 거의 없습니다. 이는 LoRA의 147.5K 개 매개변수와 비교하여 단 10.8K 개의 학습 가능 매개변수만을 사용합니다.

의의 및 주장

본 논문은 3D 파운데이션 모델의 어업 이미지에서의 실패가 특징 용량(feature capacity)의 부족이 아니라 근본적으로 **위치 표현(positional representation)**의 불일치 때문이라고 주장합니다. 이미지 토큰과 관측 광선 사이의 카메라 의존적 매핑을 격리하고 교정함으로써, RayTun3R은 이러한 모델이 광각 입력으로 효율적으로 일반화할 수 있게 합니다.

저자들은 이 작업이 다중 뷰 융합의 계산 비용과 카메라 인식 학습을 위한 아키텍처 변경을 피하는 솔루션임을 강조합니다. 그들은 이 방법이 "매개변수 효율적"이고 "런타임 효율적"이어서 온라인 적응 시나리오에 적합하다고 강조합니다.

저자가 인정한 한계점

• 카메라 특이성: 교정은 카메라별로 특화되어 있습니다. 다른 어업 모델이나 왜곡 프로파일에는 재적응이 필요합니다.
• 왜곡 가정: 이 방법은 주점과 주로 방사형 왜곡을 가정하며, 강한 접선(tangential) 또는 비방사형 광학계를 명시적으로 다루지는 않습니다.
• 캘리브레이션 의존성: 알려진 카메라 파라미터를 필요로 합니다(단, 예측된 캘리브레이션도 실행 가능하다는 것이 입증되었습니다).
• 움직임 요구사항: 자가 지도 학습은 프레임 간 충분한 변위(displacement)를 필요로 합니다. 퇴행적 움직임(degenerate motion)은 제약을 약화시킬 수 있습니다.
• 범위: 현재 작업은 어업 이미지에 집중되어 있으며, 파노라마/equirectangular 입력은 향후 과제로 남겨두었습니다.