FishRoPE: 전방향 시각 인식을 위한 투영 회전 위치 임베딩 (Projective Rotary Position Embeddings)

이 논문은 자율주행 차량에 널리 배포된 어안 (fisheye) 카메라의 심각한 방사 왜곡 (radial distortion) 문제를 해결하기 위해 제안된 FishRoPE 프레임워크에 대한 기술적 요약입니다. 기존 비전 파운데이션 모델 (VFMs) 이 핀홀 (pinhole) 카메라 기하학을 가정하여 어안 카메라에 적용할 때 발생하는 기하학적 불일치를 해결하고, 대규모 어안 데이터의 부족 문제를 우회하는 경량화된 접근법을 제시합니다.

1. 문제 정의 (Problem Statement)

• 기하학적 불일치: 기존의 비전 파운데이션 모델 (DINOv2 등) 과 BEV (Bird's Eye View) 표현 방식은 핀홀 카메라의 직선적 (rectilinear) 기하학을 전제로 합니다. 그러나 어안 카메라는 360 도 주변 시야를 제공하기 위해 사용되지만, 심한 방사 왜곡을 가지므로 픽셀 간의 거리가 실제 공간적 각도 (angular separation) 와 비선형적으로 매핑됩니다.
• 위치 인코딩의 한계: 기존 Transformer 아키텍처의 위치 인코딩 (학습된 절대 위치, 정현파, 2D 회전 등) 은 균일한 직교 좌표 격자를 가정합니다. 어안 렌즈에서는 이미지 중심과 주변부의 동일한 픽셀 오프셋이 서로 다른 각도 범위를 나타내므로, 이러한 인코딩은 실제 공간 관계를 왜곡하여 자기 주의 (self-attention) 및 교차 주의 (cross-attention) 메커니즘의 성능을 저하시킵니다.
• 데이터 부족: 대규모 어안 데이터셋 (nuScenes, KITTI 와 같은 핀홀 데이터에 비해) 이 극히 부족하여, 어안 카메라에 맞춰 파운데이션 모델을 처음부터 재학습 (pretraining from scratch) 하는 것은 비현실적입니다.

2. 방법론 (Methodology)

FishRoPE 는 두 가지 핵심 구성 요소로 이루어진 경량화 프레임워크입니다.

A.冻结된 DINOv2 백본과 LoRA 적응 (Frozen DINOv2 Backbone with LoRA)

• 백본: ImageNet 사전 학습된 ResNet 대신, DINOv2 (ViT-B/14) 를 고정 (frozen) 된 백본으로 사용합니다. DINOv2 는 대규모 자기 지도 학습을 통해 얻은 왜곡에 강건한 일반화 능력을 갖추고 있습니다.
• 적응 (Adaptation): 백본을 고정된 채로 유지하면서, 어안 특화 태스크에 맞춰 LoRA (Low-Rank Adaptation) 모듈을 주입합니다. 각 자기 주의 레이어의 쿼리 (Query) 와 값 (Value) 투영부에 LoRA 를 추가하여 약 300 만 개의 학습 가능한 파라미터만 추가합니다. 이는 기존 8600 만 파라미터 백본의 일반화 능력을 유지하면서 과적합을 방지합니다.

B. 어안 회전 위치 임베딩 (FishRoPE)

• 핵심 아이디어: 어안 렌즈의 구면 좌표계 (Spherical Coordinate System, $\theta, \phi$) 에서 위치를 인코딩합니다.
• 구현:
  1. 좌표 변환: 이미지 패치 $(u, v)$를 Kannala-Brandt (KB) 모델의 역투영을 통해 각도 좌표인 입사각 ($\theta$) 과 방위각 ($\phi$) 으로 변환합니다.
  2. 임베딩 적용: 변환된 각도 좌표를 사용하여 쿼리와 키 벡터에 회전 행렬을 적용합니다. 기존 RoPE 와 유사하게 상대적 위치 속성을 유지하되, 픽셀 거리가 아닌 각도 분리 (angular separation) 를 기반으로 작동합니다.
  3. 적용 범위: 인코더의 자기 주의 (self-attention) 와 BEVFormer 스타일의 교차 주의 (cross-attention) 리프팅 모두에 적용됩니다.
• 특징:
  • 주변부 모호성 해소: 이미지 주변부의 좁은 픽셀 영역이 넓은 각도를 차지하는 특성을 고려하여 위치 코드를 적절히 분리합니다.
  • 기하학적 일관성: 핀홀 카메라 (paraxial regime) 에서는 기존 2D RoPE 로 자연스럽게 수렴하며, 추가적인 계산 오버헤드는 거의 없습니다.

C. 태스크별 헤드 (Task-Specific Heads)

• 2D 객체 탐지: CenterNet 기반의 앵커 프리 헤드를 사용하여 WoodScape 데이터셋에서 객체를 탐지합니다. FishRoPE 가 특징 표현에 기하학적 정보를 인코딩하므로, 헤드는 추가적인 기하 모듈 없이도 작동합니다.
• BEV 세그멘테이션: BEV 그리드 쿼리와 이미지 특징 간의 교차 주의 시, KB 모델을 직접 사용하여 어안 왜곡을 보정하지 않은 원본 이미지에서 BEV 로 직접 리프팅 (lifting) 합니다.

3. 주요 기여 (Key Contributions)

1. 기하학적 어댑터 (Geometric Adapter): 어안 카메라에 특화된 새로운 아키텍처를 설계하는 대신, 기존 VFM 생태계와 BEV 리프팅 패러다임을 어안 기하학에 호환되도록 만드는 경량 어댑터를 제시했습니다.
2. FishRoPE 제안: 직교 좌표계가 아닌 구면 좌표계에서 작동하는 회전 위치 임베딩을 개발하여, 비선형 왜곡 하에서도 정확한 공간 추론이 가능하도록 했습니다.
3. 효율성과 일반화: DINOv2 의 강력한 특징과 LoRA 의 파라미터 효율성을 결합하여, 대규모 어안 데이터 없이도 최첨단 성능을 달성했습니다.

4. 실험 결과 (Results)

논문은 WoodScape (2D 탐지) 와 SynWoodScapes (BEV 세그멘테이션) 벤치마크에서 FishRoPE 를 평가했습니다.

• 2D 객체 탐지 (WoodScape):
  • 54.2 mAP (IoU=0.5) 를 기록하여 기존 어안 탐지 모델들 (FisheyeYOLO: 44.65, FisheyeDetNet: 49.5) 보다 우월한 성능을 보였습니다.
  • 백본을 ResNet-18 에서 DINOv2-B 로 변경하고 FishRoPE 를 적용했을 때 성능이 크게 향상됨을 확인했습니다.
• BEV 세그멘테이션 (SynWoodScapes):
  • 65.1 mIoU를 기록하여 기존 SOTA 모델인 FishBEV (DINOv2-L 사용, 64.22 mIoU) 를 능가했습니다.
  • 더 작은 백본 (ViT-B) 을 사용하면서도 더 큰 모델 (ViT-L) 보다 좋은 성능을 내며, FishRoPE 의 기하학적 인코딩이 핵심임을 증명했습니다.
• Ablation Study:
  • FishRoPE 는 학습된 절대 위치, 정현파, 2D 축 RoPE 등 기존 인코딩 방식보다 모든 태스크에서 우월했습니다.
  • $\theta$(입사각) 만 사용하는 것보다 $\theta$와 $\phi$(방위각) 를 모두 사용하는 것이 추가적인 성능 향상을 가져왔습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기하학적 일관성 확보: 어안 카메라의 비선형 왜곡을 픽셀 공간이 아닌 각도 공간에서 처리함으로써, Transformer 기반 모델이 어안 이미지에서도 정확한 공간 관계를 학습할 수 있게 했습니다.
• 실용성: 추가적인 데이터 수집이나 모델 재학습 없이, 기존 강력한 비전 파운데이션 모델을 어안 카메라에 즉시 적용할 수 있는 경량 솔루션을 제공합니다.
• 확장성: 이 프레임워크는 어안 카메라뿐만 아니라 알려진 투영 모델을 가진 모든 카메라 (카타디옵트릭, 360 도 렌즈 등) 에 적용 가능한 일반적인 접근법입니다.

결론적으로 FishRoPE 는 자율주행의 주변 시야 인식 (surround-view perception) 분야에서 기하학적 왜곡 문제를 해결하고, 데이터 효율성을 극대화하는 중요한 진전을 이루었습니다.