InCaRPose: 차내 상대 카메라 포즈 추정 모델 및 데이터셋에 대한 기술 요약

이 논문은 자동차 내부 (In-Cabin) 환경, 특히 왜곡이 심한 어안 (fisheye) 렌즈를 사용하는 차량 내부 모니터링 시스템 (ICAM) 을 위한 InCaRPose라는 새로운 모델과 데이터셋을 제안합니다. 이 모델은 두 이미지 간의 상대적인 카메라 포즈 (위치 및 방향) 를 정밀하게 추정하여 카메라 외적 보정 (Extrinsic Calibration) 을 수행하는 것을 목표로 합니다.

1. 문제 정의 (Problem Statement)

• 배경: EU GSR 및 Euro NCAP 규정에 따라 운전자 및 탑승자 모니터링 (ICAM) 시스템이 필수화되면서, 차량 내부에 여러 개의 카메라가 설치되고 있습니다. 특히 룸미러에 장착된 카메라는 넓은 시야각을 제공하지만, 운전자가 수동 또는 자동으로 거울을 조절함에 따라 카메라의 외적 파라미터가 빈번하게 변합니다.
• 도전 과제:
  • 심한 왜곡: 차량 내부 카메라는 주로 어안 렌즈를 사용하며, 이는 심각한 기하학적 왜곡을 유발합니다.
  • 정확한 거리 추정: 안전 관련 응용 (예: 에어백 전개, 시선 추적) 에는 픽셀 단위가 아닌 실제 미터 (Metric Scale) 단위의 절대 거리 정보가 필수적입니다. 기존 방법들은 대부분 스케일 불명확성 (Scale Ambiguity) 이 있거나 특정 장면에 의존적입니다.
  • 데이터 부족: 실제 차량 내부에서 정밀한 지상 진실 (Ground Truth) 데이터를 수집하는 것은 물리적 공간의 제약과 측정 오차로 인해 매우 어렵습니다.
  • 일반화: 다양한 차량 모델과 카메라 설정에 적용 가능해야 하지만, 차량별 좌표계에 의존하면 재학습이 필요합니다.

2. 방법론 (Methodology)

InCaRPose는 Transformer 기반 아키텍처를 활용하여 합성 데이터로만 학습된 후 실제 차량 내부 환경으로 일반화되는 모델을 설계했습니다.

2.1. 아키텍처

• Frozen Backbone: DINOv3 와 같은 사전 학습된 Vision Transformer (ViT) 를 고정 (Frozen) 하여 사용합니다. 이는 제한된 데이터셋에서도 강력한 특징 추출 능력을 유지하고 도메인 간 일반화 (Synthetic-to-Real) 를 가능하게 합니다.
• Cross-Attention Decoder: 기준 이미지 (Reference) 와 대상 이미지 (Target) 의 특징을 결합하기 위해 Transformer 디코더를 사용합니다. 이 디코더는 자기 주의 (Self-attention) 와 교차 주의 (Cross-attention) 메커니즘을 통해 두 뷰 간의 기하학적 관계를 정제합니다.
• Prediction Head: 디코더의 출력을 통해 회전 (Rotation) 과 병진 이동 (Translation) 을 회귀 (Regression) 하는 경량 MLP 헤드를 사용합니다.
• 양방향 예측: 모델이 한 쌍의 이미지 순서에 의존하지 않도록, 두 방향 (1→2 및 2→1) 의 상대 포즈를 모두 예측하도록 설계하여 기하학적 일관성을 강화합니다.

2.2. 데이터 및 학습 전략

• Synthetic-to-Real: 모델은 **실제 데이터 없이 오직 합성 데이터 (Blender 기반)**로만 학습됩니다. 합성 데이터는 다양한 차량 내부 기하학, 조명, 왜곡을 제어하며 생성되었습니다.
• Reference-Relative Pose: 차량의 절대 좌표계 (Vehicle Coordinate System) 대신, 기준 뷰 (Calibrated Reference View) 에 대한 상대적 포즈를 예측하도록 문제를 재정의했습니다. 이를 통해 차량 모델에 구애받지 않는 일반화를 달성했습니다.
• 왜곡 처리: 이미지 왜곡 보정 (Undistortion) 을 수행하지 않고, 왜곡된 어안 이미지를 **엔드 - 투 - 엔드 (End-to-End)**로 직접 처리합니다. 이는 모서리 정보 손실을 방지합니다.
• Ground Truth: 실제 테스트 데이터셋 (In-Cabin-Pose) 에서는 ArUco 마커를 사용하여 정밀한 메트릭 스케일의 지상 진실을 확보했습니다.

2.3. 출력 표현

• 회전은 **쿼터니언 (Quaternion)**과 Quaternion 기반 Pose Loss를 사용하여 최적의 성능을 냈으며, 병진 이동은 절대 미터 단위로 예측합니다.

3. 주요 기여 (Key Contributions)

1. In-Cabin-Pose 테스트 데이터셋 공개: 실제 차량 내부에서 촬영된 심하게 왜곡된 NIR(근적외선) 어안 이미지와 메트릭 지상 진실 (Ground Truth) 을 포함하는 최초의 공개 테스트셋입니다.
2. 차량 무관 (Vehicle-Agnostic) 참조 프레임: 차량별 좌표계를 피하고 기준 뷰에 대한 상대 포즈를 예측함으로써, 다양한 차량 모델에 대한 재학습 없이 배포가 가능합니다.
3. 왜곡 보정 없는 어안 처리: 이미지 왜곡 보정 단계를 생략하고 왜곡된 이미지를 직접 처리하여 기하학적 정보를 보존하면서도 메트릭 스케일 병진 이동을 예측합니다.
4. 합성 데이터 기반의 강력한 일반화: 제한된 합성 데이터 (약 6,500 쌍) 로만 학습되었음에도 불구하고, 실제 차량 내부 환경과 공개 데이터셋 (7-Scenes) 에서 경쟁력 있는 성능을 입증했습니다.

4. 실험 결과 (Results)

4.1. In-Cabin-Pose 데이터셋 성능

• 정확도: InCaRPoseLarge224 모델은 중앙값 회전 오차 2.75°, 중앙값 병진 이동 오차 0.07m를 기록했습니다.
• 비교: 기존 방법인 Reloc3r 은 방향만 예측할 뿐 스케일 정보가 없으며, SIFT 매칭은 절대 거리를 알 수 없습니다. InCaRPose 는 단일 추론 단계에서 메트릭 스케일 거리를 정확히 복원합니다.
• 실시간성: NVIDIA RTX 4090 에서 70 FPS 이상의 처리 속도를 달성하여 실시간 운전자 모니터링에 적합합니다.

4.2. 공개 데이터셋 일반화 (7-Scenes, Cambridge Landmarks)

• 7-Scenes: InCaRPoseLarge512 는 평균 회전 오차 2.21°를 기록하여 Reloc3r(6.37°) 대비 65% 개선된 성능을 보였습니다. 또한 절대 거리 추정이 가능합니다.
• Cambridge Landmarks: 실내 환경보다 야외 환경에서 성능 저하가 관찰되었으나, Shop Facade 와 같은 특정 장면에서는 Reloc3r 보다 우수한 성능을 보여주며 전반적인 평균 회전 오차에서 경쟁력을 입증했습니다.

4.3. Ablation Study

• Backbone: DINOv3 가 DINOv2 보다 성능이 우수했으며, DUNE-Base 도 좋은 결과를 보였습니다.
• 출력 표현: 쿼터니언 기반의 손실 함수가 회전 오차를 최소화하는 데 가장 효과적이었습니다.

5. 의의 및 결론 (Significance)

• 안전성 확보: 에어백 전개나 운전자 시선 추적과 같은 안전 관련 애플리케이션은 밀리초 단위의 빠른 반응과 정확한 거리 정보가 필수적입니다. InCaRPose 는 이러한 요구사항을 충족하는 실시간 메트릭 포즈 추정을 가능하게 합니다.
• 데이터 효율성: 실제 데이터 수집의 어려움과 비용 문제를 해결하기 위해 합성 데이터 학습의 유효성을 입증했습니다.
• 실용성: 어안 렌즈의 왜곡을 보정하지 않고 직접 처리하며, 차량 모델에 구애받지 않는 유연한 아키텍처를 제공하여 자율주행 및 첨단 운전자 지원 시스템 (ADAS) 의 상용화에 기여합니다.

결론적으로, InCaRPose 는 제한된 데이터와 심한 왜곡 환경에서도 고정밀한 상대 카메라 포즈 추정을 가능하게 하는 혁신적인 솔루션으로, 차내 센싱 기술의 신뢰성과 안전성을 크게 향상시킵니다.