GHOST: Ground-projected Hypotheses from Observed Structure-from-Motion Trajectories

1. 문제 정의 (Problem)

자율 주행에서 차량이 이동할 수 있는 공간 (drivable space) 과 미래의 궤적을 이해하는 것은 핵심적인 과제입니다. 기존의 접근 방식은 다음과 같은 한계를 가집니다:

• 비용과 의존성: 명시적인 의미론적 (semantic) 레이블링, 고가의 인간 주석 (annotation), 또는 LiDAR 등 정밀하게 보정된 센서 suites 에 의존합니다.
• 데이터의 제한: 대규모로 구동 가능한 공간과 운동 패턴을 학습하기 위해 구조화된 데이터셋 (KITTI, NuScenes 등) 이 필요하지만, 이는 수집 및 라벨링 비용이 매우 큽니다.
• 비표준 환경의 부재: 오프로드, 마이크로 모빌리티 (전동 킥보드 등) 등 기존 자동차 중심의 구조화된 데이터 인프라가 부재한 영역에서의 궤적 추정이 어렵습니다.

이 논문은 단안 (monocular) 카메라 영상에서 대규모 대시캠 데이터를 활용하여, 수동 주석 없이 자율 주행 차량의 이동 가능 궤적을 학습하고 추론하는 확장 가능한 자기지도 학습 (self-supervised) 접근법을 제안합니다.

2. 방법론 (Methodology)

제안된 GHOST 프레임워크는 크게 세 가지 단계로 구성됩니다.

A. 자기지도 학습 파이프라인 (Self-Supervised Pipeline)

1. 단안 SfM (Structure-from-Motion): YouTube 등의 대규모 대시캠 비디오를 입력으로 받아 COLMAP 을 사용하여 희소 3D 포인트 클라우드와 6-DoF 카메라 포즈를 추정합니다. 이 과정은 절대적인 스케일 (metric scale) 을 알 수 없는 상태 (scale ambiguity) 로 수행됩니다.
2. 지상 투영 및 마스킹 (Ground Projection & Masking):
   • 스케일 추정: SfM 의 무척도 (unscaled) 궤적에 실제 스케일을 부여하기 위해, 카메라 높이를 추정합니다. 이는 차량의 운동학 모델 (바icycle 모델) 과 지면의 국소 평면성 가정을 기반으로, 3D 포인트 클라우드에서 지면 포인트를 식별하고 Theil-Sen 추정기 (robust regression) 를 사용하여 카메라의 지면으로부터의 수직 거리를 계산합니다.
   • 마스크 생성: 추정된 카메라 높이를 이용해 SfM 좌표계의 카메라 궤적을 지면 평면 (ground plane) 에 투영합니다. 여기에 차량의 폭을 고려한 너비 (높이의 1.5 배) 를 적용하여, 차량이 실제로 주행한 영역을 나타내는 공간 마스크 (Spatial Mask) 를 생성합니다. 이 마스크가 학습을 위한 Ground Truth(GT) 로 사용됩니다.
   • 품질 관리: SfM 재구성이 실패하거나 잘못된 궤적이 생성된 'Null 프레임'을 자동으로 필터링하여 고품질 학습 데이터를 확보합니다.

B. 모델 학습 (Model Training)

• 작업 정의: 궤적 추정을 이진 이미지 분할 (Binary Image Segmentation) 문제로 재정의합니다. 단일 RGB 이미지에서 지면 평면상에서 가능한 미래 궤적 마스크를 예측합니다.
• 아키텍처: ResNet34 인코더와 UNet 디코더를 기반으로 한 표준 분할 네트워크를 사용합니다.
• 손실 함수 (Loss Function):
  • 단순히 GT 마스크를 복사하는 것을 방지하고, 여러 가능한 궤적 가설 (hypotheses) 을 학습하기 위해 비대칭 가중 손실 (Weighted Asymmetric Loss) 을 설계했습니다.
  • False Negative (실제 주행 가능 영역을 놓침) 에 대한 패널티를 False Positive 보다 훨씬 크게 설정합니다. 이를 통해 모델은 단일 경로가 아닌, 장면의 구조와 레이아웃에 기반한 다양한 가능한 경로 (Multi-modal hypotheses) 를 포괄적으로 예측하도록 유도됩니다.

C. 데이터 소스

• YouTube 의 대규모 대시캠 비디오 (약 30 시간 분량, 65 만 프레임 이상) 를 활용하여 다양한 날씨, 시간대, 지리적 위치, 카메라 장착 방식 (차량, 트럭 등) 을 포함하는 데이터셋을 구축했습니다.

3. 주요 기여 (Key Contributions)

1. 확장 가능한 자기지도 파이프라인: 구조화되지 않은 단안 대시캠 비디오에서 SfM 기술을 활용하여 궤적 학습용 감독 신호 (supervision) 를 추출하는 방법을 제시했습니다.
2. 분할 기반 궤적 가설 추정: 미래 궤적 추정 문제를 이미지 분할 문제로 공식화하여, 복잡한 3D 모델링 없이 단일 이미지에서 가능한 경로 집합을 예측할 수 있게 했습니다.
3. 구조적 일반화: 대규모 데이터 감독을 통해 모델이 단순히 시연된 궤적을 복사하는 것을 넘어, 장면의 레이아웃과 교통 규칙을 내재화하여 시연된 경로 이상의 구조화된 이동 가능 영역을 예측함을 실험적으로 입증했습니다.
4. 이종 플랫폼 전이 (Transfer Learning): 자동차용 데이터로 학습된 모델을 전동 킥보드 (Electric Scooter) 에 미세 조정 (Fine-tuning) 하여 성공적으로 적용함으로써, 구조화된 데이터가 부족한 마이크로 모빌리티 분야에서도 유효함을 보였습니다.

4. 실험 결과 (Results)

• 평가 데이터셋: NuScenes (OpenLaneV2 Subset B) 를 사용하여 평가했습니다. HD 맵 기반의 도달 가능 거리 (reachable distance) 를 계산하여 Ground Truth 를 생성하고, Soft Intersection over Union (Soft IoU) 지표를 사용했습니다.
• 성능: ResNet34 와 SegFormer 백본 모두에서 약 0.56~0.57 의 Soft IoU 를 달성했습니다. 특히 다중 차선 (Multi-Lane) 환경에서도 성능이 저하되지 않거나 오히려 향상되어, 모델이 단일 경로가 아닌 다중 모달 (Multi-modal) 궤적 가설을 효과적으로 학습했음을 시사합니다.
• 정성적 결과:
  • 직진, 교차로, 차선 변경, 우회전 등 다양한 상황에서 가능한 여러 경로를 예측했습니다.
  • 정적 장애물 (다른 차량) 을 회피하는 경향을 학습했습니다.
  • 전동 킥보드 전이: 대시캠 데이터로 사전 학습된 모델을 킥보드 데이터로 미세 조정하면, 처음부터 학습한 모델 (Scratch) 보다 다양한 경로 가설을 유지하며 더 잘 일반화되는 것을 확인했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 맵 프리 (Map-free) 접근: HD 맵이나 정밀 센서 없이도 시각 정보만으로 공간적 선험 지식 (spatial priors) 을 학습할 수 있음을 증명했습니다.
  • 데이터 효율성: 수동 주석이 필요 없는 대규모 인터넷 데이터를 활용하여, 오프로드나 마이크로 모빌리티 등 데이터가 부족한 영역의 자율 주행 기술 발전에 기여합니다.
  • 구조적 추론: 모델이 단순히 궤적을 외우는 것이 아니라, 도로 토폴로지, 차선 구조, 교차로 형태 등을 이해하고 이를 기반으로 미래 경로를 추론함을 보여줍니다.
• 한계 및 논의:
  • SfM 의 한계: 단안 카메라의 스케일 불확실성과 저패럴랙스 (low parallax) 운동으로 인해 일부 프레임에서 재구성이 실패할 수 있습니다.
  • 평면 가정: 급경사나 복잡한 지형에서는 지면 평면 가정이 깨질 수 있어 높이 추정에 오차가 발생할 수 있습니다.
  • 평가의 한계: HD 맵 기반의 Ground Truth 는 동적 장애물을 반영하지 못하거나, 실제 주행 가능한 경로와 맵 연결성이 일치하지 않아 모델의 정확한 예측을 오점할 (penalize) 수 있습니다.

결론적으로, GHOST 는 대규모 비정형 비디오 데이터에서 추출한 자기지도 신호를 통해, 복잡한 도시 환경에서 차량의 이동 가능 영역과 미래 궤적 가설을 효과적으로 추론하는 강력하고 확장 가능한 프레임워크를 제시합니다.