Geo-EVS: Geometry-Conditioned Extrapolative View Synthesis for Autonomous Driving

Geo-EVS: 자율주행을 위한 기하학적 조건부 외삽 시점 합성 (Geometry-Conditioned Extrapolative View Synthesis)

이 논문은 자율주행 시스템의 확장성을 위해 이기종 센서 (서로 다른 카메라 구성) 간의 데이터 재사용을 가능하게 하는 외삽 시점 합성 (Extrapolative View Synthesis) 기술을 제안합니다. 기존 방법론들이 기존 궤적 (trajectory) 밖의 시점에서 성능이 급격히 저하되는 문제를 해결하기 위해, Geo-EVS라는 새로운 프레임워크를 소개합니다.

1. 문제 정의 (Problem)

자율주행 시스템이 다양한 플랫폼으로 확장될 때, 차량 라인별 센서 구성 (카메라 수, 설치 위치, 시야각 등) 의 차이로 인해 데이터와 모델이 특정 하드웨어에 종속되는 문제가 발생합니다. 이를 해결하기 위해 기존 onboard 이미지에서 표준화된 가상 시점 (Virtual Views) 을 생성하는 '외삽 시점 합성'이 필요하지만, 다음과 같은 어려움이 존재합니다:

• 약한 기하학적 지지: 외삽된 시점 (관측 궤적에서 벗어난 위치) 에서는 밀집된 3D 관측 데이터가 부족하여 기하학적 재투영 (Geometric Reprojection) 이 제대로 지지되지 않습니다.
• 학습 - 추론 불일치: 기존 방법들은 관측된 궤적 내의 밀집된 데이터를 기반으로 학습되지만, 추론 시에는 궤적 밖의 불완전한 조건에 직면하게 되어 성능이 떨어집니다.
• 기존 방법의 한계: 확산 모델 (Diffusion) 기반 방법은 기하학적 지지가 없는 영역에서 텍스처를 과하게 생성 (Hallucination) 하거나, NeRF/가우시안 스프래팅 기반 방법은 구조가 끊어지거나 비현실적인 영역이 발생하는 등 불안정합니다.

2. 제안 방법: Geo-EVS (Methodology)

Geo-EVS 는 희소 감독 (Sparse Supervision) 하에서 기하학적 조건에 기반한 외삽 합성 프레임워크로, 두 가지 핵심 구성 요소로 이루어져 있습니다.

A. 기하학적 인식 재투영 (Geometry-Aware Reprojection, GAR)

• 목적: 학습과 추론 시 동일한 기하학적 재투영 경로를 유지하여 데이터 불일치를 해소합니다.
• 작동 원리:
  1. VGGT (Visual Geometry Grounded Transformer) 를 미세 조정하여 밀도 높은 3D 점 구름 (Point Cloud) 을 재구성합니다.
  2. 이 점 구름을 관측된 카메라 포즈와 가상 타겟 포즈로 재투영하여 기하학적 조건 맵 (Geometric Condition Maps) 을 생성합니다.
  3. 이 과정에서 재투영 시 발생하는 '구멍' (유효하지 않은 픽셀) 은 0 으로 채워진 희소 맵으로 처리됩니다.
• 의의: 외삽 시점에서도 밀집된 Ground Truth 가 없더라도, 관측된 포즈에서 생성된 조건 맵과 타겟 이미지를 쌍으로 사용하여 학습할 수 있는 체계를 구축합니다.

B. 아티팩트 유도 잠재 확산 (Artifact-Guided Latent Diffusion, AGLD)

• 목적: 재투영 과정에서 발생하는 기하학적 결함 (구멍, 불연속성) 에 대해 모델이 학습하도록 하여, 외삽 시점에서의 구조 복원 능력을 향상시킵니다.
• 작동 원리:
  1. 아티팩트 마스크 주입: 학습 단계에서, 재투영 유효성 테스트를 통해 생성된 '아티팩트 마스크 (유효하지 않은 영역을 가리는 마스크)'를 조건 입력에 무작위로 주입합니다.
  2. 강화 학습: 모델은 기하학적 지지가 결여된 (마스크로 가려진) 조건에서도 구조를 복원하고 텍스처를 생성하도록 강제됩니다.
  3. 공간 정렬: 확산 모델의 입력 단계에서 기하학적 조건 맵을 직접 concatenate 하여, 저비용으로 명시적인 공간 정렬을 수행합니다.

C. 평가 프로토콜: LiDAR-Projected Sparse-Reference (LPSR)

• 외삽 시점에서는 밀집된 Ground Truth 가 없으므로, LiDAR 데이터를 기반으로 재투영된 유효 픽셀 영역 (Valid Projected Regions) 만을 대상으로 평가 지표를 계산합니다. 이는 불확실한 영역을 벌점 대상으로 삼지 않고, 기하학적으로 검증 가능한 영역에서의 성능을 공정하게 비교할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 통합 작업 정의: 자율주행 외삽 시점 합성을 '밀집된 타겟 재구성'이 아닌, '희소 기하학적 조건 하의 구조 복원' 문제로 재정의했습니다.
2. GAR 기반 데이터 구축 전략: 밀집 라벨이 없는 외삽 포즈에서도 학습이 가능하도록, 재투영 경로와 아티팩트 생성 메커니즘을 보존하는 데이터 구성 전략을 제시했습니다.
3. 외삽 지향 생성기 (AGLD): 아티팩트 인식 최적화를 통해 큰 포즈 차이와 제한된 지지 하에서도 기하학적 구조를 보존하며 사실적인 디테일을 복원하는 생성기를 개발했습니다.
4. 실용적 평가 프로토콜 (LPSR): 밀집 Ground Truth 가 없는 환경에서 현실적인 외삽 제약 하에 공정한 비교를 가능하게 하는 새로운 평가 방식을 제안했습니다.

4. 실험 결과 (Results)

Waymo Open Dataset 을 기반으로 한 실험 결과는 다음과 같습니다:

• 관측 내 시점 합성 (In-manifold): 기존 재구성 기반 방법 (Street Gaussians 등) 과 생성 모델 (FreeVS 등) 대비 FID(생성 품질 지표) 에서 가장 우수한 성능을 보였습니다.
• 외삽 시점 합성 (Out-of-manifold):
  • LPSR 프로토콜 하에서: Sparse-PSNR 및 Sparse-SSIM 지표에서 기존 최강의 재구성 및 확산 기반 베이스라인을 모두 능가했습니다.
  • 강건성: 카메라 포즈가 크게 이동하거나 (1m 측면 이동), 기하학적 지지 (유효 픽셀 비율) 가 낮아질수록 성능 저하가 완만하게 발생하여, 기존 방법들의 급격한 붕괴 현상을 개선했습니다.
• 하류 작업 (Downstream Utility): 생성된 시점을 BEVFormer 3D 감지 모델에 적용한 결과, 기존 5 개 카메라 설정 대비 45 개 카메라 (40 개 생성) 설정에서 mAP(평균 정밀도) 가 유의미하게 향상되었습니다. 이는 생성된 뷰가 기하학적 단서를 제공하여 감지 성능을 높임을 의미합니다.
• 정성적 평가: 외삽 시점에서도 구조가 끊어지거나 비현실적인 텍스처가 생성되는 기존 방법들과 달리, Geo-EVS 는 기하학적 레이아웃을 보존하며 자연스러운 텍스처를 생성했습니다.

5. 의의 및 결론 (Significance)

Geo-EVS 는 자율주행 분야에서 하드웨어 종속성을 줄이고 데이터 재사용성을 극대화할 수 있는 실용적인 솔루션을 제공합니다. 특히, "학습 시에 의도적으로 결함 (아티팩트) 을 노출시켜 모델이 외삽 환경에 강건하도록 만드는" 접근법은 희소 감독 하의 3D 비전 작업에 중요한 통찰을 줍니다. 이 연구는 다양한 차량 플랫폼 간의 데이터 호환성을 높이고, 장기적으로 자율주행 시스템의 개발 비용과 주기를 단축하는 데 기여할 것으로 기대됩니다.