1. 문제 정의 (Problem)

자율주행 시스템의 핵심 과제 중 하나는 악천후 (비, 눈, 안개, 야간 등) 상황에서의 인지 (Perception) 로버스트성을 확보하는 것입니다. 그러나 이를 해결하는 데 있어 가장 큰 병목 현상은 악천후 환경의 실제 주행 비디오 데이터의 극심한 부족입니다.

기존의 해결책들은 다음과 같은 한계를 가집니다:

• 악천후 제거 (Removal) 방법: 실시간 제약으로 인해 배포가 어렵고, 원본 데이터의 복원에 의존합니다.
• 악천후 생성 (Generation) 방법: 기존 방법들은 시각적 품질과 주석 (Annotation) 의 재사용성 사이에서 균형을 잡지 못합니다.
  • 3D 바운딩 박스나 BEV 맵과 같은 고수준 제어를 사용하는 경우, 안전에 중요한 객체 (차량, 보행자) 의 세부 질감과 국소 구조가 손실되어 시각적 현실감이 떨어집니다.
  • 페어 데이터 (Pair data) 나 합성 데이터에 의존하는 경우, 실제 세계의 도메인 격차 (Domain Gap) 가 크거나 데이터 수집 비용이 매우 높습니다.

따라서, 시각적 사실감 (Weather Stylization) 을 극대화하면서도 안전에 중요한 객체의 기하학적/의미론적 구조를 보존하여 기존 주석을 재사용할 수 있는 비디오 생성 방법이 필요합니다.

2. 방법론 (Methodology)

AutoAWG 는 자율주행 비디오를 대상으로 한 제어 가능한 악천후 생성 프레임워크입니다. 핵심은 구조 (Structure) 와 스타일 (Style) 을 분리하고, 적응형 다중 제어 (Adaptive Multi-Controls) 를 활용하는 것입니다.

2.1. 적응형 다중 제어 융합 (Adaptive Fusion of Multiple Controls)

논문은 "색칠하기 (Coloring-book)" 과정을 모델링하여 제어의 세분화와 데이터 의존성 문제를 해결합니다.

• 다양한 제어 지도의 활용:
  • Depth (깊이): 거시적인 장면 구조를 정의하여 강력한 스타일 변환을 가능하게 함.
  • Sketch (스케치): 전역 구조와 계층을 정의하여 균형 잡힌 변환 제공.
  • Lineart (라인아트): 세부 질감 (나무 껍질 등) 까지 보존하여 원본 콘텐츠의 충실도를 높임.
• 의미론적 적응형 융합:
  • 안전에 중요한 객체 (차량, 보행자, 교통 표지) 영역에는 Lineart만 유지하여 기하학적 일관성을 보장합니다.
  • 하늘 영역은 Sketch에서 제거하여 날씨 변화에 대한 유연성을 확보합니다.
  • Depth는 전체적으로 유지합니다.
  • 이렇게 융합된 제어 지도를 기반으로 확산 모델 (Diffusion Model) 이 각 영역에 맞는 날씨 색상과 질감을 채워 넣습니다.

2.2. 중요도 가중 손실 함수 (Importance-Weighted Loss)

• 안전에 중요한 객체 (차량, 보행자 등) 의 재구성을 강조하기 위해, 해당 영역의 손실 (Loss) 에 가중치 ($\alpha$) 를 부여합니다.
• 이를 통해 모델은 날씨 효과를 강력하게 적용하면서도 핵심 객체의 형태와 위치가 왜곡되지 않도록 학습합니다.

2.3. 소실점 고정 시간적 합성 (Vanishing Point-Anchored Temporal Synthesis)

• 악천후 비디오 데이터의 부족을 해결하기 위해, 정지 이미지 (ACDC 데이터셋 등) 를 비디오로 변환하는 전략을 제안합니다.
• 방식: 이미지 내 소실점 (Vanishing Point) 의 상대적 위치를 고정하고, 일정한 비율로 이미지를 잘라내어 (Cropping) 시계열로 연결합니다.
• 이를 통해 정지 이미지에서 안정적인 전진 운동을 시뮬레이션하는 가짜 비디오 (Pseudo-video) 를 생성하여, 합성 데이터의 도메인 격차 없이 학습 데이터를 확보합니다.

2.4. 장시간 및 다중 카메라 생성

• 다중 카메라: 모든 카메라의 프레임을 스티칭 (Stitching) 하고 대응되는 제어 지도를 적용하여, DiT(Diffusion Transformer) 의 자기 주의 (Self-attention) 메커니즘을 통해 시공간적 일관성을 유지합니다.
• 무제한 길이: 마스킹된 세그먼트 학습 전략을 사용하여, 첫 프레임만 조건으로 하거나 모든 프레임을 마스킹하여 장시간 비디오의 시간적 일관성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. High-Quality Generation (고품질 생성): 의미론적 적응형 융합과 중요도 가중 손실을 통해 강력한 날씨 스타일화와 고충실도 객체 보존 사이의 균형을 달성했습니다.
2. High Consistency & Reusability (높은 일관성 및 재사용성): 입력 비디오에서 직접 추출한 픽셀 단위 제어를 사용하여, 생성된 비디오는 기존 2D/3D 주석 (라벨, LiDAR 등) 을 재학습 없이 그대로 재사용할 수 있습니다 (Plug-and-play).
3. High Flexibility & Scalability (높은 유연성 및 확장성): 다중 카메라 시스템과 임의 길이의 시퀀스를 자연스럽게 지원하며, 실제 자율주행 환경의 요구사항을 충족합니다.
4. 새로운 데이터 생성 전략: 소실점 고정 기법을 통해 정지 이미지에서 고품질 악천후 비디오를 합성하여 데이터 부족 문제를 해결했습니다.

4. 실험 결과 (Results)

nuScenes 검증 세트 및 다양한 데이터셋에서 기존 SOTA(State-of-the-Art) 방법 (MagicDrive, Vista, Panacea 등) 과 비교 평가되었습니다.

• 정량적 평가:

  • FID (Fréchet Inception Distance) 및 FVD (Fréchet Video Distance): 첫 프레임을 조건으로 하지 않은 경우, 기존 최첨단 방법 대비 FID 가 50.0%, FVD 가 16.1% 감소했습니다. 첫 프레임을 조건으로 할 경우에도 각각 8.7%, 7.2% 추가 감소하여 압도적인 성능을 보였습니다.
  • 객체 감지 성능 (mAP): 생성된 비디오를 BEVFusion 모델의 학습 데이터로 활용했을 때, mAP 가 1.99%p, NDS 가 1.36%p 향상되었습니다. 이는 생성된 데이터가 실제 인식 작업에 유효함을 의미합니다.
  • 편집 충실도 (Edit Fidelity): Weather 변환 후에도 원본 프레임의 객체 감지 mAP 감소폭이 기존 방법 (MagicDrive-V2 등) 에 비해 현저히 작았습니다.

• 정성적 평가:

  • 안개, 비, 눈, 야간 등 다양한 악천후 조건에서 차량, 보행자, 도로 표지판 등의 구조와 질감이 선명하게 보존되었습니다.
  • 장시간 (250 프레임 이상) 생성에서도 시각적 품질 저하가 거의 없었으며, 객체의 시간적 일관성이 우수했습니다.
  • ACDC, nuScenes, BDD100K 등 학습에 사용되지 않은 데이터셋에서도 뛰어난 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

AutoAWG 는 자율주행 시뮬레이션 및 인지 성능 향상을 위한 실용적이고 확장 가능한 데이터 증강 솔루션을 제시합니다.

• 비용 절감: 실제 악천후 데이터 수집의 막대한 비용과 위험을 줄입니다.
• 주석 재사용: 생성된 데이터에 대해 별도의 라벨링 작업 없이 기존 주석을 바로 사용할 수 있어 효율성이 극대화됩니다.
• 안전성 강화: 안전에 치명적인 객체의 구조를 왜곡하지 않으면서도 다양한 악천후 상황을 시뮬레이션함으로써, 자율주행 시스템의 견고한 훈련 환경을 제공합니다.

이 연구는 악천후 환경에서의 자율주행 인지 시스템 개발에 있어 데이터의 양과 질, 그리고 주석의 유효성을 동시에 해결할 수 있는 중요한 기술적 진전을 이룩했습니다.