HG-Lane: High-Fidelity Generation of Lane Scenes under Adverse Weather and Lighting Conditions without Re-annotation

이 논문은 악천후 및 저조도 조건에서 재주석 없이 고충실도 도로 차선 장면을 생성하는 'HG-Lane' 프레임워크를 제안하고, 이를 통해 기존 차선 검출 모델의 성능을 획기적으로 향상시킨 새로운 벤치마크를 구축했습니다.

핵심

🌧️🚗 HG-Lane: 비와 눈이 와도 차가 길을 잃지 않게 해주는 '마법의 사진관'

안녕하세요! 자율주행 자동차가 비, 눈, 안개, 혹은 깜깜한 밤에 길을 잘 찾지 못해 사고가 나는 문제를 해결한 새로운 기술을 소개해 드릴게요. 이 기술의 이름은 **'HG-Lane'**입니다.

이 기술을 쉽게 이해하기 위해 **'요리사'**와 **'사진관'**의 비유를 들어보겠습니다.

---

1. 왜 이 기술이 필요할까요? (문제 상황)

자율주행 자동차는 마치 초보 요리사와 같습니다.

• 평소 (맑은 날): 요리사에게 맑은 날의 사진만 보여주면, 요리사는 길을 잘 찾습니다.
• 악천후 (비, 눈, 안개): 하지만 갑자기 비가 오거나 눈이 내리면, 요리사는 당황합니다. "이게 도로인지, 눈인지, 물웅덩이인지 모르겠어요!"라고요.
• 현재의 문제: 실제로 비나 눈이 오는 날의 사진을 많이 모으려면 시간이 너무 오래 걸리고, 그 사진을 하나하나 손으로 표시 (주석) 하는 비용도 천문학적으로 비쌉니다.

2. HG-Lane 은 무엇을 할까요? (해결책)

HG-Lane 은 **"비와 눈이 오는 날의 도로 사진을, 손으로 하나하나 표시할 필요 없이, AI 가 자동으로 만들어주는 마법의 사진관"**입니다.

🎨 핵심 비유: '스케치'와 '물감'

이 사진관은 두 단계로 사진을 그립니다.

1. 1 단계: 뼈대 그리기 (Canny)
   • 먼저 맑은 날의 도로 사진을 보고, **도로의 윤곽선 (스케치)**만 정확히 그립니다.
   • 이때 중요한 건, 차선이 어디에 있는지 그 위치는 절대 바꾸지 않는다는 점입니다. 마치 건축 도면처럼요.
2. 2 단계: 분위기 입히기 (물감칠)
   • 이제 그 스케치 위에 비, 눈, 안개, 밤, 황혼 같은 **분위기 (물감)**를 입힙니다.
   • "이제 밤이니까 조명을 켜고, 비가 오니까 물방울을 그려줘"라고 AI 에게 주문하면, AI 가 그 분위기를 완벽하게 재현합니다.

✨ 놀라운 점: 이 과정에서 AI 는 차선의 위치를 절대 망가뜨리지 않습니다. 원래 차선이 있던 자리에 비가 오든 눈이 오든 차선은 그대로 남습니다. 그래서 다시 손으로 표시할 필요가 없는 것입니다!

---

3. 이 기술이 가져온 변화 (결과)

이 '마법의 사진관'에서 만든 3 만 장의 사진으로 요리사 (자율주행 AI) 를 훈련시켰더니 어떤 일이 일어났을까요?

• 비와 눈 속에서도 눈이 번쩍: 비가 오는 날의 성능이 약 39%, 안개 낀 날에는 **약 27%**나 급격히 좋아졌습니다!
• 밤길도 걱정 없음: 어두운 밤이나 황혼 시간에도 차선을 정확히 찾아냅니다.
• 실제 도로에서도 통함: 컴퓨터에서 만든 가상의 사진으로만 훈련시켰는데, 실제 비가 오는 길에서도 차가 훨씬 잘 달립니다.

4. 다른 방법과 비교하면?

과거에는 비가 온 사진을 '다시 청소'하거나 (이미지 복원), 비가 온 사진을 따로 만들어서 다시 표시해야 했습니다.

• 기존 방법: 비가 온 사진을 지우거나 수정하는 데 시간이 걸리고, 비용이 많이 듭니다.
• HG-Lane: 처음부터 비가 온 사진을 새로 생성하므로, 청소할 필요도 없고, 표시할 필요도 없습니다. 시간과 돈을 아끼면서 더 좋은 결과를 얻는 셈입니다.

---

📝 한 줄 요약

HG-Lane은 "맑은 날의 도로 사진"을 보고 AI 가 "비, 눈, 안개, 밤" 같은 극한 상황의 도로 사진을 완벽하게 재현해 주는 기술입니다. 덕분에 자율주행 자동차는 어떤 날씨에서도 길을 잃지 않고 안전하게 달릴 수 있게 되었습니다.

이 기술은 마치 날씨를 마음대로 바꿀 수 있는 마법의 카메라처럼, 자율주행의 안전을 한 단계 업그레이드해 주었습니다! 🚗💨🌈

기술 요약

1. 문제 정의 (Problem)

자율주행 및 첨단 운전자 보조 시스템 (ADAS) 에서 차선 감지 (Lane Detection) 는 차량의 위치 파악과 안전한 주행을 위해 필수적입니다. 그러나 현재 널리 사용되는 CULane, TuSimple 등의 데이터셋은 맑은 날과 주간 (Daytime) 장면이 대부분을 차지하며, 비, 눈, 안개, 밤, 황혼과 같은 악천후 및 저조도 조건에 대한 데이터가 극히 부족합니다.

이러한 데이터의 부재는 모델이 극한 환경에서 성능이 급격히 저하되게 하여 안전 사고의 원인이 됩니다. 기존 해결책으로는 다음과 같은 한계가 존재합니다:

• 수집 및 재주석 (Re-annotation) 비용: 악천후 데이터를 직접 수집하고 라벨을 다시 붙이는 것은 비용이 많이 들고 비효율적입니다.
• 기존 이미지 복원/변환 기술: WGWS-Net, CycleGAN 등의 방법은 특정 날씨 조건마다 재학습이 필요하거나, 이미지 복원 과정이 추가 오버헤드를 발생시켜 실시간 성능 요구사항을 충족하기 어렵습니다.
• Diffusion 모델 기반 생성: 기존 Diffusion 모델 기반 방법 (WeatherDG 등) 도 데이터 재주석이나 모델 미세 조정 (Fine-tuning) 이 필요하여 추가 비용이 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 HG-Lane이라는 새로운 프레임워크를 제안합니다. 이는 재주석 (Re-annotation) 이나 모델 미세 조정 없이, 기존 정상 조건 (Normal) 데이터에서 다양한 악천후 및 조명 조건 (눈, 비, 안개, 밤, 황혼) 의 고충실도 (High-Fidelity) 차선 장면을 생성하는 방법론입니다.

핵심 아키텍처: 이중 단계 (Dual-Stage) 제어 가이드 확산 (Control-Guided Diffusion)

HG-Lane 은 사전 학습된 모델 (Pretrained models) 만을 재사용하며, 다음과 같은 4 단계로 구성됩니다:

1. 제어 정보 융합 (Control Information Fusion):

   • 입력 이미지에서 Canny 에지, 색상 마스크, 그리고 기존 차선 주석 (Annotation) 을 융합하여 통합 제어 맵 ($C_0$) 을 생성합니다.
   • 전략: 차선 주석 ($A$) 과 색상 마스크 ($M$) 의 곱 ($A \odot M$) 으로 차선 영역을 제한하고, 여기에 Canny 에지 ($E$) 를 논리 OR 연산으로 추가합니다. 이는 불완전한 차선 표시에서도 구조적 일관성을 유지하면서도 에지 정보를 보강합니다.

2. 1 단계: 구조 인식 역확산 (Structure-aware Reverse Diffusion):

   • Canny-ControlNet을 사용하여 잠재 공간 (Latent Space) 에서 차선의 **기하학적 구조 (Geometry)**를 강력하게 유지합니다.
   • 텍스트 프롬프트와 Canny 에지 맵을 조건으로 받아, 차선의 위치와 형태가 왜곡되지 않도록 역확산 과정을 수행합니다.

3. 2 단계: 외관 인식 역확산 (Appearance-aware Reverse Diffusion):

   • InstructPix2Pix (iP2P) ControlNet을 활용하여 특정 조건 (밤, 황혼) 에 맞는 **조명과 스타일 (Appearance)**을 정교하게 조정합니다.
   • 조건부 적용: 눈, 비, 안개와 같은 조건은 1 단계의 Canny 제어만으로도 시각적 사실성이 충분하므로 2 단계를 생략합니다. 반면, 밤과 황혼은 조명 변화가 핵심이므로 2 단계를 추가로 수행하여 현실적인 분위기를 구현합니다.

4. 픽셀 공간 변환 및 샘플링:

   • 최종 잠재 변수를 VAE 디코더를 통해 픽셀 공간으로 복원하여 생성된 이미지를 얻습니다.
   • 전체 파이프라인은 Training-free이며, 사전 학습된 VAE, UNet, ControlNet 을 고정 (Frozen) 상태로 사용합니다.

3. 주요 기여 (Key Contributions)

1. HG-Lane 프레임워크: 재주석 없이 다양한 기상 및 조명 조건에서 차선 의미론 (Semantics) 을 보존하면서 고충실도 장면을 생성하는 새로운 프레임워크 제안.
2. 이중 단계 생성 전략: Canny 기반 ControlNet (구조 유지) 과 InstructPix2Pix 기반 ControlNet (외관 정교화) 을 결합한 전략 및 의미 인식 전처리 파이프라인 설계.
3. 새로운 벤치마크 구축: 6 가지 조건 (정상, 눈, 비, 안개, 밤, 황혼) 에 걸쳐 총 30,000 장의 생성 이미지를 포함하는 대규모 데이터셋 제공.
4. 검증된 성능: 다양한 최신 차선 감지 모델 (SOTA) 에 적용하여 성능을 획기적으로 향상시켰으며, 특히 CLRNet 기준 전체 mF1 을 20.87% 향상시킴.

4. 실험 결과 (Results)

• 데이터셋: CULane 의 정상 데이터 5,000 장을 기반으로 나머지 5 가지 악천후/조명 조건을 생성하여 총 30,000 장의 데이터셋을 구성 (Train/Val/Test = 7:1:2).
• 성능 향상 (CLRNet 기준):
  • 전체 mF1: 20.87% 향상.
  • F1@50 기준 조건별 향상:
    • 눈 (Snow): 38.8%
    • 안개 (Fog): 26.84%
    • 밤 (Night): 21.5%
    • 비 (Rain): 14.96%
    • 황혼 (Dusk): 12.04%
    • 정상 (Normal): 8.63%
• 다양한 모델에서의 일반화: SCNN, RESA, LaneATT, GANet 등 다양한 아키텍처 (Classical, Modern CNN, SOTA) 에서 일관된 성능 향상을 보임.
• 실제 환경 테스트 (Real-world): 직접 수집한 200 장의 실제 악천후 이미지 (눈, 비, 안개, 밤, 황혼) 에서도 기존 CULane 데이터로 학습한 모델 대비 F1@50 이 15.51% 향상됨.
• 생성 품질 비교: Stable Diffusion, CycleGAN, Flux.1 등 다른 생성 모델과 비교 시, 차선 라벨 보존 (F1@50) 과 사실성 (Human Score, FID) 모두에서 가장 우수한 성능을 보임.
• 기존 방식 대비 우위: 기존 날씨 제거 (Suppression) 모듈 (DeRain, DeSnow 등) 을 적용하는 방식보다 성능이 높고, 추가 처리 시간 (Time overhead) 이 0ms (생성 단계에서 해결되므로) 로 효율적임.

5. 의의 및 결론 (Significance)

HG-Lane 은 자율주행 시스템의 안전성을 높이는 데 있어 악천후 데이터 부족 문제를 해결할 수 있는 혁신적인 접근법을 제시합니다.

• 비용 효율성: 고비용이 드는 데이터 수집과 재주석 과정을 완전히 제거합니다.
• 실용성: 모델 미세 조정 없이 기존 생성 모델을 즉시 활용할 수 있어 배포가 용이합니다.
• 신뢰성: 생성된 이미지가 차선의 기하학적 구조를 완벽하게 보존하므로, 학습된 모델이 실제 도로 환경에서도 견고한 (Robust) 성능을 발휘할 수 있음을 입증했습니다.

이 연구는 차선 감지 모델의 강건성을 높이고, 다양한 기상 조건에서도 안전한 자율주행을 가능하게 하는 중요한 기반 기술로 평가됩니다.