AD4AD: Benchmarking Visual Anomaly Detection Models for Safer Autonomous Driving

논문 요약: AD4AD - 자율주행을 위한 시각 이상 탐지 (VAD) 모델 벤치마킹

1. 문제 정의 (Problem)

자율주행 시스템의 신뢰성은 학습 데이터의 분포에 크게 의존합니다. 훈련 중 경험하지 못한 비정상적인 장애물, 이례적인 도로 상황, 또는 드문 사건 (Edge Cases) 이 발생하면 시스템의 지각 능력이 급격히 저하될 수 있습니다. 자율주행에서의 오류는 단순한 예측 실수가 아니라 승객, 보행자 및 다른 도로 사용자에게 직접적인 물리적 위험으로 이어집니다.
기존의 폐쇄적 분류 (Closed-set Classification) 모델은 훈련된 클래스만 인식할 수 있어, 훈련 데이터에 없는 새로운 위협을 식별하지 못합니다. 따라서 훈련된 '정상' 데이터의 분포에서 벗어난 모든 것을 탐지할 수 있는 시각 이상 탐지 (Visual Anomaly Detection, VAD) 기술이 필수적입니다. 특히 VAD 는 이상을 픽셀 단위로 국소화 (Localization) 하여 운전자나 시스템이 구체적인 위험 지역을 인지하도록 도와야 합니다.

2. 방법론 (Methodology)

• 데이터셋 (AnoVox):

  • 기존 벤치마크 (Fishyscapes, Lost and Found 등) 는 현실성 부족, 이상 데이터의 불균형, 또는 비현실적인 이상치 포함 등의 한계가 있었습니다.
  • 본 연구는 AnoVox를 사용했습니다. 이는 CARLA 시뮬레이터 기반의 합성 데이터셋으로, 도로 안전을 위협할 수 있는 다양한 시나리오와 현실적인 이상 (Anomaly) 을 포함하며, 훈련 데이터에는 정상 이미지만, 테스트 데이터에는 이상을 포함하는 표준 VAD 평가 프로토콜을 따릅니다.

• 평가 모델 (8 가지 SOTA VAD 방법):

  • 재구성 기반 (Reconstruction-based) 과 특징 임베딩 기반 (Feature embedding-based) 두 가지 주요 카테고리를 평가했습니다.
  • 평가 대상: PatchCore, PaDiM, CFA, STFPM, RD4AD, SuperSimpleNet (SSNet), FastFlow, Dinomaly.
  • 백본 (Backbone) 선택: 엣지 배포를 고려하여 다양한 크기의 특징 추출기를 비교했습니다.
    • CNN 기반: WideResNet-50 (표준), MobileNet-V2 (경량화).
    • Vision Transformer (ViT) 기반: DeiT-Small, DeiT-Tiny (경량화).
    • 특이사항: Dinomaly 는 ViT 아키텍처에 특화되어 있어 DeiT 기반 백본만 사용했습니다.

• 평가 지표:

  • 이미지 수준: I-ROC, I-F1, I-AP
  • 픽셀 수준 (국소화): P-ROC, P-F1, P-AP, PRO (Per-Region Overlap)
  • 효율성: 메모리 풋프린트 (MB), 추론 시간 (ms)

3. 주요 기여 (Key Contributions)

1. 자율주행 도메인 최초의 체계적 VAD 평가: 도로 환경에 특화된 AnoVox 데이터셋을 사용하여 8 가지 최신 VAD 방법을 벤치마킹했습니다.
2. 엣지 배포 중심의 아키텍처 분석: 대규모 네트워크 (WideResNet, DeiT-Small) 와 경량 네트워크 (MobileNet, DeiT-Tiny) 를 비교하여, 제한된 자동차 하드웨어 환경에서의 성능 - 효율성 트레이드오프에 대한 구체적인 가이드를 제시했습니다.
3. 실용적 의미 제시: 단순한 이상 탐지뿐만 아니라, 운전자 주의 환기를 위한 의미 있는 공간적 지도 (Anomaly Map) 생성 능력을 검증했습니다.

4. 주요 결과 (Results)

• 성능 (Performance):

  • 이미지 수준: 대부분의 모델이 높은 I-ROC 를 보였으나, 불균형 데이터를 더 잘 반영하는 I-F1 점수에서는 FastFlow, PaDiM, PatchCore, Dinomaly 가 우수한 성능을 보였습니다.
  • 픽셀 수준 (국소화): 국소화 능력은 모델 간 편차가 컸습니다. Dinomaly (DeiT-Small 백본 사용 시 P-AP 0.66) 와 CFA (WideResNet 백본 사용 시 P-AP 0.68) 가 가장 뛰어난 국소화 성능을 보였습니다.
  • 백본의 영향: ViT 기반 백본 (DeiT) 을 사용하면 CNN 기반 (WideResNet) 보다 국소화 성능이 향상되는 경향이 있었습니다 (예: PaDiM 의 P-AP 가 0.28 → 0.46 로 상승). 이는 ViT 가 장거리 공간 의존성을 잘 포착하기 때문입니다.
  • PatchCore 의 한계: 이미지 분류 성능은 탁월했으나 (I-F1 0.95+), 공간적 맥락을 잃는 메모리 뱅크 설계로 인해 픽셀 단위 국소화 성능 (P-AP 0.02~0.09) 이 매우 낮았습니다.

• 엣지 배포 분석 (Edge Deployment):

  • Tiny-Dinomaly (DeiT-Tiny 백본): 가장 뛰어난 정확도 - 효율성 트레이드오프를 보였습니다. DeiT-Small 기반 모델과 동일한 국소화 성능 (P-AP 0.66) 을 유지하면서 메모리 사용량은 약 1/4 수준으로 줄였습니다.
  • MobileNet 기반: 메모리 제약이 극심한 경우, MobileNet 기반의 PaDiM 과 CFA 가 최적의 선택지로 제시되었습니다.
  • 실시간성: MobileNet 과 DeiT-Tiny 기반 모델들은 50ms 미만의 추론 시간을 보여, 20~30 FPS 의 자동차 센싱 속도와 호환 가능한 실시간 처리가 가능함을 입증했습니다.

• 실패 사례 (Failure Modes):

  • 작은/먼 객체: 이미지 내 픽셀 수가 매우 적은 작은 장애물은 탐지 및 국소화가 어려웠습니다.
  • 곡선 도로: 도로의 곡선으로 인한 원근 왜곡이 이상 지도의 공간적 일관성을 해쳐 잘못된 맵을 생성하는 경우가 있었습니다.

5. 의의 및 결론 (Significance)

• 안전성 강화: VAD 는 훈련되지 않은 새로운 위협을 식별하고, 운전자에게 구체적인 위험 지역을 시각적으로 알려줌으로써 사고 예방 및 대응 시간을 단축할 수 있습니다.
• 실용적 배포 가능성: 고성능 VAD 모델을 자율주행 차량의 제한된 컴퓨팅 자원 (Onboard Hardware) 에서도 효율적으로 배포할 수 있음을 입증했습니다. 특히 Tiny-Dinomaly는 엣지 환경에 가장 적합한 모델로 추천됩니다.
• 미래 방향: 작은 객체 탐지 능력 향상, 곡선 도로 등 기하학적 왜곡에 대한 강건성 개선, LiDAR 와의 멀티모달 융합, 그리고 하류 계획 모듈 (Planning Module) 과의 통합이 향후 연구 과제로 제시되었습니다.

이 연구는 자율주행 시스템의 안전성을 높이기 위해, 산업 검사 및 의료 영상에서 발전된 VAD 기술이 도로 환경에 효과적으로 적용될 수 있음을 체계적으로 증명했습니다.