기술 요약: DriveSafe AI

문제 정의

운전자 졸음은 전 세계적인 도로 사망 사고의 주요 원인이지만, 효과적인 탐지 시스템을 배치하는 데에는 두 가지 주요 장벽이 존재한다. 하나는 운전자의 신뢰를 떨어뜨리는 높은 오경보율(false alarm rates)이며, 다른 하나는 모델이 보지 못한 피험자나 카메라 환경에 직면했을 때 발생하는 치명적인 실패(교차 데이터셋 일반화 문제)이다. 기존 문헌에 따르면 고성능 모델은 무거운 데스크톱 하드웨어를 필요로 하는 반면, 에지(edge) 호환 가능한 경량 모델은 정확도를 희생해야 한다는 근본적인 트레이드오프가 존재한다. 또한, 대부분의 시스템은 훈련 분포 내에서만 평가되어 일반화 실패를 은폐한다. 본 논문은 정확도 손실의 간과된 원인, 즉 전처리 파이프라인, 구체적으로는 얼굴 탐지와 분류 사이의 핸드오프(handoff) 과정을 식별한다.

방법론

제안된 시스템인 DriveSafe AI는 정확도의 병목 구간을 격리하기 위해 체계적인 파이프라인 분해를 채택한다. 아키텍처는 다음으로 구성된다:

1. 시스템 파이프라인: 웹캠 프레임은 SSD(Single Shot Multibox Detector) 얼굴 탐지를 거친 후, CLAHE(Contrast Limited Adaptive Histogram Equalization) 전처리, MobileNetV2를 통한 분류, 그리고 3구역 신뢰 프로토콜을 거친다.
2. CLAHE-적응형 전처리: 표준적인 전역 밝기 조절과 달리, CLAHE는 국부적인 타일 영역에서 작동하여 비균일한 조명(예: 대시보드 눈부심, 터널 조명)을 정규화함으로써 훈련 데이터셋과 테스트 데이터셋 사이의 도메인 격차를 해소한다.
3. 3구역 신뢰 프로토콜: 오경보를 제거하기 위해, 시스템은 분류기 출력을 세 가지 구역으로 나눈다: 활성(낮은 확률), 불확실(중간 확률), 피로(높은 확률). 시스템은 "불확실" 구역에 해당하는 입력의 분류를 거부함으로써, 노이즈를 필터링하면서도 높은 커버리지를 유지한다.
4. 피험자 적응형 퓨샷(Few-Shot) 캘리브레이션: 교차 피험자 일반화 격차를 해결하기 위해, 시스템은 퓨샷 미세 조정 프로토콜을 구현한다. 새로운 운전자의 레이블링된 프레임 $k=30$개(약 1초 분량의 비디오)만 주어지면, 모델은 다음을 수행한다:
   • 마지막 5개 층을 제외한 모든 층을 동결한다.
   • 데이터 증강(플립, 밝기 지터, 노이즈, 컷아웃)과 함께 적응 프레임에 대해 미세 조정을 수행한다.
   • 피험자별 결정 임계값을 캘리브레이션한다.
   • 테스트 시 증강(TTA) 및 5프레임 슬라이딩 윈도우 기반의 시간적 평활화(temporal smoothing)를 적용한다.
   • 참고: 이 프로토콜은 30개의 프레임이 수동으로 피로 상태를 레이블링할 필요 없이, 운전 시작 첫 1분 동안 수집된 "활성"(경계) 프레임이기만 하면 되는 준지도 학습 변형을 지원한다.

주요 기여

본 논문은 네 가지 주요 기여를 제시한다:

1. 파이프라인 분해: 단계별 정확도 기여도를 격리하는 방법론을 통해, SSD 얼굴 탐지가 주요 실패 모드임을 식별하였으며, 이는 테스트된 그 어떤 아키텍처 변형보다 큰 12.1 퍼센티지 포인트(pp)의 정확도 격차를 유발함을 밝혀냈다.
2. CLAHE-적응형 전처리: 조명 정규화를 통해 교차 데이터셋 도메인 격차를 해소하는 기술로, UTA-RLDD 데이터셋에서의 정확도를 33.3%에서 99.0%로 향상시켰다.
3. 3구역 신뢰 프로토콜: 선택적 예측을 통해 오경보를 제거하는 메커니즘으로, 불확실한 입력을 거부하면서도 94.7%의 F1 스코어를 유지한다.
4. 피험자 적응형 캘리브레이션: 진정한 Leave-One-Subject-Out (LOSO) 정확도를 53.2%에서 96.1%로 끌어올린 퓨샷 캘리브레이션 방법으로, 개인화된 에지 배포형 탐지의 실현 가능성을 입증했다.

실험 결과

실험은 akahana 데이터셋을 사용하여 인-디스트리뷰션(in-distribution) 훈련을 수행하였고, UTA-RLDD 벤치마크(60명의 피험자)를 사용하여 교차 피험자 평가를 수행하였다.

• 전처리의 영향: CLAHE가 없을 경우, 조명 변화로 인해 교차 데이터셋 정확도가 33.3%로 떨어졌다. CLAHE를 적용했을 때 정확도는 99.0%에 도달하여 65.7 pp의 개선을 보였다.
• 일반화 성능:
  • 베이스라인 (적응 없음): 진정한 LOSO 평가 하에서 평균 정확도 53.2% (±19.3% std)를 달성하였으며, 오경보율(FAR)은 40.9%였다.
  • 적응형 (퓨샷): 피험자당 30개의 적응 프레임만으로 평균 정확도 96.1% (±4.9% std)를 달성했다. FAR은 5.5%로 감소하였고, 재현율(recall)은 99.2%에 도달했다.
• 어블레이션 연구(Ablation Studies):
  • 적응 프레임을 $k=10$에서 $k=30$으로 늘렸을 때 가장 큰 이득(+34.3 pp)을 얻었으며, 이는 TTA나 시간적 평활화의 이점을 압도했다.
  • 아키텍처 복잡도(예: LSTM 또는 기하학적 특징 추가)는 단순 미세 조정보다 성능을 개선하지 못했으며, 적응형 베이스라인보다 낮은 정확도(59.0%)를 기록했다.
  • 양자화: 동적 2.4 MB (TFLite)로 양자화된 MobileNetV2는 99.0%의 정확도를 달성하였으며, 이는 하드-스위시(hard-swish) 활성화 함수가 가중치 반올림 시 성능이 저하된 MobileNetV3보다 우수한 결과였다.
• 병목 현상 분석: SSD 얼굴 탐지 단계는 전체 이미지 분류와 비교하여 12.1 pp의 정확도 격차를 유발하였으며, 이는 모델 아키텍처 변경의 영향보다 컸다.

의의 및 주장

본 논문은 경량형 운전자 졸음 탐지(DDD)의 주요 장벽이 신경망 아키텍처의 용량이 아니라, 전처리의 견고성과 피험자 특화 캘리브레이션이라고 주장한다.

• 최적화의 재정의: 저자는 전처리(특히 조명 정규화)와 데이터 적응을 개선하는 것이 모델 복잡도를 높이는 것보다 더 큰 수익을 가져온다고 주장한다. 탐지 핸드오프로 인한 12.1 pp의 격차는 확인된 가장 큰 단일 오류 원인이다.
• 개인화의 실현 가능성: 결과는 교차 피험자 일반화가 방대한 데이터셋이나 복잡한 아키텍처를 요구하는 극복 불가능한 장벽이 아님을 보여준다. 대신, 최소한의 데이터(30 프레임)를 통한 개인화된 캘리브레이션을 통해 해결될 수 있다.
• 실제 배포: 시스템은 TFLite 동적 양자화를 활용하고, 분산 처리 시 프레임당 40ms 미만의 예산을 충족하는 파이프라인을 사용하여 에지 배포를 위해 설계되었다. 준지도 적응 프로토콜은 차량 출발 시 운전자가 피로 상태를 수동으로 레이블링할 필요 없이 실제 환경에서의 배포를 가능하게 한다.

연구는 향하여 DDD의 노력이 아키텍처 혁신을 추구하기보다는, 적응 데이터 요구 사항을 줄이는 것(메타 러닝을 통해)과 이러한 적응형 프로토콜을 다양한 데이터셋(NTH-DDD, ZJU-DRO)에서 검증하는 것에 우선순위를 두어야 한다고 결론짓는다.