Driver Activity Detection and Classification Using Deep Learning- Based YOLO Models for Intelligent Transportation Systems

기술 요약: 딥러닝 기반 YOLO 모델을 이용한 운전자 활동 탐지 및 분류

문제 정의
운전자 주의 산만 및 불안전한 행동은 전 세계적으로 도로 교통사고의 주요 원인으로 남아 있으며, 이는 상당한 경제적 손실, 부상 및 사망을 초래한다. 지능형 교통 시스템(ITS)이 실시간 모니터링을 통해 이러한 위험을 완화하고자 노력하고 있으나, 기존 솔루션들은 종종 한계에 직면한다. 선행 연구들은 흔히 고립된 행동 탐지(예: 전화 사용 또는 피로도만을 탐지)에 의존하여 포괄적인 다중 특징 분석(전신 자세 또는 물체 상호작용 누락)이 부족하며, 실시간 비디오 환경이 아닌 오프라인 설정에서 평가되는 경우가 많다. 또한, 기존의 많은 데이터셋은 센서 기반이거나 현대적인 객체 탐지 아키텍처에 필요한 특정 경계 상자(bounding-box) 주석이 부족하여, 다양한 주행 조건에 적합한 강력한 실시간 운전자 활동 인식 시스템 구축에 격차를 만들고 있다.

방법론
본 연구는 실제 주행 시나리오에서 운전자 활동을 탐지하고 분류하기 위해 You Only Look Once (YOLO) 객체 탐지 아키텍처를 활용하는 딥러닝 프레임워크를 제안한다.

• 데이터셋 구축: 에티오피아의 데브레 마르코스(Debre Markos)와 모타(Motta) 지역의 실제 주행 조건에서 커스텀 데이터셋을 개발하였다. 삼성 갤럭시 A52 스마트폰과 디지털 카메라를 사용하여 10개의 비디오 시퀀스를 녹화하고 이를 5,422개의 수동 주석 프레임으로 변환하였다. 데이터셋은 안전 운전, 음료 섭취, 음식 섭취, 전화 사용, 차량 구성 요소 조작, 메이크업/헤어 조정, 물체 관리, 승객과의 대화 등 8가지의 뚜렷한 활동 클래스를 포함한다.
• 전처리 및 주석 생성: 이미지는 1280×720(JPG 형식) 크기로 조정되었으며 LabelImg 도구를 사용하여 주석을 달았다. 주석은 정규화된 경계 상자 좌표(중심 x, y, 너비, 높이)와 클래스 ID로 구성된 YOLO 형식으로 내보내졌다. 데이터셋은 80%의 훈련, 10%의 검증, 10%의 테스트 세트로 분할되었다.
• 모델 아키텍처: 속도와 정확도의 균형을 고려하여 YOLOv5s, YOLOv5m, YOLOv5l, YOLOv8n의 네 가지 YOLO 기반 모델을 평가하였다. 본 연구는 전이 학습(transfer learning) 기법을 채택하여 배치 크기 10, 에포크(epoch) 5, 이미지 크기 640, 학습률 0.001의 하이퍼파라미터를 사용하여 커스텀 데이터셋으로 모델을 학습시켰다.
• 평가 지표: 성능은 표준 객체 탐지 지표인 정밀도(Precision), 재현율(Recall), F1-score, 그리고 IoU(Intersection over Union) 임계값 0.5에서의 mAP(Mean Average Precision)를 사용하여 평가되었다. 수렴 여부를 모니터링하기 위해 훈련 및 검증 손실 곡선도 분석되었다.

주요 기여
본 논문은 다섯 가지 주요 기여를 명시한다:

1. 통합 탐지 모델: 고립된 특징 탐지를 넘어 운전자의 행동과 물체 취급 동작을 모두 포함하는 모델 설계.
2. 비교 프레임워크: 운전자 활동 인식을 위해 최신 YOLOv5 변형 모델들과 YOLOv8을 체계적으로 비교 평가함.
3. 정제된 활동 클래스: 탐지된 행동의 정확도와 해석력을 높이기 위해 8가지의 압축되고 잘 정의된 활동 클래스 도입.
4. 실시간 모니터링 시스템: 운전자의 활동과 승객의 가시성을 실시간으로 관찰할 수 있는 고정 카메라 기반 시스템 개발.
5. 성능 검증: 기존 관련 연구들과 비교하여 향상된 탐지 정확도 및 분류 신뢰도 입증.

실험 결과
실험은 Google Colab에서 GPU 가속(NVIDIA Tesla K80)을 사용하여 수행되었다. 결과는 모델 복잡도와 탐지 성능 사이의 명확한 상관관계를 나타냈다:

• YOLOv5s: 90.0%의 mAP 달성.
• YOLOv5m: 92.5%의 mAP 달성.
• YOLOv5l: 95.0%의 mAP 달성.
• YOLOv8n: 96.3%의 mAP로 가장 높은 성능 달성.

YOLOv8n은 우수한 정확도를 보였으나, 가장 긴 학습 시간(3.012시간)과 가장 큰 모델 가중치(102.4 MB)를 필요로 했다. 반대로 YOLOv5s는 정확도는 낮았지만 가장 빠른 학습 속도를 제공했다. 훈련 및 검증 손실 곡선은 모든 모델에서 안정적인 수렴을 확인시켜 주었다.

의의 및 주장
본 논문은 고급 YOLO 아키텍처, 특히 YOLOv8이 실시간 운전자 활동 인식을 위한 정확하고 효율적인 솔루션을 제공한다고 주장한다. 본 연구는 제안된 프레임워크가 위험한 운전 행동의 지속적이고 자동화된 모니터링을 가능하게 함으로써 지능형 교통 시스템과 도로 안전 향상에 크게 기여한다고 단언한다. 저자들은 제안된 방법이 탐지 정확도와 신뢰성 측면에서 기존 접근 방식보다 우수함을 입증하며, 딥러닝 기반 객체 탐지를 차량 내부 모니터링에 사용하는 것이 타당함을 결론짓는다.

향후 방향
저자들은 향후 연구가 YOLO 아키텍처를 최적화하고 추가적인 하이퍼파라미터를 탐색하는 데 집중해야 한다고 완곡하게 제안한다. 또한, 일반화 능력을 높이기 위해 더 다양한 행동을 포함하도록 데이터셋을 확장하고 활동 클래스의 수를 늘릴 것을 권장한다. 아울러, 시스템의 견고함을 더욱 강화하기 위해 야간 탐지 및 복잡한 교통 환경에서의 실제 배포와 관련된 한계점을 해결해야 한다고 제언한다.