Classification of Driver Behaviour Using External Observation Techniques for Autonomous Vehicles

이 논문은 YOLO 객체 감지 모델과 커스텀 차선 추정 알고리즘을 활용하여 외부 관측 기법으로 분산 및 음주 운전 등 비연결 차량의 위험 운전 행위를 실시간으로 분류하는 새로운 프레임워크를 제안하고 그 유효성을 검증합니다.

핵심

이 논문은 **"자율주행차가 아직 완벽해지기 전, 우리 차가 옆을 지나가는 다른 차가 '술에 취했거나' '산만해' 있는지 눈으로만 알아내는 기술"**에 대한 이야기입니다.

마치 운전면허 시험을 보는 감독관이 옆차의 운전자를 유심히 지켜보며 "저 사람, 집중 안 하고 있네?"라고 판단하는 것과 비슷합니다. 하지만 이 시스템은 사람이 아니라 **카메라와 인공지능 (AI)**이 그 역할을 합니다.

이 연구의 핵심 내용을 쉽게 풀어서 설명해 드릴게요.

---

1. 왜 이런 기술이 필요할까요? (배경)

지금까지 도로 사고의 가장 큰 원인은 사람의 실수, 특히 술에 취한 운전이나 핸드폰을 보는 산만 운전이었습니다.

• 문제점: 자율주행차 (AV) 가 늘어나고 있지만, 아직 대부분의 차는 사람 운전입니다. 그리고 많은 차는 서로 대화 (V2V 통신) 를 할 수 없습니다.
• 해결책: "내 차가 옆 차와 대화할 수 없다면, 카메라로 옆 차의 움직임을 지켜봐서 문제가 있는지 판단하자!"라는 아이디어입니다.

2. 이 시스템은 어떻게 작동할까요? (작동 원리)

이 시스템은 세 가지 단계로 작동합니다.

① 눈 (카메라) 이 차를 찾습니다.

• 비유: 마당에 서서 **YOLO(You Only Look Once)**라는 이름의 '초고속 눈'을 가진 AI 가 지나가는 모든 차를 쫓아봅니다.
• 이 AI 는 차가 어디에 있는지, 차종이 무엇인지 순식간에 알아냅니다.

② 길 (차선) 을 그립니다.

• 비유: 카메라가 도로를 비추면, AI 는 마치 연필로 길을 그리는 것처럼 차선을 찾아냅니다.
• 비가 오거나 햇빛이 강해도, 혹은 차선이 지워져 있어도 최대한 길의 중심을 찾아냅니다.

③ 몸짓 (운전 습관) 을 분석합니다.

이제 가장 중요한 부분입니다. AI 는 옆 차가 차선에서 얼마나 흔들리는지 관찰합니다.

• 산만 운전 (Distracted Driving) 감지:

  • 비유: 옆 차가 길 중앙에서 너무 많이 빗나가거나 (40 픽셀 이상), 마치 술에 취한 사람처럼 좌우로 비틀거리는 것을 봅니다.
  • 판단: "저 차가 차선에서 너무 멀리 벗어났네! 운전자가 딴생각을 하고 있구나!"라고 경고음을 냅니다.

• 음주/피로 운전 (Impaired Driving) 감지:

  • 비유: 옆 차가 **좌우로 빠르게 흔들리는 것 (진동)**을 봅니다. 마치 미끄럼틀 위에서 좌우로 흔들리는 아이처럼요.
  • 판단: "저 차가 3 번 이상 좌우로 심하게 흔들렸어! 운전자가 정신을 못 차리고 있구나!"라고 경고음을 냅니다.

3. 실험 결과: 잘 작동할까요?

연구진은 실제 도로와 가상의 시나리오로 이 시스템을 테스트했습니다.

• 성공: 차가 차선을 벗어나거나 좌우로 흔들릴 때, 시스템이 정확히 **"산만 운전자 앞"**이나 **"음주 운전자 앞"**이라고 경고했습니다.
• 데이터: 컴퓨터는 모든 움직임을 기록해서 "36 번째 프레임에서 차가 56 픽셀 벗어났고, 경고가 울렸습니다"라고 메모장에 적어두었습니다.
• 한계: 비가 오거나 안개가 끼면, 혹은 도로가 너무 험하면 (구덩이 등) 시스템이 "운전자가 취한 게 아니라 도로가 험해서 흔들리는 거야"라고 오해할 수도 있었습니다.

4. 이 기술의 의미는 무엇일까요? (결론)

이 기술은 자율주행차와 사람이 운전하는 차가 공존하는 '과도기'에 아주 유용합니다.

• 통신이 없어도 가능: 옆 차에 전파를 보내지 않아도, 카메라 하나만 있으면 위험을 감지할 수 있습니다.
• 안전한 도로: 우리가 운전할 때, 옆 차가 위험한 상태인지 미리 알려주어 사고를 예방할 수 있습니다.

🌟 한 줄 요약

"이 시스템은 옆 차의 '비틀거리는 몸짓'을 카메라로 지켜보다가, '저 사람 운전하기엔 정신이 없네!'라고 자동으로 알려주는 디지털 교통 경찰입니다."

이 기술이 더 발전하면, 비나 안개 같은 나쁜 날씨에도 더 정확하게 작동하도록 여러 센서 (라이다, 레이더 등) 를 합쳐서, 우리가 더 안전하게 운전할 수 있는 세상이 될 것입니다.

기술 요약

제시된 논문 "Classification of Driver Behaviour Using External Observation Techniques for Autonomous Vehicles (자율주행차를 위한 외부 관측 기법을 활용한 운전 행동 분류)"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 교통 사고의 주요 원인: 도로 교통 사고의 가장 큰 원인은 인간의 실수, 특히 **산만 운전 (Distracted Driving)**과 **음주/피로 운전 (Impaired Driving)**입니다. WHO 보고서에 따르면 전 세계적으로 매년 약 119 만 명의 사망자가 발생하며, 이는 예방 가능한 문제입니다.
• 기존 기술의 한계:
  • 기존 운전자 모니터링 시스템은 차량 내부 센서 (적외선 카메라, 스티어링 휠 트래커 등) 나 스마트폰 데이터에 의존하는 경우가 많습니다.
  • 현재 도로의 대다수 차량은 SAE 레벨 0~2 에 해당하며, 차량 간 통신 (V2V, V2X) 기능이 부재합니다.
  • 따라서 자율주행차 (AV) 나 반자율주행차가 비연결 차량 (Non-connected vehicles) 의 위험한 운전 행동을 감지하고 대응하는 데에는 큰 어려움이 존재합니다.
• 연구 목표: 차량 간 통신 없이 **외부 관측 (External Observation)**만을 통해 비연결 차량의 운전 상태를 실시간으로 분류하고, 산만 및 음주 운전과 같은 위험 행동을 감지하는 시스템을 개발하는 것입니다.

2. 방법론 (Methodology)

이 연구는 단일 카메라 (Monocular Camera) 를 기반으로 한 컴퓨터 비전 기술을 활용하여 운전자 행동을 외부에서 분석합니다.

• 센서 및 데이터 수집:
  • 센서: 차량 앞유리에 장착된 Garmin 55 대시캠 (1440p, 122 도 시야각, 30 FPS) 사용.
  • 데이터: 고속도로, 일반 도로, 뒷골목 등 다양한 조명 및 환경 조건에서의 영상 데이터 수집. 통제된 시나리오 (산만 운전 및 음주 운전 모의 실험) 를 통해 위험 행동 데이터 생성.
• 핵심 알고리즘:
  1. 객체 탐지 (Object Detection): YOLOv8n 모델을 사용하여 실시간으로 차량 및 도로 사용자를 식별합니다. COCO 데이터셋으로 학습되었으며, 경량화 구조로 인해 높은 처리 속도 (약 2~4 ms/프레임) 를 보장합니다.
  2. 차선 감지 (Lane Detection):
     • 이미지 전처리: 그레이스케일 변환, 가우시안 블러링, 적응형 임계값 처리, Canny 엣지 검출.
     • 차선 추정: RANSAC 회귀 분석을 통해 노이즈와 이상치를 제거하고 다항식 곡선으로 차선 경계 및 차선 중심을 추정합니다.
  3. 행동 분석 (Behaviour Analysis):
     • 측방 이동 (Lateral Displacement): 탐지된 차량의 질량 중심 (Centroid) 과 차선 중심 사이의 편차를 계산합니다.
     • 진동 행동 (Oscillatory Behaviour): 측방 이동의 부호 변화 (Sign Change) 빈도를 분석합니다.
• 위험 행동 분류 기준:
  • 산만 운전 (Distracted Driving): 평균 측방 이동이 임계값 (예: 0.3 픽셀) 을 초과하고, 차선 중심으로부터의 편차가 일정 수준 (예: 40 픽셀) 이상일 때 경보 발생.
  • 음주/부정 운전 (Impaired Driving): 측방 이동의 부호 변화가 일정 횟수 (예: 3 회 이상) 발생하여 진동 패턴이 감지될 때 경보 발생.

3. 주요 기여 (Key Contributions)

• 비연결 차량 대상 외부 관측 시스템: V2X 통신이 없는 차량의 운전 상태를 외부 카메라만으로 감지할 수 있는 새로운 프레임워크를 제시했습니다.
• 실시간 컴퓨터 비전 통합: YOLO 기반 객체 탐지와 커스텀 차선 추정 알고리즘을 결합하여, 복잡한 도로 환경에서도 실시간으로 위험 행동을 분류하는 시스템을 구현했습니다.
• 가시성 있는 피드백 메커니즘: 탐지된 차량의 측방 이동 이력을 색상 (파란색: 안전, 초록색/노란색: 경고 단계, 빨간색: 위험) 으로 시각화하고, CSV 로그를 통해 정량적인 데이터를 기록하여 시스템의 신뢰성을 입증했습니다.
• 과도기적 교통 환경 대응: 인간이 운전하는 차량과 완전 자율주행차가 공존하는 현재와 미래의 교통 환경에서 안전성을 확보할 수 있는 확장 가능한 솔루션을 제안했습니다.

4. 실험 결과 (Results)

• 산만 운전 감지: 통제된 시나리오와 실제 도로 주행에서 차량이 차선 중심에서 크게 벗어나는 경우 (편차 >40 픽셀) 에 정확하게 '산만 운전 앞차 (Distracted Driver Ahead)' 경보를 발생시켰습니다.
• 음주 운전 감지: 차량이 좌우로 진동하는 패턴 (3 회 이상의 부호 변화) 을 감지하여 '음주 운전 앞차 (Impaired Driver Ahead)' 경보를 성공적으로 활성화했습니다.
• 정량적 평가:
  • 이상적인 도로 조건에서는 높은 정확도를 보였으며, CSV 로그와 비디오 프레임 간의 데이터 일치성이 확인되었습니다.
  • 한계점: 차선 표시가 희미한 경우, 복잡한 도로 지형, 비나 안개와 같은 악천후 조건에서는 감지 정확도가 저하되었습니다. 또한, 도로의 요철 (Potholes) 로 인한 진동을 음주 운전으로 오인하는 오탐지 (False Positive) 가 발생하기도 했습니다.

5. 의의 및 결론 (Significance)

• 안전성 향상: 차량 간 통신 인프라가 부족한 현재 도로 환경에서도 자율주행차나 ADAS(고급 운전자 보조 시스템) 가 주변 차량의 위험을 사전에 인지하고 대응할 수 있는 능력을 부여합니다.
• 비용 효율성 및 확장성: 고가의 LiDAR 나 V2X 통신 장비 없이도 저비용의 단일 카메라와 YOLOv8n 같은 경량 모델로 구현 가능하여 대량 배포에 유리합니다.
• 미래 비전: 이 연구는 인간 운전 차량과 자율주행 차량이 공존하는 과도기적 교통 시스템의 안전성을 높이는 핵심 기술로, 향후 다중 센서 융합 (LiDAR, RADAR 등) 및 데이터셋 확장을 통해 더욱 견고한 자율주행 교통 체계 구축의 기반이 될 것입니다.

이 논문은 외부 관측 기반의 컴퓨터 비전 기술을 통해 운전자의 인지적/생리적 상태 (산만, 음주 등) 를 간접적으로 추론하는 새로운 접근법을 제시함으로써, 도로 교통 사고 감소와 자율주행 기술의 실용화에 중요한 기여를 하고 있습니다.