Human Centered Non Intrusive Driver State Modeling Using Personalized Physiological Signals in Real World Automated Driving

논문 요약: 실제 자동화 주행 환경에서의 개인화된 생리학적 신호를 활용한 인간 중심 비침습적 운전 상태 모델링

1. 연구 배경 및 문제 제기 (Problem)

• 배경: SAE 레벨 2~3 의 부분적/조건부 자동화 차량에서는 운전자가 시스템을 감독하고, 시스템이 요청할 때 (Take-Over Request, TOR) 즉시 개입할 수 있어야 합니다. 이를 위해 운전자의 주의도 및 상태 모니터링이 필수적입니다.
• 문제점:
  • 기존 운전자 모니터링 시스템 (DMS) 은 대부분 **일반화된 모델 (Generalized Models)**을 사용하여 모든 운전자를 동일하게 취급합니다.
  • 그러나 생리학적 신호, 인지 부하, 행동 패턴은 개인마다 큰 차이 (Inter-individual Variability) 가 존재합니다.
  • 이러한 일반화 접근법은 다양한 운전자에게 적용 시 정확도가 크게 저하될 수 있으며, 특히 실제 도로 환경의 복잡성과 예측 불가능성을 반영하지 못한 시뮬레이션 기반 연구가 주를 이루고 있습니다.
• 연구 목적: 실제 도로 주행 환경에서 비침습적 생리학적 센서를 사용하여 개인화된 (Personalized) 운전 상태 모델링의 타당성을 검증하고, 개인별 생리학적 특성이 모델 성능에 미치는 영향을 규명하는 것입니다.

2. 방법론 (Methodology)

가. 실험 환경 및 데이터 수집

• 차량: SAE 레벨 2 자동화 차량 (Toyota Prius PHEV, Comma OpenPilot 소프트웨어 탑재).
• 환경: 실제 공공 도로에서의 주행 실험 (시뮬레이션이 아닌 실제 도로 조건).
• 센서: Empatica E4 웨어러블 센서 (비침습적).
  • 수집 신호: 전도성 활동 (EDA), 심박수 (HR), 피부 온도 (TEMP), 혈압 맥파 (BVP), 3 축 가속도계 (ACC).
• 실험 설계: 16 가지 다양한 시나리오 (차선 변경, 시선 방향, 손 위치, 유도된 주의 산만, 예상치 못한 사건 등) 를 통해 다양한 운전 상태 (낮음 - 낮음, 낮음, 높음, 높음 - 높음의 4 단계) 를 유발하고 데이터를 수집했습니다.

나. 신호 처리 및 모델 아키텍처

• 신호 - 이미지 변환 (Signal-to-Image Transformation):
  • CNN(합성곱 신경망) 의 강력한 특징 추출 능력을 활용하기 위해 1 차원 생리학적 시계열 데이터를 2 차원 이미지로 변환했습니다.
  • 변환 기법 비교: 재귀 플롯 (Recurrence Plot, RP), 그라미안 각도장 (GAF), 마르코프 전이장 (MTF) 등.
  • 최종 선택: **연속 재귀 플롯 (Continuous RP)**이 가장 높은 정확도를 보였습니다.
  • 전처리: 모든 신호를 4Hz 로 리샘플링, 30 초 윈도우, 3 초 스텝, 정규화 (Combined Metrics) 및 클리핑을 적용했습니다.
• 모델 아키텍처:
  • 입력: 7 개의 서로 다른 생리학적 신호에서 생성된 이미지.
  • 특징 추출: 사전 학습된 ResNet50을 사용하여 각 이미지에서 특징 벡터 (2048 차원) 를 추출 (Transfer Learning).
  • 차원 축소: 추출된 7 개 특징 벡터를 연결 후 **PCA(주성분 분석)**를 통해 100 차원으로 축소.
  • 분류기: 2 개의 완전 연결 (FC) 층을 가진 신경망으로 4 가지 운전 상태 (LL, L, H, HH) 를 분류.

3. 주요 기여 (Key Contributions)

1. 실제 도로 환경에서의 생리학적 센싱: 자동화 주행 중 비침습적 웨어러블 센서를 활용한 실제 도로 기반 운전자 모니터링 연구 수행.
2. 신호 - 이미지 모델링 파이프라인: 생리학적 시계열 데이터를 2D 이미지로 변환하고 사전 학습된 CNN 을 활용한 새로운 모델링 접근법 제안.
3. 개인별 생리학적 변이성 입증: 4 명의 운전자를 대상으로 한 실험을 통해 운전 인식 (Awareness) 과 관련된 생리학적 패턴이 개인 간에 현저히 다르다는 것을 실증적으로 증명.
4. 개인화 모델의 우월성 입증: 일반화 모델 대비 개인화 모델이 압도적으로 높은 성능을 보임을 확인하여, 미래 자동화 차량의 DMS 가 적응형 개인화 시스템을 채택해야 함을 시사.

4. 실험 결과 (Results)

• 개인화 모델 성능 (H1 검증):
  • 각 운전자의 데이터만으로 학습된 개인화 모델은 평균 **92.68%**의 정확도를 달성했습니다.
  • 개별 사용자별 정확도: 87.52% ~ 96.52% (낮은 표준 편차).
• 개인 간 변이성 및 일반화 한계 (H2, H3 검증):
  • 교차 사용자 테스트: 한 사용자로 학습된 모델을 다른 사용자에게 적용할 경우 정확도가 **40.62% ~ 63.52%**로 급격히 하락했습니다.
  • 결합 사용자 모델 (Combined-User Model): 여러 사용자의 데이터를 혼합하여 학습한 일반화 모델의 평균 정확도는 **53.76%**에 불과했습니다.
  • 통계적 유의성: 개인화 모델과 일반화 모델 간의 성능 차이는 통계적으로 유의미했습니다 (p < 0.001).
  • 결론: 생리학적 신호 기반의 상태 인식은 개인마다 고유한 패턴을 가지며, 이를 무시한 일반화 모델은 신뢰할 수 있는 안전 기준을 제공하지 못합니다.

5. 의의 및 시사점 (Significance)

• 안전성 확보: 자동화 차량 (레벨 2~3) 에서 운전자의 "대기 상태 (Fallback-ready state)"를 정확하게 파악하는 것은 안전에 직결됩니다. 개인별 생리학적 특성을 반영한 모델은 오작동 (False Alarm) 을 줄이고 적절한 개입 타이밍을 제공합니다.
• 시스템 설계 방향 전환: 기존의 "일괄 적용 (One-size-fits-all)" 방식에서 벗어나, 적응형 (Adaptive) 및 **개인화 (Personalized)**된 운전자 모니터링 시스템으로의 전환이 필수적입니다.
• 미래 방향: 초기에는 일반화 모델을 사용하여 기본 모니터링을 수행하되, 운전자의 데이터를 축적하여 점진적으로 개인화 모델로 전환하는 하이브리드 접근법이 현실적인 해결책으로 제안됩니다.
• 한계 및 향후 과제: 소수의 인증된 운전자 (4 명) 만을 대상으로 한 연구이므로, 더 다양하고 대규모의 데이터셋을 통한 일반화 전략 및 적응형 학습 프레임워크에 대한 추가 연구가 필요합니다.

핵심 결론:
이 연구는 실제 도로 주행 환경에서 비침습적 생리학적 센서를 통해 운전자의 상태를 모니터링할 때, 개인화된 모델이 일반화 모델보다 압도적으로 우수함을 입증했습니다. 운전자의 생리학적 신호는 개인마다 고유하므로, 안전한 자동화 주행을 위해서는 각 운전자의 생리학적 프로필에 적응하는 인간 중심의 모니터링 시스템이 필수적입니다.