💻 computer science

Multimodal Driver Visual Load Assessment and Prediction under Dynamic Lighting Environments Using RaceGrid-OPTICS and WA-PSRSMformer

본 연구는 터널 환경에서 90.13%의 정확도를 달 alone 달성하며, 동적 조명 조건 하에서 운전자의 시각적 부하를 정확하게 평가하고 예측하기 위해 안구 운동, 조도 및 차량 속도 데이터를 새로운 RaceGrid-OPTICS 클러스터링 알고리즘 및 WA-PSRSMformer 딥러닝 모델과 결합한 다중 모달 프레임워크를 제안한다.

원저자: Noman Iqbal, Yishui Zhu, Fenjiao Wang, Luyang Wang

게시일 2026-09-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Noman Iqbal, Yishui Zhu, Fenjiao Wang, Luyang Wang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

운전은 인간의 정신과 도로 사이에서 끊임없이 벌어지는 협상 행위입니다. 우리 대부분에게 이 협상은 의식적인 생각 없이 이루어지지만, 이는 시각이라는 하나의 감각에 크게 의존합니다. 빛이 갑자기 변할 때—햇빛이 내리쬐는 밝은 고속도로에서 어두운 터널 내부로 들어서거나, 나무 그림자가 앞 유리에 빠르게 깜빡이며 지나가는 구간을 주행할 때—눈과 뇌는 적응하기 위해 과도하게 작동해야 합니다. 이러한 갑작스러운 시각적 정보의 요구는 '시각적 부하(visual load)'라고 알려진 상태를 만들어냅니다. 이는 눈이 보는 것을 처리하기 위해 필요한 정신적 노력입니다. 이 부하가 너무 무거워지면, 위험을 인지하고 형상을 식별하며 위험에 반응하는 운전자의 능력이 떨어질 수 있으며, 이는 일상적인 주행을 잠재적인 위험으로 바꿀 수 있습니다. 우리는 이러한 조명 변화가 위험하다는 것을 알고 있지만, 이것이 운전자에게 실시간으로 정확히 어느 정도의 정신적 스트레스를 주는지 측정하는 것은 그동안 어려움이 있었습니다.

창안대학교(Chang'an University)의 연구팀은 이 보이지 않는 정신적 노력을 들여다볼 수 있는 새로운 방법을 개발했습니다. 그들은 단순히 발생하는 시각적 부하를 측정할 뿐만 아니라, 복잡하고 변화하는 빛 속에서 주행하는 동안 부하가 언제 급증할지를 예측할 수 있는 시스템을 구축하고자 했습니다. 이를 위해 그들은 통제된 인공 환경인 드라이빙 시뮬레이터를 넘어 실제 도로로 실험을 옮겼습니다. 연구진은 10명의 운전자를 모집하고 표준 세단에 일련의 센서를 장착했습니다. 운전자가 어디를 보고 있고 동공이 어떻게 반응하는지를 추적하는 웨어러블 카메라, 전방의 도로를 기록하는 대시보드 카메라, 그리고 주변의 정확한 밝기를 측정하는 조도계를 사용했습니다. 운전자들은 세 가지 뚜렷한 시나리오를 주행했습니다: 일정한 빛이 유지되는 길고 곧은 도로, 햇빛이 나무 사이로 깜빡이며 지나가는 그늘진 구간, 그리고 밝은 낮에서 어둠으로, 다시 밝음으로 빛이 급격하게 변하는 터널입니다.

연구진은 운전자의 눈 움직임을 변화하는 빛 및 차량 속도와 동기화하여 방대한 양의 데이터를 수집했습니다. 그들은 동공의 크기와 변화 속도를 비롯하여, 시선이 어디에 고정되었는지, 그리고 얼마나 자주 새로운 지점으로 이동했는지와 같은 특정 생체 신호에 집중했습니다. 이러한 신호들은 뇌의 작업량에 대한 신체의 정직한 반응입니다. 눈이 갑작스러운 빛의 변화에 적응하려고 애쓸 때, 동공과 시선 패턴은 예측 가능한 방식으로 변화합니다. 그러나 이 가공되지 않은 숫자들의 흐름을 '높은 부하' 또는 '낮은 부하'라는 명확한 그림으로 바꾸는 것은 복잡한 퍼즐입니다. 연구팀은 먼저 정교한 방법을 사용하여 유사한 패턴들을 그룹화함으로써, 사전에 설정된 규칙에 의존하지 않고도 컴퓨터가 편안한 주행과 스트레스가 많은 주행의 차이를 인식하도록 학습시켰습니다. 그 결과, 이 접근 방식이 데이터를 평온함에서 매우 높은 긴장 상태에 이르기까지 다섯 가지의 뚜렷한 단계로 성공적으로 분류할 수 있음을 발견했습니다.

시스템이 이러한 상태를 식별할 수 있게 되자, 연구진은 더 어려운 과제인 '예측'으로 눈을 돌렸습니다. 그들은 시스템이 현재의 데이터를 보고 몇 순간 뒤의 운전자 시각적 부하를 추측할 수 있는지 알고 싶었습니다. 그들은 이미지의 패턴을 포착하는 데 뛰어난 모델들과 시간의 흐름에 따른 사건의 순서를 기억하도록 설계된 모델들을 포함하여 여러 가지 서로 다른 컴퓨터 모델을 테스트했습니다. 가장 성공적인 접근 방식은 '트랜스포머(Transformer)'라고 불리는 일종의 인공지능 모델이었는데, 이는 하나의 사건이 긴 시퀀스 속에서 어떻게 다음 사건으로 이어지는지를 이해하는 데 특히 탁월합니다. 이 모델을 특정 주행 과제에 맞춰 더욱 개선하기 위해 연구팀은 세 가지 핵심적인 개선 사항을 추가했습니다. 첫째, 흔하게 발생하는 평온한 주행보다 드물게 발생하지만 포착하는 것이 가장 중요한 고도의 스트레스 상황에 더 집중하도록 가르쳤습니다. 둘째, 불필요한 계산으로 인해 데이터 처리가 지연되지 않도록 내부 프로세스를 간소화했습니다. 마지막으로, 실제 자동차에서 발견될 수 있는 하드웨어에서도 효율적으로 실행될 수 있도록 메모리 사용량을 최적화했습니다.

실제 도로 테스트 결과는 놀라웠습니다. 빛이 급격히 변하는 가장 도전적인 환경인 터널에서, 이 새로운 시스템은 운전자의 시각적 부하를 90% 이상의 정확도로 예측했습니다. 이는 급격한 변화를 따라잡는 데 어려움을 겪었던 다른 모델들보다 현저히 우수한 성적이었습니다. 또한 이 시스템은 매우 효율적이어서, 기존 모델들이 필요로 했던 시간의 아주 일부분만으로 데이터를 처리할 수 있었는데, 이는 움직이는 차량 내에서 즉각적으로 작동해야 하는 기술에 있어 매우 중요한 요소입니다. 연구는 안구 추적 데이터, 조도 측정, 그리고 차량 속도의 조합이 운전자의 스트레스에 대한 완전한 그림을 제공한다는 것을 확인해 주었습니다. 또한 직선 도로는 일반적으로 예측하기 쉽지만, 터널에 진입하거나 터널에서 나오는 순간이 가장 복잡한 시각적 요구를 만들어내며, 종종 운전자를 시스템이 감지하고 예측할 수 있는 높은 부하 상태로 몰아넣는다는 것을 보여주었습니다.

이 연구는 단순히 스트레스를 측정하는 방법을 제시하는 것에 그치지 않고, 더 안전한 미래를 위한 청사진을 제공합니다. 조명 조건이 운전자의 시각을 어떻게 압박하는지 정확히 이해함으로써, 엔지니어들은 운전자가 압도당하기 전에 경고를 보내는 더 나은 경고 시스템을 설계할 수 있습니다. 이 시스템은 인간의 눈이 보이는 자연스러운 반응을 통해 실시간으로 운전의 보이지 않는 정신적 작업량을 모니터링하는 것이 가능하다는 것을 입증했습니다. 도로가 점점 더 복잡해지고 자율 주행 시스템이 더 많은 책임을 맡게 됨에 따라, 인간이라는 요소의 시각 및 반응 능력을 측정하는 신뢰할 수 있는 방법을 갖추는 것은 필수적일 것입니다. 연구진은 적절한 도구가 있다면 우리가 도로의 보이지 않는 부담을 볼 수 있으며, 이를 통해 그 부담이 너무 무거워져 발생하는 사고를 예방할 수 있다는 것을 보여주었습니다.

기술 요약: 동적 조명 환경에서의 다중 모드 운전자 시각적 부하 평가 및 예측

1. 문제 정의

도로 조명의 급격한 변화, 특히 터널 및 그늘진 구간에서의 변화는 운전자의 시각적 작업 부하를 크게 증가시키고 안전을 저해한다. 이러한 변화는 '블랙홀(black hole)' 및 '화이트홀(white hole)' 현상과 같은 생리적 현상을 유발하여, 시각적 적응 지연, 대비 감도 저하, 위험 인지 능력 저하를 초래한다. 운전자의 시각적 부하를 평가하는 기존 방식들은 다음과 같은 세 가지 주요 한계점을 갖는다:

단일 모드 또는 정적 임계값에 대한 의존: 많은 방법들이 고립된 생리적 지표(예: 동공 직경)나 수동으로 정의된 임계값에 의존하며, 이는 운전자 행동, 환경 조도 및 차량 역학 사이의 복잡하고 비선형적인 상호작اً를 포착하지 못한다.
파편화된 분석: 시각적 부하 평가와 시간적 예측이 독립적인 과업으로 취급되어, 적응형 레이벨링(adaptive labeling)과 예측 간의 관계를 충분히 활용하지 못한다.
계산 제약: 트랜스포머(Transformer) 기반 모델은 장기적 시간 의존성을 포착하는 데 유망하지만, 높은 계산 복잡도와 메모리 요구량으로 인해 실시간 지능형 교통 시스템(ITS) 배포가 어렵다.

동적 조명 조건 하에서 적응형 시각적 부하 분류, 다중 모드 특징 융합, 클래스 불균형 및 계산 효율성을 동시에 해결할 수 있는 통합된 프레임워크가 부족한 실정이다.

2. 방법론

본 연구는 데이터 수집, 레이블 생성을 위한 적응형 클러스터링, 그리고 딥러닝 예측 아키텍처를 포함하는 통합 다중 모드 프레임워크를 제안한다.

2.1 데이터 수집 및 전처리

실험 설정: 장안대학교(Chang'an University) 시험장에서 초보 및 숙련 운전자 10명을 대상으로 세 가지 환경(그늘진 구간, 긴 직선 도로, 터널)에서 실차 실험을 수행하였다.
센서: Tobii Pro Glasses 3 아이 트래커(50 Hz), 360 대시캠(1 Hz), Tesan 디지털 조도계를 통해 데이터를 동기화하였다.
특징(Features): 데이터셋은 안구 운동 특성(시선 좌표, 동공 직경, 고정 지속 시간, 사카드 진폭/빈도), 환경 조도(Lux), 차량 속도 및 운전자 인구통계학적 정보를 통합한다.
전처리: 파이프라인에는 노이즈 제거(칼만 필터링), 결측치 보간(Cubic Spline), 그리고 이상치 처리를 위한 강건한 정규화(Robust normalization)가 포함되었다. 시간적 동기화는 모든 주행 이벤트를 기준으로 모든 데이터 스트림을 통일된 타임라인에 정렬하였다. 이후 모든 모드는 5 Hz의 공통 주파수로 재샘플링되었다: 안구 추적 신호는 다운샘플링되었고, 차량 속도 측정값은 선형 보간되었으며, 원래의 조도 샘플링 주파수는 유지되었다.

2.2 시각적 부하 평가 (레이벨링)

사전에 정의된 임계값을 사용하는 대신, 본 연구는 무감독 학습(unsupervised learning) 접근 방식을 사용하여 시각적 부하 상태를 도출한다.

특징 추출: 7가지 시각적 부하 지표(동공 면적, 변화율, MTPA, 사카드 진폭, 고정 지속 시간, 사카드 빈도)를 추출하였다.
차원 축소: 주성분 분석(PCA)을 통해 이 지표들을 분산을 89.52% 설명하는 3개의 주성분으로 축소하였다.
클러스터링: 새로운 RaceGrid-OPTICS 알고리즘을 개발하였다. 이는 다음을 결합한다:
- 점진적 그리드 탐색(Progressive Grid Search): 거친 단계에서 미세 단계로의 파라미터 탐색.
- F-Race 최적화: 열등한 파라미터 구성을 통계적으로 평가하고 제거.
- OPTICS: 클러스터 수를 미리 정의하지 않고 다양한 밀도의 클러스터를 식별.
레이벨링: 클러스터링 결과, 주성분으로부터 도출된 가중치 점수에 따라 순위가 매겨진 5단계(0–4)의 해석 가능한 시각적 부하 레벨이 생성되었다.

2.3 시각적 부하 예측 프레임워크

레이블링된 데이터는 지도 학습 기반의 시퀀스 학습 과업으로 정형화된 시간적 예측 모델 학습에 사용되었다.

베이스라인: 네 가지 표준 딥러닝(DL) 모델인 FCN, CNN, LSTM 및 표준 Transformer를 구현하였다.
제안된 아키텍처 (WA-PSRSMformer): 트랜스포머를 기반으로 세 가지 개선 사항을 도입하였다:
1. 가중 적응형 손실 (Weighted Adaptive Loss, WAL): 과소 대표되는(높은 부하) 클래스에 더 높은 페널티를 부여하여 클래스 불균형 문제를 해결한다.
2. 잔차 희소 어텐션 (Residual Sparse Attention, RSA): 표준 셀프 어텐션을 대체하여 계산 복잡도( $O(N^2)$ )를 줄이는 동시에, 장기 의존성을 보존하고 레이어를 통해 어텐션 정보를 전파한다.
3. 파라미터 공유 (Parameter Sharing, PS): 쿼리(query), 키(key), 값(value) 투영 및 피드포워드 레이어 간에 파라미터를 공유하여 모델의 중복성과 메모리 소비를 줄인다.

3. 주요 기여

다중 모드 프레임워크: 동적 조명 환경에서의 시각적 부하 평가를 위해 동기화된 안구 추적, 조도 및 차량 역학 데이터를 통합하였다.
RaceGrid-OPTICS 클러스터링: 수동 임계값 없이도 높은 클러스터링 품질을 달eric하기 위해 PCA와 적응형 파라미터 최적화(Grid Search + F-Race)를 결합한 새로운 전략을 제시하였다.
WA-PSRSMformer 아키텍처: WAL, RSA, PS 메커니즘을 통해 예측 정확도를 높이는 동시에 계산 오버헤드를 줄이고 클래스 불균형을 처리하는 트랜스포머 기반 모델을 제안하였다.
실증적 검증: 세 가지 서로 다른 도로 환경에 대한 포괄적인 평가를 통해 최신 베이스라인 모델 대비 우수한 성능을 입증하였다.

4. 실험 결과

프레感じで는 정확도, 가중 정밀도/재현율/F1-스코어, 평균 절대 오차(MAE), 순위 상관 계수(Kendall's Tau, Spearman's Rho)를 사용하여 평가하였다.

클러스터링 성능: RaceGrid-OPTICS는 기본 OPTICS, DBSCAN, K-means보다 우수한 성능을 보였으며, 실루엣 계수(Silhouette Coefficient) 0.86, 칼린스키-하라바츠 지수(Calinski–Harabasz Index) 159,532.83, 데이비스-볼딘 지수(Davies–Bouldin Index) 0.28을 달성하였다.
베이스라인 비교: 표준 트랜스포머는 모든 환경에서 LSTM, CNN, FCN보다 일관되게 우수한 성능을 보였다. 터널 시나리오에서 트랜스포머는 **85.54%**의 정확도를 기록하여 LSTM(80.72%), FCN(74.22%), CNN(72.42%)을 앞질렀다.
제안 모델 성능:
- WA-PSRSMformer는 터널 주행 조건에서 **90.13%**의 정확도와 0.1525의 MAE를 달성하며 가장 높은 종합 성능을 보였다.
- 터널 환경에서는 베이스라인 트랜스포머 대비 (+5.37% 정확도), 직선 도로에서는 (+1.71%)의 유의미한 성능 향상을 보였다.
- 모델은 실제 값과 강력한 순위 상관 관계를 나타냈다 (터널에서 Spearman's Rho = 0.8807).
계산 효율성: 제안된 최적화 기법은 추론 시간과 메모리 사용량을 획기적으로 줄였다. 터널 시나리오에서 WA-PSRSMformer는 베이스라인 트랜스포머 대비 실행 시간을 약 72.9%(43.46초에서 11.77초로) 단축하였고, 메모리 사용량을 16.3% 감소시켜 실시간 배포에 적합함을 입증하였다.

5. 의의 및 주장

본 논문은 제안된 프레임워크가 실시간 운전자 상태 모니터링을 위한 효과적인 접근 방법을 제공한다고 주장한다. 적응형 클러스터링과 효율적인 딥러닝 아키텍처를 통합함으로써, 시각적 부하가 급격히 변하는 동적 조명 환경을 다루는 핵심적인 격차를 해소하였다.

저자들은 WA-PSRSMformer가 높은 예측 정확도와 낮은 계산 비용 사이의 균형을 성공적으로 맞추었으며, 이는 지능형 교통 시스템(ITS) 및 첨단 운전자 보조 시스템(ADAS)에 통합되기 위한 필수 조건임을 강조한다. 본 연구는 결론적으로 복잡하고 변화하는 조명 조건 하에서 운전자의 시각적 부하를 예측하기 위한 견고한 솔루션을 제공하며, 이를 통해 교통 안전 시스템의 발전을 지원한다. 향후 연구 과제로 시나리오 다양성 확대 및 추가적인 생리적 신호(ECG, EEG)의 통합을 언급하였다.