기술 요약: 하이브리드 CNN-RNN 모델을 이용한 몰입형 주행 시나리오에서의 인지 부하 예측

1. 문제 정의

본 논문은 고부하, 실제 환경의 주행 조건에서 운전자의 인지 부하(CL)를 예측하는 데 따르는 중대한 과제를 다룬다. 기존 문헌은 생체 신호를 활용하여 인지 부하를 평가하는 연구를 광범위하게 수행해 왔으나, 대부분의 연구는 단순화된 환경(예: 교통량이 없는 단조로운 고속도로) 내에서의 중간 또는 낮은 부하 수준에 집중되어 있다. 또한, 기존 연구들은 종종 이진 분류(예: 피로함 vs 깨어 있음)에 의존하며 야간 주행 및 악천후(비)와 같은 복잡한 환경적 요인을 간과한다.

본 연구는 특히 저시정 조건(야간 및 우천 상황)의 주행 시뮬레이터 내에서 청각적 n-back 과업에 의해 유도되는 세 가지 뚜렷한 인지 부하 수준(낮음, 중간, 높음)을 예측하는 것을 목표로 한다. 본 연구는 다중 모드 데이터 소스인 기능적 근적외선 분광법(fNIRS), 안구 추적(eye-tracking), 그리고 주행 행동 지표를 실제 교통량이 존재하는 시뮬레이션 환경 내에서 통합함으로써 기존 모델의 한계를 극복하고자 한다.

2. 방법론

2.1 데이터 수집 및 실험 설정

• 참가자: 건강한 성인 10명 (남성 9명, 여성 1명).
• 환경: Euro Truck Simulator 2를 사용하여 야간 및 폭풍우 치는 날씨의 고속도로(제한 속도 100 km/hr)를 시뮬레이션하는 주행 시뮬레이터("Next Level Racing Motion Platform V3") 사용.
• 인지 과업: 이차적인 인지 부하 유도 장치로서 세 가지 난이도(0-back, 1-back, 2-back)를 가진 청각 버전의 n-back 과업을 수행.
• 데이터 양상(Modalities):
  • 생리적 데이터: fNIRS (OBELAB 장치, 204 채널) 및 안구 추적 (Pupil Core 글래스).
  • 주행 행동: 차량 역학을 포함한 속도, 각속도 (X, Y, Z), 선가속도 (X, Y, Z), 스티어링 휠 각도, 스로틀 반응, 브레이크 반응 (ETS2 SDK를 통해 기록됨).

2.2 데이터 전처리

• 정규화: 모든 특성을 평균 0, 표준 편차 1로 정규화하기 위해 표준 스케일러 함수를 적용함.
• 동기화: 시간적 정렬을 보장하기 위해 고주파수인 주행 시뮬레이터 데이터를 fNIRS 및 안구 추적 신호의 샘플링 레이트에 맞춰 다운샘플링함.
• 특성 선택: 저자들은 Extra Trees Classifier를 사용하여 특성 중요도(Gini importance)를 계산하고 최적의 특성 부분 집합을 선택하였다. 이는 전통적인 방식인 주성분 분석(PCA), 분산 분석(ANOVA), 분산 임계값(Variance Threshold) 방식과 비교되었다.
  • fNIRS 선택: Extra Trees 중요도를 기반으로 상위 20개 채널을 선택하였으며, 산소화 채널("O2")이 탈산소화 채널("R")보다 더 많이 나타남을 확인하였다.
  • 주행 행동 선택: 자동차 속도와 스로틀 반응이 가장 유의미한 특성으로 식별되었으며, 브레이크 반응은 이전의 ANOVA 기반 결과에 비해 낮은 중요도를 보였다.

2.3 제안된 아키텍처: 하이브리드 CNN-RNN

본 연구는 데이터의 공간적 및 시간적 의존성을 모두 포착하기 위해 **1차원 합성곱 신경망(1D CNN)**과 **순환 신경망(RNN)**을 결합한 신경망 아키텍처를 제안한다.

• 입력: 정규화된 다중 모드 데이터 (fNIRS, 안구 추적, 주행 행동).
• 1단계 (공간적 특성 추출): 커널 크기가 3이고 출력 채널이 각각 16과 32인 두 개의 1D 합성곱 계층과 그 뒤를 잇는 ReLU 활성화 함수.
• 2단계 (시간적 모델링): 순차적 의존성과 인지 부하의 시간적 진화를 포착하기 위한 RNN 계층 (입력 크기 32, 은닉 크기 64로 구성된 2개 층).
• 출 출력 계층: RNN 출력을 펼친(flatten) 후, 완전 연결 계층(크기 64)을 통과시키고 분류를 위한 시그모이드(sigmoid) 활성화 함수를 적용함.
• 학습: 모델은 1000 에포크(epoch) 동안 Adam 옵티마이저(학습률 0.001)와 교차 엔트로피 손실 함수를 사용하여 70/30 훈련/검증 분할로 학습됨.

3. 주요 기여

1. 새로운 데이터 결합: 저자들이 알고 있는 바로는, 저시정 및 악천후 조건에서 세 단계의 인지 부하를 예측하기 위해 fNIRS, 안구 추적, 주행 행동 데이터를 결합한 첫 번째 연구이다.
2. 고급 특성 선택: 특성 선택을 위한 Extra Trees 분류 기법의 적용은 ANOVA, PCA, 분산 임계값 방식에 비해 유의미한 특성을 식별하는 데 있어 우수한 성능을 입증하였다.
3. 하이브리드 모델 효율성: 제안된 CNN-RNN 아키텍처는 저자들의 이전 Conv-LSTM 모델보다 더 적은 파라미터를 사용하면서도 높은 정확도를 달달성하여, 복잡한 시공간적 패턴을 포착하는 데 있어 개선된 효율성을 보여주었다.
4. 현실적인 시나리오 집중: 단조로운 고속도로 시나리오를 사용한 많은 선행 연구와 달리, 본 연구는 활발한 교통량이 있는 도전적인 조건(야간/우천) 하에서 모델을 검증하였다.

4. 결과

제안된 모델은 다양한 특성 추출 방식 및 이전의 CNN-LSTM 베이스라인 모델과 비교 평가되었다.

• 특성 선택 성능:

  • Extra Trees가 가장 높은 성능을 보임: 정확도 99.91%, F1-score 0.9991, AUC 0.9999.
  • ANOVA는 99.60%의 정확도를 달성함.
  • PCA와 분산 임계값은 현저히 낮은 성능을 보임 (각각 약 90.6% 및 97.8%).
  • 혼동 행렬(Confusion matrix)은 Extra Trees 방식이 다른 방식에 비해 오분류가 거의 없음을 확인시켜 주었다.

• 모델 비교 (CNN-RNN vs. CNN-LSTM):

  • 결합 데이터 (생리적 데이터 + 주행 데이터): CNN-RNN 모델은 정확도가 99.82%(CNN-LSTM)에서 **99.99%**로 향상되었다.
  • 주행 행동 데이터만 사용 시: CNN-RNN 모델은 정확도가 **87.26%**에서 **92.02%**로 증가하며 유의미한 개선을 보였다.

• 특성 중요도 통찰:

  • fNIRS 분석 결과, 인지 부하 예측에는 탈산소화 수준보다 산소화 수준이 더 결정적임이 나타났다.
  • 주행 행동 분석에서는 자동차 속도와 스로틀 반응이 주요 지표로 강조되었으며, Extra Trees 방식에서는 이전의 ANOVA 결과와 달리 브레이크의 상관관계가 낮게 나타났다.

5. 의의 및 주장

본 논문은 공간적 특성 추출을 위한 CNN과 시간적 시퀀스 모델링을 위한 RNN의 결적, 그리고 Extra Trees를 통한 특성 선택의 결합이 인지 부하를 예측하기 위한 견고한 프레임워크를 제공한다고 주장한다. 연구는 다음을 강조한다:

• 제안된 아키텍처는 이전의 Conv-LSTM 접근 방식보다 더 효율적(더 적은 파라미터)이며 정확하다.
• Extra-Trees 방식은 가장 정보가 많은 특성을 유지하면서 차원을 효과적으로 축소하여, 고차원 fNIRS 데이터에서의 과적합을 방지한다.
• 모델은 주행 행동 데이터에만 의존할 때도 효과적이며, 이는 침습적인 생리적 센서가 필요하지 않은 시스템에 대한 가능성을 시사한다.

저자들은 이러한 접근 방식이 복잡한 실제 주행 시나리오에서 인지 부하 평가의 신뢰성을 높여, 고급 운전자 보조 시스템(ADAS)을 위한 토대를 제공한다고 결론짓는다.

6. 한계점 및 향-후 연구 방향 (저자 명시)

본 논문은 주장에 있어 신중한 범위를 유지하며 다음과 같은 한계점과 향후 연구 방향을 명시적으로 언급한다:

• 표본 크기: 본 연구는 10명의 참가자로 구성된 작은 코호트를 대상으로 하였으므로, 더 큰 표본 크기를 통한 검증이 필요하다.
• 과업 범위: 본 연구는 운전자가 직면하는 전체 외부 요구 사항이 아닌, n-back 이차 과업에 의해 부과된 인지 부하에만 집중하였다.
• 난이도 수준: 세 가지 난이도 수준만을 조사하였다.
• 향후 연구: 저자들은 향후 연구가 다음 사항에 집중해야 한다고 제안한다:
  • 더 큰 데이터셋과 다양한 주행 조건에서의 결과 검증.
  • 차량 역학만을 이용한 예측 탐색.
  • 고급 모션 큐잉(motion cueing)을 갖춘 더 높은 자유도(degree-of-freedom) 모션 시뮬레이터 활용.
  • 다양한 생리적 및 차량 역학적 반응을 이해하기 위한 다양한 유형의 이차 과업 조사.