기술 요약: 운전 중 스트레스 추정을 위한 얼굴 영상과 생체 신호의 결합

문제 정의

신뢰할 수 있는 스트레스 인식은 실제 운전 시나리오와 같이 안전이 중요한 시스템에서 매우 중요합니다. 생체 신호 (예: 심박수, 비강 주변 발한) 는 스트레스 감지를 위한 확립된 지표이지만, 실제 환경에서 이를 획득하는 것은 침습적이거나 어려울 수 있습니다. 반면, 영상 기반 스트레스 추정은 스트레스의 주관적 성격, 개인차, 그리고 의식적인 표정 가림 가능성으로 인해 상당한 장애물에 직면해 있습니다. 기존 영상 기반 접근법은 종종 저수준의 기하학적 특징이나 얼굴 행동 단위 (AUs) 에 의존하는데, 이는 신원, 자세, 표정을 혼재시켜 미묘한 3 차원 얼굴 역동성을 포착하는 능력을 제한합니다. 또한, 신체 단서가 제한된 운전과 같은 제약된 조건에서 분리된 3 차원 얼굴 역동성과 생체 신호 간의 보완적 상호작용을 통합된 프레임워크 내에서 효과적으로 탐구한 연구는 거의 없습니다.

방법론

데이터셋 및 실험 설정

이 연구는 시뮬레이터에서 수집된 Taamneh 등이 공개한 주의 산만한 운전 (distracted driving) 데이터셋을 활용합니다. 프로토콜은 기준선인 **정상 운전 (ND)**과 문자 메시지 작업으로 스트레스를 유발하는 감각운동적 주의 산만 (MD) 단계 (P2 및 P4) 를 구분합니다. 다른 단계 (P1, P3, P5) 는 비스트레스 구간으로 활용됩니다. 데이터셋에는 동기화된 적외선 얼굴 영상, 생체 신호 (심박수, 호흡수, 비강 주변 발한), 그리고 시선 측정치가 포함되어 있습니다.

특징 추출

1. 분리된 3 차원 얼굴 특징:
저자들은 DECA 기반의 최첨단 단안 3 차원 얼굴 재구성 프레임워크인 EMOCA를 사용하여 프레임별 3 차원 얼굴 표정 및 자세 파라미터를 추출합니다.

• 표현: 프레임당 50 개의 표정 계수 ($exp_t$) 와 6 개의 자세 파라미터 ($pose_t$) 로 구성된 56 차원 벡터 ($x_t$).
• 역동성: 시간적 행동을 포착하기 위해 1 차 시간 미분 ($\Delta x_t$) 을 계산하여 빠른 운동 변화와 표현적 전환을 강조합니다.
• 정규화: 각 피험자에 대해 스트레스 유발 구간 (MD) 과 짝을 이룬 정상 운전 구간 (ND) 을 비교하여 윈도우 수준의 속도 차이 기술자를 계산함으로써, 기준선으로부터의 스트레스 유발 편차를 강조합니다.

2. 생체 및 시선 특징:
생체 지표에는 심박수, 호흡수, 비강 주변 발한이 포함됩니다. 사용 가능한 경우, 시선 역동성은 수평/수직 속도와 가속도, 그리고 단기 통계 (롤링 평균, 표준 편차, 분산) 로 계산됩니다.

통계 분석

딥러닝 수행 전에 저자들은 MD 와 ND 단계를 비교하기 위해 쌍체 양측 단일 표본 t-검정을 사용하여 통계 분석을 수행합니다.

• 결과: 56 개의 얼굴 구성 요소 (표정 및 자세) 중 38 개가 생체 지표와 유사한 일관된, 단계별 스트레스 반응을 나타냅니다.
• 주요 상관관계: 주성분 분석 (PCA) 과 선형 판별 분석 (LDA) 은 전역 자세 (특히 pose_00) 와 특정 표정 계수 (예: exp_40, exp_20) 가 스트레스와 가장 강하게 상관관계가 있음을 규명합니다. 시각화 결과에 따르면 이러한 구성 요소는 주로 하부 얼굴 변형 (입, 턱) 과 머리 자세에 영향을 미칩니다.
• 시간적 중요성: 속도 기반 표현 (시간 미분) 이 정적 평균 수준 특징보다 더 유익한 것으로 입증되어, 스트레스가 프레임 간 빠른 역동성에 인코딩됨을 시사합니다.

모델링 프레임워크

제안된 시스템의 핵심은 멀티모달 융합을 처리하도록 설계된 Transformer 기반 시간적 모델링 프레임워크입니다.

• 아키텍처: 파이프라인은 단기 패턴을 추출하기 위해 다중 스케일 컨볼루션 스템 (커널 크기 3, 5, 7) 을 사용한 후, 멀티헤드 자기 어텐션이 포함된 Transformer 인코더 레이어 스택을 따릅니다.
• 시간적 풀링: 어텐션 기반 시간적 풀링을 통해 고정 길이 윈도우 표현을 얻으며, 이는 스트레스 관련 시간 세그먼트에 가중치를 부여합니다.
• 융합 전략:
  1. 단일 모드: 얼굴 특징만 사용.
  2. 조기 융합: 입력 수준에서 3 차원 얼굴 파라미터를 생체/시선 특징과 연결 (concatenation).
  3. 교차 모드 어텐션: 얼굴 및 생체 스트림이 독립적으로 인코딩된 후 교차 어텐션 메커니즘을 통해 융합되는 양방향 아키텍처. 이를 통해 각 모달리티는 집계 전에 다른 모달리티의 시간적으로 관련 있는 단서에 선택적으로 주의를 기울일 수 있습니다.

주요 기여

1. 3 차원 얼굴 운동의 보완적 역할: 이 연구는 밀집된 3 차원 얼굴 운동 특징 (분리된 표정 및 자세) 을 생체 특징과 융합하면 스트레스 예측이 크게 향상됨을 보여주며, 이들의 보완적 성격을 확인합니다.
2. 강건한 교차 모드 프레임워크: 저자들은 얼굴 역동성과 생체 신호 간의 상호작용을 효과적으로 모델링하는 Transformer 기반 교차 모드 어텐션 프레임워크를 제안합니다. 특히, 이 프레임워크는 얼굴 영상만 사용 가능한 경우에도 (단일 모드 성능) 강건하고 효과적으로 작동합니다.
3. 운전 특화 초점: 이 연구는 신체 단서가 제한된 운전 시나리오에서 얼굴 운동을 스트레스 관련 시각 정보의 주요 원천으로 부각하며, 다른 스트레스 추정 설정으로 일반화될 수 있는 프로토콜을 제시합니다.

결과

모델은 데이터 누출을 방지하기 위해 5 폴드 피험자별 교차 검증을 사용하여 평가되었습니다.

• 기준선 성능:

  • 생체 신호만: 성능이 낮아 AUROC 52.7% 및 정확도 **51.0%**를 기록했습니다.
  • 얼굴 특징만 (단일 모드): AUROC 90.8% 및 정확도 **84.1%**를 달성하여 기존 ML 기준선 (SVM/kNN) 과 완전 연결 딥러닝 기준선을 능가했습니다.
  • 조기 융합: 얼굴과 생체 특징을 단순 연결로 결합한 결과는 AUROC **90.1%**로, 시각만 사용하는 기준선보다 약간 낮아 이 설정에서 얼굴 역동성이 이미 지배적인 스트레스 정보를 포착하고 있음을 시사합니다.

• 교차 모드 어텐션 성능:

  • 제안된 교차 모드 어텐션 전략 (얼굴 + 생체) 은 AUROC 92.0% 및 **정확도 86.7%**로 최고 성능을 달성했습니다.
  • 이는 생체 신호 단독 사용에 비해 상당한 개선이며, 단일 모드 및 조기 융합 접근법보다 일관된 향상을 보입니다.
  • 얼굴 역동성을 제외한 조합 (예: 시선 + 생체) 은 현저히 낮은 성능을 보여 얼굴 운동의 중심적 역할을 재확인했습니다.

중요성 및 주장

이 논문은 실제 운전 환경에서 생체 신호만으로 스트레스를 감지하는 것은 신뢰할 수 없거나 획득이 어려울 수 있지만, 얼굴 활동은 비침습적으로 포착할 수 있는 보완적 단서를 제공한다고 주장합니다. 이 연구는 다음을 확립합니다:

1. 스트레스는 역동성에 인코딩됨: 스트레스 관련 변조는 정적 외모보다는 3 차원 얼굴 파라미터의 속도 및 시간적 역동성에서 가장 두드러집니다.
2. 멀티모달 시너지: 얼굴 특징만으로도 매우 효과적이지만, 교차 모드 어텐션을 통한 모달리티 간 상호작용의 명시적 모델링이 생체 신호의 보완적 성격을 활용하여 최상의 결과를 도출합니다.
3. 일반화 가능성: 시뮬레이션 운전 데이터에서 평가되었음에도 불구하고, 제안된 방법론과 프로토콜은 얼굴 영상으로부터 스트레스 인식을 포함하는 다른 설정으로 확장되도록 설계되었습니다.

저자들은 시뮬레이션 데이터 사용과 관련된 한계를 지적하며, 향후 연구는 자연스러운 환경에서 이러한 결과를 검증하고, 해석 가능성을 높이며, 경량 3 차원 재구성 파이프라인을 통한 실시간 배포를 탐구하는 데 초점을 맞춰야 한다고 제안합니다.