Enhancing Fatigue Detection through Heterogeneous Multi-Source Data Integration and Cross-Domain Modality Imputation

기술 요약: 이종 다중 소스 데이터 통합 및 교차 도메인 양식 임퓨테이션을 통한 피로 탐지 성능 향상

문제 정의
신뢰할 수 있는 피로 탐지는 인간-기계 시스템(예: 항공, 광업, 운송)의 안전을 위해 매우 중요합니다. 그러나 효과적인 배포는 "센서 접근성" 문제로 인해 저해됩니다. 고충실도 센서(예: EEG, ECG, 정밀 동공 추적기)는 통제된 실험실 환경에서는 정확한 데이터를 제공하지만, 비용, 보정 요구 사항, 환경 노이즈에 대한 민감도 및 개인정보 보호 문제로 인해 실제 현장에서 사용하기에는 비현실적인 경우가 많습니다. 반면, 현장 배치형 센서(예: PPG, HR, 가속도계)는 접근성은 높지만 고성능 양식의 충실도가 부족합니다.

기존의 데이터 임퓨테이션(결측치 보간) 방법들은 일반적으로 단일 도메인 또는 단일 양식 내에서의 결측 데이터(예: 부분적인 EEG로부터 더 많은 EEG를 생성하는 것)를 다룹니다. 이러한 방법들은 교차 도메인 양식 임퓨테이션(cross-domain modality imputation), 즉 타겟 도메인에 완전히 결여된 양식(예: 현장 환경에서의 EEG)을 공유되는 배치 가능 양식(예: HR, PPG)을 가교로 활용하여 소스 도메인의 지식을 통해 추정하는 문제를 해결하지 못합니다.

방법론
저자들은 통제된 환경의 소스 도민으로부터 센서가 제한된 타겟 도메인으로 지식을 전이하도록 설계된 이종 다중 소스 피로 탐지 프레임워크를 제안합니다. 핵심 메커니즘은 교차 도메인 양식 임퓨테이션입니다.

1. 문제 정식화: 프레임워크는 제한된 양식을 가진 타겟 도메인($D_T$)과 서로 다르며 종종 더 풍부한 센서 구성을 가진 여러 소스 도메인($D_s$)을 정의합니다. 목표는 $X_{\cap}$(공유 양식, 예: HR, PPG, GSR)을 입력으로 하여 $X_{s+}$(소스에는 존재하지만 타겟에는 없는 양식, 예: EEG, ECG)로의 매핑 $g_s: X_{\cap} \to X_{s+}$를 학습하는 것입니다.
2. 이론적 근거: 이 접근 방식은 일반화 오차 경계 분석(generalization bound analysis)에 기반합니다. 이론적 결과(정리 1~3)는 레이블 관련 추가 양식을 포함하는 것이 일반화 오차 경계를 좁힌다는 것을 시사합니다. 또한, 임퓨테이션된 양식($\hat{a}$)과 실제 양식($a$) 사이의 분포 불일치가 최소화되면, 고충실도 센서에 직접 접근할 수 없는 상황에서도 타겟 도메인의 성능을 개선할 수 있습니다.
3. 프레임워크 아키텍처:
   • 양식 임퓨테이션: 각 소스 도메인에 대해, 공유 양식을 입력으로 사용하여 누락된 고충실도 양식을 예측하는 회귀 모델(실험에서는 MLP 사용)을 학습합니다.
   • 도메인 정렬: 소스 도메인과 타겟 도메인 간의 분포 편차를 줄이기 위해, 프레임워크는 배치 정규화(Batch Normalization)와 자코비안 노름 규제(Jacobian norm regularization)를 채택합니다. 이러한 기법은 특징 표현을 안정화하고 입력 섭동에 대한 분류기의 민감도를 낮춥니다.
   • 증강 및 탐지: 임퓨테이션된 양식은 원래의 타겟 도메인 특징과 결합되어 증강된 표현을 형성합니다. 이후 다운스트림 분류기(예: Transformer, LSTM, CNN)가 이 강화된 데이터를 사용하여 피로 상태를 예측하도록 학습됩니다.
   • 학습 전략: 과정은 엔드투엔드(end-to-end) 방식이 아닌 단계별로 실행됩니다. 먼저 소스 데이터에 대해 임퓨터(imputer)를 학습시킨 후, 이를 타겟 데이터에 적용하여 합성 특징을 생성하고, 마지막으로 증강된 타겟 데이터셋을 사용하여 피로 탐지기를 학습시킵니다.

주요 기여

• 문제 정식화: 본 논문은 실질적이지만 아직 충분히 탐구되지 않은 문제 설정, 즉 고충실도 센서가 제한된 현장에서 접근 가능한 현장 센서를 사용하여 피로 탐지를 수행하는 문제를 공식적으로 정의했습니다.
• 이종 프레임워크: 공유되는 생체 신호 양식을 공통 입력 공간으로 사용하여 소스 도메인의 관계를 학습하고, 이를 타겟 도메인에서 사용 불가능한 양식을 추정하는 데 전이하는 프레임워크를 제안합니다.
• 개념 증명 검증: 연구는 VPFD(현장 배치 데이터셋)와 두 개의 공개 실험실 데이터셋(MEFAR, FatigueSet)을 사용하여 이 접근 방식의 타당성을 입증했습니다. 결정적으로, 저자들은 알고리즘 자체의 혁신보다는 프레임워크 설계의 기여도를 분리하기 위해 핵심 구성 요소로 잘 알려진 알고리즘(MLP, LSTM, Transformer)을 의도적으로 사용했습니다.

실험 결과
실험은 EEG/ECG가 결속된 VPFD(타겟 도메인)를 EEG를 제공하는 MEFAR 및 EEG와 ECG를 모두 제공하는 FatigueSet 데이터로 증강하여 수행되었습니다.

• 임퓨테이션 효능: 회귀 기반 임퓨테이션(MLP 사용)은 다른 아키텍처(CNN1D, LSTM, TimeMixer)에 비해 낮은 평균 제곱 오차(MSE)를 보이며 누락된 양식을 성공적으로 복구했습니다.
• 분류 성능:
  • 누락된 양식을 임퓨테이션하는 것은 사용 가능한 타겟 센서만을 사용하는 것보다 피로 탐지 정확도를 유의미하게 향ol상시켰습니다.
  • 임퓨테이션된 EEG와 ECG를 결합했을 때 가장 뚜렷한 개선 효과가 나타났습니다. 예를 들어, TimeMixer 기반 임퓨테이션을 적용한 Transformer 분류기를 사용하여 증강된 VPFD 데이터셋을 처리했을 때, 베이스라인 VPFD 데이터의 정확도 82.31%, **ROC-AUC 91.84%**와 비교하여 정확도 92.86%, **ROC-AUC 97.88%**를 달성했습니다.
  • 어블레이션 연구(Ablation studies)를 통해 배치 정규화와 자코비안 규제를 결합하는 것이 특히 여러 임퓨테이션 양식이 존재할 때 최상의 안정성과 성능을 제공함을 확인했습니다.
• 노이즈 민감도: 누락된 양식에 무작위 노이즈를 주입했을 때 성능이 저하되는 실험 결과는, 얻어진 이득이 단순히 데이터 차원의 추가 때문이 아니라 소스 도메인으로부터 학습된 구조적 정보 덕분임을 확인시켜 줍니다.

의의 및 주장
본 논문은 서로 다르게 계측된 도메인 간의 지식 전이가 가능하다는 것을 보여주는 **개념 증명(proof-of-concept)**으로서 자리매김합니다. 저자들의 주장은 다음과 같습니다:

1. 공유 양식이 존재한다면, 통제된 환경의 고충실도 지식을 센서가 없는 실제 현장 시나리오로 효과적으로 전달할 수 있습니다.
2. 이 접근 방식은 고충실도 센서를 직접 현장에 배치하는 비현실적인 요구 없이도 해당 센서의 유용성을 보존할 수 있게 합니다.
3. 프레임워크는 "센서 신뢰도"(실험실에서는 높으나 현장에서는 낮음)와 "센서 접근성"(실험실에서는 낮으나 현장에서는 높음) 사이의 간극을 성공적으로 해결합니다.

저자들은 현재 구현이 단순한 순차적 강화를 사용하며, 소스가 일관되지 않은 추정치를 제공할 때의 충돌 인지 가중치(conflict-aware weighting)를 아직 모델링하지 않았음을 언급하며 미래의 함의에 대해 겸허한 태도를 유지했습니다. 향후 과제로 더 큰 코호트로의 확장, 적응형 다중 소스 가중치 개발, 실시간 계산 효율성 최적화 등을 꼽았습니다.