Pretraining on Sleep Data Improves non-Sleep Biosignal Tasks

기술 요약: 수면 데이터 기반 사전 학습이 비수면 생체신호 작업에 미치는 개선 효과

문제 제기
수면 기반 모델은 최근 수면 단계 분류 및 무호흡증 탐지와 같은 도메인 내 다중 수면 뇌파 (PSG) 작업에서 강력한 성능을 입증했습니다. 그러나 수면 생체신호가 각성 중에 기록된 인접한 비수면 도메인으로 전이 가능한 표현을 학습하기 위한 효과적인 사전 학습 분포로 기능할 수 있는지는 여전히 열린 질문입니다. 임상 PSG 는 일반적으로 획득 제약으로 인해 저밀도 EEG Montage 와 단일 리드 ECG 를 활용하는 반면, 각성 기반 임상 기록은 세밀한 분석을 위해 고밀도 채널을 종종 사용합니다. 핵심적인 과제는 수면 데이터의 고유한 특성, 즉 긴 연속적 컨텍스트, 다양한 병리적 파형, 그리고 긴밀한 교차 모달 정합성이 희소 센서 구성의 한계를 극복하여 하류 각성 기반 EEG 및 ECG 작업의 성능을 향상시킬 수 있는지 결정하는 것입니다.

방법론
저자들은 수면 전용 멀티모달 데이터만으로 모델을 사전 학습시키기 위해 SleepFM 아키텍처 (Thapa et al., 2026) 를 기반으로 구축했습니다.

• 사전 학습 전략: 모델은 leave-one-out 목적 함수를 사용하여 수면 전용 멀티모달 대비 사전 학습을 수행합니다. 데이터셋은 4 개 코호트 (Stanford Sleep, Bioserenity, MESA, MrOS) 로부터 수집된 48,093 개의 전야 PSG 기록 (432,000 시간) 으로 구성됩니다.
• 아키텍처 적응: 비수면 생체신호 작업을 수용하기 위해 저자들은 사전 학습 분포의 효과를 격리하기 위해 아키텍처를 최소한으로 변경했습니다.
  • 패치 크기: 비수면 작업에 중요한 과도 동역학 (예: 날카로운 파동, R-피크) 을 보존하기 위해 5 초에서 1 초 패치로 축소되었습니다.
  • 윈도우 크기: 메모리 요구 사항을 줄이면서 다중 주기 생리학적 컨텍스트를 유지하기 위해 사전 학습 시 5 분에서 2 분으로 축소되었습니다.
  • 위치 인코딩: EEG 작업의 미세 조정 시 채널 위치 인코딩 (PE) 이 도입되었습니다. 이는 10-20 시스템 기반의 3 차원 전극 기하학 (x, y, z 좌표) 을 임베딩에 주입하여 다양한 채널 수로 유연한 추론을 가능하게 합니다.
• 하류 평가: 사전 학습된 인코더는 5 개 EEG 데이터셋 (TUAB, TUEV, TUSL, CHB-MIT, BrainCapture) 과 3 개 ECG 데이터셋 (PTB-XL, G12EC, CPSC) 에 걸쳐 있는 8 개의 하류 작업에서 미세 조정되었습니다. 작업에는 이상 탐지, 발작 탐지, 이벤트 분류, 부정맥 탐지가 포함되었습니다.
• 베이스라인: 성능은 처음부터 학습된 모델 (무작위 초기화) 과 도메인 내 각성 EEG 로 사전 학습된 최첨단 (SOTA) 기반 모델 (예: LaBraM, BIOT, CBraMod, REVE) 또는 대규모 ECG 코퍼스로 사전 학습된 모델과 비교되었습니다. 주목할 점은 수면 사전 학습 모델은 각성 EEG 테스트 세트와 도메인 중복이 전혀 없었던 반면, 많은 SOTA 베이스라인은 테스트 데이터를 포함하는 코퍼스로 사전 학습되었다는 것입니다.

주요 기여

1. 교차 도메인 전이 검증: 이 논문은 수면 생체신호가 각성 기반 EEG 및 ECG 작업을 위한 사전 학습 분포로 효과적으로 기능할 수 있음을 입증하며, 처음부터 학습하는 것보다 일관되게 우수한 성과를 거두었습니다.
2. 경쟁력 있는 성능: 저밀도 Montage 로 수면 데이터만으로 사전 학습되었음에도 불구하고, 이 모델은 직접 각성 EEG 데이터로 사전 학습된 전문화된 SOTA 기반 모델과 경쟁하거나 이를 능가하는 성능을 달성했습니다.
3. 채널 강건성: 이 연구는 모델이 사용 가능한 EEG 채널의 1650% 와 ECG 리드의 4175% 만 사용하여 전체 채널 성능의 95% 를 유지하는 채널 무관 접근법을 도입했습니다.
4. 방법론적 엄밀성: 이 작업은 체계적인 채널 제거 실험을 포함하며 이질적인 데이터셋과 프로토콜 간의 전이를 평가하여 분포 내 벤치마크와 외부 검증 전이를 구분합니다.

결과

• EEG 작업: 수면 사전 학습은 5 개 EEG 데이터셋 전반에 걸쳐 일관되게 성능을 향상시켰습니다.
  • TUAB(이상 탐지) 에서 380 만 파라미터의 SleepFM1(PT+PE 포함) 은 0.825 의 균형 정확도를 달성하여, 직접적인 도메인 중복이 없는 후자에도 불구하고 3 억 1,100 만 파라미터의 LUNA-Huge(0.816) 와 4,600 만 파라미터의 LaBraM-Large(0.823) 를 능가했습니다.
  • TUSL(감속) 과 CHB-MIT(발작) 에서 이 모델은 FEMBA, EEGFormer, BIOT 를 능가하는 SOTA 결과를 달성했습니다.
  • BrainCapture에서 이 모델은 BENDR 과 LaBraM 을 크게 능가했습니다.
  • 선형 프로브 결과는 미세 조정 없이도 사전 학습된 인코더가 이미 정보 풍부한 표현을 생성했으며, 완전한 미세 조정이 추가적인 향상을 제공함을 나타냈습니다.
• ECG 작업: 외부 검증 전이 실험 (Code-15 에서 미세 조정, PTB-XL, G12EC, CPSC 에서 평가) 에서 수면 사전 학습은 무작위 초기화 대비 일관되게 성능을 향상시켰습니다. EEG 작업보다 향상 폭은 작았지만, 이 모델은 PTB-XL 에서 Inception Time 및 1DResNet 과 같은 감독 베이스라인을 능가했습니다.
• 채널 효율성: 채널 수를 줄였을 때 성능 저하는 미미했습니다. EEG 의 경우 1650% 의 채널만으로도 전체 채널 성능의 95% 에 도달하기에 충분했습니다. ECG 의 경우 4175% 의 리드가 충분했습니다.

의의 및 주장
이 논문은 다양한 생리학적 상태를 포착하는 긴 연속적 컨텍스트, 병리적 파형 (예: 간질 패턴, 부정맥) 에 대한 광범위한 표현, 그리고 뇌, 심장, 호흡 간의 긴밀한 교차 모달 정합성으로 특징지어지는 수면 데이터의 생리학적 풍부함이 전이 가능한 표현을 학습하기 위한 풍부한 자기지도 구조를 제공한다고 주장합니다.

저자들은 이러한 특성들이 도메인 중복 없이도 직접 각성 EEG 로 학습된 모델과 경쟁할 수 있는 표현을 수면 PSG 만으로 학습된 모델이 생성할 수 있게 한다고 주장합니다. 이는 수면 데이터가 생체신호 기반 모델에 대한 확장 가능하고 정보 밀도가 높은 사전 학습 코퍼스로 기능할 수 있음을 시사하며, 특히 자원이 제한된 환경에서 광범위한 라벨링된 각성 데이터셋에 대한 필요성을 줄일 수 있음을 의미합니다. 이 발견들은 일반적인 생체신호 모델링을 위한 사전 학습 분포로서 수면의 타당성을 지지하며, EEG 에서는 특히 강력한 증거를, ECG 외부 전이 설정에서는 제한적이지만 고무적인 증거를 제시합니다.