A comprehensive evaluation of pretraining strategies for channel-agnostic contrastive self-supervision of biosignals

기술 요약: 생체 신호의 채널 무관 대비적 자기지도 학습을 위한 사전 학습 전략에 대한 포괄적 평가

문제 제기
자기지도 학습 (SSL), 특히 대비적 학습은 레이블이 없는 데이터를 활용하여 일반화 가능한 표현을 학습함으로써 컴퓨터 비전과 자연어 처리 분야에서 괄목할 만한 성과를 거두었습니다. 그러나 이러한 방법을 뇌파 (EEG) 및 심전도 (ECG) 와 같은 다변량 생체 시계열 데이터에 적용할 때는 고유한 어려움이 존재합니다. 첫째, 시계열 데이터에 효과적인 데이터 증강을 설계하는 것은 단순하지 않으며 종종 특정 도메인 지식을 요구합니다. 둘째, 그리고 더 중요하게는, 입력 채널의 수가 다양한 응용 분야와 데이터셋 간에 현저히 다릅니다 (예: 2 채널을 사용하는 수면 연구 대 20 개 이상의 채널을 사용하는 임상 설정). 기존의 자기지도 모델은 종종 고정된 채널 구성에 의존하여 미세 조정 시 채널을 제로 패딩하거나 폐기해야 하므로, 다양한 채널 구성 간 전이 능력과 일반화 능력이 제한됩니다.

방법론
저자들은 단일 채널 합성곱 인코더와 메시지 전달 신경망 (MPNN) 을 결합한 채널 무관 프레임워크를 제안합니다. 이 아키텍처는 구조적 변경 없이 가변적인 수의 입력 채널을 처리할 수 있게 하여, 사전 학습과 미세 조정 단계 모두에서 채널 간 정보를 효과적으로 추출합니다.

핵심 조사는 다변량 시계열을 위한 대비적 학습에서 양의 쌍 (positive pairs) 을 생성하기 위한 최적의 전략을 규명하는 데 초점을 맞춥니다. 본 논문은 세 가지 구별된 전략을 평가합니다:

1. 대비적 랜덤 리드 코딩 (CRLC): 동일한 시간 윈도우 내에서 입력 채널을 두 개의 무작위 비중첩 부분집합으로 분할하여 양의 쌍을 생성합니다. 이는 동시에 기록된 서로 다른 채널들이 공통된 근본적인 내용을 공유한다는 가정에 기반합니다.
2. 대비적 세그먼트 코딩 (CSC): 단일 시간 윈도우를 두 개의 연속된 세그먼트로 분할하여 양의 쌍을 생성합니다. 이는 윈도우 내 시간 전반에 걸쳐 신호 내용이 정상성 (stationarity) 을 가진다는 가정에 기반합니다.
3. 대비적 증강 코딩 (CAC): 동일한 입력 윈도우에 다양한 데이터 증강 (예: 스케일링, 마스킹, 노이즈 추가, 시간 이동) 을 적용하여 양의 쌍을 생성합니다.

모델들은 NT-Xent 와 TS2Vec 두 가지 대비적 손실 함수를 사용하여 사전 학습됩니다. 평가는 두 단계로 수행됩니다:

• 합성 데이터: 선형 혼합을 기반으로 한 다변량 시계열을 생성하는 맞춤형 시뮬레이터를 사용합니다. 채널 간 정보 공유 (CRLC 에 유리) 가 있는 설정과 시간 내에서는 정상적이지만 채널 간에는 구별되는 정보 (CSC 에 유리) 가 있는 두 가지 설정을 생성합니다.
• 생체 의학적 데이터: 이 프레임워크는 실제 EEG(Physionet Challenge 2018, SleepEDFx, MASS) 및 ECG(Physionet Challenge 2021) 데이터셋에서 테스트됩니다. 모델들은 대규모 레이블 없는 데이터셋에서 사전 학습된 후, 다양한 수의 입력 채널을 가진 하류 분류 작업 (EEG 의 수면 단계 분류, ECG 의 부정맥 분류) 에서 미세 조정됩니다.

주요 기여

• CRLC 의 도입: 채널이 공통된 소스를 공유하는 다변량 시계열을 위해 특별히 설계된, 입력 채널의 부분집합을 무작위로 샘플링하여 양의 쌍을 생성하는 새로운 전략.
• 합성 벤치마크: 채널 공유 대 시간적 정상성과 같은 다양한 사전 학습 전략의 기본 가정을 엄격하게 테스트하도록 설계된 합성 데이터셋의 생성.
• 채널 무관 아키텍처: 제로 패딩이나 데이터 폐기 없이 서로 다른 채널 구성을 가진 데이터셋 간 원활한 전이를 가능하게 하는 MPNN 기반 아키텍처의 입증.
• 포괄적 평가: 두 가지 구별된 생체 의학적 도메인 전반에 걸쳐 사전 학습 전략 (CRLC, CSC, CAC) 과 손실 함수 (NT-Xent, TS2Vec) 를 철저히 비교 평가.

결과

• 합성 데이터: 연구는 사전 학습 전략과 데이터 생성 과정 간의 정렬이 결정적임을 확인했습니다. 데이터 특성과 불일치하는 전략으로 사전 학습하는 경우 (예: 비정상적이며 채널 공유가 있는 데이터에 CSC 사용) 는 무작위보다 겨우 나은 표현만 생성됩니다.
• EEG 성능: CRLC 전략은 모든 샘플 크기와 손실 함수에서 CSC 및 CAC 일관적으로 우월한 성능을 보였습니다. 특히 CRLC 로 사전 학습된 모델은 2 채널 SleepEDFx 와 20 채널 MASS 데이터셋 모두에서 최첨단 BENDR 기준 모델을 능가했습니다. 이는 6 채널 사전 학습 설정에서 채널 수가 현저히 다른 하류 작업으로 일반화하는 모델의 능력을 강조합니다.
• ECG 성능: 제안된 MPNN 기반 모델들은 일반적으로 고정된 12 채널 입력과 마스킹을 사용하는 더 크고 최첨단인 기준 모델 (W2V+CMSC+RLM) 보다 낮은 성능을 보였으나, TS2Vec 손실과 결합되었을 때 CRLC 전략은 테스트된 대비적 전략 중 우월한 접근법으로 남았습니다. 기준 모델의 우월성은 더 많은 파라미터 수와 특정 마스킹 기반 사전 학습에 기인하지만, 제안된 방법의 채널 무관 유연성은 결여되어 있습니다.
• 절차 연구 (Ablation Studies): 메시지 전달 라운드 수 ($K$) 는 EEG 성능에 미미한 영향을 미쳤으나, 더 큰 샘플 크기의 ECG 에서는 약간의 이점을 보였는데, 이는 양의 쌍 형성 및 손실 함수의 선택이 집계 깊이보다 더 큰 영향을 미친다는 것을 시사합니다.

의의 및 주장
본 논문은 생체 신호의 채널 무관 자기지도 학습에 있어 양의 쌍을 형성하는 방법이 모델 성능의 결정적 요소라고 주장합니다. 구체적으로, 대비적 랜덤 리드 코딩 (CRLC) 은 EEG 데이터에 가장 효과적인 전략으로 식별되었으며, 기존 고정 채널 모델이 실패하는 가변 채널 구성 전반에 걸쳐 일반화되는 표현을 학습할 수 있게 합니다.

저자들은 채널 수가 안정적일 때 고정 입력을 가진 대규모 기반 모델이 잘 수행되지만, 사전 학습과 배포 간 채널 구성이 현저히 다른 시나리오에서는 제안된 채널 무관 접근법이 필수적이라고 강조합니다. 이 연구는 채널 그룹을 양의 뷰로 사용하는 것이 모델이 분류에 유용한 근본적인 공통 신호를 분리하고 추출하는 데 도움이 된다고 시사합니다. 현재 MPNN 기반 모델들은 ECG 작업에서 가장 큰 고정 입력 기준 모델을 아직 능가하지는 못하지만, CRLC 전략은 특히 채널 변동성이 일반적인 EEG 와 같은 도메인에서 미래의 채널 무관 모델에 대한 견고한 기반을 제공합니다.